Luận văn ThS: Tra cứu ảnh dựa trên nội dung sử dụng nhiều đặc trưng và phản hồi liên quan

1. Mở đầu

Những năm gần đây, với sự xuất hiện của Internet đã thay đổi hoàn toàn cách thức chúng ta tìm kiếm thông tin. Ví dụ khi cần tìm kiếm, đơn giản chỉ cần gõ một vài từ khóa vào máy tìm kiếm Google hay Bing, ngay lập lức có được một danh sách tương đối chính xác các trang web có liên quan đến thông tin cần tìm. Đối với hình ảnh, cũng đã có các hệ thống tương tự. Với hệ thống này, bằng cách lấy một ảnh đầu vào từ người dùng, hệ thống cố gắng tìm kiếm các ảnh giống nhất trong cơ sở dữ liệu rồi trả lại cho người sử dụng. Đây là hệ thống tra cứu ảnh theo nội dung hay đơn giản là tra cứu ảnh. Tuy nhiên kết quả trả về vẫn còn xa so với sự mong đợi của người dùng. Ta thường gọi vấn đề này là vấn đề “khoảng cách ngữ nghĩa”. Đã  có nhiều nhà nghiên cứu bắt đầu xem phản hồi liên quan như là bài toán phân lớp hoặc bài toán học. Việc kết hợp nhiều đặc trưng để xây dựng truy vấn đã góp phẩn nâng cao hiệu quả của các phương pháp học máy, do vậy hiệu quả tra cứu đã được cải thiện. Tuy nhiên, để tận dụng đầy đủ lợi thế của các thông tin bổ sung, phát sinh từ tương tác người dùng, việc lựa chọn phương pháp kết hợp sử dụng nhiều đặc trưng hiệu quả là nhiệm vụ quan trọng và rất cần thiết.

2. Nội dung

2.1 Khái quát về tra cứu ảnh dựa trên nội dung

Giới thiệu tra cứu ảnh dựa trên nội dung

Các thành phần của hệ thống CBIR

• Trích chọn đặc trưng
• Đo độ tương tự giữa các ảnh
• Đánh chỉ số
• Giao diện truy vấn (Query Interface)

Một số phương pháp trích chọn đặc trưng

• Trích chọn đặc trưng màu sắc
• Trích chọn đặc trưng kết cấu (texture)
• Trích chọn đặc trưng hình dạng (shape)
• Trích chọn đặc trưng cục bộ bất biến

Khoảng cách ngữ nghĩa trong CBIR

Một số hệ thống CBIR

• Hệ thống QBIC của hãng IBM
• Hệ thống Photobook
• Hệ thống VisualSEEK và WebSEEK
• Hệ thống RetrievalWare
• Hệ thống Imatch

2.2 Kết hợp nhiều đặc trưng

Phản hồi liên quan trong CBIR

• Giới thiệu về phản hồi liên quan
• Các kỹ thuật phản hồi  liên quan

Kết hợp nhiều đặc trưng trong CBIR

• Độ đo có trọng số
• Ước lượng độ liên quan của các đặc trưng

Kết hợp nhiều đặc trưng dựa trên SVM và phản hồi liên quan

• Kỹ thuật máy học (SVM)
• Cập nhật trọng số đặc trưng dựa trên phản hồi liên quan
• Kết hợp nhiều bộ phân lớp SVM dựa trên RF

2.3 Thực nghiệm

Môi trường thực nghiệm

• Cơ sở dữ liệu
• Trích chọn đặc trưng

Mô tả chương trình thực nghiệm

• Giao diện chương trình
• Các bước thực hiện truy vấn

Đánh giá hiệu năng

• Thực nghiệm trên cơ sở dữ liệu Wang
• Thực nghiệm trên 2 cơ sở dữ liệu Wang và Oliva

3. Kết luận

Tra cứu ảnh dựa trên nội dung đang là lĩnh vực được nhiều người quan tâm nghiên cứu và phát triển mạnh mẽ trong nước và nước ngoài. Nó cần phải nghiên cứu, phát triển mạnh hơn nữa mới có thể đáp ứng được nhu cầu ngày càng cao của người dùng trong thực tế. Trong khuôn khổ của luận văn này tác  giả tập trung tìm hiểu, nghiên cứu một số nội dung cơ bản của CBIR. Các kết quả chính đạt được: 

• Đã nắm được một số phương pháp trích chọn đặc trưng hình ảnh, một số phương pháp phản hồi liên quan trong tra cứu ảnh dựa vào nội dung 
• Trình bày được phương pháp tìm kiếm hình ảnh theo đặc trưng mầu sắc, kết cấu, hình dạng và phương pháp kết hợp các đặc trưng trên áp dụng trong tra cứu ảnh theo nội dung sử dụng SVM và phản hồi liên quan.
• Đã viết được chương trình thực nghiệm, thực hiện tìm kiếm ảnh theo đặc trưng mầu sắc, kết cấu, hình dạng và kết  hợp 3 đặc trưng trên sử dụng SVM và phản hồi liên quan, sử dụng bộ công cụ và thư viện Matlab. Chương trình được chạy thực nghiệm trên 2 cơ sở dữ liệu Wang và Oliva và đã so sánh, đánh giá  được độ chính xác và thời gian thực hiện tìm kiếm ảnh của các phương pháp trên. 

Vấn đề nghiên cứu bước đầu đã đạt được một số kết quả khả quan trên tập dữ liệu ảnh đã thử nghiệm, nhưng đối với các truy vấn cấp cao thì chưa áp dụng vào. Hơn nữa, vấn đề thời gian trong truy vấn ảnh cũng cần được quan tâm khi thư viện ảnh của hệ thống được mở rộng 

4. Tài liệu tham khảo

C. G. M. Snoek, M. Worring, and A.W.M. Smeulders, Early versus late fusion in semantic  video analysis . November, 2005, In ACM International Conference on Multimedia: Singapore, pages. 399-402. 

D. N. F.Awang Iskandar, James  A.Thom, and S.M.M. Tahaghoghi, Content-based Image Retrieval Using Image Regions as Query Examples . 2008: CRPIT  Volume 75- Database technologies 

Deng, Y., et al., An efficient color representation for image retrieval 2001, IEEE Trans. on Image Processing,  10, pages. 140-147. 

Dr Fuhui Long, Dr Hongjiang Zhang, and P.D.D. Feng, Fundamentals of content-based image retrieval.2012: International journal of computer science and information technologies,  3, pages. 3260 - 3263. 

G. Pass and R. Zabith, Histogram refinement for content-based image retrieval. 1996, IEEE Workshop on Applications of Computer Vision, pages. 96-102.....