Luận văn tốt nghiệp: Tìm hiểu về Search Engine và xây dựng ứng dụng minh hoạ cho Search Engine tiếng Việt

1. Mở đầu

Trong thời đại ngày nay, thông tin là nhu cầu thiết yếu đối với mọi người trên mọi lĩnh vực. Mỗi phút trôi qua hàng triệu triệu trang web được đẩy lên nhằm làm giàu nguồn tài nguyên vô tận này. Tuy nhiên tồn tại một nghịch lý là dù được ví như thư viện toàn cầu, internet vẫn không thoả mãn nhu cầu thông tin của con người. Xung quanh vấn đề này có nhiều nguyên nhân nhưng quan trọng nhất là sự thông hiểu giữa con người và công cụ tìm kiếm trên mạng – search engine – chưa đạt đến mức có thể giao tiếp tốt với nhau. Hơn nữa, mỗi search engine sẽ mang đặc thù của ngôn ngữ mà nó hiển thị như search engine Tiếng Việt phải giải quyết những vấn đề đặc trưng của Tiếng Việt, cụ thể là vấn đề bảng mã, ngữ pháp trong Tiếng Việt. Nếu ta hiểu cách thức search engine tổ chức thông tin, thực thi một câu truy vấn và đặc trưng của ngôn ngữ mà search engine sẽ tiếp cận thì ta có thể tối ưu hoá cơ hội nhận được các thông tin hữu ích. Đây là mục tiêu chính của luận văn.

2. Nội dung

2.1 Tổng quan về hệ thống Search Engine

Các bộ phận cấu thành hệ thống Search Engine

• Bộ thu thập thông tin – Robot
• Bộ lập chỉ mục – Index
• Bộ tìm kiếm thông tin – Search Engine

Nguyên lý hoạt động

2.2 Bộ thu thập thông tin – Robot

Ứng dụng của Robot

• Phân tích, thống kê – Statistical Analysis
• Duy trì siêu liên kế - Maintenance
• Ánh xạ địa chỉ web - Mirroring
• Phát hiện tài nguyên – Resource Discovery
• Kết hợp các công dụng trên- Combined uses

Robot chỉ mục – Robot Indexing

Các chiến thuật thu thập dữ liệu

• Chiến thuật tìm kiếm theo chiều sâu
• Chiến thuật tìm kiếm theo chiều rộng
• Chiến thuật tìm kiếm theo ngẫu nhiên

Những vấn đề cần lưu ý của web robot

• Chi phí và hiểm hoạ
• Tiêu chuẩn loại trừ robot

2.3 Bộ lập chỉ mục – Index

Khái quát về hệ thống lập chỉ mục

Tổng quan về phương pháp lập chỉ mục

• Xác định mục từ quan trọng cần lập chỉ mục
• Một số hàm tính trọng số mục từ
• Lập chỉ mục tự động cho tài liệu

Lập chỉ mục cho tài liệu tiếng Việt

• Khó khăn cho việc lập chỉ mục tiếng Việt
• Đặc điểm về từ trong tiếng Việt và việc tách từ
• Giải quyết các vấn đề hiển thị của tiếng Việt (vấn đề chính tả)
• Giải quyết các vấn đề về từ của tiếng Việt
• Xây dựng từ điển tiếng Việt

2.4 Bộ tìm kiếm thông tin – Search Engine

Vì sao ta cần một công cụ tìm kiếm (SE)?

Các phương thức tìm kiếm

• Tìm theo từ khoá – Keyword searching
• Những khó khăn khi tìm theo từ khoá
• Tìm theo ngữ nghĩa – Concept-based searching

Các chiến lược tìm kiếm

• Tìm thông tin với các thư mục chủ đề
• Tìm thông tin với các công cụ tìm kiếm
• Tối ưu câu truy vấn
• Truy vấn bằng ví dụ

2.5 Một số Search Engine thông dụng trên thế giới và Việt Nam

Một số search engine thông dụng trên thế giới

• Thư mục của Yahoo, Google
• Alltheweb
• AltaVista
• Lycos
• HotBot

Một số search engine thông dụng ở Việt Nam

• Netnam
• Vinaseek

2.6 Thiết kế dữ liệu

Cơ sở dữ liệu trong SQL

Hệ thống tập tin

2.7 Thu thập thông tin

Cấu trúc dữ liệu

• Cấu trúc UrlInfo
• Cấu trúc StartUrlInfo
• Cấu trúc FileRetrieval
• Cấu trúc ProjectInfo

Xử lý của web robot

Giải quyết các vấn đề của web robot

• Tránh sự lặp lại
• Tránh làm qúa tải server
• Tránh truy xuất đến các dạng tài nguyên không thích hợp
• Tránh các lỗ đen (black holes)
• Tránh những nơi cấm robot

Các thuật toán phân tích cấu trúc file HTML

• Thuật toán lấy liên kết
• Thuật toán lấy tiêu đề
• Thuật toán lấy nội dung

Duy trì thông tin cho cơ sở dữ liệu

Resume project

• Nguyên tắc resume của ứng dụng cũ
• Cải tiến của ứng dụng mới

2.8 Lập chỉ mục

Tính trọng số của từ

Tập tin nghịch đảo

Từ điển chỉ mục

Quá trình stemming

2.9 Các module, package, lớp chính của chương trình

Các module, package của chương trình

Các lớp đối tượng chính trong từng module

3. Kết luận

Về cơ bản luận văn đã thực hiện tốt các nội dung đề ra và đạt được một số kết quả nhất định :

• Luận văn đã trình bày cơ sở lý thuyết về nguyên lý vận hành của một hệ thống search engine.
• Tìm hiểu các phương thức và chiến lược trong việc thiết kế từng module cụ thể cho hệ thống.
• Tìm hiểu các vấn đề đặc trưng của một hệ thống thu thập thông tin hoạt động trên môi trường mạng. Đề xuất một vài giải pháp xử lý những khó khăn của webrobot.
• Tìm hiểu các vấn đề đặc trưng của một hệ thống search engine tiếng Việt. Đề xuất một vài giải pháp đơn giản để xử lý những vấn đề khó khăn của tiếng Việt.
• Tìm hiểu hoạt động, thống kê một số đặc trưng và cách sử dụng của một số search engine thông dụng trên thế giới và Việt Nam
• Tìm hiểu cơ bản về Semantic Search Engine
• Xây dựng ứng dụng thử nghiệm cho một hệ thống search engine tiếng Việ

4. Tài liệu tham khảo

Gerard Salton, Michael J.McGill, Introduction to Modern Information Retrieval

C.J. van Rijsbergen , Department of Computing Science University of Glasgow, Information Retrieval

Huỳnh Thụy Bảo Trân. Luận án thạc sĩ khoa học. Nghiên cứu một số mô hình và xây dựng thử nghiệm một search engine Tiếng Việt. Người hướng dẫn khoa học : GS.TS.Hoàng Văn Kiếm.

Đoàn Hữu Quang Vinh. Luận văn cử nhân tin học. Xây dựng công cụ hỗ trợ quá trình tiền xử lý cho hệ thống search engine. GVHD : Huỳnh Thụy Bảo Trân.

Bùi Ngọc Tuấn Anh, Trần Nguyễn Hoàng Phương. Luận văn cử nhân tin học. Nghiên cứu một số thuật toán tra cứu thông tin trên Internet và cài đặt thử nghiệm. GVHD: Hồ Bảo Quốc...