Khóa luận Xây dựng bộ ngữ liệu để đánh giá bằng tiếng Việt và chương trình trợ giúp đánh giá các hệ tìm kiếm thông tin

Tìm kiếm thông tin là nhu cầu thiết thực của tất cảmọi người. Đặc biệt trong bối cảnh bùng nổthông tin nhưhiện nay, gồm có sựra đời của internet và sáng kiến vềthưviện điện tử, nhu cầu tìm kiếm thông tin lại càng phát triển. Nhưng nhờcó sựtrợgiúp của công nghệthông tin con người có thểthỏa mãn nhu cầu này một cách dễdàng. Thật vậy, có rất nhiều hệthống tìm kiếm thông tin (Information Retrieval system hay IR system)trên máy tính đang tồn tại đểtrợ giúp con người. Tuy nhiên, khảnăng tìm kiếm thông tin của các hệthống này chắc chắn khác nhau. Do đó, việc đánh giá các hệthống tìm kiếm thông tin (Evaluation of Information Retrieval systems) là một nhu cầu không thểthiếu nhằm xác định các hệthống tìm kiếm thông tin hiệu quả. Việc đánh giá này có ý nghĩa rất lớn đối với sựtồn tại và phát triển của các hệthống tìm kiếm thông tin. Nó giúp xác định khảnăng tìm kiếm của các hệthống tìm kiếm thông tin từ đó mà các tổchức, công ty, trường học tạo ra hệthống này có thểphát triển, thay đổi hệ thống để đưa ra khảnăng tìm kiếm thông tin tốt nhất. Ngoài ra, việc xác định các hệthống tìm kiếm thông tin hiệu quảrất hữu ích đối với người dùng, họsẽcảm thấy tin tưởng vào kết quảtìm kiếm mà hệthống tìm được. Xa hơn nữa, việc đánh giá sẽtạo ra một cuộc cách mạng trong lĩnh vực tìm kiếm thông tin; giúp đưa tìm kiếm thông tin vào trong thếgiới thực của đời sống. Chẳng hạn, khi các hệthống tìm kiếm thông tin tiến bộchuyển từnghiên cứu sang thếgiới thực của cạnh tranh thương mại thì những nhà thiết kế, nhà phát triển, người bán hàng, và những đại diện bán hàng của các sản phẩm thông tin mới nhưsách điện tử, và các phương tiện tìm kiếm (Search engines) muốn biết sản phẩm của họcó cung cấp cho những người sửdụng và người mua hàng tiềm năng các lợi thếcạnh tranh hay không, sẽ được thỏa mãn nhu cầu thông tin này một cách dễdàng, chính xác. Khảnăng tìm kiếmcủa hệthống tìm kiếm thông tin chúng tôi vừa đềcập được nghiên cứu ởnhiều cấp độ: thứnhất là vềkhảnăng xửlý tức thời gian tìm kiếm và không gian lưu trữhay còn gọi là hiệu năng; thứhai là vềkhảnăng tìm kiếm hay hiệu quảcủa kết quảtrảvề; thứba là khảnăng vềhệthống tức hệthống có thỏa mãn nhu cầu thông tin của người dùng hay không. Hiện nay, trên thếgiới đã có rất nhiều hệthống đánh giá các hệthống tìm kiếm thông tin nhưng chủyếu là đánh giá các hệthống tìm kiếm thông tin tiếng Anh, tiếng Pháp. Đối với tiếng Việt, theo chúng tôi được biết, chưa có một hệthống nào được dùng để đánh giá các hệthống tìm kiếm thông tin tiếng Việt. Nhưng theo xu hướng phát triển của đất nước và nhu cầu tìm kiếm thông tin thì các hệthống tìm kiếm thông tin tiếng Việt bắt buộc phải tồn tại và phát triển. Vì vậy, Việt Nam chúng ta rất cần các hệthống được dùng để đánh giá hiệu năng, hiệu quảcủa các hệthống tìm kiếm thông tin tiếng Việt. Do ý nghĩa to lớn của lĩnh vực nghiên cứu đánh giá này, chúng tôi đã quyết định chọn đềtài đánh giá các hệthống tìm kiếm thông tin. Chúng tôi nghĩrằng hệ thống đánh giá của chúng tôi sẽlà cơsở để đánh giá tất cảcác hệthống tìm kiếm thông tin, nhất là hệthống tìm kiếm thông tin tiếng Việt. Chúng tôi cũng hy vọng hệthống của chúng tôi sẽgóp phần vào sựphát triển của các hệthống tìm kiếm thông tin, của tìm kiếm thông tin và của công nghệthông tin nước ta. Thực hiện đánh giá khảnăng tìm kiếm, chúng tôi tập trung vào đánh giá hiệu quảcủa kết quảtìm kiếm được trảvề(cấp độthứhai trong khảnăng tìm kiếm của hệthống thông tin ởtrên). Hiệu quảcủa kết quảtrảvề được định nghĩa là khả năng hệthống tìm kiếm thông tin tìm được các tài liệu liên quan(Relevant Documents)và loại bỏ đi những tài liệu không liên quan(Irrelevant Documents). Đây là mô hình hướng hệthống trong nghiên cứu tìm kiếm thông tin. Mô hình này mô hình đánh giá được sửdụng nhiều nhất và hiệu quảnhất trên thế giới. Và đểxây dựng hệthống đánh giá các hệthống tìm kiếm thông tin tiếng Việt theo mô hình hướng hệthống, trước hết, chúng tôi cần phải xây dựng bộngữliệu dùng để đánh giá bằng tiếng Việt(a Vietnamese Test collection). Bộngữliệu dùng để đánh giá gồm có kho ngữliệu mẫu bằng tiếng Việt(a Vietnamese Corpus hay a set of Vietnamese documents), tập câu truy vấn mẫu bằng tiếng Việt(a set of Vietnamese queries), và bảng đánh giá liên quan chuẩn (Relevance Judgment). Chúng tôi tìm hiểu và thực hiện xây dựng bộngữliệu dùng để đánh giá theo tiêu chuẩn của Hội nghịvềTìm kiếm thông tin Văn bản (Text REtrieval Conference hayTREC)của Hoa Kỳ, một trong những Hội nghị hàng đầu trên thếgiới vềTìm kiếm Thông tin. Tiếp theo, chúng tôi xây dựng chương trình trợgiúp đánh giá các hệthống tìm kiếm thông tin, cho phép người dùng thao tác, thực hiện đánh giá các hệthống một cách dễdàng. Kết quảtrảvềcủa chương trình đánh giá có được dựa vào bộngữ liệu mẫu được dùng đánh giá. Kết quảtrảvềnày gồm có kết quảtruy vấn của hệ thống tìm kiếm thông tin và kết quả đánh giá. Kết quả đánh giá được tính dựa trên sựkết hợp của hai độ đo: độbao phủ (Recall) và độchính xác (Precision). Từ kết quảtrảvề, chúng ta có thểbiết được khảnăng tìm kiếm của riêng từng hệ thống tìm kiếm thông tin và so sánh khảnăng của các hệthống tìm kiếm với nhau.

TÀI LIỆU LUẬN VĂN CÙNG DANH MỤC