Chúng ta bước vào một thời kỳ phát triển mới, đó là sự kết nối tri thức toàn cầu. Từng phút, từng giây nhiều tỷ tỷ bit dữ liệu đang được luân chuyển trên mạng máy tính, và trong tương lai dung lượng thông tin trung chuyển còn tăng nhanh và lớn đến mức mà chúng ta khó lòng mà mường tượng nổi. Dòng tin lớn sẽ dẫn đến việc tắc nghẽn giao thông trên mạng, hơn thế thời gian cũng như chi phí chuyển tải, lưu trữ tin tăng cao làm cho hiệu quả kinh tế giảm sút. Đứng trước thực tế này, người ta có thể đề ra nhiều giải pháp để tháo gỡ khó khăn, ví dụ như việc nâng cấp hệ thống mạng thông tin, hay là việc quy hoạch toàn cầu. Bên cạnh các giải pháp này chúng ta luôn có một giải pháp, đó là nén dữ liệu lại. Về mặt khoa học, nén dữ liệu không chỉ đơn thuần vì lý do kinh tế mà còn để đảm bảo cho một hệ thống xã hội cho dù lớn đến mức nào đi chăng nữa thì thông tin vẫn thông chuyển được.
Mục tiêu của luận văn này nhằm hệ thống các kiến thức về nén văn bản thông qua minh họa cụ thể và lý thuyết xác suất, từ đó đưa ra giới hạn nén của một văn bản.
Nhiệm vụ của luận văn là:
- Phân loại văn bản, đưa ra mô hình biểu diễn văn bản, nghiên cứu giới hạn nén của văn bản và kiểm tra lại lý thuyết nén văn bản bằng chương trình.
- Nghiên cứu một số mã nén, giải thuật nén và giải nén văn bản.
Phạm vi nghiên cứu: Nghiên cứu nén văn bản dựa trên mô hình Markov hiện và nén bảo toàn văn bản.
Phương pháp nghiên cứu là :
- Sử dụng lý thuyết xác suất nhằm đưa ra quy trình nén văn bản.
- Sử dụng phương pháp nghiên cứu thực nghiệm mô phỏng một file văn bản theo mô hình Markov và kiểm chứng tính đúng đắn của lý thuyết bằng chương trình. Cụ thể đưa ra một số trình ví dụ cho phép tạo ra các văn bản dựa theo mô hình Markov, và tính được tỷ lệ nén theo lý thuyết nén văn bản, có chạy trình winrar để kiểm tra tính đúng đắn của lý thuyết.
- Sử dụng công cụ lập trình triển khai các phương pháp nén văn bản dựa trên mô hình Markov.
