BERT - Summary Hệ Thống Tìm Tin | Hệ thông tìm tin | Đại học Khoa học Xã hội và Nhân văn, Đại học Quốc gia Thành phố HCM

1. Bối cảnh:
Lần đầu tiên ra mắt vào năm 2018, Google giới thiệu mô hình Transformer, thứ
sẽ nâng cao khả năng xử lý ngôn ngữ tự nhiên mà không yêu cầu dữ liệu phải được xử
lý theo thứ tự nhất định.
BERT là mô hình biểu diễn từ theo hai chiều dựa trên kỹ thuật Transformer.
Chính vì vậy BERT có thể giải quyết tốt các vấn để trong ngôn ngữ và cải thiện khả
năng hiểu của công cụ tìm kiếm Google trong các câu truy vấn. Kết quả cho thấy các
thuật toán tìm kiếm của Google đã hoạt động tốt hơn rất nhiều, nâng cao hiệu suất
nhằm đáp ứng nhu cầu cho người tìm tin. 2. Đặc điểm:
Để đạt được kết quả tích cực trong mô hình tìm kiếm thông tin, BERT đã trải
qua nhiều nghiên cứu, ứng dụng để hình thành nên các đặc điểm nổi bật :
- Transformer: một kiến trúc mạng nơ-ron chủ đạo trong NLP, giúp nó hiểu
được mối quan hệ không gian và thời gian giữa các từ trong câu một cách hiệu quả.
- Pre-training: Đây là quá trình BERT được huấn luyện trước trên một lượng
lớn dữ liệu văn bản không gắn nhãn trước khi được điều chỉnh (fine-tuning)
trên tác vụ cụ thể. Việc huấn luyện trước này giúp BERT hiểu được ngôn
ngữ tự nhiên ở mức độ
- Masked language modeling: Trong quá trình huấn luyện, một số từ trong câu
được chọn ngẫu nhiên và được che đi (mask) bằng token đặc biệt giúp cho
BERT tăng khả năng dự đoán các từ xung quanh dựa trên ngữ cảnh
- Self-attention mechanisms: Cơ chế này cho phép mô hình chú ý đến các phần
khác nhau của dữ liệu đầu vào một cách độc lập, giúp mô hình hiểu được
mối quan hệ giữa các từ trong câu một cách hiệu quả.
- Next Sentence Prediction: BERT không chỉ áp dụng trên các câu đơn lẻ mà
còn sử dụng trên các cặp câu. Một phần của quá trình huấn luyện được tạo
bằng cách lấy các cặp câu từ tập dữ liệu và gán nhãn xem liệu câu thứ hai
có phải là câu tiếp theo không, giúp BERT tăng khả năng nhận thức được
mối quan hệ giữa các câu trong văn bản. 3. Ưu điểm:
- Thời gian huấn luyện không dài
- Có sẵn các mô hình huấn luyện trước với nhiều ngôn ngữ
- Hỗ trợ tiếp nhận thông tin đa ngôn ngữ
- Là một mã nguồn mở miễn phí
- Thực hiện tốt đối với các tác vụ phân loại 4. Nhược điểm:
- Yêu cầu tài nguyên để tính toán gây hạn chế cho thiết bị nhỏ như điện thoại
- Tương tự, việc huấn luyện yêu cầu dữ liệu lớn
- Các câu truy vấn càng dài càng gây khó dễ cho mô hình
- Hiểu biết về ngữ cảnh vẫn có hạn chế
- Không thể xử lý nhiều yêu cầu đầu vào cùng lúc
- Việc tinh chỉnh thông tin có thể mất nhiều thời gian 5. Ứng dụng: lOMoAR cPSD| 40749825
Semantic Search (tìm kiếm ngữ nghĩa): BERT có khả năng hiểu được ngữ cảnh
và mối quan hệ giữa các từ trong câu. Khi áp dụng BERT vào hệ thống tìm kiếm có
thể cải thiện việc tìm kiếm thông tin bằng cách sử dụng semantic search thay vì chỉ
dựa vào từ khóa. Điều này có thể dẫn đến kết quả tìm kiếm chính xác hơn và hiệu suất
tìm kiếm tốt hơn. Dựa vào các yếu tố như:
● Lịch sử tìm kiếm của người dùng. ● Vị trí người dùng.
● Lịch sử tìm kiếm trên toàn cầu.
● Những biến thể về chính tả của từ khóa.
Tích hợp với Chatbot: BERT có thể được tích hợp vào các hệ thống chatbot để
cải thiện khả năng hiểu ngôn ngữ tự nhiên. Điều này có thể giúp chatbot hiểu được
câu hỏi của người dùng một cách chính xác hơn và cung cấp các câu trả lời phù hợp hơn.
Summarization (Tóm tắt văn bản): BERT có thể được sử dụng để tóm tắt nội
dung của các tài liệu dài. Bằng cách sử dụng BERT để hiểu ngữ cảnh và mối quan hệ
giữa các câu có thể tạo ra các tóm tắt tự động cho các văn bản đó.
Hệ thống gợi ý: BERT cũng có thể được sử dụng để tạo ra hệ thống gợi ý dựa
trên lịch sử tìm kiếm của người dùng hoặc các thông tin tiền đề khác. Điều này có thể
cải thiện trải nghiệm người dùng và tăng tỷ lệ chuyển đổi trên các trang web hoặc ứng dụng.
Phân loại và Gom nhóm: BERT có thể được sử dụng để phân loại văn bản hoặc
gom nhóm các văn bản tương tự. Bằng cách huấn luyện mô hình với dữ liệu đã được
gán nhãn, BERT có thể tự động phân loại văn bản vào các danh mục tùy chọn hoặc
gom nhóm các văn bản tương tự lại với nhau. Dựa vào đó còn có thể ứng dụng trong Quản lý thông tin như:
Ứng dụng mô hình BERT cho bài toán phân loại hồ sơ theo thời hạn bảo quản:
sự hiệu quả của mô hình BERT khi so sánh với các thuật toán máy học truyền thống
và mô hình học sâu trên các bộ dữ liệu thực tế hồ sơ lưu trữ theo thời hạn bảo quản ở
các cơ quan. Kết quả nghiên cứu cho thấy rằng, mô hình BERT đạt kết quả tốt nhất
với độ chính xác là 93,10%, độ phủ là 90,68% và độ đo F1 là 91,49%.