BM25 là gì — công thức chấm điểm độ liên quan của tìm kiếm từ khoá cổ điển

Bài này dành cho chủ doanh nghiệp và người quyết. BM25 được giải bằng ẩn dụ dễ hiểu, kèm khác tìm theo nghĩa, cơ chế và cách dùng đúng.

Vì sao đáng quan tâm: BM25 là xương sống của tìm kiếm từ khoá và là một nửa của hybrid search. Hiểu nó giúp doanh nghiệp biết khi nào tìm theo từ khoá là đủ, khi nào cần thêm tìm theo nghĩa.

Hình dung một người thủ thư nhận yêu cầu tìm sách về một chủ đề. Người thủ thư mở từng cuốn, đếm xem chủ đề đó được nhắc bao nhiêu lần. Cuốn nào nhắc nhiều thì có vẻ liên quan hơn.

Nhưng người thủ thư khôn hơn thế. Một từ phổ biến như là hay của thì cuốn nào cũng đầy, nhắc nhiều cũng vô nghĩa. Một từ hiếm và đặc trưng của chủ đề mới thật sự quý: cuốn nào chứa nó gần như chắc chắn đúng mạch.

BM25 chính là người thủ thư đó: đếm số lần nhắc tới từ khoá trong tài liệu, và đặc biệt chú ý những từ hiếm đặc trưng trên toàn kho. Tài liệu nhắc nhiều từ hiếm khớp thì được xếp lên đầu.

BM25 là một hàm chấm điểm. Với mỗi từ khoá trong câu tìm, nó tính điểm cho từng tài liệu rồi cộng lại thành điểm tổng, dùng điểm đó để xếp hạng. Ba thành phần chính tham gia vào điểm.

• Tần suất từ trong tài liệu. Từ khoá xuất hiện càng nhiều thì điểm càng cao, nhưng theo đường cong bão hoà, không tăng vô hạn.
• Độ hiếm của từ trên toàn kho. Từ hiếm mang nhiều thông tin nên được trọng số lớn; từ phổ biến bị hạ trọng số.
• Độ dài tài liệu. Tài liệu dài thường chứa nhiều từ nên được chuẩn hoá lại để không bị thiên lệch.

BM25 không hiểu nghĩa của từ. Nó so khớp đúng mặt chữ, nên là tìm theo từ vựng, khác hẳn tìm theo nghĩa vốn so khớp ý.

• Nhanh và rẻ. Chỉ đếm từ và tính điểm nên chạy nhẹ, không cần phần cứng mạnh.
• Khớp đúng từ. Tìm theo mặt chữ nên bắt chính xác mã sản phẩm, tên riêng, thuật ngữ.
• Minh bạch. Điểm tính theo công thức rõ ràng nên dễ giải thích vì sao một kết quả lên đầu.
• Không cần huấn luyện. BM25 chạy ngay trên kho tài liệu, không cần dữ liệu huấn luyện trước.
• Nền tảng vững. Đã chứng minh qua nhiều năm và là một nửa của hybrid search hiện đại.

BM25 là điểm khởi đầu hợp lý cho mọi hệ tìm kiếm. Hiểu nó giúp doanh nghiệp biết khi nào từ khoá là đủ, khi nào phải ghép thêm nghĩa.

Một lượt tìm bằng BM25 đi qua bốn nhịp:

• Tách từ khoá. Câu tìm được tách thành các từ riêng để đối chiếu.
• Chấm điểm tần suất và độ hiếm. Mỗi tài liệu được tính điểm theo số lần khớp và độ hiếm của từ.
• Chuẩn hoá độ dài. Điều chỉnh để tài liệu dài không bị lợi thế vô lý.
• Xếp hạng. Cộng điểm các từ rồi sắp xếp tài liệu từ cao xuống thấp.

BM25 thường là bước lọc nhanh đầu tiên. Sau đó hệ thống có thể chạy reranking để sắp lại nhóm đầu cho tinh hơn.

Giả sử doanh nghiệp có kho tài liệu nội bộ và người dùng tìm một thuật ngữ kỹ thuật hiếm. BM25 tách câu tìm thành từ rồi quét kho.

Từ hiếm đặc trưng được trọng số cao, nên tài liệu nào chứa nó được đẩy lên đầu dù chỉ nhắc vài lần. Tài liệu dài lan man chứa nhiều từ phổ biến thì không vì thế mà chiếm chỗ, nhờ bước chuẩn hoá độ dài.

Kết quả là người dùng thấy đúng tài liệu chứa thuật ngữ cần tìm ở vị trí đầu. Đó là cách BM25 biến vài từ khoá thành một danh sách xếp hạng có lý, nhanh và rẻ.

Hai cách tìm phục vụ hai tình huống khác nhau:

BM25 trượt khi người dùng hỏi khác chữ với tài liệu. Tìm theo nghĩa trượt với mã và tên riêng hiếm. Vì vậy nhiều hệ thống ghép cả hai trong hybrid search để bù cho nhau.

Dùng BM25 cần cân vài điểm:

• Khớp đúng chữ. Mạnh với mã và thuật ngữ, nhưng trượt nếu người dùng hỏi khác chữ.
• Chi phí và tốc độ. Rất nhẹ và nhanh, hợp kho lớn mà không tốn phần cứng mạnh.
• Bắt được ý. BM25 không hiểu đồng nghĩa nên cần ghép tìm theo nghĩa khi diễn đạt đa dạng.

Cách làm đúng thường không phải chọn một. Doanh nghiệp dùng BM25 cho phần khớp chữ chính xác, rồi ghép tìm theo nghĩa cho phần diễn đạt đa dạng, để hai bên bù khuyết điểm cho nhau.

Điểm BM25 của một tài liệu hình thành từ ba yếu tố, mỗi yếu tố trả lời một câu hỏi:

Ba yếu tố này phối hợp để điểm phản ánh đúng độ liên quan: tài liệu nhắc nhiều từ hiếm, mà không phải vì nó dài lê thê, sẽ được xếp lên đầu một cách hợp lý.

• Tưởng BM25 hiểu nghĩa. BM25 chỉ khớp mặt chữ, không hiểu đồng nghĩa hay ngữ cảnh.
• Tưởng nhắc càng nhiều càng tốt. Điểm theo tần suất bão hoà dần, nhồi từ khoá không kéo điểm lên mãi.
• Tưởng tài liệu dài luôn thắng. Bước chuẩn hoá độ dài đã chặn lợi thế vô lý của tài liệu dài.
• Tưởng BM25 đã lỗi thời. Nó vẫn là một nửa của hybrid search và là chuẩn so sánh của tìm kiếm hiện đại.
• Tưởng BM25 thay được tìm theo nghĩa. Hai cách bù cho nhau, không thay thế; tách rời thì mỗi bên có điểm mù riêng.

Phần lớn hiểu nhầm về BM25 đến từ kỳ vọng nó hiểu ý người dùng. BM25 lo phần khớp chữ chính xác; phần bắt ý cần tìm theo nghĩa đi kèm.

MONA dùng BM25 như nền móng của một hệ tìm kiếm khôn:

• Dựng BM25 làm nền. Bắt chính xác mã, tên riêng, thuật ngữ ngay từ đầu với chi phí thấp.
• Ghép tìm theo nghĩa. Bù cho trường hợp người dùng hỏi khác chữ với tài liệu.
• Gộp điểm thành hybrid. Kết hợp điểm từ khoá và điểm nghĩa thành một thứ hạng chung.
• Rerank tinh nhóm đầu. Sắp lại các kết quả đầu cho sát ý người dùng nhất.

Kho tài liệu được tìm có thể chứa thông tin cá nhân. MONA tuân thủ nguyên tắc dữ liệu theo Nghị định 13/2023 trong cả luồng đánh chỉ mục và truy vấn, kèm RAG khi cần để AI trả lời dựa trên tài liệu thật.

BM25 hợp khi tìm kiếm phải khớp đúng mặt chữ và cần nhanh, rẻ, minh bạch:

• Tra cứu mã và tên riêng. Mã sản phẩm, mã đơn, tên khách cần khớp chính xác từng ký tự.
• Tìm thuật ngữ chuyên ngành. Từ hiếm đặc trưng được trọng số cao nên bắt rất tốt.
• Kho lớn cần chạy nhẹ. BM25 quét nhanh mà không tốn phần cứng mạnh.
• Cần giải thích kết quả. Điểm theo công thức rõ ràng nên dễ nói vì sao một kết quả lên đầu.

Khi người dùng hỏi đúng chữ với tài liệu, BM25 là đủ. Khi câu hỏi diễn đạt đa dạng, đồng nghĩa nhiều, doanh nghiệp nên ghép thêm tìm theo nghĩa thành hybrid search.

BM25 dễ hiểu nhưng dựng một hệ tìm kiếm khớp đúng nghiệp vụ và ghép với tìm theo nghĩa cần kinh nghiệm. Doanh nghiệp nên cân nhắc MONA khi:

• Muốn tìm kiếm nội bộ bắt đúng mã, tên riêng, thuật ngữ ngay từ đầu.
• Cần ghép tìm từ khoá với tìm theo nghĩa thành hybrid search cho kết quả sát ý.
• Cần thứ hạng minh bạch, giải thích được vì sao một kết quả lên đầu.
• Muốn nối tìm kiếm vào AI trả lời dựa trên tài liệu thật, có kiểm soát dữ liệu.

MONA dựng hệ tìm kiếm lấy BM25 làm nền rồi ghép nghĩa và rerank cho doanh nghiệp. Tham khảo Sale AI cho tra cứu và trả lời theo tài liệu, LMS AI cho tìm kiếm trong kho học liệu.