NER là gì — nhận diện tên, ngày, số tiền trong văn bản để máy rút đúng thông tin

Bài này dành cho chủ doanh nghiệp và người quyết. NER được giải bằng ẩn dụ dễ hiểu, kèm khác tìm từ khoá, cơ chế và cách MONA áp dụng.

Vì sao đáng quan tâm: rất nhiều dữ liệu giá trị nằm trong email, tin nhắn, hợp đồng dạng chữ. NER là khâu lấy thông tin đó ra để đưa vào hệ thống và xử lý tiếp.

Hình dung một người được giao xấp tài liệu và cây bút dạ quang. Việc của họ là tô vàng mọi tên người, tô xanh mọi ngày tháng, tô hồng mọi số tiền. Đọc xong, chỉ cần nhìn màu là biết ngay đâu là thông tin loại nào.

So với việc đọc lướt rồi tự nhớ trong đầu, cách tô màu giúp lấy thông tin nhanh và không sót, vì mọi thực thể đã được đánh dấu rõ.

NER chính là người tô màu tự động: quét văn bản và gắn nhãn từng loại thực thể. Sau khi tô, máy gom các phần cùng màu lại thành dữ liệu có cấu trúc.

NER đọc văn bản, xét từng cụm từ trong ngữ cảnh rồi quyết định cụm đó có phải một thực thể không và thuộc loại nào. Khác tìm từ khoá ở chỗ NER dựa vào ngữ cảnh, không chỉ khớp mặt chữ.

• Dựa vào ngữ cảnh. Cùng một chữ có thể là tên người hay tên công ty tuỳ câu.
• Gắn nhãn loại. Người, tổ chức, ngày, số tiền, địa điểm, mã.
• Đánh dấu vị trí. Biết thực thể nằm ở đâu trong văn bản để trích chính xác.

NER thường là bước đầu của rút thông tin. Có thực thể rồi mới nối quan hệ thành knowledge graph hoặc đẩy vào hệ thống dưới dạng trường có nhãn.

• Rút thông tin tự động. Lấy tên, ngày, số tiền từ email, tin nhắn mà không gõ tay.
• Phân loại và định tuyến. Nhận ra yêu cầu thuộc khách nào, đơn nào để chuyển đúng nơi.
• Điền hồ sơ nhanh. Tự điền trường từ văn bản vào CRM, hệ thống quản lý.
• Ẩn dữ liệu nhạy cảm. Tìm và che tên, số căn cước khi cần bảo mật.
• Nối dữ liệu. Khớp thực thể giữa các nguồn để gom về một mối.

NER là khâu biến chữ tự do, vốn máy khó dùng, thành các trường thông tin sạch để đưa vào quy trình tự động.

Một dây chuyền NER chuẩn gồm bốn nhịp:

• Đọc văn bản. Nhận đầu vào từ email, tin nhắn, tài liệu, ghi chú.
• Nhận diện thực thể. Xét ngữ cảnh, đánh dấu cụm nào là thực thể loại gì.
• Chuẩn hoá giá trị. Đưa ngày, số tiền về định dạng thống nhất để dùng được.
• Đẩy vào hệ thống. Ghi thành trường có nhãn, kèm soát đoạn ngờ vực.

Với tiếng Việt, ngữ cảnh và cách viết đa dạng làm NER khó hơn, nên phần tinh chỉnh theo loại văn bản thật rất quan trọng để bắt đúng tên riêng và mã.

Giả sử một email khách viết tự do, trong đó có tên người liên hệ, tên công ty, một ngày hẹn, một con số tiền và một mã đơn, tất cả nằm lẫn trong câu.

NER quét email, đánh dấu từng thực thể đúng loại, chuẩn hoá ngày và số tiền về định dạng chuẩn, rồi điền vào đúng trường trong hồ sơ khách. Nhân viên chỉ soát lại thay vì đọc và gõ toàn bộ.

Kết quả là thông tin trong email vào thẳng hệ thống, sẵn sàng cho bước tiếp theo như tạo đơn hay xếp lịch. Đó là cách NER cắt khâu nhập liệu từ văn bản tự do.

Lấy thông tin từ văn bản theo hai cách cho kết quả khác hẳn:

Tìm từ khoá hợp khi cần khớp đúng một chuỗi. NER hợp khi cần hiểu trong câu đâu là thực thể loại gì để rút ra thành dữ liệu.

Chất lượng NER phụ thuộc vào loại thực thể và chất lượng văn bản:

• Loại phổ thông. Ngày, số tiền, email nhận diện rất chắc.
• Loại chuyên ngành. Tên sản phẩm, mã riêng cần tinh chỉnh để bắt đúng.
• Chất lượng văn bản. Viết tắt, sai chính tả, lẫn ngôn ngữ làm nhận diện khó hơn.

Cách làm đúng là tập trung các loại thực thể quan trọng với nghiệp vụ, tinh chỉnh trên văn bản thật và để người soát các trường rủi ro như số tiền.

Doanh nghiệp thường quan tâm một số loại thực thể, chọn theo nghiệp vụ:

Thực tế thường bắt đầu từ vài loại thực thể có giá trị nhất với quy trình, làm cho chắc rồi mới mở thêm loại khi cần.

• Rút mọi loại thực thể. Ôm đồm nhiều loại làm độ chính xác giảm và khó duy trì.
• Bỏ chuẩn hoá giá trị. Có ngày, số tiền nhưng định dạng lộn xộn nên hệ thống không dùng được.
• Không tinh chỉnh tên riêng. Tên sản phẩm, mã ngành bị bỏ sót hoặc gắn sai loại.
• Tin tuyệt đối kết quả. Dùng trường rủi ro như số tiền mà không có người soát.
• Quên bảo mật thực thể nhạy cảm. Tên, số căn cước cần kiểm soát và che khi cần.

Phần lớn lỗi NER đến từ ôm quá nhiều loại và bỏ khâu chuẩn hoá, không phải từ việc nhận diện. Làm gọn và đúng trọng tâm thì rất hiệu quả.

MONA làm NER theo nghiệp vụ, không rút mọi thứ cho có:

• Chọn loại thực thể trước. Bắt đầu từ tên, ngày, số tiền, mã có giá trị cho quy trình.
• Dựng dây chuyền nhận diện. Đọc văn bản, gắn nhãn theo ngữ cảnh, đánh dấu vị trí.
• Chuẩn hoá giá trị. Đưa ngày, số tiền, mã về định dạng dùng được trong hệ thống.
• Nối thẳng hệ thống. Điền trường vào CRM, quản lý đơn, ghép với xử lý chứng từ.

Văn bản thường chứa thông tin cá nhân. MONA tuân thủ guardrails và nguyên tắc dữ liệu theo Nghị định 13/2023, kiểm soát và che thực thể nhạy cảm khi cần.

NER đáng cân nhắc khi doanh nghiệp có nhiều thông tin nằm trong chữ tự do:

• Chăm sóc khách, bán hàng. Email, tin nhắn chứa yêu cầu, thông tin liên hệ.
• Hợp đồng, pháp lý. Tên bên, ngày, giá trị, điều khoản cần rút và đối soát.
• Vận hành, kế toán. Ghi chú, chứng từ chứa mã, số tiền cần vào hệ thống.
• Bảo mật, tuân thủ. Cần tìm và che dữ liệu cá nhân trong tài liệu.

Khi thông tin đã ở dạng bảng sạch, NER ít cần. Khi dữ liệu nằm trong câu chữ tự do và khối lượng lớn, NER là cách lấy ra ở quy mô.

NER dễ hiểu nhưng làm cho chính xác với tiếng Việt và thuật ngữ ngành cần kinh nghiệm với văn bản thật. Doanh nghiệp nên cân nhắc MONA khi:

• Có nhiều email, tin nhắn, hợp đồng chứa thông tin cần rút mà đang gõ tay.
• Muốn tự điền trường từ văn bản vào CRM, quản lý đơn, hệ thống nội bộ.
• Cần nhận diện đúng tên riêng, mã, số tiền tiếng Việt theo nghiệp vụ.
• Cần tìm và che dữ liệu cá nhân để tuân thủ bảo mật.

Giải pháp xử lý văn bản của MONA dựng dây chuyền NER tinh chỉnh cho tiếng Việt và nối thẳng hệ thống. Tham khảo Sale AI cho rút thông tin khách và phần mềm nhập hàng cho xử lý chứng từ kèm rút trường.