Tokenizer là gì — bộ phận cắt câu chữ thành token để mô hình AI đọc được

Bài này dành cho chủ doanh nghiệp và người quyết. Tokenizer được giải bằng ẩn dụ dễ hiểu, kèm cơ chế, ví dụ chạy thật và cách nó tác động đến chi phí.

Vì sao đáng quan tâm: token là đơn vị mà mô hình tính tiền và đếm giới hạn. Hiểu tokenizer là hiểu vì sao một đoạn token tiếng Việt tốn hơn tiếng Anh, và vì sao chi phí AI phụ thuộc vào cách cắt chữ.

Hình dung một đầu bếp nhận nguyên liệu thô. Trước khi nấu, đầu bếp phải thái rau củ thành miếng vừa ăn, không thể bỏ nguyên củ vào nồi. Mỗi đầu bếp có cách thái riêng: người thái to, người thái nhỏ, người băm nhuyễn.

Câu chữ là nguyên liệu thô. Tokenizer là khâu thái: cắt câu thành các token vừa kích cỡ để mô hình xử lý được. Mô hình AI chỉ nấu được khi nguyên liệu đã thái thành token.

Cùng một nguyên liệu nhưng cách thái khác nhau cho ra số miếng khác nhau. Tokenizer là khâu thái câu chữ thành miếng vừa ăn cho mô hình, và mỗi mô hình thái theo kiểu riêng nên đếm ra số token khác nhau.

Tokenizer chuyển một chuỗi ký tự thành một dãy token theo một bộ quy tắc cắt định trước. Mỗi token được gán một con số, gọi là chỉ số, để mô hình tính toán. Mô hình chỉ nhìn thấy dãy số đó, không nhìn thấy chữ.

• Cắt theo quy tắc. Tokenizer dùng một bộ từ vựng đã học để chia câu thành token.
• Gán chỉ số. Mỗi token có một con số riêng, mô hình tính trên con số đó.
• Ghép lại khi trả về. Đầu ra của mô hình cũng là token, được ghép ngược thành chữ cho người đọc.

Token là đơn vị mà mô hình tính trong inference, và cũng là đơn vị nạp vào context window. Bộ từ vựng tokenizer thường gắn liền với một mô hình, đổi mô hình thường đổi cả cách cắt.

• Ước được chi phí. Token là đơn vị tính tiền, biết số token là biết tiền trả cho mỗi lần gọi.
• Đọc đúng giới hạn. Giới hạn ngữ cảnh đếm bằng token, không bằng số chữ.
• Tối ưu phần tiếng Việt. Tiếng Việt có dấu thường tốn token hơn, biết để lường chi phí.
• Chọn mô hình hợp. Cùng nội dung, mô hình cắt khéo hơn thì ít token và rẻ hơn.
• Cắt prompt gọn. Bỏ chữ thừa giảm token, giảm chi phí mà không mất ý.

Tokenizer là nơi câu chữ biến thành con số mà mô hình tính tiền. Hiểu nó là hiểu vì sao hoá đơn AI lên xuống theo nội dung và ngôn ngữ.

Một luồng tokenize đi qua bốn nhịp:

• Nhận câu chữ. Chuỗi ký tự gốc, gồm cả dấu tiếng Việt và khoảng trắng.
• Cắt theo từ vựng. Tokenizer chia chuỗi thành token dựa trên bộ từ vựng đã học.
• Gán chỉ số. Mỗi token nhận một con số, tạo thành dãy số đưa vào mô hình.
• Mô hình xử lý. Mô hình tính trên dãy số, sinh token đầu ra rồi ghép lại thành chữ.

Bước cắt theo từ vựng quyết định số token. Một từ phổ biến có thể là một token, một từ lạ hoặc một từ tiếng Việt có dấu có thể bị cắt thành nhiều mảnh, nên đếm ra nhiều token hơn.

Giả sử doanh nghiệp đưa cùng một đoạn nội dung qua hai mô hình khác nhau. Mỗi mô hình có tokenizer riêng nên cắt ra số token khác nhau, dẫn tới chi phí mỗi lần gọi cũng khác.

Với một câu tiếng Việt có dấu, tokenizer thường cắt thành nhiều mảnh nhỏ hơn so với một câu tiếng Anh cùng nghĩa. Vì thế cùng một ý, bản tiếng Việt đếm ra nhiều token hơn và tốn tiền hơn.

Kết quả là số token, chứ không phải số chữ, mới là thứ quyết định chi phí. Đó là lý do hai đoạn nhìn dài bằng nhau nhưng hoá đơn lại lệch nhau khi khác ngôn ngữ hoặc khác mô hình.

Cách cắt và ngôn ngữ tạo ra khác biệt rõ về số token:

Doanh nghiệp dùng nhiều tiếng Việt nên lường trước rằng cùng một ý sẽ tốn token hơn bản tiếng Anh. Đây là yếu tố cần tính khi ước chi phí và chọn mô hình.

Thiết kế một tokenizer cần cân vài điểm:

• Độ lớn từ vựng. Từ vựng lớn cắt ra ít token hơn, nhưng nặng bộ nhớ và khó bao hết từ.
• Độ mịn khi cắt. Cắt nhỏ tới mảnh từ thì xử lý được từ lạ, nhưng đếm ra nhiều token hơn.
• Độ phủ ngôn ngữ. Tokenizer học chủ yếu trên tiếng Anh thường cắt tiếng Việt kém gọn hơn.

Doanh nghiệp không tự thiết kế tokenizer, nhưng hiểu trục này giúp chọn mô hình có tokenizer cắt tiếng Việt gọn hơn, từ đó tiết kiệm token và chi phí.

Tokenizer có thể cắt ở nhiều mức khác nhau, mỗi mức có ưu nhược riêng:

Đa số mô hình hiện nay cắt theo mảnh từ vì cân bằng được giữa số token và khả năng xử lý từ lạ. Với tiếng Việt có dấu, cách cắt mảnh từ là lý do một từ đôi khi tách thành vài token.

• Tưởng một từ là một token. Một từ có thể là nhiều token, nhất là từ lạ hoặc từ có dấu.
• Tưởng đếm chữ là đếm token. Chi phí và giới hạn tính theo token, không theo số chữ.
• Tưởng mọi mô hình cắt giống nhau. Mỗi mô hình có tokenizer riêng nên số token khác nhau.
• Tưởng tiếng Việt và tiếng Anh tốn token bằng nhau. Tiếng Việt có dấu thường tốn token hơn.
• Tưởng cắt prompt ngắn lại là mất nghĩa. Bỏ chữ thừa giảm token mà vẫn giữ ý.

Phần lớn ngộ nhận đến từ việc lấy số chữ làm thước đo. Token mới là đơn vị mô hình tính, và cách cắt token phụ thuộc cả mô hình lẫn ngôn ngữ.

MONA dùng tokenizer như một thước đo chi phí thực khi triển khai AI:

• Đo số token thật. Chạy thử trên dữ liệu doanh nghiệp để biết một lần gọi tốn bao nhiêu token.
• Chọn mô hình cắt gọn. Ưu tiên mô hình có tokenizer cắt tiếng Việt ít token hơn.
• Cắt prompt thừa. Bỏ chữ không cần thiết để giảm token mà giữ nguyên ý.
• Ước và giám sát chi phí. Tính tiền theo token và theo dõi để không vượt ngân sách.

Dữ liệu đưa qua tokenizer có thể chứa thông tin cá nhân khách hàng. MONA xử lý theo nguyên tắc dữ liệu của Nghị định 13/2023 trong cả luồng đưa văn bản vào mô hình.

Tokenizer trở nên quan trọng khi doanh nghiệp dùng AI ở quy mô và cần kiểm soát chi phí:

• Gọi AI số lượng lớn. Mỗi token tốn tiền, sai số nhỏ nhân lên thành khoản lớn.
• Xử lý nhiều tiếng Việt. Tiếng Việt có dấu tốn token hơn nên cần lường trước.
• Đưa tài liệu dài vào AI. Giới hạn ngữ cảnh tính theo token, cần biết để không bị cắt.
• So chọn mô hình. Cùng việc, mô hình cắt khéo hơn thì rẻ hơn ở quy mô.

Khi chỉ thử AI vài lần, tokenizer ít ảnh hưởng. Khi đưa AI vào vận hành thật với khối lượng lớn, hiểu tokenizer là điều kiện để kiểm soát chi phí.

Tokenizer dễ hiểu nhưng tính đúng chi phí token và tối ưu cho tiếng Việt cần kinh nghiệm thực chiến. Doanh nghiệp nên cân nhắc MONA khi:

• Muốn ước chính xác chi phí AI theo token trên dữ liệu thật của mình.
• Xử lý nhiều nội dung tiếng Việt và cần giảm token mà giữ chất lượng.
• Cần chọn mô hình có tokenizer cắt tiếng Việt gọn và rẻ hơn ở quy mô.
• Muốn đưa tài liệu dài vào AI mà không vượt giới hạn ngữ cảnh.

MONA đo token thật, tối ưu prompt và chọn mô hình hợp ngân sách doanh nghiệp. Tham khảo Sale AI cho tư vấn và bán hàng bằng AI, LMS AI cho đào tạo và nội dung học bằng AI.