Sampling Top-p (nucleus sampling) là gì — cách mô hình AI chọn từ kế tiếp và vì sao chủ doanh nghiệp nên biết

Bài này dành cho chủ doanh nghiệp và người quyết. Top-p được giải bằng ẩn dụ dễ hiểu, kèm cơ chế, ví dụ và cách đặt đúng cho từng việc.

Vì sao đáng quan tâm: top-p quyết định AI trả lời chắc tay hay bay bổng. Đặt sai thì chatbot tư vấn lại sáng tác, hoặc bài quảng cáo lại khô cứng. Đặt đúng thì cùng một mô hình phục vụ được cả việc cần chuẩn xác lẫn việc cần sáng tạo.

Hình dung một thực đơn dài, các món xếp theo mức được yêu thích từ cao xuống thấp. Top-p giống như quy tắc: chỉ gọi món trong nhóm được yêu thích nhất, gộp lại tới một phần thực đơn nhất định, rồi chọn trong nhóm đó. Phần còn lại, những món ít ai gọi, bị bỏ qua.

Ngưỡng đặt thấp nghĩa là chỉ lấy vài món đầu bảng, gần như lúc nào cũng ra món an toàn quen thuộc. Ngưỡng đặt cao nghĩa là mở rộng nhóm xét tới gần hết thực đơn, có cơ hội gặp món lạ, nhưng cũng rủi ro vơ phải món dở.

Top-p là luật chỉ chọn trong nhóm món ngon nhất, thay vì chọn đại trong cả thực đơn kể cả những món dở. Nhờ vậy AI tránh được những từ phi lý ở đuôi danh sách, mà vẫn giữ được độ đa dạng vừa đủ trong nhóm đầu.

Mỗi bước sinh từ, mô hình gán cho mọi từ ứng viên một xác suất. Top-p sắp xếp các từ theo xác suất giảm dần, cộng dồn từ cao xuống thấp, và cắt lại đúng khi tổng vừa chạm ngưỡng đã đặt. Nhóm vừa cắt được gọi là nucleus, tức cái nhân, nên mới có tên nucleus sampling. Từ kế tiếp được chọn ngẫu nhiên trong nhóm này.

• Top-p chọn theo tổng xác suất. Nhóm xét co giãn theo tình huống: lúc ngữ cảnh chắc chắn thì nhóm nhỏ, lúc mơ hồ thì nhóm to.
• Top-k chọn theo số lượng cố định. Luôn lấy đúng một số từ đầu bảng, không quan tâm tổng xác suất.

Khác biệt cốt lõi: top-k đếm đầu từ, top-p đo phần xác suất. Vì nhóm của top-p tự co giãn theo độ chắc chắn của ngữ cảnh, nó thường cho đầu ra mượt hơn top-k cố định. Top-p làm việc trên xác suất của từng token mà mô hình tính ra trong bước inference.

• Kiểm soát giọng AI. Cùng một mô hình có thể trả lời chắc tay hoặc bay bổng tuỳ ngưỡng đặt.
• Chỉnh độ sáng tạo. Bài quảng cáo cần đa dạng, tư vấn chính sách cần bám sát, mỗi việc một ngưỡng.
• Tránh trả lời lan man. Ngưỡng quá cao dễ làm AI lạc đề; biết núm này để siết lại.
• Đồng nhất thương hiệu. Đặt ngưỡng ổn định giúp giọng nội dung nhất quán qua nhiều lần chạy.
• Chọn đúng theo việc. Một cấu hình không hợp mọi tác vụ; biết top-p để giao đúng việc đúng ngưỡng.

Top-p không phải chi tiết kỹ thuật xa lạ. Nó là núm điều khiển trực tiếp tính cách đầu ra của AI, thứ chủ doanh nghiệp cần hiểu để giao việc cho AI đúng cách.

Một bước top-p sampling đi qua bốn nhịp:

• Tính xác suất. Mô hình gán cho mọi từ ứng viên một mức xác suất cho vị trí kế tiếp.
• Sắp xếp giảm dần. Các từ được xếp từ xác suất cao xuống thấp.
• Cộng dồn tới ngưỡng. Cộng xác suất từ trên xuống, dừng đúng khi tổng chạm ngưỡng đã đặt.
• Chọn trong nhóm nhân. Từ kế tiếp được rút ngẫu nhiên trong nhóm vừa cắt, bỏ qua phần đuôi.

Điểm tinh tế là nhóm nhân tự co giãn. Khi ngữ cảnh chắc chắn, một vài từ đầu đã đủ chạm ngưỡng nên nhóm nhỏ và đầu ra ổn định. Khi ngữ cảnh mơ hồ, phải gom nhiều từ mới đủ ngưỡng nên nhóm rộng và đầu ra đa dạng hơn. Cùng một ngưỡng vẫn linh hoạt theo từng tình huống.

Giả sử hỏi AI viết một câu mở đầu cho bài giới thiệu sản phẩm. Với top-p đặt thấp, mô hình chỉ chọn trong vài từ đầu bảng nên câu mở ra chắc tay, quen thuộc, gần như lặp lại nếu chạy nhiều lần.

Với top-p đặt cao, nhóm xét mở rộng nên mô hình có thể chọn những cách diễn đạt lạ hơn, câu mở mỗi lần một khác, nhiều màu sắc hơn, nhưng cũng có lần đi xa khỏi điều cần nói.

Cùng một câu hỏi, cùng một mô hình, chỉ đổi ngưỡng top-p mà tính cách câu trả lời đổi hẳn. Đó là lý do biết núm này giúp giao việc cho AI đúng tinh thần: việc cần chuẩn đặt ngưỡng thấp, việc cần ý tưởng đặt ngưỡng cao.

Hai mức ngưỡng phục vụ hai loại việc khác nhau:

Không có ngưỡng nào đúng cho mọi việc. Việc cần đúng và chắc thì hạ ngưỡng, việc cần ý tưởng và màu sắc thì nâng ngưỡng. Chọn theo bản chất tác vụ chứ không theo một con số mặc định.

Đặt ngưỡng top-p là cân vài điểm đối nghịch:

• Độ bám sát. Ngưỡng thấp giữ AI bám sát điều cần nói, ít chệch, nhưng dễ khô và lặp.
• Độ đa dạng. Ngưỡng cao cho nhiều cách diễn đạt và ý tưởng, nhưng dễ đi xa ý chính.
• Độ ổn định. Ngưỡng thấp cho kết quả gần như giống nhau qua các lần; ngưỡng cao thì mỗi lần một khác.

Cách làm đúng là chọn ngưỡng theo cái giá của việc đi sai. Việc mà sai một chữ cũng phiền, như tư vấn chính sách hay số liệu, thì hạ ngưỡng. Việc mà cần càng nhiều phương án càng tốt, như viết tiêu đề quảng cáo, thì nâng ngưỡng rồi sàng lọc sau.

Top-p hiếm khi đứng một mình. Nó thường đi cặp với temperature, một núm khác cũng chỉnh độ ngẫu nhiên của đầu ra. Top-p cắt phần đuôi xác suất, còn temperature làm phẳng hay nhọn phân bố xác suất trước khi chọn. Đặt cả hai theo loại việc cho kết quả tốt hơn chỉnh riêng một núm.

Thực tế thường nên chỉnh một núm một, giữ núm còn lại cố định, để thấy rõ tác động của từng cái rồi mới phối. Đặt cả hai cùng cao thì đầu ra dễ loạn, cùng thấp thì dễ khô cứng.

• Tưởng top-p là số lượng từ. Top-p đo tổng xác suất, không phải đếm số từ đầu bảng; đếm số từ là top-k.
• Tưởng ngưỡng cao luôn tốt hơn. Ngưỡng cao chỉ hợp việc cần đa dạng; với việc cần chuẩn xác nó gây lạc đề.
• Tưởng ngưỡng thấp là tắt sáng tạo. Ngưỡng thấp vẫn có chọn lựa trong nhóm đầu, chỉ là an toàn hơn chứ không đơ cứng hoàn toàn.
• Tưởng top-p một mình quyết tất cả. Top-p phối với temperature mới ra tính cách cuối; bỏ qua núm kia dễ hiểu sai kết quả.
• Đặt một ngưỡng cho mọi việc. Một cấu hình không hợp mọi tác vụ; việc khác bản chất cần ngưỡng khác.

Phần lớn lỗi với top-p đến từ nhầm nó là số lượng từ và tin có một ngưỡng đúng cho mọi việc. Top-p là phần xác suất, và ngưỡng đúng phụ thuộc loại việc.

MONA đặt top-p theo bản chất từng tác vụ, không dùng một con số chung:

• Phân loại tác vụ. Tách rõ việc cần chuẩn xác và việc cần sáng tạo trước khi đặt ngưỡng.
• Đặt ngưỡng thử. Việc cần chuẩn hạ ngưỡng, việc cần ý tưởng nâng ngưỡng, phối cùng temperature.
• Đo và so sánh. Chạy nhiều lần, so độ bám sát và độ đa dạng để chọn ngưỡng hợp.
• Chốt theo việc. Mỗi loại tác vụ một cấu hình riêng, giữ ổn định để giọng nội dung nhất quán.

Với các luồng AI xử lý thông tin khách hàng, MONA hạ ngưỡng cho phần cần chính xác và đặt người duyệt cho đầu ra rủi ro, đồng thời tuân thủ nguyên tắc dữ liệu theo Nghị định 13/2023 trong toàn bộ quá trình.

Top-p đáng để ý khi doanh nghiệp đưa AI vào việc thật và muốn kiểm soát tính cách đầu ra:

• Chatbot cần trả lời chắc tay. Tư vấn chính sách, chăm sóc khách hàng cần bám sát, nên hạ ngưỡng.
• Nội dung marketing cần đa dạng. Viết quảng cáo, đặt tiêu đề, nghĩ ý tưởng cần nhiều phương án, nên nâng ngưỡng.
• Đầu ra phải nhất quán. Khi cần giọng thương hiệu ổn định qua nhiều lần chạy, cần đặt ngưỡng cố định hợp lý.
• Một mô hình phục vụ nhiều việc. Khi cùng một AI làm cả việc cần chuẩn lẫn việc cần sáng tạo, cần cấu hình riêng từng luồng.

Khi AI chỉ dùng thử cho vui, ngưỡng mặc định là đủ. Khi AI vào quy trình thật và ảnh hưởng tới khách hàng hay thương hiệu, đặt đúng top-p trở thành việc cần làm nghiêm túc.

Top-p dễ hiểu nhưng đặt đúng cho từng tác vụ và phối với temperature cho ổn định cần kinh nghiệm thực chiến. Doanh nghiệp nên cân nhắc MONA khi:

• Muốn AI vừa trả lời chắc tay cho tư vấn vừa sáng tạo cho nội dung, trong cùng một hệ thống.
• Cần giọng AI nhất quán với thương hiệu qua nhiều luồng và nhiều lần chạy.
• Cần đo và chốt cấu hình top-p, temperature riêng cho từng loại việc thay vì đoán.
• Muốn đưa AI vào quy trình thật một cách kiểm soát được và an toàn về dữ liệu.

MONA thiết kế và tinh chỉnh cấu hình sinh đầu ra cho từng luồng nghiệp vụ, để AI vừa đúng tinh thần vừa ổn định. Tham khảo Sale AI cho chatbot tư vấn và bán hàng, LMS AI cho nội dung đào tạo cần cả chuẩn xác lẫn đa dạng.