Temperature là gì — núm vặn điều chỉnh độ ngẫu nhiên và sáng tạo của đầu ra AI

Bài này dành cho chủ doanh nghiệp và người quyết. Temperature được giải bằng ẩn dụ dễ hiểu, kèm cơ chế, cách chọn theo loại việc và cách dùng đúng.

Vì sao đáng quan tâm: đặt sai nhiệt khiến AI hoặc cứng nhắc lặp lại, hoặc bay quá đà tới mức bịa thông tin. Một núm vặn nhỏ quyết định kết quả dùng được hay không.

Hình dung một núm vặn nhiệt. Vặn xuống thấp thì mọi thứ nguội, ổn định, gần như đứng yên. Vặn lên cao thì mọi thứ nóng, dao động mạnh, biến hoá khôn lường. Temperature điều chỉnh đầu ra AI đúng theo kiểu đó.

Một cách hình dung khác là hai kiểu nhân viên. Người kỷ luật luôn làm đúng quy trình, đáp án nào chắc nhất thì chọn, nên kết quả ổn định và lặp lại được. Người phóng khoáng dám thử cách diễn đạt mới, đưa ý lạ, nên kết quả phong phú nhưng đôi khi lệch khỏi yêu cầu.

Nhiệt thấp là người kỷ luật. Nhiệt cao là người phóng khoáng. Temperature là núm chọn AI nghiêng về kỷ luật hay phóng khoáng, tuỳ việc cần độ chính xác hay cần ý tưởng.

Mỗi bước, mô hình ngôn ngữ tính xác suất cho nhiều token có thể đứng kế tiếp, rồi chọn một token theo các xác suất đó. Temperature điều chỉnh độ sắc của phân bố xác suất này trước khi chọn.

• Nhiệt thấp. Phân bố sắc lại, token xác suất cao càng nổi trội, AI gần như luôn chọn phương án chắc nhất.
• Nhiệt cao. Phân bố phẳng ra, các token ít khả năng hơn cũng có cơ hội được chọn, đầu ra đa dạng hơn.
• Gần 0. AI gần như luôn chọn token nhiều khả năng nhất, kết quả gần như lặp lại y nhau.

Temperature tác động ngay trong bước inference, là lúc mô hình sinh từng token, nên đổi nhiệt là đổi cách AI chọn chữ chứ không đổi kiến thức nền của mô hình.

• Kết quả ổn định. Việc cần chính xác đặt nhiệt thấp để AI trả lời nhất quán.
• Lặp lại được. Cùng đầu vào cho cùng đầu ra, dễ kiểm thử và đối chiếu.
• Kiểm soát rủi ro lệch. Hạ nhiệt giảm khả năng AI bay quá đà rồi sai.
• Hợp đúng việc. Việc cần ý tưởng nâng nhiệt cho đa dạng, việc cần đúng thì hạ.
• Đỡ chi phí sửa. Chọn nhiệt đúng từ đầu giảm số lần phải duyệt và làm lại.

Temperature là núm vặn nhỏ nhưng định đoạt AI dùng được cho việc nào. Không hiểu nó dễ dẫn tới kỳ vọng sai về AI.

Một bước sinh chữ đi qua bốn nhịp:

• Tính xác suất. Mô hình cho mỗi token kế tiếp một xác suất khả dĩ.
• Điều chỉnh nhiệt. Temperature làm phân bố sắc lại hoặc phẳng ra.
• Lấy mẫu chọn. Một token được chọn theo phân bố đã điều chỉnh.
• Sinh đầu ra. Lặp lại từng token cho tới khi xong câu trả lời.

Điểm cốt lõi là temperature không thêm hay bớt kiến thức của mô hình. Nó chỉ đổi cách mô hình chọn giữa các phương án nó vốn cân nhắc, nên nhiệt cao không làm AI thông minh hơn, chỉ làm đầu ra đa dạng hơn.

Giả sử cùng một câu hỏi được gửi cho AI nhiều lần. Ở nhiệt thấp, các lần trả lời gần như giống nhau, bám sát và ổn định, hợp việc cần đáp án nhất quán như tra cứu chính sách.

Ở nhiệt cao, mỗi lần trả lời một cách diễn đạt khác, ý phong phú hơn, hợp việc cần nhiều phương án như nghĩ tiêu đề hay ý tưởng nội dung. Đổi lại, vài phương án có thể lệch khỏi yêu cầu và cần người soát.

Cùng một mô hình, cùng một câu hỏi, chỉ đổi nhiệt mà tính chất đầu ra khác hẳn. Đó là lý do chọn nhiệt là quyết định thiết kế, không phải để mặc định.

Hai mức nhiệt phục vụ hai mục đích khác nhau:

Không có mức nhiệt tốt cho mọi việc. Nhiệt thấp hợp việc cần đúng và ổn định, nhiệt cao hợp việc cần phong phú. Chọn nhiệt theo loại việc mới là cách dùng đúng.

Đặt nhiệt cho đầu ra cần cân vài điểm:

• Độ ổn định. Nhiệt thấp cho kết quả nhất quán, lặp lại và dễ kiểm thử.
• Độ đa dạng. Nhiệt cao cho nhiều phương án và cách diễn đạt mới.
• Rủi ro lệch. Nhiệt càng cao càng dễ ra phương án lạc khỏi yêu cầu.

Cách làm đúng là chọn nhiệt theo việc rồi kiểm thử thực tế. Việc cần đúng và an toàn nghiêng về nhiệt thấp, việc cần ý tưởng nghiêng về nhiệt cao, và luôn có người soát phần rủi ro.

Mỗi loại việc có một mức nhiệt phù hợp, chọn theo nhu cầu chính xác hay sáng tạo:

Thực tế thường bắt đầu từ nhiệt thấp cho phần lõi cần đúng, làm cho chắc, rồi mới nâng nhiệt ở những khâu cần ý tưởng và luôn kèm người soát.

• Tưởng nhiệt cao là AI thông minh hơn. Nhiệt cao chỉ làm đầu ra đa dạng hơn, không thêm kiến thức cho mô hình.
• Để nhiệt cao cho việc cần đúng. Tra cứu hay rút trường mà nhiệt cao thì kết quả chập chờn, dễ sai.
• Để nhiệt quá thấp cho việc cần ý tưởng. Nhiệt quá thấp khiến phương án nghèo nàn và lặp lại.
• Tưởng hạ nhiệt là hết bịa. Hạ nhiệt giảm bay lung tung nhưng không xoá được ảo giác, vẫn cần kiểm.
• Đặt một mức nhiệt cho mọi việc. Mỗi loại việc một mức nhiệt riêng mới hợp.

Phần lớn lỗi với temperature đến từ dùng một mức nhiệt cho tất cả và kỳ vọng sai về vai trò của nó. Temperature điều chỉnh độ ngẫu nhiên, không phải điều chỉnh độ đúng.

MONA đặt temperature theo từng khâu nghiệp vụ thay vì một mức chung:

• Phân loại việc. Tách khâu cần chính xác khỏi khâu cần ý tưởng.
• Chọn nhiệt phù hợp. Khâu cần đúng đặt nhiệt thấp, khâu cần sáng tạo nâng nhiệt.
• Kiểm thử thực tế. Chạy thử nhiều lần, đối chiếu độ ổn định và độ lệch.
• Đặt người soát. Phần rủi ro và phần nhiệt cao luôn có người duyệt.

Đầu vào và đầu ra của AI có thể chứa thông tin cá nhân. MONA tuân thủ guardrails và nguyên tắc dữ liệu theo Nghị định 13/2023 trong cả luồng xử lý, không để việc đặt nhiệt ảnh hưởng tới an toàn dữ liệu.

Temperature cần được chọn cẩn thận khi AI tham gia vào việc có hệ quả, không chỉ trò chuyện cho vui:

• Trả lời theo dữ liệu công ty. Tra cứu chính sách, hồ sơ cần nhiệt thấp để nhất quán.
• Nối vào quy trình tự động. Rút trường, phân loại cần ổn định để hệ thống dùng được.
• Sản xuất nội dung. Nghĩ ý tưởng, tiêu đề cần nhiệt cao hơn cho đa dạng.
• Việc có rủi ro. Tài chính, pháp lý cần nhiệt thấp và người duyệt chặt.

Khi AI chỉ trò chuyện thử nghiệm, mức nhiệt mặc định thường đủ. Khi AI tham gia việc thật và có hệ quả, chọn nhiệt theo từng khâu là điều kiện để kết quả tin cậy.

Temperature dễ hiểu nhưng chọn đúng nhiệt cho từng khâu và kiểm thử ổn định cần kinh nghiệm. Doanh nghiệp nên cân nhắc MONA khi:

• Muốn AI trả lời theo dữ liệu công ty một cách ổn định và nhất quán.
• Cần đặt nhiệt khác nhau cho khâu cần đúng và khâu cần ý tưởng.
• Cần kiểm thử độ ổn định và kiểm soát rủi ro lệch trước khi đưa vào dùng thật.
• Muốn đưa AI vào quy trình một cách an toàn, đo được và có người soát.

MONA thiết kế cấu hình AI theo từng khâu nghiệp vụ và kiểm thử trước khi triển khai. Tham khảo Sale AI cho trả lời và phân loại ổn định, LMS AI cho khâu sinh nội dung học liệu cần cân ổn định và đa dạng.