Logits là gì — điểm số thô mô hình chấm cho mỗi từ ứng viên trước khi quy thành xác suất

Bài này dành cho chủ doanh nghiệp và người quyết. Logits được giải bằng ẩn dụ dễ hiểu, kèm cơ chế từ điểm thô thành xác suất và cách hiểu đúng.

Vì sao đáng quan tâm: logits là gốc của những núm điều khiển quen thuộc. Hiểu nó giúp nắm vì sao temperature và top-p lại đổi được hành vi mô hình.

Hình dung một cuộc thi có ban giám khảo. Mỗi thí sinh được giám khảo cho một điểm thô, ví dụ tám phẩy năm, bảy phẩy hai, chín. Điểm thô này nói thí sinh nào đang được chuộng hơn, nhưng chưa phải tỷ lệ bình chọn cuối.

Muốn ra phần trăm bình chọn, ban tổ chức quy đổi cả bảng điểm thô thành tỷ lệ cộng lại bằng một trăm. Lúc đó mới biết mỗi thí sinh chiếm bao nhiêu phần trăm.

Logits chính là điểm chấm thô đó. Logits cho biết mô hình thiên về từ nào, nhưng chưa phải xác suất; phần trăm chỉ xuất hiện sau bước quy đổi.

Ở bước cuối, mô hình tạo ra một dãy điểm số thô, mỗi từ trong từ vựng một điểm. Dãy điểm thô này là logits. Chúng có thể âm hoặc dương, lớn nhỏ tuỳ mức mô hình chuộng từ đó.

• Logits. Điểm thô cho mỗi từ ứng viên, chưa cộng lại bằng một.
• Softmax. Hàm biến cả dãy logits thành xác suất cộng lại bằng một.
• Xác suất. Phần trăm khả năng mỗi từ được chọn làm từ kế tiếp.
• Chọn từ. Bước lấy mẫu áp dụng temperature, top-p để rút ra một từ.

Trật tự cố định là logits rồi softmax rồi xác suất rồi chọn từ. Các núm như temperature thực ra tác động vào logits trước khi qua softmax, nên ảnh hưởng thẳng tới dáng phân bố. Mỗi từ ở đây là một token.

• Nắm gốc các núm điều khiển. Hiểu logits thì hiểu vì sao temperature và top-p đổi hành vi.
• Đo được độ tự tin. Khoảng cách giữa các logits cho biết mô hình chắc chắn hay phân vân.
• Kiểm soát đầu ra. Có thể ưu tiên hay chặn một số từ ngay ở tầng logits.
• Chẩn lỗi tốt hơn. Biết nhìn vào điểm thô để hiểu vì sao mô hình chọn từ lạ.
• Đặt ngưỡng quyết định. Dùng độ tự tin để quyết khi nào tự động, khi nào chuyển người.

Logits là tầng nền của mọi hành vi sinh chữ. Hiểu nó giúp đội ngũ điều chỉnh mô hình có cơ sở, không chỉ vặn núm theo cảm tính.

Một bước sinh từ đi qua bốn nhịp:

• Chấm logits. Mô hình cho mỗi từ trong từ vựng một điểm thô.
• Softmax. Hàm này quy cả dãy điểm thô thành xác suất cộng lại bằng một.
• Có phân bố xác suất. Mỗi từ giờ có một phần trăm khả năng được chọn.
• Chọn từ. Bước lấy mẫu áp temperature, top-p rồi rút ra một từ duy nhất.

Điểm cần nhớ là logits chưa dùng để chọn được; phải qua softmax thành xác suất rồi mới chọn. Nhiều thiết lập như inference cho phép can thiệp vào logits để định hình kết quả ngay từ gốc.

Giả sử mô hình đang chọn từ tiếp theo cho câu chưa xong. Ở bước này nó chấm điểm thô cho vài từ ứng viên, ví dụ từ A được chín, từ B được tám, từ C được năm.

Các điểm thô này là logits, chưa cộng lại bằng một nên không đọc thẳng ra phần trăm. Sau khi qua softmax, chúng thành xác suất, ví dụ từ A khoảng sáu mươi phần trăm, từ B khoảng ba mươi phần trăm, từ C khoảng mười phần trăm.

Lúc này bước chọn từ mới vào cuộc. Logits càng cách xa nhau thì phân bố càng dồn vào từ dẫn đầu; càng sát nhau thì xác suất càng dàn đều và kết quả càng dễ đổi.

Hai dạng số này đứng ở hai nhịp khác nhau của cùng một bước sinh từ:

Logits là tín hiệu gốc, xác suất là dạng đã chuẩn hoá để chọn. Cả hai nói cùng một thứ tự ưu tiên, chỉ khác cách biểu diễn và thời điểm dùng.

Khoảng cách giữa các logits quyết định dáng của phân bố xác suất:

• Độ chắc chắn. Logits cách xa nhau thì xác suất dồn vào từ dẫn đầu, đầu ra ổn định.
• Độ đa dạng. Logits sát nhau thì xác suất dàn đều, nhiều từ có cơ hội, kết quả phong phú.
• Ảnh hưởng của núm. Temperature kéo giãn hay nén khoảng cách logits trước softmax.

Cách làm đúng là chọn việc cần chắc thì giữ phân bố dồn, việc cần sáng tạo thì cho phân bố dàn hơn. Đây chính là điều temperature và top-p điều chỉnh, đều bắt nguồn từ logits.

Logits không chỉ là bước trung gian, nó còn là điểm can thiệp hữu ích, chọn theo nhu cầu:

Việc tác động vào logits là nền của nhiều kỹ thuật điều khiển đầu ra. Đặt ngưỡng độ tự tin còn giúp giảm rủi ro hallucination bằng cách chuyển người khi mô hình phân vân.

• Tưởng logits là xác suất. Logits là điểm thô, phải qua softmax mới thành xác suất cộng lại bằng một.
• Tưởng logits âm là vô nghĩa. Logits âm vẫn là điểm hợp lệ, chỉ là từ đó đang ít được chuộng.
• Tưởng điểm cao là chắc chắn đúng. Điểm cao chỉ là mô hình chuộng từ đó, không bảo đảm nội dung đúng.
• Tưởng đổi temperature là đổi logits gốc. Mô hình vẫn chấm cùng logits, temperature chỉ kéo giãn trước softmax.
• Tưởng độ tự tin cao là không cần kiểm. Mô hình có thể tự tin mà vẫn sai, trường quan trọng vẫn cần người duyệt.

Phần lớn hiểu nhầm đến từ lẫn lộn điểm thô với xác suất và lẫn độ tự tin với độ đúng. Logits lo việc mô hình thiên về từ nào, còn đúng sai là chuyện khác cần kiểm riêng.

MONA dùng hiểu biết về logits để điều chỉnh mô hình có cơ sở, không vặn núm theo cảm tính:

• Xác định kiểu việc. Việc cần chắc giữ phân bố dồn, việc cần sáng tạo cho dàn hơn.
• Chỉnh núm dựa trên logits. Đặt temperature và top-p theo dáng phân bố mong muốn.
• Dùng độ tự tin đặt ngưỡng. Khoảng cách logits hẹp thì chuyển người soát.
• Đo và tinh chỉnh. Theo dõi kết quả thật rồi điều chỉnh thay vì đoán.

Dữ liệu đi qua mô hình có thể chứa thông tin cá nhân. MONA xử lý theo nguyên tắc dữ liệu của Nghị định 13/2023 trong cả luồng, kể cả khi ghi nhật ký logits để chẩn lỗi.

Logits đáng để ý khi doanh nghiệp muốn kiểm soát hành vi mô hình sâu hơn mức chỉnh núm mặc định:

• Cần đo độ tự tin. Dùng khoảng cách logits để quyết khi nào tự động, khi nào chuyển người.
• Cần ràng buộc đầu ra. Ưu tiên hoặc chặn một số từ ngay ở tầng điểm thô.
• Cần chẩn lỗi sâu. Nhìn logits để hiểu vì sao mô hình chọn từ ngoài ý.
• Cần tinh chỉnh có cơ sở. Đặt temperature và top-p dựa trên dáng phân bố thật.

Với nhu cầu dùng thông thường, chỉ cần hiểu logits là gốc của các núm là đủ. Khi cần kiểm soát đầu ra ở mức sản phẩm, làm việc trực tiếp với logits trở nên đáng giá.

Logits dễ hiểu về khái niệm, nhưng dùng nó để kiểm soát đầu ra và đặt ngưỡng tự tin trong sản phẩm thật cần kinh nghiệm. Doanh nghiệp nên cân nhắc MONA khi:

• Muốn đặt ngưỡng độ tự tin để quyết khi nào AI tự động, khi nào chuyển người.
• Cần ràng buộc đầu ra theo khuôn nghiệp vụ ngay từ tầng logits.
• Cần chẩn lỗi vì sao mô hình chọn từ ngoài ý và xử lý triệt để.
• Muốn tinh chỉnh temperature và top-p có cơ sở đo lường, không đoán mò.

MONA thiết kế luồng kiểm soát đầu ra dựa trên logits và độ tự tin cho hệ thống doanh nghiệp. Tham khảo Sale AI cho luồng trả lời có ngưỡng tự tin, LMS AI cho sinh nội dung học có kiểm soát.