Mixture of Experts là gì — gọi đúng chuyên gia con để mô hình lớn chạy rẻ hơn

Bài này dành cho chủ doanh nghiệp và người quyết. MoE được giải bằng ẩn dụ dễ hiểu, kèm khác mô hình đặc, cơ chế và ý nghĩa với chi phí.

Vì sao đáng quan tâm: MoE là lý do nhiều mô hình mạnh hôm nay chạy được với chi phí chấp nhận. Hiểu nó giúp đọc đúng khi chọn mô hình và tính chi phí vận hành.

Hình dung một bệnh viện lớn với rất nhiều bác sĩ chuyên khoa. Khi bệnh nhân tới, lễ tân không gọi tất cả bác sĩ ra khám cùng lúc, mà hỏi vài câu rồi chuyển tới đúng một hai khoa phù hợp.

Nhờ cách đó, bệnh viện có thể rất lớn, đủ chuyên khoa cho mọi loại bệnh, nhưng mỗi bệnh nhân chỉ chiếm thời gian của vài bác sĩ, không phải cả viện.

MoE chính là bệnh viện đó. Các chuyên gia con là bác sĩ chuyên khoa, bộ định tuyến là lễ tân. Mô hình to vì có nhiều chuyên gia, nhưng mỗi câu chỉ gọi vài người, nên chạy nhẹ hơn nhiều so với gọi cả viện.

Trong mô hình MoE, một số tầng được thay bằng tập nhiều mạng con gọi là chuyên gia, kèm một bộ định tuyến. Với mỗi phần đầu vào, bộ định tuyến chọn ra vài chuyên gia để xử lý, các chuyên gia còn lại không hoạt động.

• Nhiều chuyên gia con. Mỗi chuyên gia học giỏi một số kiểu đầu vào.
• Bộ định tuyến. Quyết định câu này nên gửi tới những chuyên gia nào.
• Chỉ kích hoạt một phần. Mỗi lần chạy chỉ dùng vài chuyên gia trên tổng số.

Vì vậy người ta phân biệt tổng số tham số rất lớn và số tham số thực sự hoạt động mỗi câu nhỏ hơn nhiều. Đó là chỗ MoE tiết kiệm so với mô hình đặc kích hoạt toàn bộ.

• Chọn mô hình mạnh mà rẻ hơn. MoE cho phép giỏi ở mức chi phí chạy thấp hơn mô hình đặc cùng cỡ.
• Đọc đúng thông số. Phân biệt tổng tham số và phần hoạt động, tránh bị con số to gây nhầm.
• So sánh nhà cung cấp. Hiểu vì sao hai mô hình cùng cỡ lại khác nhau về giá chạy.
• Tính chi phí thật. Ước lượng chi phí vận hành sát hơn cho bài toán của doanh nghiệp.
• Ra quyết định khôn. Biết khi nào kiến trúc mô hình ảnh hưởng tới lựa chọn.

MoE là khái niệm kỹ thuật, nhưng hiểu sơ giúp chủ doanh nghiệp không bị choáng bởi con số tham số và chọn mô hình đúng nhu cầu.

Một mô hình MoE xử lý câu hỏi theo bốn nhịp:

• Nhận đầu vào. Câu hỏi được tách thành các phần để xử lý.
• Định tuyến. Bộ định tuyến chọn vài chuyên gia phù hợp cho từng phần.
• Chuyên gia xử lý. Chỉ các chuyên gia được chọn hoạt động.
• Gộp kết quả. Đầu ra của các chuyên gia được tổng hợp lại thành câu trả lời.

Toàn bộ việc định tuyến diễn ra tự động bên trong mô hình. Người dùng không thấy, chỉ thấy một mô hình trả lời như bình thường nhưng chạy tiết kiệm hơn.

Giả sử cùng một mô hình MoE nhận hai câu rất khác nhau, một câu hỏi về lập trình và một câu nhờ soạn email. Hai câu này hợp với hai loại chuyên gia khác nhau.

Bộ định tuyến gửi câu lập trình tới các chuyên gia mạnh về mã, gửi câu email tới các chuyên gia mạnh về ngôn ngữ. Mỗi câu chỉ kích hoạt một phần mô hình, phần còn lại nghỉ.

Kết quả là một mô hình duy nhất xử lý tốt nhiều loại việc mà mỗi lần chạy vẫn nhẹ. Đó là cách MoE vừa rộng vừa tiết kiệm, khác với mô hình đặc luôn chạy toàn bộ.

Hai kiểu kiến trúc khác nhau ở cách dùng mô hình mỗi câu:

MoE không phải lúc nào cũng tốt hơn, nhưng nó là cách hiệu quả để có mô hình rất giỏi mà chi phí chạy mỗi câu không tăng theo cùng tỉ lệ với độ lớn.

MoE có cái lợi và cái giá riêng:

• Tính toán mỗi câu. Giảm rõ vì chỉ vài chuyên gia chạy.
• Bộ nhớ. Vẫn phải chứa toàn bộ chuyên gia nên tốn nhiều bộ nhớ.
• Vận hành. Cần cân tải để không dồn quá nhiều câu vào vài chuyên gia.

Với doanh nghiệp, điều cần nhớ là MoE giúp giảm chi phí tính toán khi chạy, nhưng yêu cầu hạ tầng và vận hành cao hơn, nên thường nằm ở phía nhà cung cấp mô hình.

Để thấy lợi ích, hãy nhìn vào hai con số khác nhau của một mô hình MoE:

Khi nhà cung cấp nói mô hình rất lớn nhưng chạy rẻ, thường là nhờ tổng số chuyên gia lớn mà số gọi mỗi câu nhỏ. Đó là chìa khoá kinh tế của MoE.

• Tưởng tổng tham số là phần luôn chạy. Con số to chỉ là tổng, mỗi câu chỉ dùng một phần.
• Tưởng MoE luôn rẻ hơn mọi mặt. Nó tiết kiệm tính toán nhưng tốn bộ nhớ và vận hành.
• Tưởng MoE luôn giỏi hơn mô hình đặc. Tuỳ bài toán, không phải lúc nào cũng vượt trội.
• Tưởng tự dựng MoE dễ. Cân tải và định tuyến là việc khó, thường để nhà cung cấp lo.
• Bỏ qua chất lượng định tuyến. Định tuyến kém làm mô hình trả lời lệch dù có nhiều chuyên gia.

Phần lớn hiểu nhầm đến từ việc nhìn con số tham số tổng mà quên phần thực sự hoạt động. Nắm đúng hai con số này là đủ để đọc thông minh.

MONA không chọn mô hình theo con số tham số to, mà theo việc thật và chi phí:

• Làm rõ nhu cầu. Xác định loại việc, khối lượng, yêu cầu tốc độ của doanh nghiệp.
• Đọc đúng thông số. Phân biệt tổng tham số và phần hoạt động khi mô hình là MoE.
• Thử trên việc thật. Đo chất lượng và chi phí trên đúng bài toán, không tin riêng quảng cáo.
• Tính chi phí chạy. Ước lượng chi phí vận hành theo lưu lượng dự kiến.

Việc chọn mô hình luôn đi kèm bảo mật dữ liệu. MONA tuân thủ guardrails và nguyên tắc dữ liệu theo Nghị định 13/2023 khi đưa mô hình vào hệ thống doanh nghiệp.

MoE là chuyện kiến trúc, nhưng đáng để ý trong vài tình huống:

• Chọn mô hình cho hệ thống. So sánh chi phí chạy giữa các mô hình cùng độ giỏi.
• Lưu lượng lớn. Khi gọi mô hình nhiều, chênh lệch chi phí mỗi câu cộng dồn rất lớn.
• Đọc tài liệu nhà cung cấp. Hiểu con số tham số tổng và phần hoạt động.
• Cân nhắc tự vận hành. Biết MoE đòi hạ tầng cao để khỏi đánh giá sai.

Phần lớn doanh nghiệp không cần tự dựng MoE, nhưng hiểu nó giúp chọn và dùng mô hình đúng, tránh trả tiền cho thứ không cần.

MoE là khái niệm sâu, nhưng quyết định thật là chọn mô hình hợp việc và hợp túi tiền. Doanh nghiệp nên cân nhắc MONA khi:

• Đang phân vân giữa nhiều mô hình và không chắc con số tham số nói lên điều gì.
• Cần ước lượng chi phí chạy thật theo lưu lượng dự kiến của hệ thống.
• Muốn thử mô hình trên đúng việc của doanh nghiệp trước khi cam kết.
• Cần đưa mô hình vào hệ thống một cách an toàn và đo được.

MONA tư vấn chọn và vận hành mô hình theo việc thật và chi phí, không theo con số quảng cáo. Tham khảo Sale AI và LMS AI cho các bài toán dùng mô hình ngôn ngữ trong doanh nghiệp.