Batch Inference là gì — gộp nhiều yêu cầu chạy chung một mẻ để giảm chi phí trên mỗi yêu cầu

Bài này dành cho chủ doanh nghiệp và người quyết. Batch inference được giải bằng ẩn dụ dễ hiểu, kèm khác xử lý thời gian thực, cơ chế và cách dùng đúng.

Vì sao đáng quan tâm: chọn đúng giữa chạy theo lô và chạy từng cái quyết định chi phí của cả một quy trình suy luận AI khi quy mô lớn.

Hình dung một bếp ăn. Nếu mỗi khách gọi món thì bật bếp nấu riêng một phần, bếp lúc nào cũng cháy nhưng mỗi lần chỉ ra một suất, tốn gas và tốn công cho mỗi suất.

Nếu gom đơn của cả buổi rồi nấu một mẻ lớn, cùng một lần đỏ lửa ra được nhiều suất. Chi phí gas và công chia đều nên mỗi suất rẻ hơn nhiều.

Xử lý từng yêu cầu lẻ là nấu từng phần. Batch inference là gom đơn nấu một mẻ lớn. Cùng một lần khởi động phần cứng, mô hình xử lý được cả lô, nên chi phí trên mỗi yêu cầu giảm xuống.

Phần cứng chạy mô hình AI, nhất là GPU, xử lý song song rất tốt. Khi đưa nhiều yêu cầu vào cùng một lượt, mô hình tính chung trên một lô nên mỗi đơn vị phần cứng làm được nhiều việc hơn trong cùng thời gian.

• Gom thành lô. Nhiều yêu cầu được xếp chung vào một batch trước khi chạy.
• Chạy song song. Phần cứng tính cả lô trong một lượt thay vì lặp từng cái.
• Chia đều chi phí. Phần phần cứng cố định được dùng hết, nên mỗi yêu cầu gánh ít hơn.

Đánh đổi là phải chờ gom đủ lô và chờ cả lô chạy xong, nên độ trễ cho từng yêu cầu cao hơn so với chạy lẻ tức thì.

• Giảm chi phí mỗi yêu cầu. Chia phần phần cứng cho cả lô nên mỗi yêu cầu rẻ hơn.
• Tận dụng phần cứng. GPU chạy hết công suất thay vì để trống giữa các yêu cầu lẻ.
• Hợp việc hàng loạt. Phân loại tồn kho, gắn nhãn ảnh, tóm tắt cả kho tài liệu.
• Mở rộng quy mô. Xử lý hàng triệu bản ghi mà chi phí không tăng tuyến tính.
• Lập lịch linh hoạt. Chạy vào giờ thấp điểm hoặc khi phần cứng rảnh.

Batch inference là đòn bẩy chi phí cho mọi việc AI ở quy mô lớn không đòi tức thì. Bỏ qua nó khi xử lý hàng loạt là trả giá cao gấp nhiều lần.

Một luồng batch inference đi qua bốn nhịp:

• Gom yêu cầu. Xếp nhiều yêu cầu vào hàng đợi cho tới khi đủ một lô.
• Đưa cả lô vào mô hình. Toàn bộ lô được xử lý chung một lượt.
• Chạy song song. Phần cứng tính cả lô cùng lúc để tận dụng công suất.
• Trả kết quả cả lô. Kết quả được tách lại theo từng yêu cầu rồi đẩy vào hệ thống.

Kích thước lô là điểm cần cân. Lô lớn thì rẻ hơn nhưng chờ lâu hơn và tốn bộ nhớ phần cứng, nên cần chọn cỡ lô hợp với việc và hạ tầng.

Giả sử doanh nghiệp có một kho hàng trăm nghìn ảnh sản phẩm cần gắn nhãn loại hàng. Nếu gọi mô hình xử lý từng ảnh tức thì, chi phí mỗi ảnh cao và phần cứng để trống giữa các lần gọi.

Với batch inference, hệ thống gom ảnh thành các lô rồi chạy một mẻ qua đêm khi không ai cần kết quả ngay. Cả kho được gắn nhãn xong vào sáng hôm sau.

Kết quả là cùng một việc nhưng chi phí mỗi ảnh thấp hơn nhiều và phần cứng được dùng hết công suất. Đó là cách batch inference biến một việc hàng loạt tốn kém thành rẻ và gọn.

Hai cách chạy phục vụ hai mục đích khác nhau:

Thời gian thực cần khi người dùng đang chờ trước màn hình. Batch inference hợp khi xử lý khối lượng lớn mà kết quả không cần ngay. Nhiều hệ thống dùng cả hai cho hai loại việc.

Chọn chạy theo lô cần cân vài điểm:

• Chi phí mỗi yêu cầu. Lô càng lớn càng chia đều phần cứng nên càng rẻ.
• Thời gian chờ. Phải đợi gom đủ lô và đợi cả lô chạy xong nên chờ lâu hơn.
• Bộ nhớ phần cứng. Lô quá lớn vượt bộ nhớ GPU thì không chạy được.

Cách làm đúng là chọn cỡ lô vừa đủ lớn để rẻ mà thời gian chờ vẫn nằm trong mức việc cho phép, không phải cứ lô càng to càng tốt.

Chọn cách chạy theo tính chất của việc, không theo thói quen:

Quy tắc gọn: có người đang chờ trước màn hình thì chạy thời gian thực, còn việc khối lượng lớn không gấp thì gom lô cho rẻ.

• Tưởng theo lô luôn rẻ hơn nên việc gì cũng gom. Việc cần tức thì mà gom lô thì người dùng chờ lâu, hỏng trải nghiệm.
• Tưởng lô càng to càng tốt. Lô vượt bộ nhớ phần cứng thì không chạy, lô quá to thì chờ quá lâu.
• Quên thời gian chờ là một chi phí. Tiết kiệm tiền nhưng trễ hạn việc cũng là thiệt.
• Bỏ xử lý lỗi trong lô. Một yêu cầu lỗi không nên kéo cả lô hỏng theo.
• Tưởng cài một lần là xong. Cỡ lô và lịch chạy cần chỉnh theo khối lượng thực tế.

Phần lớn lỗi với batch inference đến từ gom lô cho việc cần tức thì, hoặc đặt cỡ lô không hợp hạ tầng. Chọn đúng việc và đúng cỡ lô mới ra được cái rẻ thật.

MONA dùng batch inference như cách hạ chi phí AI cho việc hàng loạt một cách an toàn:

• Tách việc gấp và không gấp. Việc người đang chờ chạy thời gian thực, việc khối lượng lớn gom lô.
• Đặt cỡ lô và lịch chạy. Chọn cỡ lô hợp bộ nhớ phần cứng, chạy vào giờ thấp điểm.
• Xử lý lỗi trong lô. Một yêu cầu lỗi được tách riêng, không kéo cả lô hỏng.
• Nối kết quả vào hệ thống. Kết quả cả lô được tách theo bản ghi rồi đưa vào hệ thống.

Dữ liệu chạy theo lô có thể chứa thông tin cá nhân. MONA tuân thủ nguyên tắc bảo vệ dữ liệu theo Nghị định 13/2023 trong cả luồng gom lô, xử lý và lưu kết quả.

Batch inference cần khi việc có khối lượng lớn và không đòi trả lời tức thì:

• Xử lý kho dữ liệu lớn. Gắn nhãn ảnh, tóm tắt tài liệu, trích thông tin hàng loạt.
• Chạy định kỳ theo lịch. Phân loại tồn kho, làm báo cáo cuối ngày, đồng bộ dữ liệu.
• Làm giàu dữ liệu nền. Bổ sung nhãn, điểm, mô tả cho cả cơ sở dữ liệu.
• Tối ưu chi phí ở quy mô. Khi số yêu cầu lớn tới mức chi phí mỗi cái thành vấn đề.

Khi người dùng đang chờ trước màn hình, xử lý thời gian thực là bắt buộc. Khi việc lớn mà kết quả có thể chờ, batch inference là cách hạ chi phí rõ rệt.

Batch inference dễ hiểu nhưng đặt đúng cỡ lô, lịch chạy và xử lý lỗi cho an toàn cần kinh nghiệm. Doanh nghiệp nên cân nhắc MONA khi:

• Có khối lượng lớn việc AI không gấp và muốn hạ chi phí mỗi yêu cầu.
• Cần tách rạch ròi việc thời gian thực và việc chạy theo lô trong cùng hệ thống.
• Cần đặt cỡ lô và lịch chạy hợp hạ tầng, có xử lý lỗi từng yêu cầu.
• Muốn đưa xử lý hàng loạt vào quy trình một cách ổn định và đo được.

MONA thiết kế luồng xử lý theo lô và nối kết quả vào hệ thống doanh nghiệp có kiểm soát. Tham khảo phần mềm nhập hàng cho xử lý chứng từ hàng loạt, LMS AI cho chấm và phân loại bài học theo lô.