Prompt Caching là gì — lưu tạm phần đầu vào lặp lại để gọi AI rẻ hơn và nhanh hơn

Bài này dành cho chủ doanh nghiệp và người quyết. Prompt caching được giải bằng ẩn dụ dễ hiểu, kèm cơ chế, ví dụ chạy thật và cách dùng đúng.

Vì sao đáng quan tâm: phần lớn chi phí gọi AI nằm ở lượng đầu vào phải xử lý. Khi cùng một khối nền lặp lại nhiều lần, lưu tạm khối đó cắt thẳng vào hoá đơn. Đây là đòn bẩy chi phí gắn liền với cửa sổ ngữ cảnh và token.

Hình dung một quán phở. Mỗi tô phở cần nước dùng, mà nước dùng phải ninh nhiều giờ. Nếu mỗi lần khách gọi mà bếp ninh lại một nồi mới thì vừa lâu vừa tốn. Bếp khôn ninh sẵn một nồi nước dùng lớn từ sáng, mỗi tô chỉ chan ra, phần khác nhau là thịt và rau theo từng khách.

Phần đầu vào lặp lại của AI giống nồi nước dùng đó. Tài liệu nền, hướng dẫn hệ thống dài là phần xử một lần rồi để dùng chung. Câu hỏi riêng của từng khách là phần thịt và rau thêm vào sau.

Prompt caching là ninh sẵn nồi nước dùng một lần, để mỗi lần gọi chỉ xử thêm phần khác biệt. Khối nền không phải nấu lại từ đầu, nên rẻ hơn và nhanh hơn.

Khi AI xử một đầu vào, nó biến phần đầu vào thành một trạng thái tính toán trung gian rồi mới sinh câu trả lời. Với phần đầu vào lặp lại không đổi, trạng thái trung gian đó cũng không đổi. Prompt caching lưu tạm trạng thái đó để lần gọi sau nạp lại thay vì tính lại.

• Phần đầu vào ổn định nằm đầu. Khối nền lặp lại được đặt ở đầu đầu vào, phần riêng đặt sau.
• Lưu tạm trạng thái đã xử. Hệ thống giữ lại kết quả xử của khối nền trong một khoảng thời gian.
• Lần sau nạp lại. Gặp đúng khối nền cũ, AI dùng lại trạng thái đã lưu, chỉ xử phần mới.

Vì lưu tạm dựa trên phần đầu giống hệt nhau, một thay đổi nhỏ ở đầu đầu vào sẽ phá phần dùng lại. Đó là lý do thiết kế prompt caching phải tách rõ phần ổn định và phần thay đổi, gắn với context engineering.

• Giảm chi phí gọi. Khối nền lặp lại chỉ tính tiền đầy đủ một lần, các lần sau rẻ hơn nhiều.
• Trả lời nhanh hơn. Bỏ qua bước xử lại khối nền nên thời gian chờ ngắn lại.
• Tải hệ thống nhẹ. Ít tính toán lặp nên một hạ tầng phục vụ được nhiều lượt hơn.
• Dùng được tài liệu nền dài. Đính kèm sổ tay, quy trình dài mà chi phí không phình theo mỗi lượt.
• Mở rộng quy mô. Càng nhiều lượt gọi cùng khối nền, phần tiết kiệm càng lớn.

Prompt caching không đổi nội dung câu trả lời, nó đổi chi phí và tốc độ tạo ra câu trả lời. Đây là đòn bẩy vận hành cho mọi ứng dụng AI gọi lặp nhiều lần.

Một luồng prompt caching đi qua bốn nhịp:

• Tách khối nền. Đưa phần lặp lại như tài liệu nền, hướng dẫn hệ thống lên đầu đầu vào.
• Xử và lưu tạm một lần. Lần đầu xử đầy đủ khối nền rồi giữ lại trạng thái đã xử.
• Lần sau nạp lại. Gặp đúng khối nền cũ, AI dùng lại phần đã lưu, chỉ xử phần câu hỏi mới.
• Trả kết quả. Câu trả lời như cũ nhưng tốn ít hơn và nhanh hơn.

Phần lưu tạm có thời hạn và sẽ hết hạn sau một khoảng nếu không được dùng lại. Vì vậy prompt caching có lợi rõ khi các lượt gọi cùng khối nền diễn ra dồn dập trong thời gian gần nhau.

Giả sử doanh nghiệp có một trợ lý hỏi đáp dựa trên sổ tay nội bộ dài về quy trình và chính sách. Mỗi câu hỏi của nhân viên đều cần cả sổ tay làm nền.

Không có prompt caching, mỗi câu hỏi xử lại toàn bộ sổ tay từ đầu, chi phí và thời gian chờ nhân lên theo từng lượt. Có prompt caching, sổ tay được xử và lưu tạm ở câu hỏi đầu, các câu hỏi sau chỉ xử thêm chính câu hỏi đó.

Kết quả là từ câu thứ hai trở đi, mỗi lượt rẻ hơn rõ rệt và trả lời nhanh hơn, trong khi câu trả lời vẫn dựa trên đúng sổ tay đó. Đây là cách prompt caching cắt chi phí cho ứng dụng gọi lặp trên cùng một khối nền.

Hai cách gọi cho cùng một câu trả lời nhưng khác hẳn về chi phí và tốc độ:

Prompt caching không hứa câu trả lời tốt hơn, nó hứa cùng câu trả lời với chi phí và thời gian thấp hơn khi khối nền được lặp lại nhiều lần.

Đặt prompt caching cho đúng cần cân vài điểm:

• Tỉ lệ phần dùng lại. Khối nền càng lớn so với phần riêng, mỗi lượt tiết kiệm càng nhiều.
• Độ ổn định đầu đầu vào. Một thay đổi nhỏ ở đầu sẽ phá phần dùng lại, nên phần ổn định phải đặt cố định lên trước.
• Khoảng cách thời gian. Lưu tạm có thời hạn, các lượt cách nhau quá xa sẽ không tận dụng được.

Cách làm đúng là tách rõ phần ổn định đặt lên đầu để dùng lại, còn phần thay đổi đặt sau, và gom các lượt gọi cùng khối nền vào khoảng thời gian gần nhau.

Prompt caching có lợi rõ ở những tình huống lặp lại một khối nền lớn, chọn theo cách dùng:

Ngược lại, nếu mỗi lượt gọi có đầu vào hoàn toàn khác nhau, không có khối nền lặp lại, thì prompt caching gần như không giúp gì. Lợi ích đến từ phần được lặp, không phải từ tổng lượng đầu vào.

• Tưởng câu trả lời được lưu sẵn. Phần lưu là trạng thái xử của khối nền đầu vào, không phải câu trả lời cho sẵn, nên kết quả vẫn được sinh mới mỗi lượt.
• Tưởng mọi lần gọi đều rẻ đi. Chỉ lượt có khối nền lặp lại đúng và còn hạn mới được giảm, lượt đầu vẫn xử đầy đủ.
• Tưởng đổi đầu đầu vào không sao. Một thay đổi nhỏ ở phần đầu sẽ phá phần dùng lại, làm mất lợi ích.
• Tưởng lưu vĩnh viễn. Phần lưu tạm có thời hạn, để quá lâu sẽ hết hạn và phải xử lại từ đầu.
• Tưởng caching làm câu trả lời cũ kỹ. Khi tài liệu nền cập nhật, cần làm mới phần lưu để không dùng lại nội dung lỗi thời.

Phần lớn hiểu nhầm đến từ trộn prompt caching với việc lưu sẵn câu trả lời. Prompt caching lưu công xử khối nền, không lưu kết quả, nên câu trả lời vẫn đúng theo từng câu hỏi.

MONA dùng prompt caching như cách hạ chi phí AI mà không hạ chất lượng:

• Tách khối nền ổn định. Đưa tài liệu nền và hướng dẫn hệ thống lên đầu, cố định để dùng lại.
• Bật lưu tạm đúng chỗ. Áp prompt caching cho phần lặp lại lớn, đo lượt nào thực sự dùng lại được.
• Gom lượt gọi gần nhau. Sắp lịch xử để các lượt cùng khối nền rơi trong thời hạn lưu.
• Làm mới khi tài liệu đổi. Cập nhật phần lưu khi nội dung nền thay đổi để tránh dùng lại bản lỗi thời.

Tài liệu nền lưu tạm có thể chứa thông tin nội bộ và dữ liệu cá nhân. MONA áp guardrails và nguyên tắc dữ liệu theo Nghị định 13/2023 cho cả phần được lưu tạm, đặt thời hạn và phạm vi truy cập rõ ràng.

Prompt caching đáng dùng khi các lượt gọi AI chia sẻ một khối nền lớn lặp lại:

• Trợ lý trên tài liệu dài. Nhiều câu hỏi dựa trên cùng một sổ tay, quy trình hay hợp đồng.
• Hội thoại nhiều lượt. Mỗi lượt thêm trên cùng phần hướng dẫn và lịch sử đầu phiên.
• Xử lô khối lượng lớn. Cùng một hướng dẫn áp cho nhiều bản ghi liên tiếp.
• Tác tử nhiều bước. Nhiều bước gọi lặp lại trên cùng hướng dẫn hệ thống và bối cảnh.

Khi mỗi lượt gọi có đầu vào hoàn toàn khác và không lặp lại, prompt caching không mang lại lợi ích. Lợi ích chỉ đến khi có một khối nền được dùng đi dùng lại nhiều lần. Lợi ích này gắn chặt với quá trình suy luận của mô hình.

Prompt caching dễ hiểu nhưng tách khối nền đúng, đặt thời hạn hợp lý và đo phần tiết kiệm thực tế cần kinh nghiệm. Doanh nghiệp nên cân nhắc MONA khi:

• Muốn hạ chi phí gọi AI cho ứng dụng có khối tài liệu nền lớn lặp lại.
• Cần tách phần ổn định và phần thay đổi để tận dụng tối đa phần dùng lại.
• Cần làm mới phần lưu khi tài liệu nội bộ thay đổi mà không gây trả lời lỗi thời.
• Muốn đo rõ chi phí và tốc độ trước và sau khi bật prompt caching.

MONA thiết kế luồng đầu vào và lưu tạm để hạ chi phí AI có kiểm soát. Tham khảo Sale AI cho trợ lý hỏi đáp và hội thoại nhiều lượt, LMS AI cho trợ lý học tập dựa trên tài liệu nền dài.