Định tuyến theo năng lực giúp phân luồng yêu cầu dựa trên độ phức tạp của tác vụ và mức độ nhạy cảm về chất lượng. Hãy bắt đầu bằng cách lập danh mục các trường hợp sử dụng (ví dụ: câu trả lời ngắn, tạo nội dung, chỉnh sửa mã, dịch thuật, trợ lý hội thoại nhiều lượt). Với mỗi trường hợp, xác định một phương án chính có chi phí thấp và một phương án dự phòng có chất lượng cao hơn. Hãy triển khai bộ phân loại gọn nhẹ để ước tính độ phức tạp ngay khi nhận yêu cầu, hoặc dùng tín hiệu độ tin cậy từ mô hình rẻ hơn để quyết định có cần chuyển cấp hay không. Cách này giảm tổng lượng suy luận tốn kém mà vẫn bảo đảm các yêu cầu khó được cấp tài nguyên phù hợp.

Nén prompt là một phương pháp thực tiễn: thay chỉ dẫn dài dòng bằng mẫu súc tích, chuyển ngữ cảnh cố định về phía máy chủ và dùng cách biểu diễn gọn như ví dụ dạng gạch đầu dòng hoặc lệnh gọi hàm dựa trên lược đồ. Với hội thoại, hãy lưu toàn bộ lịch sử nhưng chỉ gửi cho mô hình một bản tóm tắt trạng thái ngắn. Với quy trình RAG, hãy lọc theo mức độ liên quan và chỉ gửi các đoạn nằm trong top-k, hoặc dùng phương pháp xếp hạng lại dựa trên embedding để tránh prompt quá lớn làm tăng cả chi phí lẫn độ trễ.

Triển khai bộ nhớ đệm nhiều tầng: bộ nhớ đệm khớp chính xác cho đầu vào có tính xác định, bộ nhớ đệm ngữ nghĩa để nhận diện cách diễn đạt tương đương và hàm băm kết quả cho đầu ra có cấu trúc. Gom các tác vụ tương tự, ưu tiên thấp vào cùng một lô để giảm chi phí phát sinh trên mỗi yêu cầu; đồng thời chuyển các tác vụ chưa cấp thiết sang quy trình xử lý hàng loạt vào giờ thấp điểm. Dùng mô hình rẻ hơn làm phương án dự phòng có tính xác định cho các tác vụ lặp lại hoặc ít rủi ro, và chỉ gọi mô hình cao cấp khi không tìm thấy kết quả trong bộ nhớ đệm hoặc tín hiệu từ bộ phân loại cho thấy cần độ chính xác cao hơn.

Chỉ tập trung vào chi phí token thường phản tác dụng. Hãy xây dựng bảng điều khiển kiểm soát chi phí, thể hiện mối tương quan giữa số token đầu vào, số token đầu ra, tỷ lệ truy cập bộ nhớ đệm, tỷ trọng lưu lượng qua từng tuyến mô hình, độ trễ, tỷ lệ hoàn thành tác vụ và điểm chất lượng. Theo dõi sự suy giảm chất lượng ở cấp người dùng sau khi thay đổi định tuyến hoặc nén prompt, đồng thời đặt ngưỡng bảo vệ (ví dụ: tỷ lệ thành công tối thiểu cho từng tuyến). Dùng thử nghiệm A/B để đo lường tác động đến khách hàng trước khi triển khai rộng các biện pháp tối ưu chi phí.

Các nhóm thường chọn mô hình rẻ nhất cho mọi việc, để đầu ra không giới hạn, gửi lại toàn bộ lịch sử ở mỗi lần gọi và thiết lập logic thử lại kém hiệu quả khiến chi phí tăng vọt. Hãy tránh những vấn đề này bằng cách giới hạn số token đầu ra tối đa và đặt chuỗi dừng, tóm tắt lịch sử, ghi lại hàm băm khớp chính xác trước khi thử lại, đồng thời thiết lập ngân sách thử lại ưu tiên phương án dùng bộ nhớ đệm hoặc mô hình dự phòng rẻ hơn. Ghi lại thành tài liệu và tự động hóa các biện pháp bảo vệ này sẽ giúp tránh hóa đơn tăng đột biến và chất lượng suy giảm.