Strands Decider 2B là ví dụ điển hình cho xu hướng ngày càng tăng trong thiết kế đại lý: đẩy các lựa chọn đơn giản, giới hạn vào một mô hình nhỏ gọn và nhanh, đồng thời dành LLM nặng ký cho những nhiệm vụ thực sự cần suy luận tạo sinh. Thay vì gọi một LLM đầy đủ chỉ để hỏi “Tôi có nên chạy công cụ lịch không?” đại lý sẽ truy vấn decider, mô hình trả về một lớp hoặc điểm số xác định trong vài miligiây. Sự thay thế này cải thiện độ trễ đuôi, giảm rủi ro lỗi chồng chéo, và mang lại khả năng quan sát rõ ràng hơn—đặc biệt khi các nhóm coi đầu ra của decider như các cổng được thực thi theo chính sách thay vì chỉ là gợi ý.

Trong thực tế, decider nằm giữa việc tiếp nhận sự kiện và điều phối công cụ, trả lời các câu hỏi như chọn lộ trình (tìm kiếm so với truy xuất), phê duyệt hành động (có an toàn để gửi email cho khách hàng không?), hoặc chạy/bỏ qua (thực thi mã hay không). Vì không gian nhãn nhỏ và định dạng có cấu trúc, một mô hình 2 tỷ tham số—thường được lượng tử hóa—có thể chạy trên GPU vừa phải hoặc thậm chí CPU hiệu năng cao ở biên. Điều này cho phép ra quyết định ngoại tuyến, theo lô, hoặc trên thiết bị, giảm các chuyến đi vòng lên đám mây. Quan trọng là, sơ đồ giới hạn của mô hình giúp kết quả dễ kiểm toán và hiệu chỉnh hơn so với việc chấm điểm văn bản tự do từ LLM.

Thành công vận hành phụ thuộc vào ba yếu tố: phân loại quyết định rõ ràng, ngưỡng hiệu chỉnh, và phương án dự phòng vững chắc. Các nhóm nên định nghĩa nhãn rõ ràng (ví dụ: phê duyệt, từ chối, chuyển tiếp), sau đó điều chỉnh ngưỡng bằng cách sử dụng bộ dữ liệu ngoại tuyến và thử nghiệm A/B trực tuyến. Khi độ tin cậy giảm hoặc đầu vào nằm ngoài phân phối, đại lý sẽ chuyển sang LLM lớn hơn hoặc đường phê duyệt của con người. Ghi lại mọi quyết định, đặc trưng đầu vào và kết quả cuối cùng giúp tái huấn luyện liên tục và kiểm tra thiên lệch—ngăn chặn sự trôi dạt chính sách trong khi vẫn giữ được lợi ích về độ trễ và chi phí khiến decider trở nên hấp dẫn ngay từ đầu.

Trường hợp kinh doanh rất rõ ràng: nếu một lần gọi LLM điển hình mất 300–800 ms và tốn vài xu cho mỗi nghìn token, việc thay thế hàng nghìn quyết định vi mô mỗi giờ bằng một decider dưới 10 ms, gần như không tốn token sẽ nhân lên khoản tiết kiệm. Việc gọi công cụ trở nên dự đoán hơn, các SLO ổn định, và kiểm toán tập trung vào chính sách thay vì chỉ dựa vào prompt. Đổi lại là trách nhiệm giải trình: các mô hình quyết định cần bộ dữ liệu phù hợp, bộ công cụ đánh giá và thiết kế rào chắn. Các nhóm đầu tư vào những điều cơ bản này sẽ thấy chuyển đổi tốt hơn trong các nhiệm vụ đại lý, hóa đơn hạ tầng thấp hơn và ít trường hợp cần can thiệp an toàn hơn.