Trong nhiều năm, hiệu quả được hiểu là các lời nhắc tốt hơn hoặc các mô hình lớn hơn, mạnh mẽ hơn. SoL-Pi thay đổi trọng tâm đó sang phần khung xung quanh mô hình—bộ khung lập kế hoạch nhiệm vụ, thu thập quan sát, gọi công cụ, đánh giá kết quả và tái nhắc. Ý tưởng cốt lõi là tự động hóa: các vòng lặp nghiên cứu tự động đệ quy tạo ra các khác biệt cho bộ khung (ví dụ: bộ lọc quan sát, độ sâu lập kế hoạch, chính sách ghi nhật ký), sau đó chạy thử nghiệm có kiểm soát để giữ lại các phương án tốt. Kết quả là một dòng cải tiến nhỏ liên tục tích lũy thành tiết kiệm đáng kể. Trong đại lý lập trình, điều này thể hiện qua ít lượt hơn và bớt lãng phí ngữ cảnh, với tốc độ thực thi nhanh hơn và giảm chi phí—mà không cần huấn luyện lại hoặc thay đổi mô hình.

Tại sao điều này hiệu quả? Hầu hết các ngăn xếp đại lý tiêu tốn token một cách không cần thiết: lời nhắc hệ thống lặp lại, sơ đồ công cụ dài dòng, phát lại khác biệt tệp, và nhật ký gỡ lỗi bị rò rỉ vào quan sát. SoL-Pi săn tìm các mẫu này bằng các phép thử có cấu trúc và thử nghiệm loại bỏ, rồi đề xuất các phương án thay thế—lời nhắc delta thay vì phát lại toàn bộ ngữ cảnh, lấy mẫu và chỉnh sửa nhật ký, kiểm tra thoát sớm cho các trường hợp đơn giản, độ sâu lập kế hoạch và tìm kiếm thích ứng, và nén đầu vào/ra của công cụ. Những tối ưu này giảm cả khối lượng token và số bước, hạ thấp độ trễ trong khi giữ tỷ lệ thành công ổn định. Thực tế, bộ khung trở thành lớp tối ưu bạn có thể lặp lại hàng giờ, không phải hàng quý.

Đối với các nhóm kỹ thuật và sản phẩm, điều này có ý nghĩa vận hành: coi ngân sách token, ngân sách bước và chính sách bộ khung là các SLO quan trọng. Thêm bộ đếm token theo từng bước, phân phối kích thước quan sát và lượt gọi công cụ; tạo các nhiệm vụ canary và đánh giá bóng; và kiểm soát triển khai với các rào chắn về pass@k, rủi ro suy giảm và quyền ghi đè của con người. Lợi ích cho CFO rất rõ ràng—giảm chi phí đơn vị cho mỗi vé, PR hoặc thay đổi được hợp nhất—nhưng độ tin cậy cũng cải thiện, vì ít bước hơn nghĩa là ít cách trôi dạt hơn. Nghệ thuật là tìm các tối ưu hóa có thể áp dụng rộng rãi trên các kho lưu trữ và loại nhiệm vụ mà không bị quá khớp với các chuẩn đánh giá hoặc đặc thù của một mô hình duy nhất.

SoL-Pi cũng định hình lại chiến lược nhà cung cấp. Tối ưu bên ngoài mô hình dễ dàng áp dụng qua các nhà cung cấp và phiên bản, kéo dài tuổi thọ mô hình hiện tại và tạo thời gian để đánh giá nâng cấp với ROI rõ ràng hơn. Nó kết hợp tốt với các ràng buộc doanh nghiệp—xóa dữ liệu cá nhân, chỉnh sửa chính sách và truy vết có thể tái tạo—bởi nhiều lợi ích đến từ việc quyết định không gửi gì. Hãy mong đợi mô hình này lan rộng: các trình biên dịch cấp bộ khung, bộ thu nhỏ sơ đồ và bộ lập kế hoạch quan sát nằm giữa đại lý và công cụ, thắt chặt vòng phản hồi và tận dụng tối đa từng token.