Strands Decider 2B 展示了代理设计中日益流行的模式:将简单、有限的选择推送给一个小巧快速的模型,而将重量级的 LLM 保留给真正需要生成推理的任务。代理不再为“我是否应该运行日历工具?”这样的问题调用完整的 LLM,而是查询决策器,后者在毫秒内返回确定性的类别或分数。此替换改善了尾部延迟,降低了级联错误风险,并带来了更清晰的可观测性——尤其当团队将决策器输出视为策略强制的门控而非建议时。
实际上,决策器位于事件接收和工具编排之间,回答诸如路径选择(搜索 vs. 检索)、操作批准(是否安全发送邮件给客户?)或执行/跳过(是否执行代码)等问题。由于标签空间小且格式结构化,2B 参数模型——通常经过量化——可以在中等 GPU 甚至高性能 CPU 边缘设备上运行。这使得离线、批处理或设备端决策成为可能,减少了云端往返。关键是,模型的有限架构使得结果比 LLM 的自由文本评分更易于审计和校准。
运营成功依赖于三个要素:明确的决策分类、校准的阈值和稳健的回退机制。团队应定义明确的标签(例如,批准、拒绝、升级),然后使用离线数据集和在线 A/B 测试调整阈值。当置信度下降或输入超出分布时,代理会升级到更大的 LLM 或人工审批路径。记录每次决策、输入特征和最终结果,支持持续再训练和偏差检查——防止策略漂移,同时保持使决策器具有吸引力的延迟和成本优势。
商业案例很直接:如果典型的 LLM 调用耗时 300–800 毫秒且每千令牌成本几分钱,用一个低于 10 毫秒、几乎不消耗令牌的决策器替代每小时成千上万的微决策,将带来复合节省。工具调用变得更可预测,服务级别目标(SLO)更稳定,审计也从提示驱动转向策略驱动。权衡点在于责任:决策模型需要合适的数据集、评估工具和护栏设计。投入这些基础工作的团队将获得更高的代理任务转化率、更低的基础设施费用和更少的安全升级。


