Strands Decider 2B illustre une tendance croissante dans la conception des agents : déléguer les choix simples et limités à un modèle minuscule et rapide, tout en réservant le LLM lourd pour les tâches nécessitant un raisonnement génératif complexe. Plutôt que de solliciter un LLM complet juste pour demander « Dois-je lancer l’outil calendrier ? », l’agent interroge le décideur, qui renvoie une classe ou un score déterministe en millisecondes. Ce changement améliore la latence en queue, réduit les risques d’erreurs en cascade et offre une meilleure observabilité — surtout lorsque les équipes considèrent les sorties du décideur comme des barrières imposées par la politique plutôt que comme des suggestions.

En pratique, un décideur se place entre la réception d’événements et l’orchestration des outils, répondant à des questions telles que la sélection d’itinéraire (recherche vs récupération), l’approbation d’action (est-il sûr d’envoyer un email au client ?) ou exécuter/sauter (exécuter le code ou non). Comme l’espace des étiquettes est restreint et le format structuré, un modèle de 2 milliards de paramètres — souvent quantifié — peut fonctionner sur des GPU modestes ou même des CPU performants en périphérie. Cela permet des décisions hors ligne, par lots ou sur appareil, réduisant les allers-retours vers le cloud. Surtout, le schéma limité du modèle facilite l’audit et la calibration des résultats comparé au scoring en texte libre d’un LLM.

Le succès opérationnel repose sur trois éléments : des taxonomies de décision claires, des seuils calibrés et un mécanisme de secours robuste. Les équipes doivent définir des étiquettes sans ambiguïté (par exemple, approuver, refuser, escalader), puis ajuster les seuils à l’aide de jeux de données hors ligne et de tests A/B en ligne. Lorsque la confiance baisse ou que les entrées sortent de la distribution attendue, l’agent escalade vers un LLM plus puissant ou un chemin d’approbation humaine. L’enregistrement de chaque décision, caractéristique d’entrée et résultat final permet un réentraînement continu et des vérifications de biais — évitant la dérive des politiques tout en conservant les gains de latence et de coût qui rendent le décideur attractif.

Le cas d’usage est simple : si un appel LLM typique prend entre 300 et 800 ms et coûte quelques centimes par millier de tokens, remplacer des milliers de micro-décisions par heure par un décideur sous les 10 ms et quasi sans consommation de tokens multiplie les économies. Les invocations d’outils deviennent plus prévisibles, les SLO se stabilisent, et l’audit devient centré sur la politique plutôt que sur les prompts. Le compromis est la responsabilité : les modèles de décision nécessitent des jeux de données adaptés, des outils d’évaluation et une conception de garde-fous. Les équipes qui investissent dans ces fondamentaux verront une meilleure conversion sur les tâches d’agent, des factures d’infrastructure réduites et moins d’escalades de sécurité.