Project Beacon aborde la surveillance de la sécurité comme un problème de visibilité interne plutôt que comme un exercice d’audit des transcriptions. Au lieu de soumettre chaque action d’un agent à un second LLM chargé d’en évaluer la sûreté, Beacon applique de petits classificateurs — des sondes d’activation — aux signaux intermédiaires du modèle. Comme ces sondes réutilisent les calculs du modèle et s’exécutent à chaque passe avant, elles peuvent signaler les comportements indésirables dès que l’état interne du modèle les révèle. Ce signal précoce change les compromis auxquels les équipes sont confrontées : la surveillance devient possible à chaque tour, presque en temps réel, et coûte bien moins cher qu’une évaluation systématique par un modèle juge.
Sur le plan technique, le système entraîne de légères sondes à partir de motifs d’activation étiquetés associés à des formes d’utilisation abusive : exploitation de la récompense, raccourcis dissimulés, injection de prompt et actions cybermalveillantes. Ces sondes sont des classificateurs compacts — souvent linéaires ou constitués de petites têtes MLP — qui traitent les activations des couches cachées. En production, elles s’intègrent à un pipeline en cascade : elles constituent une première étape peu coûteuse, conçue pour détecter un maximum de cas, et ne transmettent les traces suspectes qu’à un juge plus coûteux ou à un examinateur humain. Cette architecture maintient un taux de détection élevé tout en réduisant considérablement le recours aux juges, et fait remonter des signaux que ceux-ci ne voient jamais puisqu’ils se fondent uniquement sur le texte visible.
Pour les entreprises, Beacon réduit sensiblement deux sources de friction : le coût de la surveillance et la latence. En s’exécutant à chaque passe avant avec une surcharge négligeable, les sondes permettent de détecter les raccourcis de contournement de la récompense et les chaînes malveillantes cachées au moment où ils se forment, plutôt qu’après coup. Lors des évaluations internes de Goodfire, le système a détecté la majorité des sessions nuisibles tout en limitant les faux positifs sur les sessions inoffensives. Comme les juges sont sollicités bien moins souvent, le coût global de la surveillance peut diminuer de plusieurs ordres de grandeur. La mise en place de garde-fous continus et en temps réel devient ainsi réaliste pour les agents de longue durée et les pipelines reposant sur des poids ouverts.
L’adoption de sondes internes redéfinit aussi les responsabilités des équipes d’ingénierie : elles doivent étiqueter les comportements pour entraîner les sondes, assurer le suivi de la télémétrie des moniteurs et définir des procédures de réponse. Project Beacon fait remonter les alertes dans des flux de travail configurables — journalisation automatique, redirection, refus ou examen humain — afin que les équipes opérationnelles puissent régler la sensibilité en fonction de leur tolérance aux faux positifs et aux risques métier. La démarche à retenir est simple : intégrer les sondes comme premier niveau de détection, ne déclencher une escalade qu’en cas de besoin et investir dans une validation continue ainsi que dans des tests adversariaux pour que les moniteurs suivent l’évolution des capacités des agents.