Project Beacon betrachtet Sicherheitsüberwachung als Frage der internen Einblicke statt als Aufgabe zur Prüfung von Gesprächsprotokollen. Anstatt jede Agentenaktion einem zweiten LLM zur Sicherheitsbewertung vorzulegen, setzt Beacon kleine Klassifikatoren – sogenannte Aktivierungs-Probes – auf Zwischensignale des Modells an. Da diese Probes die Rechenleistung des Modells mitnutzen und bei jedem Forward Pass ausgeführt werden, können sie unerwünschtes Verhalten genau in dem Moment melden, in dem es sich im internen Zustand des Modells abzeichnet. Das verändert die betrieblichen Rahmenbedingungen: Eine Überwachung bei jeder Interaktion wird nahezu in Echtzeit und zu deutlich geringeren Kosten möglich.
Technisch werden die schlanken Probes anhand gekennzeichneter Aktivierungsmuster trainiert, die mit bestimmten Formen des Missbrauchs zusammenhängen: Reward-Ausnutzung, verdeckte Abkürzungen, Prompt-Injection und Cyber-Aktionen. Diese kompakten Klassifikatoren – oft lineare Modelle oder kleine MLP-Köpfe – verarbeiten Aktivierungen aus verborgenen Schichten. Im Produktivbetrieb sind sie Teil einer Kaskade: Als erste Stufe bieten die Probes hohe Trefferquoten bei geringen Kosten; nur verdächtige Spuren werden an einen teureren Prüfer oder einen menschlichen Reviewer weitergeleitet. So bleibt die Erkennungsrate hoch, während die Prüfer erheblich seltener zum Einsatz kommen. Zudem machen die Probes Signale sichtbar, die Prüfern entgehen, weil diese ausschließlich den nach außen sichtbaren Text auswerten.
Für Unternehmen senkt Beacon zwei wesentliche Hürden: die Kosten der Überwachung und die Latenz. Da die Probes bei jedem Forward Pass mit vernachlässigbarem Zusatzaufwand laufen, können Teams Abkürzungen zur Manipulation von Belohnungen und verborgene bösartige Handlungsketten erkennen, während sie entstehen – nicht erst im Nachhinein. In internen Evaluierungen von Goodfire erkannte das System die Mehrheit der schädlichen Sitzungen und hielt zugleich Fehlalarme bei harmlosen Aktivitäten in Grenzen. Weil Prüfer deutlich seltener aufgerufen werden, können die gesamten Überwachungskosten um Größenordnungen sinken. Damit wird eine kontinuierliche Sicherheitsüberwachung in Echtzeit für lang laufende Agenten und auf offenen Modellgewichten basierende Pipelines praktikabel.
Der Einsatz interner Probes verändert auch die Aufgaben der Entwicklungsteams: Sie müssen Verhaltensweisen für das Probe-Training kennzeichnen, Telemetriedaten der Überwachung pflegen und Abläufe für den Umgang mit Warnungen festlegen. Project Beacon leitet Meldungen in konfigurierbare Workflows weiter – etwa automatische Protokollierung, Umleitung, Verweigerung oder menschliche Prüfung. So können Betriebsteams die Empfindlichkeit an ihre Toleranz für Fehlalarme und geschäftliche Risiken anpassen. Die praktische Empfehlung ist einfach: Probes als erste Erkennungsstufe integrieren, nur bei Bedarf eskalieren und kontinuierlich validieren sowie gegnerische Tests durchführen, damit die Überwachung mit den Fähigkeiten der Agenten Schritt hält.