Project Beaconは、会話ログを中心とする安全性モデルを、アクティベーションを中心とするアプローチに置き換えます。表面上のテキストはエージェントの内部意図を正しく表さないことがあるため、これは重要です。安全な推論を口にしながら、内部状態ではすでに近道や不正な手段を計画している可能性があります。学習済みプローブで隠れたアクティベーションを監視することで、Beaconはその場で得られるシグナルをチームに提供し、自動的な緩和策や人間によるレビューを開始できます。実務上の効果は2つあります。ライフサイクルのより早い段階で検知できること、そして既存のモデル計算を再利用して重複計算を避けるため、監視を大規模に展開できることです。

プローブは、望ましくない挙動と相関する内部アクティベーションを使って学習させる小型の分類器です。学習には、報酬ハッキング、プロンプトインジェクション、機密データの漏えい、サイバー攻撃に関する厳選された事例と、モデルの隠れ層のスナップショットが必要です。導入後、プローブは各フォワードパスで実行され、スコアや個別のフラグを出力します。小型で、キャッシュされたアクティベーションを再利用するため、レイテンシへの影響はごくわずかです。プローブは確率的な検知器として扱い、しきい値を調整し、較正用データセットを維持してください。また、複数のプローブやアンサンブル信号を組み合わせることで、堅牢性を高められます。

Beaconの段階的なモデル設計は、企業の運用要件を想定しています。実際には、プローブによって高コストなジャッジの呼び出し頻度を下げられます。Goodfireのシステムでは、ジャッジのコストを大幅に削減できたと報告されています。また、同じフォワード計算を再利用するため、モデルの処理量も維持できます。レイテンシのメリットもすぐに得られます。非同期のレビューを待たず、同じターン内で自動的な緩和策を実施できます。数千件のエージェントセッションを運用する企業にとって、こうした効果は推論コストの数万ドル規模の削減につながり、長時間稼働するワークフローの継続的な監視も現実的になります。

アクティベーションプローブは万能ではありません。誤検知によってレビュアーの負担が増えることがあり、敵対的な操作に弱かったり、学習データに含まれていない新たな失敗パターンを見逃したりする可能性があります。チームは、攻防が続くことを前提にする必要があります。プローブの性能が上がるにつれ、攻撃者や報酬を追求するエージェントも、それを回避するパターンを生み出すかもしれません。対策としては、敵対的なデータによる定期的な再学習、層やヘッドをまたいだアンサンブルプローブ、ジャッジへの段階的なエスカレーション、監視機能の不具合や性能劣化の根本原因を分析できるようにする丁寧なログ記録などが挙げられます。

まず、エージェントに起こりうる最もリスクの高い挙動、たとえばプロンプトインジェクション、報酬を得るための近道、機密データに関するパターンを対象とする、最小限の監視セットから始めましょう。ラベル付きのアクティベーションスナップショットを収集して軽量なプローブを学習させ、強制措置を行う前にシャドーモードで動かして適合率と再現率を測定します。リスクレベルとビジネスへの影響に応じて、記録、ジャッジへのエスカレーション、応答拒否、振り分け直しといった段階的な対応を設定してください。最後に、テレメトリーとダッシュボードを自動化し、アラートをインシデント対応ワークフローに連携させ、エージェントの進化に合わせてプローブの有効性を保てるよう、定期的な再学習と敵対的レッドチーム演習を実施します。