프로젝트 비컨은 안전 모니터링을 대화 기록을 감사하는 작업이 아니라 내부 상태를 들여다보는 문제로 새롭게 정의합니다. 모든 에이전트 행동을 안전성 판정용 보조 LLM에 보내는 대신, 비컨은 활성화 프로브라는 소형 분류기를 모델의 중간 신호에 적용합니다. 프로브는 모델의 연산을 재사용하고 매 순전파마다 실행되므로, 모델의 내부 상태에 문제가 드러나는 바로 그 순간 원치 않는 행동을 포착할 수 있습니다. 이러한 조기 신호는 팀이 감수해야 했던 운영상의 절충점을 바꿉니다. 턴마다 거의 실시간으로 모니터링할 수 있고, 상시 평가자를 사용하는 방식보다 비용도 훨씬 낮아집니다.
기술적으로는 오용 유형과 연관된 활성화 패턴에 라벨을 붙여 경량 프로브를 학습시킵니다. 대상 유형에는 보상 악용, 은밀한 지름길, 프롬프트 인젝션, 사이버 공격 행위가 포함됩니다. 프로브는 은닉층 활성화값에 적용되는 소형 분류기로, 대개 선형 모델이나 작은 MLP 헤드로 구현됩니다. 프로덕션에서는 계단식 파이프라인에 들어갑니다. 프로브가 재현율은 높고 비용은 낮은 1차 필터 역할을 하며, 의심스러운 추적만 더 비싼 평가자나 사람 검토자에게 전달합니다. 이 설계는 높은 탐지율을 유지하면서 평가자 호출 빈도를 크게 줄이고, 표면 텍스트에만 의존하는 평가자가 놓치는 신호까지 드러냅니다.
기업 운영팀 입장에서 비컨은 두 가지 주요 부담, 즉 모니터링 비용과 지연 시간을 크게 줄여 줍니다. 프로브는 거의 추가 부담 없이 매 순전파마다 실행되므로, 보상 해킹을 위한 지름길이나 숨겨진 악성 행동의 연쇄가 형성되는 즉시 감지할 수 있습니다. 사후에 발견하는 방식과는 다릅니다. Goodfire의 내부 평가에서 시스템은 유해한 세션 대부분을 탐지하면서 정상적인 세션에 대한 오탐은 제한했습니다. 평가자를 훨씬 적게 호출하기 때문에 전체 모니터링 비용을 몇 자릿수 규모로 낮출 수 있습니다. 따라서 오픈 가중치 기반의 장시간 실행 에이전트와 파이프라인에도 지속적인 실시간 보호 장치를 현실적으로 적용할 수 있습니다.
내부 프로브를 도입하면 엔지니어링팀의 책임도 달라집니다. 프로브 학습용 행동 라벨을 만들고, 모니터링 텔레메트리를 유지하며, 대응 절차를 구체화해야 합니다. 프로젝트 비컨은 설정 가능한 워크플로에 알림을 전달해 자동 기록, 경로 변경, 응답 거부, 사람 검토 등의 조치를 실행할 수 있습니다. 운영팀은 오탐 허용 수준과 비즈니스 위험에 맞춰 민감도를 조정할 수 있습니다. 실무적으로는 간단합니다. 프로브를 1차 탐지기로 통합하고 필요할 때만 상위 단계로 에스컬레이션하며, 에이전트의 역량에 발맞춰 모니터가 작동하도록 지속적인 검증과 적대적 테스트에 투자하세요.