직접 인젝션은 모델을 대상으로 한 사회공학 공격입니다. 공격자는 모델에 규칙을 어기거나, 데이터를 공개하거나, 허용된 범위를 벗어나 행동하라고 명시적으로 요청하는 프롬프트를 만듭니다. 예를 들어 에이전트에게 “이전 지침은 무시하라”고 하거나, 무해한 작업인 것처럼 꾸며 비밀 정보를 내놓으라고 요구할 수 있습니다. 많은 비즈니스 워크플로가 자연어 입력을 받거나 내부 채팅에 의존하기 때문에 이 점은 중요합니다. 보호 장치가 없으면 에이전트는 사용자의 의도로 판단한 요청에 응하려고 합니다.

간접 인젝션은 에이전트가 외부 콘텐츠를 검색한 뒤 이를 신뢰할 수 있는 맥락으로 취급할 때 발생합니다. 웹페이지, 이메일 대화, 삽입된 문서에 숨겨진 지시가 포함되어 있으면 모델이 이를 응답이나 의사결정 로직에 반영할 수 있습니다. 특히 웹을 자율적으로 탐색하거나 첨부 파일을 읽고 고객이 제공한 파일을 모아 처리하는 에이전트에 위험합니다. 기업은 콘텐츠 출처를 분류하고, 신뢰할 수 없는 검색 결과는 기본적으로 악성일 수 있다고 간주해야 합니다. 원문 전체를 그대로 입력하는 대신 정제하거나 검증된 데이터 필드만 추출해야 합니다.

에이전트가 API, 티켓 관리 시스템, 파일 저장소, 클라우드 콘솔 등 다양한 도구에 폭넓게 접근할 수 있다면, 인젝션 공격의 성공은 운영상 피해로 이어질 수 있습니다. 침해된 에이전트가 API를 호출해 개인 식별 정보(PII)를 빼내거나, 잘못된 지시가 담긴 티켓을 만들거나, 기밀 주제가 드러나는 회의를 예약할 수 있습니다. 비즈니스에 미치는 영향은 권한의 범위와 자격 증명 관리 방식에 따라 달라집니다. 최소 권한 원칙을 적용하고 자격 증명을 교체·격리하며, 영향이 큰 도구 호출에는 별도의 승인 절차나 다자 검증을 요구해야 합니다.

단 하나의 해결책으로는 충분하지 않습니다. 효과적인 방어를 위해서는 여러 계층을 마련해야 합니다. 도구 접근에 최소 권한 원칙을 적용하고 자격 증명을 격리하는 것부터 시작하세요. 신뢰할 수 있는 콘텐츠와 그렇지 않은 콘텐츠의 처리 경로를 분리하고, 입력 정제와 구조화된 데이터 추출을 구현하세요. 민감한 작업에 대한 승인 단계, 명시적인 사람의 검토, 신뢰할 수 있는 프롬프트를 위한 암호화 서명 등 워크플로 수준의 통제도 추가해야 합니다. 운영 측면에서는 에이전트별 수행 가능 작업을 문서화하고, 불확실한 입력에는 안전을 우선해 실행을 차단하는 방식으로 설계하세요.

운영 모니터링과 명확한 사고 대응 플레이북은 방어 체계를 실제 회복력으로 이어 줍니다. 신뢰 수준을 나타내는 맥락 태그와 함께 에이전트 입력, 검색 호출, 도구 작업을 기록하세요. 데이터 내보내기나 자격 증명 사용 등 위험도가 높은 출력에는 실행 중 검증 규칙을 적용하고 정책 위반을 감지하면 알림을 보내세요. 자격 증명 교체, 최근 명령 감사, 자동화된 작업의 롤백 절차를 포함한 대응 플레이북도 마련해야 합니다. 정기적인 레드팀 훈련과 인젝션 모의 테스트를 통해 통제의 실효성을 확인하고 숨겨진 신뢰 의존성을 찾아낼 수 있습니다.