대부분의 출판사들은 잘못된 선택지에 놓여 있었습니다: AI 크롤러를 차단해 배포를 잃거나, 무료 접근을 허용해 하류 제품들이 그들의 작업을 수익화하도록 하는 것. 크롤당 과금은 인증된 크롤러 요청을 HTTP 402에 기반한 청구 가능한 이벤트로 전환함으로써 세 번째 경로를 제시합니다. 암호화 헤더와 Cloudflare가 관리하는 정산 흐름을 사용하여 도메인 소유자가 요청당 고정 가격을 설정하고, 파트너를 선택적으로 면제하며, 악의적 행위자는 차단할 수 있습니다. 이는 맞춤형 계약에서 프로그래밍 가능한 인프라로 콘텐츠 수익화를 이동시키며, AI가 검색 추천에서 에이전트 기반 검색 및 합성으로 전환됨에 따라 중요해집니다. 핵심은 표준화된 접근과 영수증이 개방성을 해치지 않고 창작자에게 보상하는 유동적인 콘텐츠 시장을 만든다는 점입니다.
기술적으로 크롤당 과금은 웹 봇 인증(Web Bot Auth) 제안에 의존합니다: 크롤러는 키 디렉터리를 등록하고, Ed25519 HTTP 메시지 서명으로 요청에 서명하며, 헤더를 통해 결제 의사를 표시합니다. URL에 가격이 책정되면 엣지는 가격과 함께 HTTP 402를 반환하거나, 크롤러가 결제 의사를 선언하면(정확한 가격 또는 최대 가격) 요청을 이행하고 청구된 금액을 기록합니다. 특히, 신원에 묶인 서명은 사용자 에이전트 위조를 방지하고 WAF 및 봇 관리 이후 차별화된 정책을 가능하게 합니다. 출판사에게는 감사 가능성과 협상력을 제공하며, AI 개발자에게는 예측 가능한 조달과 준수 로그를 도입합니다. robots.txt 예절에서 검증 가능한 영수증으로의 전환이 대규모 다자간 접근을 관리 가능하게 만드는 핵심입니다.
경제적으로 요청당 가격 책정은 세분화를 가능하게 합니다: 에이전트 및 학습 봇에 과금하고, 전통적인 검색은 면제하며, 프로모션 경로는 0원으로 설정할 수 있습니다. 초기 가격 책정은 구매자가 콘텐츠 가치를 학습할 때까지 발견 주도형(반응형 402)일 것이며, 예산과 SLA가 성숙해짐에 따라 의도 기반 최대 가격 헤더로 수렴할 것으로 예상됩니다. 위험 요소로는 CDN 간 단편화, 스크린샷 또는 캐시된 미러를 통한 우회, 가격 미책정된 신디케이션을 통한 적대적 라우팅이 있습니다. 그러나 충분한 고신호 도메인이 참여하면 에이전트는 신선도, 범위, 신뢰성을 위해 인증된 경로를 선호할 것입니다. 운영자에게 최소 실행 가능한 파일럿은 고가치 경로에 대한 범위 가격 책정, 엄격한 크롤러 허용 목록, 리드, 전환 또는 에이전트 작업 성공과 같은 하류 결과에 청구를 연결하는 계측입니다.