大多数出版商一直面临一个错误的选择：阻止 AI 爬虫导致分发受限，或允许免费访问让下游产品从他们的作品中获利。按爬取付费通过将经过身份验证的爬虫请求转化为基于 HTTP 402 的计费事件，开辟了第三条路径。利用加密头和 Cloudflare 管理的结算流程，它允许域名所有者设定固定的每次请求价格，有选择地豁免合作伙伴，同时仍能阻止恶意行为者。这将内容货币化从定制协议转变为可编程基础设施，这一点随着 AI 从搜索推荐转向代理式检索和合成变得尤为重要。赌注是：标准化访问加上收据将创造一个流动的内容市场，补偿创作者而不破坏开放性。

从技术角度看，按爬取付费依赖于 Web Bot Auth 提案：爬虫注册密钥目录，使用 Ed25519 HTTP 消息签名对请求进行签名，并通过头部展示支付意图。如果 URL 有定价，边缘节点返回带价格的 HTTP 402，或者当爬虫声明愿意支付（精确或最高价格）时完成请求，并记录收费金额。关键是，绑定身份的签名有助于防止用户代理伪造，并支持在 WAF 和机器人管理之后实施差异化策略。对出版商来说，这创造了可审计性和杠杆谈判能力；对 AI 开发者来说，它引入了可预测的采购和合规日志。从 robots.txt 规范到可验证收据的转变，使大规模多方访问管理成为可能。

从经济角度看，按请求计费解锁了细分市场：对代理和训练机器人收费，豁免传统搜索，零费率推广路径。早期定价将以发现为导向（反应式 402），直到买家了解内容价值；随着预算和服务水平协议成熟，预计将趋向于基于意图的最高价格头部。风险依然存在：CDN 之间的碎片化，通过截图或缓存镜像绕过，以及通过无价分发的对抗性路由。但如果足够多的高信号域参与，代理将偏好经过身份验证的路径以保证新鲜度、覆盖率和可靠性。对运营者来说，最小可行试点是对高价值路径进行范围定价，严格的爬虫白名单，以及将收费与潜在客户、转化或代理任务成功等下游结果挂钩的监测。