大多數出版商一直面臨一個錯誤的選擇:封鎖 AI 爬蟲而失去分發,或允許免費訪問並眼睜睜看著下游產品從他們的作品中獲利。按次爬行付費引入了第三條路徑,將經過驗證的爬蟲請求轉化為基於 HTTP 402 的可計費事件。透過加密標頭和 Cloudflare 管理的結算流程,它允許域名所有者設定固定的每次請求價格,有選擇地豁免合作夥伴,並仍能封鎖惡意行為者。這將內容貨幣化從定制協議轉向可編程基礎設施,這在 AI 從搜尋推薦轉向代理式檢索與綜合時尤為重要。賭注是:標準化的訪問加上收據將創造一個流動的內容市場,補償創作者而不破壞開放性。
從技術上講,按次爬行付費依賴於 Web Bot Auth 提案:爬蟲註冊密鑰目錄,使用 Ed25519 HTTP 訊息簽名簽署請求,並透過標頭呈現付款意圖。如果 URL 有定價,邊緣節點會返回帶有價格的 HTTP 402,或在爬蟲聲明願意支付(精確或最高價格)時完成請求,並記錄收費金額。關鍵是,綁定身份的簽名有助於防止用戶代理偽造,並在 WAF 和機器人管理後啟用差異化政策。對出版商而言,這創造了可審計性和槓桿談判能力;對 AI 開發者而言,則引入了可預測的採購和合規日誌。從 robots.txt 禮節轉向可驗證收據,正是使大規模多方訪問可治理的關鍵。
從經濟角度看,按請求計價解鎖了分段:向代理和訓練機器人收費,豁免傳統搜尋,並對促銷路徑零費率。早期定價將以發現為主(反應式 402),直到買家了解內容價值;預期隨著預算和服務水平協議成熟,將趨向於基於意圖的最高價格標頭。風險依然存在:CDN 之間的碎片化、透過截圖或快取鏡像繞過,以及透過無定價聯播的對抗性路由。然而,如果足夠多的高信號域名參與,代理將偏好經過驗證的路徑以獲得新鮮度、覆蓋率和可靠性。對營運者而言,最小可行試點是對高價值路徑進行範圍定價,嚴格的爬蟲允許清單,以及將收費與下游結果(如潛在客戶、轉換或代理任務成功)掛鉤的儀表化。


