Hầu hết các nhà xuất bản đã phải sống với một lựa chọn sai lầm: chặn các trình thu thập dữ liệu AI và mất phân phối, hoặc cho phép truy cập miễn phí và chứng kiến các sản phẩm hạ nguồn kiếm tiền từ công việc của họ. Pay Per Crawl giới thiệu một con đường thứ ba bằng cách biến các yêu cầu trình thu thập dữ liệu được xác thực thành các sự kiện có thể tính phí dựa trên HTTP 402. Sử dụng các tiêu đề mã hóa và quy trình thanh toán do Cloudflare quản lý, nó cho phép chủ sở hữu miền đặt giá cố định cho mỗi yêu cầu, miễn trừ có chọn lọc cho các đối tác, và vẫn có thể chặn các tác nhân xấu. Điều này chuyển việc kiếm tiền từ nội dung từ các thỏa thuận riêng lẻ sang hạ tầng có thể lập trình, điều này quan trọng khi AI chuyển từ giới thiệu tìm kiếm sang truy xuất và tổng hợp theo đại lý. Cược đặt ra: truy cập chuẩn hóa cùng với biên lai sẽ tạo ra một thị trường nội dung linh hoạt bồi thường cho người sáng tạo mà không làm mất tính mở.

Về mặt kỹ thuật, Pay Per Crawl dựa trên các đề xuất Web Bot Auth: các trình thu thập đăng ký một thư mục khóa, ký các yêu cầu với Chữ ký Tin nhắn HTTP Ed25519, và trình bày ý định thanh toán qua các tiêu đề. Nếu một URL được định giá, biên giới trả về HTTP 402 kèm giá, hoặc thực hiện khi trình thu thập khai báo sẵn sàng thanh toán (giá chính xác hoặc tối đa), ghi lại số tiền đã tính phí. Quan trọng là, các chữ ký ràng buộc danh tính giúp ngăn chặn giả mạo user-agent và cho phép chính sách phân biệt sau WAF và quản lý bot. Đối với nhà xuất bản, điều này tạo ra khả năng kiểm toán và sức mạnh đàm phán; đối với nhà phát triển AI, nó giới thiệu việc mua sắm có thể dự đoán và nhật ký tuân thủ. Sự chuyển đổi từ quy tắc robots.txt sang biên lai có thể xác minh là điều làm cho việc quản lý truy cập đa bên quy mô lớn trở nên khả thi.

Về mặt kinh tế, định giá theo yêu cầu mở khóa phân khúc: tính phí các đại lý và bot đào tạo, miễn trừ tìm kiếm truyền thống, và miễn phí các đường dẫn khuyến mãi. Giá ban đầu sẽ do khám phá dẫn dắt (phản ứng 402) cho đến khi người mua hiểu giá trị nội dung; dự kiến hội tụ về các tiêu đề giá tối đa theo ý định khi ngân sách và SLA trưởng thành. Rủi ro vẫn còn: phân mảnh giữa các CDN, vượt qua bằng cách chụp màn hình hoặc bản sao lưu cache, và định tuyến đối kháng qua phân phối không định giá. Tuy nhiên, nếu đủ nhiều miền tín hiệu cao tham gia, các đại lý sẽ ưu tiên các tuyến xác thực để đảm bảo tính mới, phạm vi và độ tin cậy. Đối với nhà vận hành, thử nghiệm khả thi tối thiểu là định giá có phạm vi trên các đường dẫn giá trị cao, danh sách cho phép trình thu thập nghiêm ngặt, và công cụ đo lường liên kết phí với kết quả hạ nguồn như khách hàng tiềm năng, chuyển đổi hoặc thành công nhiệm vụ đại lý.