Cloudflare 推出“按次抓取付费”计划,发起“内容独立日”倡议
Cloudflare 宣布推出一项名为 “Pay per crawl” 的新功能,并联合多家内容平台发起 “内容独立日” 倡议,旨在改变 AI 公司无偿抓取网络内容进行模型训练的现状。该计划允许网站所有者向 AI 爬虫收取内容访问费用,为内容创作者提供除完全开放或完全封锁之外的第三种选择。Cloudflare 将担任该计划的记录商家(Merchant of Record)。 该功能基于 HTTP 状态码 402 (Payment Required) 实现。当 AI 爬虫请求受保护内容时,若未携带支付意图,将收到 402 响应及定价信息。网站所有者可以为自己的域名设定一个统一的、按次请求的单价,并对不同的 AI 爬虫设置三种策略:允许免费访问、按价收费或完全阻止。 技术上,该系统通过 “Web Bot Auth” 机制,使用 Ed25519 密钥对和 HTTP 消息签名来验证爬虫身份,防止欺骗。爬虫可通过在请求头中加入 crawler-max-price(愿意支付的最高价格)或在收到 402 响应后加入 crawler-exact-price(同意支付的确切价格)来表明支付意图。交易成功...
