Cloudflare 宣布推出一项名为 “Pay per crawl” 的新功能，并联合多家内容平台发起 “内容独立日” 倡议，旨在改变 AI 公司无偿抓取网络内容进行模型训练的现状。该计划允许网站所有者向 AI 爬虫收取内容访问费用，为内容创作者提供除完全开放或完全封锁之外的第三种选择。Cloudflare 将担任该计划的记录商家（Merchant of Record）。

该功能基于 HTTP 状态码 402 (Payment Required) 实现。当 AI 爬虫请求受保护内容时，若未携带支付意图，将收到 402 响应及定价信息。网站所有者可以为自己的域名设定一个统一的、按次请求的单价，并对不同的 AI 爬虫设置三种策略：允许免费访问、按价收费或完全阻止。

技术上，该系统通过 “Web Bot Auth” 机制，使用 Ed25519 密钥对和 HTTP 消息签名来验证爬虫身份，防止欺骗。爬虫可通过在请求头中加入 crawler-max-price（愿意支付的最高价格）或在收到 402 响应后加入 crawler-exact-price（同意支付的确切价格）来表明支付意图。交易成功后，响应头中会包含 crawler-charged 字段。

过去 30 年，谷歌和内容创作者之间形成了一种默契：谷歌用创作者的内容吸引用户搜索，再把用户送回原网站，让创作者赚取广告费或订阅收入。但随着 AI 工具兴起，用户越来越多地直接从 AI 获得答案，原创内容的网站流量暴跌，创作者的收益严重受损。

为此，Cloudflare 联合众多内容平台，在 2025 年 7 月 1 日宣布了 “内容独立日”，明确要求 AI 公司不能再免费抓取内容，必须为内容创作者支付合理的报酬。

Cloudflare 表示，此举旨在为内容创作者提供对其数字资产的程序化控制，确保他们能从自己的工作中获得补偿，从而维持一个健康、多样化的互联网内容生态。未来，该系统有望演变为一个更复杂的代理（Agent）经济市场，AI 代理可以根据预算，以编程方式协商并购买所需的数据访问权限。

他们希望通过这样的行动，让创作者重新获得应有的价值和尊重，同时推动 AI 和原创内容之间形成一种新的、公平的生态模式。

更多详情：

• https://blog.cloudflare.com/control-content-use-for-ai-training/
• https://blog.cloudflare.com/zh-cn/content-independence-day-no-ai-crawl-without-compensation/