Cloudflare 新规出炉，混合 AI 爬虫将批量遭拦截-低调大师

Cloudflare 新规出炉，混合 AI 爬虫将批量遭拦截

2026-07-02 5

Cloudflare 近期发布服务默认规则重大更新，给全行业 AI 企业定下 9 月 15 日整改期限。所有 AI 厂商必须拆分搜索爬虫与模型训练、AI 代理专用爬虫，未完成区分的混合爬虫访问带广告页面会被系统自动拦截。

新规覆盖范围十分广泛，新入驻平台客户、老用户新建站点以及全部免费用户网站均统一生效。网站管理员若想放行混合爬虫，只能手动修改后台配置，该调整直接改变 AI 企业获取网页训练素材的渠道。

大量站长愿意开放内容给传统搜索引擎收录，却不愿知识产权被 AI 无偿大规模采集训练。Cloudflare 直言谷歌爬虫兼具搜索与 AI 数据采集功能，网站很难做到仅开放搜索、隔绝 AI 训练抓取。谷歌对此作出回应，推出专属机器人工具供站点屏蔽 AI 训练取用，不影响搜索收录。

但其核心爬虫仍会同步为搜索内置 AI 功能采集数据，难以彻底割裂搜索与 AI 数据需求。平台 CEO 表示机器人流量早已远超人类访问，行业生态急需规范约束各类抓取行为。

Cloudflare 持续加码内容方保护工具，从 2024 年防 AI 爬虫工具迭代至全新按价值计费模式。以往平台采用按抓取次数收费，如今升级为 Pay Per Use，依据内容在 AI 中产生的实际收益结算。数据显示超半数 AI 爬虫反复抓取无更新页面，付费机制能减少无效流量，为创作者增收。

目前该付费方案已联合两家 AI 企业试点，内容被 AI 产品调用后站长可直接获取收益。

微信关注我们

原文链接：https://www.oschina.net/news/471210

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

云风说微信不该用 SQLite，然后技术圈炸了

6 月 29 日，一位开发者在 X 上随口问了一句「还是搞不懂为啥你们的微信能聊出几百 G」，结果炸出了中文技术圈过去两天最大的一场争论。引爆点来自云风（@cloudwu）的回复。作为前网易《梦幻西游》《大话西游》引擎架构师，他在中文开发者圈子里有相当的分量。他的原话是：「微信的开发人员根本就不懂该怎么储存数据。这种聊天软件，文本和媒体文件分开存，文本根本就不应该保存在什么数据库(sqlite)里，一个对话一个文本文件追加就可以了。需要搜索的时候 grep 一下性能完全符合需求。」这条推文获得了 26.5 万次浏览、79 条回复、311 条引用——数字背后是一场持...

2026-07-01

5

工业和信息化部运行监测协调局发布 “2026 年 1-5 月份软件业运行情况”指出，2026年前5个月，我国软件和信息技术服务业（以下简称“软件业”）运行态势良好，软件业务收入稳健增长，利润总额增势放缓，软件业务出口保持正增长。一、总体运行情况前5个月，我国软件业务收入62451亿元，同比增长10.3%。软件业利润总额7173亿元，同比增长2.2%。软件业务出口276.5亿美元，同比增长12.8%。二、分领域运行情况软件产品收入稳定增长。前5个月，软件产品收入13608亿元，同比增长6.9%，占全行业收入比重为21.8%。其中，基础软件产...

2026-07-02

4

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。