Cloudflare将从2026年9月起默认屏蔽混合用途网络爬虫

Cloudflare刚刚给了AI行业一个明确的最后期限：在2026年9月之前将网络爬虫分开。从该日期起，该公司将切换其默认设置，自动阻止任何混合了搜索索引、代理服务和AI训练的爬虫访问带有广告的页面。该公告于周三发布。

实际上这意味着什么：除非网站所有者有意更改设置，否则这些所谓的混合用途机器人将被默认封锁。新的默认设置适用于所有新的Cloudflare客户、现有客户设置的所有新站点以及所有现有的免费账户。

这一决定可能会让那些依赖抓取开放网络来获取训练数据和驱动代理工具的AI模型供应商感到不安。Cloudflare指出，大多数网站所有者希望被搜索甚至AI服务找到，但他们不希望自己的知识产权被免费提供。

Cloudflare对全球最大的搜索引擎谷歌进行了隐晦的批评，指出其获取的“信息量大约是其他AI公司的两倍”。Cloudflare认为，原因是谷歌让客户难以既保持可发现性又不被用于AI。

谷歌对此描述进行了反驳。它指出有一个名为Google Extended的机器人，可以让网站所有者选择不让其内容用于AI训练或Gemini Apps、Vertex API等产品，而不会影响其Google搜索排名。尽管如此，谷歌的旗舰产品Googlebot确实会为AI Overviews和AI Mode等AI功能抓取内容。

Cloudflare联合创始人兼首席执行官马修·普林斯表示：“既然互联网上大部分流量是非人类的，我们必须更进一步、更快行动，以便形成一个可持续的生态系统。”他指的是最近机器人流量首次超过人类流量的里程碑，这一转变原本预计要到明年才会发生。

普林斯补充道：“Cloudflare的新工具和合作伙伴关系为网站所有者提供了更高的可见性和商业机会，并使拥有明确透明意图的机器人的AI公司受益。我们希望我们提议的默认变更能鼓励混合用途爬虫将搜索用途与代理使用和训练分开。”

Cloudflare一直在推出一系列工具，让内容发布者在AI时代拥有更多话语权。去年它推出了一个名为Pay Per Crawl的市场，网站可以在此向AI机器人收取抓取费用。如今，该计划正在演变为Pay Per Use，允许发布者在内容真正创造价值时向AI公司收费，而不仅仅是在被抓取时。

这一改变还可能节省带宽和计算资源。Cloudflare的数据表明，来自AI爬虫的爬取流量中，超过50%用于重新获取未改变的页面。

首先，Cloudflare与两家合作伙伴合作：Ceramic.ai和You.com。当发布者选择加入时，他们的内容出现在Ceramic的AI搜索结果中或You.com访问他们的优质内容时，他们会获得报酬。Cloudflare表示，其他AI公司可以根据自身需求定制该模式。