Cloudflare将默认阻止混合AI爬虫，推动付费获取内容
Cloudflare修改默认设置，限制混合爬虫，要求AI公司为内容付费，否则难以获取网页数据。
Cloudflare宣布自2026年9月15日起，默认阻止同时用于搜索、AI代理和训练的“混合用途”爬虫爬取带广告的网页（除非网站所有者手动允许）。此举旨在迫使AI公司区分传统搜索与AI抓取，并为内容付费。Cloudflare还推出“按使用付费”市场，联合Ceramic.ai和You.com，让出版商在内容被AI使用时获得报酬。
正文摘录
Cloudflare 的新政策推动 AI 公司为出版商内容付费 Cloudflare 刚刚给 AI 行业设定了一个新截止日期，要求它们把用于传统搜索（如 Google Search）的网络爬虫和用于 AI 代理与训练的网络爬虫区分开。Cloudflare 周三宣布，从 2026 年 9 月 15 日起，其默认设置将阻止“混合用途”爬虫抓取任何托管广告的页面。 这意味着，默认情况下，那些混用搜索、代理和训练的爬虫将被禁止抓取这些网站，除非网站所有者另行调整设置。Cloudflare 表示，这些默认设置的变更将适用于新客户、现有客户的新建网站，以及所有现有的免费用户。 此举可能影响 AI 模型提供商获取网络内容的方式——无论是用于训练还是用于支持它们的代理服务。 Cloudflare 指出，大多数网站所有者希望自己的内容能通过搜索找到，也愿意通过 AI 服务被发现，但他们希望保护自己的知识产权不被免费拿走。 Cloudflare 特别点名了“世界上最大的搜索引擎”（显然指的是 Google），称其获取的信息量是其他 AI 公司的“两倍多”，因为这家搜索巨头让客户很难在不被用于 AI 的情况下保持可搜索性。 Google 此前曾反驳过这种笼统的指控，指出它提供了一种名为 [Google Extended](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers) 的机器人，允许网站所有者选择不让其内容用于训练以及 Gemini Apps、Vertex API 等 AI 产品和服务。使用该机器人不会影响网站在 Google Search 中的收录。