从封杀 AI 爬虫到替 OpenAI 引路，Cloudflare 给 20% 网页开了专线
一句话总结
Cloudflare 首次把全球网络实时信号喂给 OpenAI，换 ChatGPT 搜索减少无效爬取。
Cloudflare 与 OpenAI 在 7 月 8 日联合宣布首个网络层级 AI 搜索研究试点，Cloudflare 把自家全球网络上收到的实时信号——内容新鲜度、流量质量、页面实际变动——直接喂给 OpenAI 的 ChatGPT 搜索索引器，换 OpenAI 减少无效爬取。全球 超过 20% 的网页流量走 Cloudflare，这是史上第一次 CDN 端把「这页没变过」写成信号直接告诉 answer engine。
反差在时间轴上。Cloudflare 一年前才推 Content Independence Day，把 AI crawler 默认封锁列进所有新客户，同时上线 pay-per-crawl 让站点按次收费，Matthew Prince 当时公开点名 Perplexity 伪造 user agent 绕抓。这次公告他改口：「借由分享我们细致的网络信号，我们可以找到让 AI 搜索更高效的方法。」OpenAI 研究副总 Nick Ryder 说，「实时信息对 ChatGPT 给出准确答案很关键。」
技术面 Cloudflare 给出的数字更狠。根据 Cloudflare 博客，目前 超过 50% 的 good bot 爬虫流量在重抓没变过的页面，随爬虫量增长比例只会更高。试点做的事就是给 crawler 一个「这里没东西改」的信号，让 OpenAI 的爬虫跳过去，站主省带宽，OpenAI 省 compute。Cloudflare 强调全程 不分享任何页面内容，也不会被拿去训练基础模型。
参与方式没完全公开，Cloudflare 举了 Ceramic.ai 和 You.com 走 pay-per-crawl 的例子，Ceramic 创办人 Anna Patterson 说「要规模化 AI 搜索的未来，需要一个有规模和公平补偿承诺的伙伴」。ChatGPT 搜索背后的实际 index 目前混用 Bing 与自家 crawler，这次是 OpenAI 首度接入第三方网络层信号。
关掉 AI 爬虫的闸门一年后，Cloudflare 把自己升级成 AI 搜索的数据中间商。收爬虫买路钱的逻辑还在，只是路变成了两条：全封锁，或走 Cloudflare 给 OpenAI 开的专线。
via Cloudflare 新闻室 / Cloudflare 博客 / Businesswire
反差在时间轴上。Cloudflare 一年前才推 Content Independence Day，把 AI crawler 默认封锁列进所有新客户，同时上线 pay-per-crawl 让站点按次收费，Matthew Prince 当时公开点名 Perplexity 伪造 user agent 绕抓。这次公告他改口：「借由分享我们细致的网络信号，我们可以找到让 AI 搜索更高效的方法。」OpenAI 研究副总 Nick Ryder 说，「实时信息对 ChatGPT 给出准确答案很关键。」
技术面 Cloudflare 给出的数字更狠。根据 Cloudflare 博客，目前 超过 50% 的 good bot 爬虫流量在重抓没变过的页面，随爬虫量增长比例只会更高。试点做的事就是给 crawler 一个「这里没东西改」的信号，让 OpenAI 的爬虫跳过去，站主省带宽，OpenAI 省 compute。Cloudflare 强调全程 不分享任何页面内容，也不会被拿去训练基础模型。
参与方式没完全公开，Cloudflare 举了 Ceramic.ai 和 You.com 走 pay-per-crawl 的例子，Ceramic 创办人 Anna Patterson 说「要规模化 AI 搜索的未来，需要一个有规模和公平补偿承诺的伙伴」。ChatGPT 搜索背后的实际 index 目前混用 Bing 与自家 crawler，这次是 OpenAI 首度接入第三方网络层信号。
关掉 AI 爬虫的闸门一年后，Cloudflare 把自己升级成 AI 搜索的数据中间商。收爬虫买路钱的逻辑还在，只是路变成了两条：全封锁，或走 Cloudflare 给 OpenAI 开的专线。
via Cloudflare 新闻室 / Cloudflare 博客 / Businesswire
