Cloudflare 從封殺 AI 爬蟲到替 OpenAI 導路，20% 網頁的守門人開閘
一句話總結
Cloudflare 首次把全球網路即時訊號餵給 OpenAI，換 ChatGPT 搜索減少無效爬取。
Cloudflare 從封殺 AI 爬蟲到替 OpenAI 導路，20% 網頁的守門人開閘
Cloudflare 與 OpenAI 在 7 月 8 日聯合宣布首個網路層級 AI 搜索研究試點，Cloudflare 把自家全球網路上收到的即時訊號——內容新鮮度、流量品質、頁面實際變動——直接餵給 OpenAI 的 ChatGPT 搜索索引器，換 OpenAI 減少無效爬取。全球 超過 20% 的網頁流量走 Cloudflare，這是史上第一次 CDN 端把「這頁沒變過」寫成信號直接告訴 answer engine。
反差在時間軸上。Cloudflare 一年前才推 Content Independence Day，把 AI crawler 預設封鎖列進所有新客戶，同時上線 pay-per-crawl 讓站點按次收費，Matthew Prince 當時公開點名 Perplexity 偽造 user agent 繞抓。這次公告他改口：「藉由分享我們細緻的網路訊號，我們可以找到讓 AI 搜索更高效的方法。」OpenAI 研究副總 Nick Ryder 說，「即時資訊對 ChatGPT 給出準確答案很關鍵。」
技術面 Cloudflare 給出的數字更狠。根據 Cloudflare 部落格，目前 超過 50% 的 good bot 爬蟲流量在重抓沒變過的頁面，隨爬蟲量成長比例只會更高。試點做的事就是給 crawler 一個「這裡沒東西改」的訊號，讓 OpenAI 的爬蟲跳過去，站主省頻寬，OpenAI 省 compute。Cloudflare 強調全程 不分享任何頁面內容，也不會被拿去訓練基礎模型。
參與方式沒完全公開，Cloudflare 舉了 Ceramic.ai 和 You.com 走 pay-per-crawl 的例子，Ceramic 創辦人 Anna Patterson 說「要規模化 AI 搜索的未來，需要一個有規模和公平補償承諾的夥伴」。ChatGPT 搜索背後的實際 index 目前混用 Bing 與自家 crawler，這次是 OpenAI 首度接入第三方網路層信號。
關掉 AI 爬蟲的閘門一年後，Cloudflare 把自己升級成 AI 搜索的資料中間商。收爬蟲買路錢的邏輯還在，只是路變成了兩條：全封鎖，或走 Cloudflare 給 OpenAI 開的專線。
via Cloudflare Press / Cloudflare Blog / Businesswire
Cloudflare 與 OpenAI 在 7 月 8 日聯合宣布首個網路層級 AI 搜索研究試點，Cloudflare 把自家全球網路上收到的即時訊號——內容新鮮度、流量品質、頁面實際變動——直接餵給 OpenAI 的 ChatGPT 搜索索引器，換 OpenAI 減少無效爬取。全球 超過 20% 的網頁流量走 Cloudflare，這是史上第一次 CDN 端把「這頁沒變過」寫成信號直接告訴 answer engine。
反差在時間軸上。Cloudflare 一年前才推 Content Independence Day，把 AI crawler 預設封鎖列進所有新客戶，同時上線 pay-per-crawl 讓站點按次收費，Matthew Prince 當時公開點名 Perplexity 偽造 user agent 繞抓。這次公告他改口：「藉由分享我們細緻的網路訊號，我們可以找到讓 AI 搜索更高效的方法。」OpenAI 研究副總 Nick Ryder 說，「即時資訊對 ChatGPT 給出準確答案很關鍵。」
技術面 Cloudflare 給出的數字更狠。根據 Cloudflare 部落格，目前 超過 50% 的 good bot 爬蟲流量在重抓沒變過的頁面，隨爬蟲量成長比例只會更高。試點做的事就是給 crawler 一個「這裡沒東西改」的訊號，讓 OpenAI 的爬蟲跳過去，站主省頻寬，OpenAI 省 compute。Cloudflare 強調全程 不分享任何頁面內容，也不會被拿去訓練基礎模型。
參與方式沒完全公開，Cloudflare 舉了 Ceramic.ai 和 You.com 走 pay-per-crawl 的例子，Ceramic 創辦人 Anna Patterson 說「要規模化 AI 搜索的未來，需要一個有規模和公平補償承諾的夥伴」。ChatGPT 搜索背後的實際 index 目前混用 Bing 與自家 crawler，這次是 OpenAI 首度接入第三方網路層信號。
關掉 AI 爬蟲的閘門一年後，Cloudflare 把自己升級成 AI 搜索的資料中間商。收爬蟲買路錢的邏輯還在，只是路變成了兩條：全封鎖，或走 Cloudflare 給 OpenAI 開的專線。
via Cloudflare Press / Cloudflare Blog / Businesswire
