Cloudflare 6 月數據｜Anthropic 抓 2,978 頁換 1 訪客，改善 23 倍仍是同行最貪
一句話總結
Cloudflare 6 月數據：Anthropic 爬 2,978 頁才回引 1 個訪客，Google 只需 5 頁、OpenAI 530 頁。ClaudeBot 爬取量 +66% 躍居第二大 AI 爬蟲。
Cloudflare 6 月數據｜Anthropic 抓 2,978 頁換 1 訪客，改善 23 倍仍是同行最貪
Cloudflare 六月最新爬蟲流量報告顯示，Anthropic 每從一個網站抓 2,978 頁，才回引 1 個訪客——這個「crawl-to-refer」比例排全行業墊底。Google 的同項指標是 5:1，OpenAI 的 GPTBot 是 530:1，Anthropic 比 Google 慷慨程度差近 596 倍，比 OpenAI 差 5.6 倍。
這個 2,978:1 已經是巨幅進步。 上個月 Anthropic 這個比例還是 9,478:1，一年前 Cloudflare 首次公佈時是 71,000:1。十二個月改善了 23 倍，主要靠 Claude 內建 web search 帶動的回引，不是 ClaudeBot 抓得更少。事實正相反：ClaudeBot 佔全網 AI 爬蟲流量的份額從 5 月的 12.1% 一口氣拉到 20.0%，同比 +66%，一舉超過 Meta-ExternalAgent、GPTBot、Bytespider，成為僅次於 Googlebot（24.9%）的第二大爬蟲。
搭上 Claude-SearchBot，Anthropic 兩隻爬蟲合計佔全網 AI 爬蟲流量約 23%。ByteDance 的 Bytespider 反向：五月才衝到 10.1% 排第四，六月直接掉到 7.3% 掉出前五；Meta-ExternalAgent 連續三個月下滑到 10.2%；GPTBot 穩在 9.6%。
「越抓越多，反而比例更好」的悖論來自產品側。 Claude 網頁版和 App 的搜索功能上線後，回引外部網站的次數加快，把 training crawler 那條分母壓下去——但 Cloudflare 特別提醒：Claude 原生 App 引流時不會發 Referer header，實際比例可能還會再修正一輪。
Anthropic 的三隻爬蟲身份也在六月公開對號入座：ClaudeBot 用於訓練、Claude-SearchBot 用於用戶問答時檢索、Claude-User 用於用戶明確點的網頁摘要。發言人給 PPC.land 的說法是「這樣做是為了讓網站管理員能精細化控制」。實際落地看，把三隻 bot 拆開後唯一能真正提高 opt-out ROI 的做法，還是全站封鎖——因為 89.4% 的 AI 爬蟲流量都用於訓練，回引寫進 Cloudflare 統計裡就是那個 2,978 分之一。
賭贏，Anthropic 靠 Claude 搜索三個月內把比例壓進 500:1 區間，跟 OpenAI 平手，避免版權訴訟第二波集中火力。賭輸，2,978:1 這個數字被 New York Times 那類原告直接寫進下一份告訴狀。
via Cloudflare Blog / WebSearchAPI 月度報告 / PPC.land / SEOmator
Cloudflare 六月最新爬蟲流量報告顯示，Anthropic 每從一個網站抓 2,978 頁，才回引 1 個訪客——這個「crawl-to-refer」比例排全行業墊底。Google 的同項指標是 5:1，OpenAI 的 GPTBot 是 530:1，Anthropic 比 Google 慷慨程度差近 596 倍，比 OpenAI 差 5.6 倍。
這個 2,978:1 已經是巨幅進步。 上個月 Anthropic 這個比例還是 9,478:1，一年前 Cloudflare 首次公佈時是 71,000:1。十二個月改善了 23 倍，主要靠 Claude 內建 web search 帶動的回引，不是 ClaudeBot 抓得更少。事實正相反：ClaudeBot 佔全網 AI 爬蟲流量的份額從 5 月的 12.1% 一口氣拉到 20.0%，同比 +66%，一舉超過 Meta-ExternalAgent、GPTBot、Bytespider，成為僅次於 Googlebot（24.9%）的第二大爬蟲。
搭上 Claude-SearchBot，Anthropic 兩隻爬蟲合計佔全網 AI 爬蟲流量約 23%。ByteDance 的 Bytespider 反向：五月才衝到 10.1% 排第四，六月直接掉到 7.3% 掉出前五；Meta-ExternalAgent 連續三個月下滑到 10.2%；GPTBot 穩在 9.6%。
「越抓越多，反而比例更好」的悖論來自產品側。 Claude 網頁版和 App 的搜索功能上線後，回引外部網站的次數加快，把 training crawler 那條分母壓下去——但 Cloudflare 特別提醒：Claude 原生 App 引流時不會發 Referer header，實際比例可能還會再修正一輪。
Anthropic 的三隻爬蟲身份也在六月公開對號入座：ClaudeBot 用於訓練、Claude-SearchBot 用於用戶問答時檢索、Claude-User 用於用戶明確點的網頁摘要。發言人給 PPC.land 的說法是「這樣做是為了讓網站管理員能精細化控制」。實際落地看，把三隻 bot 拆開後唯一能真正提高 opt-out ROI 的做法，還是全站封鎖——因為 89.4% 的 AI 爬蟲流量都用於訓練，回引寫進 Cloudflare 統計裡就是那個 2,978 分之一。
賭贏，Anthropic 靠 Claude 搜索三個月內把比例壓進 500:1 區間，跟 OpenAI 平手，避免版權訴訟第二波集中火力。賭輸，2,978:1 這個數字被 New York Times 那類原告直接寫進下一份告訴狀。
via Cloudflare Blog / WebSearchAPI 月度報告 / PPC.land / SEOmator
