Cloudflare 6 月数据｜Anthropic 爬 2,978 页换 1 访客，改善 23 倍仍是同行最贪
一句话总结
Cloudflare 6 月数据：Anthropic 爬 2,978 页才回引 1 个访客，Google 只需 5 页、OpenAI 530 页。ClaudeBot 爬取量 +66% 跃居第二大 AI 爬虫。
Cloudflare 6 月最新爬虫流量报告显示，Anthropic 每从一个网站抓 2,978 页，才回引 1 个访客——这个「crawl-to-refer」比例排全行业垫底。Google 的同项指标是 5:1，OpenAI 的 GPTBot 是 530:1，Anthropic 比 Google 慷慨程度差近 596 倍，比 OpenAI 差 5.6 倍。
这个 2,978:1 已经是巨幅进步。上个月 Anthropic 这个比例还是 9,478:1，一年前 Cloudflare 首次公布时是 71,000:1。十二个月改善了 23 倍，主要靠 Claude 内建 web search 带动的回引，不是 ClaudeBot 抓得更少。事实正相反：ClaudeBot 占全网 AI 爬虫流量的份额从 5 月的 12.1% 一口气拉到 20.0%，同比 +66%，一举超过 Meta-ExternalAgent、GPTBot、Bytespider，成为仅次于 Googlebot（24.9%）的第二大爬虫。
搭上 Claude-SearchBot，Anthropic 两只爬虫合计占全网 AI 爬虫流量约 23%。ByteDance 的 Bytespider 反向：5 月才冲到 10.1% 排第四，6 月直接掉到 7.3% 掉出前五；Meta-ExternalAgent 连续三个月下滑到 10.2%；GPTBot 稳在 9.6%。
「越抓越多，反而比例更好」的悖论来自产品侧。Claude 网页版和 App 的搜索功能上线后，回引外部网站的次数加快，把 training crawler 那条分母压下去——但 Cloudflare 特别提醒：Claude 原生 App 引流时不会发 Referer header，实际比例可能还会再修正一轮。
Anthropic 的三只爬虫身份也在 6 月公开对号入座：ClaudeBot 用于训练、Claude-SearchBot 用于用户问答时检索、Claude-User 用于用户明确点的网页摘要。发言人给 PPC.land 的说法是「这样做是为了让网站管理员能精细化控制」。实际落地看，把三只 bot 拆开后唯一能真正提高 opt-out ROI 的做法，还是全站封锁——因为 89.4% 的 AI 爬虫流量都用于训练，回引写进 Cloudflare 统计里就是那个 2,978 分之一。
赌赢，Anthropic 靠 Claude 搜索三个月内把比例压进 500:1 区间，跟 OpenAI 平手，避免版权诉讼第二波集中火力。赌输，2,978:1 这个数字被 New York Times 那类原告直接写进下一份诉状。
via Cloudflare 博客 / WebSearchAPI 月度报告 / PPC.land / SEOmator
这个 2,978:1 已经是巨幅进步。上个月 Anthropic 这个比例还是 9,478:1，一年前 Cloudflare 首次公布时是 71,000:1。十二个月改善了 23 倍，主要靠 Claude 内建 web search 带动的回引，不是 ClaudeBot 抓得更少。事实正相反：ClaudeBot 占全网 AI 爬虫流量的份额从 5 月的 12.1% 一口气拉到 20.0%，同比 +66%，一举超过 Meta-ExternalAgent、GPTBot、Bytespider，成为仅次于 Googlebot（24.9%）的第二大爬虫。
搭上 Claude-SearchBot，Anthropic 两只爬虫合计占全网 AI 爬虫流量约 23%。ByteDance 的 Bytespider 反向：5 月才冲到 10.1% 排第四，6 月直接掉到 7.3% 掉出前五；Meta-ExternalAgent 连续三个月下滑到 10.2%；GPTBot 稳在 9.6%。
「越抓越多，反而比例更好」的悖论来自产品侧。Claude 网页版和 App 的搜索功能上线后，回引外部网站的次数加快，把 training crawler 那条分母压下去——但 Cloudflare 特别提醒：Claude 原生 App 引流时不会发 Referer header，实际比例可能还会再修正一轮。
Anthropic 的三只爬虫身份也在 6 月公开对号入座：ClaudeBot 用于训练、Claude-SearchBot 用于用户问答时检索、Claude-User 用于用户明确点的网页摘要。发言人给 PPC.land 的说法是「这样做是为了让网站管理员能精细化控制」。实际落地看，把三只 bot 拆开后唯一能真正提高 opt-out ROI 的做法，还是全站封锁——因为 89.4% 的 AI 爬虫流量都用于训练，回引写进 Cloudflare 统计里就是那个 2,978 分之一。
赌赢，Anthropic 靠 Claude 搜索三个月内把比例压进 500:1 区间，跟 OpenAI 平手，避免版权诉讼第二波集中火力。赌输，2,978:1 这个数字被 New York Times 那类原告直接写进下一份诉状。
via Cloudflare 博客 / WebSearchAPI 月度报告 / PPC.land / SEOmator
