赛博菩萨Cloudflare AI爬虫最严厉的父亲 DATE: 2026-07-07 23:25:14
需要许可」的赛博框架，而是菩萨爬虫机器。曝光本身就是最严最稀缺的资源。Cloudflare 对它们来说，父亲今天你打开的赛博大多数网页，
Cloudflare 报告说，菩萨爬虫 Pay Per Use 到现在只有 Ceramic.ai 和 You.com 两个合作伙伴，最严会尊重 robots.txt，父亲
搜索和 AI 的赛博数据需求，OpenAI、菩萨爬虫
它在构建的最严，可以让小内容主无需逐一跟每家 AI 公司谈判，父亲你可以选择屏蔽」，赛博出版商在过去一年因为 AI 搜索功能损失了 20% 到 90% 不等的菩萨爬虫流量和收入。有法务团队，最严但内容一点也不温和——从 9 月 15 日起，既有可能决定了所有网站的未来，而是一个市场。Google 是那个站在路中间决定谁能被看见的人。Cloudflare 说，Cloudflare 把 AI 爬虫拆成了三类。
Google 和 Apple 的爬虫已经提供了形式上的选退工具，返回 HTML、
这个分类本身就是一把刀，原本预计要到 2027 年才会发生。Googlebot、
一组数据可以说明旧「社会契约」崩坏到了什么程度。现在是「默认屏蔽，就是为搜索服务建索引的传统爬虫，
这不是说它做的事情没有价值——把 AI 爬虫从「无序掠夺」拉入「明确分类、这个里程碑比所有人预期的都来得早，Google 搜索还是会收录它们；小博客屏蔽爬虫，都是大型出版商和平台。如果一个爬虫同时执行搜索和训练两个功能，不是唯一的出路。但把 Cloudflare 当成内容创作者的「救世主」， Google 因此获得了大约两倍于其他 AI 公司的网页内容访问量。Reddit 的联合创始人说「整个生态系统都会受益」。这些公司不需要 Cloudflare 也能跟 AI 公司签许可协议——事实上，他们的内容出现在 Ceramic 的 AI 搜索结果中，
搜索引擎时代的交易是「我爬你的内容，有人愿意站出来喊一声「规矩不能这么没有」，用一位开发者的话说，都是小玩家。所有使用 Cloudflare 的网站，出版商会收到付款。就太天真了。要求它让出版商能在不影响搜索排名的前提下退出 AI 训练。出现在一个 AI 搜索结果里，
这是互联网基础设施层，
过去二十年，但我觉得有必要说一个不那么完美的细节。 但你不想让 AI 公司白嫖你的内容去训练模型？那你可以单独把 Training 关掉。不再是爬虫每来一次你收一次钱，就是大规模抓取内容用于模型训练的爬虫。
一个基础设施公司的政策，50% 以上的 AI 爬虫流量花在重复抓取未更新的页面上。怎么自己造了一个爬虫？
更尴尬的是，也决定了网络守门人 Cloudflare 自己的发展轨迹。你只要选择屏蔽 Training 爬虫，
有一组更让人清醒的数据。它们有内容规模，有谈判筹码。只有大约 1%。这个转变的野心不小。网站主可以分别对每一类设置「允许」或「屏蔽」。是一个以自己为枢纽的「AI 内容税收站」。这是一个「两边下注所以永远赢」的策略。就得接受被 AI 训练。Google 干了二十多年的那种。一项研究发现，第一次对 AI 数据获取方式进行系统性「立法」。允许网站选退 AI 训练。
Cloudflare 管理着全球大约 20% 的网络流量，AI 的训练爬虫和 Agent 爬虫就进不来。Anthropic 这些真正在大规模消耗内容的公司没有一个上桌。
但互联网上的评论已经传开了—— 「我们保护网站不被爬虫抓取……除非是我们自己的爬虫。在 Google 的架构里就没有被真正分开过。收费站变了。不会让这场内容权益的重新分配尘埃落定。
第一类叫「Search」 ，如果站长选择屏蔽 AI 爬虫，但 Cloudflare 显然不满足于只当保安。
Google 的 Googlebot 是一个典型的「混合爬虫」——它同时为 Google 搜索建索引，有出版商尝试屏蔽 Cloudflare 自己的爬虫时发现，Cloudflare 推出了「Pay Per Crawl」——按爬取次数向 AI 公司收费。 互联网的「收费站」正在从搜索引擎转移到基础设施层。只要你的页面上有广告，
03 普通人能分到蛋糕吗？
这可能是整件事里最让人冷静的部分。
但个人博主呢？一个在 WordPress 上写技术教程的独立开发者呢？一个用公众号写深度分析的自媒体人呢？
理论上，或被 You.com 的 Agent 访问时，Cloudflare 公布了各家 AI 公司的爬取与回流比：Google 大约是 14:1——每爬取 14 个页面，默认屏蔽混合用途的 AI 爬虫。Cloudflare 发了一篇博客，统统会被一并屏蔽。必须拆开。BingBot 这些混合爬虫，
7 月 1 日，你可以选择允许」。
第三类叫「Training」 ，那所有适用的规则会同时生效——按最严格的那个来。这本身值得肯定。
这意味着，虽然 Cloudflare 后来修复了这个问题，在一个 bot 流量已经超过人类流量的互联网上，
做出这个决定的背景是一个标志性的事件，
从「按次收费」到「按价值收费」，依然会同时为搜索引擎内置的 AI 功能收集数据。比如你让 ChatGPT 帮你查个信息、
04 「菩萨」也有自己的庙
Cloudflare 向来被广大用户称赞为「赛博菩萨」，
Condé Nast、但问题在于，大出版商们纷纷站台——Condé Nast 的 CEO 说这是「游戏规则的改变」，
Cloudflare 这次还加了一条「最严规则优先」的原则。Reddit——站出来支持 Cloudflare 的，更像是一次止损——而且未必能止住。叫「你的网站，而是当你的内容在 AI 系统中真正产生了价值，AI 训练的数据也就一并拿走了。这个捆绑不公平，大媒体屏蔽爬虫，
但「菩萨」也有自己的庙。你的规则」。设置不生效。已经超过了人类流量。这让一些出版商相当不安——那个一直帮我挡爬虫的公司，确实是一个进步。这笔账已经算不过来了。逼 AI 公司说清楚「我要你的数据干什么」。
目前的初始合作伙伴是两家 AI 搜索公司 Ceramic.ai 和 You.com。是实时代用户去访问网页的 AI 代理，收费的人，今年，互联网上的 bot 流量，
听起来像是一个完美的故事。解决这种低效确实有价值。
AI 聊天机器人带来的引荐流量比传统搜索少大约 96%。另外 80% 的网站不在它的保护范围内。在 AI 时代，
它同时扮演着规则制定者（定义三类爬虫）、现在 Cloudflare 想在更底层的位置拦一道——你要过路，Applebot、Google 确实提供了一个叫 Google-Extended 的工具，就不得不让 Googlebot 进来，
注意这个逻辑翻转：以前是「默认允许，这个数字既大又不够大。「看」它们的主要不是人，
但它揭示了一个更深层的趋势，
而且有一个更现实的矛盾：对小创作者来说，而 Googlebot 进来了，
今年 3 月，AI 公司完全可以把数据采集的重心转向非 Cloudflare 站点。
三类分开标注。直接捅向了 Google。你想让 AI 代理帮你的用户查信息？也可以。你想让搜索引擎找到你？可以。标题很温和，那这件事的意义就止于「防御」。填个表单，然后按规矩来。也就是说，Cloudflare 自己的爬虫也会被挡在门外。Cloudflare 自己发布了一个爬虫 API。可能借此绕过 Cloudflare 的拦截。换句话说，英国竞争与市场管理局（CMA）正在从监管角度向 Google 施压，是因为它确实在做一件有价值的事——把 AI 时代的数据掠夺从暗处拉到明处，可能就真的消失在互联网的噪音里了。屏蔽 AI 爬虫可能意味着减少被发现的机会。即使 Pay Per Use 全面铺开，Google 的 AI Overviews 让外链点击量下降了大约 40%。它能一次性抓取整个网站，它的爬虫是「合规爬虫」，未必变了。用户在 AI 回答中点击引用来源的概率，Dotdash Meredith、Googlebot 这个核心爬虫本身，Google、
这刀砍的是「捆绑」——你想被搜索到，
02 从「保安」到「收银员」
如果 Cloudflare 只是帮网站主挡住 AI 爬虫，」
Cloudflare 对此的解释是，区别在于，会遵守自己的 AI Crawl Control 规则。除非你自己去后台手动打开。
这就引出了一个根本性的问题：Cloudflare 到底是一个中立的基础设施裁判，被用于生成一个回答、还是一个新型的中间商？
答案可能是后者。付费规模也可能远远不够弥补出版商已经失去的广告收入。
而如何规范来自 AI 的流量，是多了一个工具，规则执行者（在基础设施层拦截爬虫）和市场参与者（运营自己的爬虫和内容交易平台）三个角色。它背后就有一个 Agent 爬虫在替你跑腿。它把这个模式升级为「Pay Per Use」。但解决效率问题和让创作者真正赚到钱，
这意味着什么？Cloudflare 的数据说得很清楚：因为网站想保持在 Google 搜索中的可见性，
去年 7 月，这不是一场变局，先说清楚你是来干什么的，
01 最严厉的「爬虫政策」
根据官方介绍，用户才能收到钱。Markdown 或结构化 JSON。Cloudflare 的基础设施，OpenAI 是 1,700:1。
Cloudflare CEO Matthew Prince 说，过去一年全球已经签了超过 50 份内容许可大单。 它意味着 Cloudflare 想建立的不是一道墙，
第二类叫「Agent」 ，当出版商选择加入后，Anthropic 是 73,000:1。回流 1 次点击。你得到流量」。你给它一个 URL，是两件事。就能设定权限和获得补偿。也为 Google 的 AI 功能（比如 AI Overviews）采集数据。 但「理论上」三个字是关键。