我们在手机上搜索餐馆,或者在电脑上查找旅行攻略时,已经越来越少去点击那些蓝色的网页链接。我们更习惯让屏幕另一端的 AI 助手帮我们搜集信息,直接把整理好的结果递到眼前。在这个过程里,那些曾经吸引我们眼球的网页横幅广告,彻底失去了吸引人类注视的机会。
大家都能感到,基于广告展示的传统商业模式正在失效。AI 智能体正在代替人类去阅读网页,它们变成了互联网上最活跃的群体。然而,面对这个变化,有人开始行动了吗?作为网站的创建者,我们该怎么在这个新环境里生存?
网络基础设施服务商 Cloudflare 连续迈出了几步。他们把机器阅读的规则放进了新网站的发布流程,试图重构整个边缘网络。他们正在将边缘网络从人类网页的分发层,改造成智能体请求的协商层。最新推出的 Cloudflare Drop 工具,直接把 Markdown for Agents 功能塞进了新网站发布的标准流程中。从此,一个网站上线时默认要考虑的读者,不再单单是人类浏览器,AI 智能体也成了并列的第一等读者。结合 x402 计费层和 Access 身份层,Cloudflare 的边缘网络开始在瞬间同时回答四个问题:来者是谁、能不能访问、要不要付费、返回什么格式。我们仔细分析这些动作,能给当下的从业者带来不少启发。
2026 年中,全球网络流量的结构发生了一次重大偏移。统计数据显示,互联网上的机器人流量比例已经达到 57.5%。这个数字比所有分析机构的预测提前了整整 18 个月。今天,成千上万个网站正面临一个全新的局面。访问它们网页的主力,不再是双眼紧盯屏幕的人类,各种不知疲倦的 AI 智能体成了绝对的大多数。
然而,当智能体试图去阅读和理解一个网页时,它们的步骤非常吃力。首先,它们必须发出普通的 HTTP 请求,拉取大体积的 HTML 代码。接着,它们需要清洗复杂的 DOM 树。它们得剥离顶部的导航栏,去除右侧的广告条,删掉底部的页脚信息。它们还要识别并过滤各种第三方脚本和统计代码。清洗完这些无用的噪声,智能体才能提取出干净的正文。最后,它们要把正文送入大模型的上下文窗口。
这个解析过程不仅浪费时间,更给开发者带来了高昂的资金负担。以一个常见的维基百科页面为例。如果直接输入原始的 HTML 网页,大模型会消耗 68,000 个 token。大模型本身足够聪明,产生这些开销的根源在于格式设计。现有的网页格式天生就是为了服务浏览器而设计的。它在诞生之初,并没有考虑机器的阅读习惯。
面对这个日益严重的痛点,网络服务商开始改造边缘网络。他们要把边缘网络从网页的分发层,变成智能体请求的协商层。在 2026 年 2 月 12 日,Cloudflare 发布了一项新功能,叫做 Markdown for Agents。这项功能基于 HTTP 协议,实现了灵活的内容协商机制。技术人员可以参考 Markdown for Agents 官方文档 以及 Markdown for Agents 博客文章 来部署。
当 AI 智能体试图读取某个页面时,它会发送一个普通的 HTTP
请求。请求头里会携带 Accept: text/markdown 声明。当
Cloudflare 的边缘节点接收到这个请求,不会将原始的 HTML
返回给客户端。节点直接在请求路径上完成转换,实时将 HTML 变成 Markdown
格式。
这种实时转换产出的数据格式设计得极为规整,通常由三个部分组成。第一部分是
YAML 格式的元数据,包含了网页的标题和描述。第二部分是剥离了噪声的正文
Markdown,边缘节点会自动切除导航栏、侧边栏和广告。第三部分是附加在末尾的结构化数据,保留了网页里的关联信息。在返回响应时,边缘节点还会在
header 里附带 token 计数,包括 x-markdown-tokens 和
x-original-tokens
两个关键字段。通过这两个数字,智能体能够立刻知道本次请求节省了多少预算。
根据 Cloudflare 的测试数据,一个原本需要 12,345 个 token 的页面,转换后只需要 725 个 token。这意味着,大模型消费网页的 token 消耗降低了 94%。具体的压缩效果可以参考下面的直观对比:
当然,将 HTML 转换成 Markdown 的技术本身并不是 Cloudflare 首创的。在市场上,Jina Reader 已经提供了类似服务。用户只需在网页地址前加上特定的前缀,就能拿到洗干净的 Markdown 数据。同时,Firecrawl 也在做类似的工作,提供专门针对网页爬取和清洗的接口。
不过,Cloudflare 的真正优势,是它所处的网络位置和庞大的服务规模。Cloudflare 的边缘网络分布在全球 330 多个城市。这意味着,节点直接在请求路径上完成转换。网站主人不需要额外去配置代理服务器,也不需要引入复杂的中间件。对于任何能够发起 HTTP 请求的智能体来说,它们不需要安装任何第三方客户端库。它们只需要像访问普通网页一样,多发送一行格式声明即可。
功能只有真正进入工作流程,才能够改变使用者的默认习惯。2026 年 7 月 8 日,Cloudflare 推出了拖拽部署工具 Cloudflare Drop。关于这次发布的细节,可以阅读 Cloudflare Drop 发布日志。表面上看,这只是一个模仿 Vercel Drop 的托管工具。用户只需将网页文件夹拖入浏览器,网站就能在几秒内上线。开发者可以通过 Vercel Drop 发布说明 看看两者的交互差异。
在 Hacker News 社区,这个项目引发了广泛的讨论。它获得了 523 个点赞和 285 条评论,大家可以访问 Hacker News 讨论帖 浏览细节。然而,当时大家的讨论几乎全部集中在服务条款和托管服务的竞争上。几乎没有人注意到,其中包含了针对智能体的策略。
真正的改变发生在新发布网页的认领配置菜单中。当用户拖拽上传并完成网站认领后,网页会弹出一个设置引导面板。在这里,Cloudflare 提供了四个基础选项:绑定自定义域名、开启网站监控、启用机器格式,以及设置访问控制。
这件产品的核心意义,并不在简化了几步操作。它真正改变的,是网站发布时的默认设置。过去,开发者发布网站,唯一考虑的读者是浏览器。大家会花时间去优化排版、压缩图片和设计交互动画。现在,这个引导选项在提醒你,机器也是你的读者。网站一上线,你就能一键让机器顺畅阅读。
从技术底层看,这个托管系统依赖于一种临时的部署机制。相关的技术细节可以查阅 Claim Deployments 技术文档。在这份官方文档里,开发团队将 AI 自动部署和智能体会话列为首要场景。命令行工具 Wrangler 提供了一个临时的沙盒,允许运行中的 AI 智能体直接在里面进行代码部署。而 Drop 的网页界面,只是把这种面向机器的命令行能力,封装成了面向人类的图形操作。
我们需要把 Drop 和 Markdown for Agents 放回 Cloudflare 的全局版图里看。在过去几个月,这家公司在 AI 领域完成了一系列紧密的动作。
第一块是收购 VoidZero 团队。这为智能体编写和部署代码提供了底座级的工具链,也让 Vite 成了 AI 时代的默认工具。关于其工具链整合的深度,参考 Cloudflare 与 VoidZero 布局。第二块是 Markdown for Agents 和 Drop,它们打通了低成本的内容读取通道。第三块是 Monetization Gateway 计费网关,它允许机器通过 HTTP 402 协议进行付费协商。关于计费网络的运作,参考 Monetization Gateway 网络计费网关。第四块是 Access 身份和机器人管理系统,它负责识别机器身份并完成安全验证。
这四块拼图汇聚在一起,展现了一个极为清晰的思路。Cloudflare 不需要开发智能体的运行环境。相反,它将精力集中在运行环境的外侧,构建一个覆盖全球的网络协商层。当一个 AI 智能体的请求到达 Cloudflare 边缘节点时,网络会在瞬间完成多重交互,如下图所示:
边缘网络开始同时回答四个问题:来者是谁?能不能进?要不要付费?返回什么格式?要完成这样的多重协商,需要庞大的基础设施和多层能力的垂直整合。在当前的云计算生态中,其他竞争对手还无法提供如此完整的协商体验。
比如 Vercel,它有部署和 AI 生成能力,但没有边缘格式协商,也没有边缘机器计费。尽管它们开源了 Vercel agent-browser 进行本地浏览器尝试。AWS 虽然推出了 Bedrock AgentCore,它主要用于智能体编排,却缺乏托管浏览器,也缺乏极低延迟的内存共享。
Cloudflare 选择了清晰的路线。它们通过边缘分布与垂直整合,在智能体时代拿到了独特的竞争优势。目前,Cloudflare 的 Workers AI 推理层已经接入了 70 多个模型和 12 家提供商。详情可查询 Cloudflare Agents 技术页面 以及 Cloudflare Agents Week 汇总。通过与 Anthropic 的紧密合作,它们实现了 5 毫秒的超低冷启动沙盒环境。关于此项技术,参考 Anthropic 与 Cloudflare 合作博客 以及 Agent Readiness 博客文章。这些积累让边缘协商层运转得极为流畅。
格式协商降低了机器阅读的门槛,但这并不代表网页内容变得更加安全。AI 智能体读取外部网页时,极易遭遇指令注入。安全领域将这种手段称为 Agentjacking。具体的攻击原理可以参考 Agentjacking 与指令注入攻击。
边缘节点将复杂的 HTML 转成了干净的 Markdown。大模型由此能够更顺畅地读取和理解网页。这也带来了一些潜在风险。读取摩擦降低了,注入攻击的门槛也变低了。黑客能更轻松地在网页里隐藏攻击指令。大模型顺畅阅读时,就会在无意中执行它们。
为了规范机器对内容的使用,Cloudflare 提出了 Content Signals
机制。它允许网站主人声明对内容的使用偏好。例如设置
ai-train=yes 或者
search=no。然而,这只是一种声明,算不上严格的安全验证。它无法防止恶意网站进行欺骗。当网络传输层的读取摩擦降为零,对安全验证层和信任认证层的需求,反而会变得更加迫切。
把边缘网络视为机器时代的协商层,是一个符合逻辑的推论。但是,客观事实随时可能推翻它。要让这套网络模型真正成为行业标准,Cloudflare 必须通过以下五道艰难的考题。
第一道考题,是网站主人的采用率。目前,Cloudflare 将这项功能绑定在付费套餐中。网站主人至少要购买每月 25 美元的 Pro 套餐,才能开启这项服务,免费套餐用户只能看着。高昂的价格门槛可能会严重拖慢这项技术的普及速度。我们可以看看 llms.txt 规范的发展轨迹。开发者可以参考 llms.txt 官方规范 自定义文本。而根据 Ahrefs 关于 llms.txt 的研究报告 显示,在抽样调查的网站中,虽然有 28% 的网站发布了该文件,但是机器从来没有访问过其中 97% 的文件。如果广大网站主人不开启该选项,格式协商层就无法凝聚成行业默认的生态。
第二道考题,是客户端框架的协同态度。要触发边缘节点的实时格式转换,智能体客户端必须在发出请求时主动携带
Accept: text/markdown
请求头。然而目前,主流智能体框架还没有默认加入这种逻辑。
第三道考题,是复杂动态网页的转换质量。官方宣传的 94% 流量节省,来自于结构相对简单的演示网页。真实网络中有大量动态单页应用和密集表格。边缘节点的实时转换质量和稳定性,仍需检验。
第四道考题,是大模型解析原生 HTML 能力的进化。如果未来的大模型能轻松理解原始 HTML 代码,那么,中间网络转换层所能提供的边际价值,就会不可避免地迅速缩水。
第五道考题,是代理模式在实际场景中的可用性。诸如 Jina Reader 这样的外部转换服务,其平均延迟大约在 7.9 秒。人类无法忍受几秒的等待,但对于异步运行的智能体来说,这个延迟完全可用。因此,边缘网络的超低延迟优势,可能无法形成决定性的差异。
AI agent 正在代替人类浏览网页,广告模式难以维持。Cloudflare 已经为这种交互搭建了边缘网络协商层。现在发布网页,必须默认支持机器阅读和边缘计费。我们要让机器顺畅消费自己的内容,更要在边缘端向它们收费。