AI 网页抓取 Token 节省 80%

利用 Cloudflare Markdown for Agents 优化网页抓取，Token 消耗降低约 80%，适用于 Agent 高频爬取场景

基本信息

• 技能名称?Markdown Fetch
• 中文名称?AI 网页抓取 Token 节省 80%
• 作者?howtimeschange
• 分类?专业技能
• 版本?1.0.0
• 标签?web-scraping, cloudflare, token-optimization, markdown, api, cost-reduction

使用方法

使用说明
核心用法
markdown-fetch 是一个针对 AI Agent 优化的网页抓取工具，核心原理是利用 Cloudflare 的 Markdown for Agents 功能：通过在 HTTP 请求头中声明 Accept: text/markdown, text/html ，让支持该特性的网站直接返回 Markdown 格式而非 HTML，从而大幅减少 Token 消耗（官方宣称约 80%）。
使用方式

1. 集成到现有项目 ：替换原有的 fetch 调用，使用封装好的 optimizedFetch 函数
2. 自动降级处理 ：优先请求 Markdown，若服务端不支持则自动回退到 HTML 解析
3. Token 监控 ：可选读取响应头 x-markdown-tokens ，量化节省效果
   显著优点
   Token 效率 ：Markdown 比 HTML 精简约 80%，直接降低 LLM API 成本
   简化解析 ：无需复杂的 HTML→Markdown 转换，减少解析错误
   透明兼容 ：服务端不支持时自动回退，无破坏性变更
   低侵入性 ：仅需修改请求头，不改业务逻辑
   潜在局限
   服务端依赖 ：仅 Cloudflare 托管站点支持，覆盖率有限（2024-2025 逐步推广中）
   内容完整性 ：部分动态渲染内容（JS 执行后）可能丢失
   格式一致性 ：不同站点的 Markdown 生成质量参差不齐
   生态早期 ：工具链成熟度待验证，生产环境需充分测试
   适合人群
   开发 AI Agent/RAG 系统的工程师
   高频抓取网页并喂给 LLM 的场景（如搜索增强、知识库构建）
   关注 Token 成本优化的团队
   常规风险
   可用性风险 ：Cloudflare 功能迭代可能导致行为变更
   安全风险 ：需确保抓取目标合规，避免违反 robots.txt 或服务条款
   数据一致性 ：Markdown 简化可能导致结构化信息丢失（如表格、嵌套列表）