一键抓取网页，智能提取数据

Firecrawl 官方 API 封装技能，支持网页转 Markdown、截图、结构化数据提取、文档站爬取，免费额度 500 积分。

基本信息

• 技能名称?Firecrawler
• 中文名称?一键抓取网页，智能提取数据
• 作者?capt-marbles
• 分类?专业技能
• 版本?1.0.0
• 标签?web-scraping, data-extraction, markdown, screenshot, api-integration, documentation, crawling

使用方法

使用说明
核心用法
Firecrawl Skill 基于 Firecrawl 官方 API，提供完整的网页抓取与数据提取能力。用户通过 fc.py 脚本可直接调用以下功能：

1. Markdown 转换 ：将任意 URL 转为干净 Markdown，支持 JavaScript 渲染内容，可选 --main-only 过滤导航/页脚噪声
2. 网页截图 ：全页截图捕获，输出为 PNG 格式
3. 结构化数据提取 ：基于 JSON Schema 或自然语言提示，精准提取特定字段
4. 网络搜索 ：集成搜索能力，获取结果页面内容（需付费套餐）
5. 文档站爬取 ：递归爬取整站文档，适合框架学习，支持输出目录自定义
6. 站点地图 ：先 map 发现 URL 结构，再决定爬取范围，避免积分浪费
   显著优点
   官方 API 封装 ：直接对接 Firecrawl 成熟服务，无需自建爬虫基础设施
   JS 渲染支持 ：自动处理现代前端框架（React/Vue/Next.js）生成的动态内容
   多格式输出 ：Markdown、截图、结构化 JSON，覆盖常见数据获取场景
   成本可控 ：免费 500 积分/月，1 积分=1 页面，适合中小规模任务
   文档爬取优化 ：针对技术文档站设计，配合 --limit 参数防止过度消耗
   潜在局限
   网络依赖 ：完全依赖 Firecrawl 云服务，离线/内网环境不可用
   付费门槛 ：高频使用或搜索功能需升级付费套餐
   速率与并发限制 ：受 API 配额约束，大规模爬取需分批次执行
   数据隐私 ：目标页面内容需上传至第三方服务处理，敏感数据需谨慎
   适合人群
   开发者需要快速获取技术文档、API 参考内容
   研究人员批量抓取公开网页数据进行结构化分析
   产品经理/设计师需要网页截图或竞品内容提取
   AI 应用构建者需要为 RAG 流程获取干净网页文本
   常规风险
   API Key 泄露 ： FIRECRAWL_API_KEY 环境变量需妥善保管，避免硬编码提交
   积分耗尽未预警 ：爬取大站时未设 --limit 可能导致免费额度快速耗尽
   目标站反爬 ：高频请求可能触发源站防护，建议合理设置间隔、尊重 robots.txt
   内容准确性 ：自动提取的结构化数据需人工校验，Schema 设计不当可能漏字段