穿透式深网数据采集引擎

基于 Docker + Playwright 的深网爬虫工具，可穿透 YouTube、X/Twitter 等复杂站点的反爬机制，提取原始数据供 LLM 处理

基本信息

• 技能名称?Deep Scraper
• 中文名称?穿透式深网数据采集引擎
• 作者?opsun
• 分类?其他
• 版本?1.0.1
• 标签?web-scraping, docker, playwright, crawlee, youtube, automation, data-extraction

使用方法

使用说明
核心用法
deep-scraper 是一个面向工程师的高性能深网数据采集工具，采用容器化架构（Docker + Crawlee + Playwright）实现对现代复杂网站的穿透式抓取。用户需预先构建 clawd-crawlee 镜像，通过标准 CLI 接口传入目标 URL 即可启动采集任务。
典型工作流：

1. 构建镜像： docker build -t clawd-crawlee skills/deep-scraper/
2. 执行抓取： docker run -t --rm -v $(pwd)/skills/deep-scraper/assets:/usr/src/app/assets clawd-crawlee node assets/main_handler.js [TARGET_URL]
3. 解析 stdout 输出的 JSON 结果
   输出格式标准化为 JSON，包含状态码（SUCCESS/PARTIAL/ERROR）、内容类型（TRANSCRIPT/DESCRIPTION/GENERIC）、YouTube VideoID（如适用）及核心文本数据。
   显著优点
   反爬穿透能力 ：Playwright 模拟真实浏览器行为，可应对 YouTube、X/Twitter 等平台的动态渲染与防护机制
   容器化隔离 ：Docker 封装确保环境一致性，避免本地依赖污染
   LLM 优化输出 ：自动过滤广告与噪音，返回结构化纯净数据
   模块化部署 ： skills/deep-scraper 目录即插即用，自包含 Dockerfile 便于集成
   潜在局限
   基础设施依赖 ：强制要求宿主机预装并运行 Docker，增加部署门槛
   资源消耗 ：Playwright 浏览器实例内存占用较高，大规模并发需精细调度
   平台合规风险 ：YouTube、X/Twitter 等服务条款通常禁止自动化抓取
   维护成本 ：目标站点前端变更可能导致选择器失效，需持续适配
   适合人群
   需批量提取公开视频字幕/描述的内容创作者与研究员
   构建 RAG 知识库、需原始数据源的 AI 应用开发者
   具备 Docker 运维经验的后端工程师
   常规风险
   | 风险类型 | 说明 | |---------|------| | 服务条款违规 | 可能触发平台账号封禁或法律追索 | | 数据隐私 | 虽禁止密码保护内容抓取，但公开个人信息的聚合仍存在伦理争议 | | 缓存污染 | 未正确验证 VideoID 可能导致数据交叉污染（已内置校验规则防范） | | 资源滥用 | 高频请求可能被识别为 DDoS 攻击特征 | 建议配合代理池、请求频率限制及合规审查流程使用。