Prometheus by Firecrawl

自动维护的角度很巧妙。让智能体检测页面结构变化并自动重新生成抓取代码，解决了网页数据管道中最大的痛点之一。我们花了很多时间处理那些悄悄失效、导致下游数据质量问题的脆弱爬虫。Prometheus 如何决定什么时候结构变化值得重新生成代码，什么时候只是当作暂时异常来处理？

面向智能体的网页抓取是个问题，听起来简单，真的上手才知道有多难。很好奇它怎么处理重度 JS 渲染的网站或者登录墙——通常这些地方就是工具翻车的地方。我会在我常用的几个数据源上试试。

如果你自己托管，能不能看到它生成的代码，并且在需要的时候直接编辑？

自行运行 vs 让我们托管这个分法挺有意思的，因为这两个价值主张差别很大。自己运行意味着即使智能体写了代码，你还是要负责维护。托管则意味着你要信任 Firecrawl 来维护抽取逻辑，随着网站变化而调整——这在别人身上是一笔不小的运维承诺。好奇托管维护的 SLA 是什么样的，以及当网站变化导致抽取失败、而你又今天就要数据时会发生什么。

这个很巧妙。当页面结构变化时，Prometheus 是自动检测到问题，还是等你来标记？

维护部分才是这东西真正有用的地方。写一次爬虫很容易，但让它在页面变化时还能正常运行——这才是大多数网页数据项目悄悄沦为时间黑洞的真正原因。