Context.dev

Hey Product Hunt 👋

我是Yahia，Context.dev 的创始人。

我做 Context.dev 是因为每个 AI 产品最终都会遇到同一个问题：模型很强大，但它们不知道实时网页上在发生什么。

于是团队就要一遍又一遍地搭建那些烦人的基础设施：爬虫、抓取器、浏览器渲染、代理处理、站点地图解析、Markdown 清理、截图、Logo 提取、品牌信息补全、公司数据管道……等等等等。

Context.dev 把所有这些打包成一个 API。

你可以抓取任何 URL、爬一个网站、提取干净的 LLM 可读 Markdown、把结构化数据拉到自己的 schema 里、截图、获取 logo/颜色/字体/风格指南、补全公司信息，让智能体在几秒钟内拿到最新的网页上下文。

我最兴奋的部分是：Context.dev 是智能体原生（agent-native）的。你可以自己集成，也可以把一行代码粘给你的编码智能体，让它自己注册、拿 API key、再把 API 连进你的代码库。

我们有 YC 支持，提供免费层，不需要绑卡，已经为 Mintlify、daily.dev、DocsBot、Chatwoot 等团队的产品提供支持。

真心希望得到 PH 社区的反馈，尤其是那些在构建 AI 智能体、RAG 管道、用户引导流程、数据补全工作流，或者任何需要实时网页数据的项目的朋友们。

今天全天在线回答问题！

没错，我不是怀疑渲染保真度，我说的是多次抓取之间的确定性。今天抓同一个 URL 和下周抓：如果实时 DOM 把某个区段重新排序了，Markdown 的结构也会跟着变，而一个基于第一次结构做了索引的智能体就会跑偏。你们会暴露一个 content hash 或者两次抓取之间的 diff 吗？这样管道就能区分“页面内容确实变了”和“页面只是重新排了顺序”。这一点决定了我是把它接进智能体循环里，还是只用作一次性拉取。

我们正在用 Context.dev，超爱它！推荐。

定价只按成功抓取收费，这个看起来很有用！我知道付费失败请求有多坑，亲身经历。好奇那个 stealth layer，因为很多网站会根据地访客的国家提供完全不同的内容（价格、库存、语言）……我能按请求指定出口地区吗，还是地理位置完全看当天代理池里随机抽到了哪个节点？

我们在 Notra 用 Context.dev 有一阵了，非常好用，比之前用的 Firecrawl 便宜很多，而且没有并发浏览器限制。团队还提供顶级支持，愿意听我们那些疯狂的想法！10/10，不留渣。

@yahia_bakour3 another question for you... I'm thinking out loud here.

What happens when/if websites start blocking crawlers completely? Is that even possible?

Secondly, wouldn't it be interesting to have a platform that monetises crawlers? A small fee is paid to the website owner every time a crawler uses the website or scans any information?

Curious to hear your thoughts?