Hindsight Models and Inference API 面向开发者的托管推理 API，提供重排序、向量嵌入与快速判定小模型，替代部分 LLM 调用，降低延迟与成本。 热门评论 PH 用户你好 Product Hunt 👋 我是 Vectorize 的 Chris。我们做的是 Hindsight，一个面向 AI 智能体的开源记忆系统。记忆系统里全是细小的判断：这个事实是新的吗？这些记忆里哪些重要？这个证据够不够回答问题？以前我们把每一个判断都发给 LLM：几秒延迟，每个 token 都要计费，只为换回一个是或否。所以我们为这些步骤训练了小模型。今天我们把它们作为 Hindsight Models 发布，在 Hugging Face 上开放权重，并提供托管的 Hindsight Inference API：• hs-rerank-1（114M）：重排序模型，可直接替代 Cohere Rerank。比 gte-reranker-modernbert-base 更准，在 CPU 上快 6 倍。• hs-embed-1（112M）：embeddings，可直接替代 OpenAI Embeddings。在 CPU 上每次查询 16.5 ms。• hs-decide-1-flash（0.8B）：决策模型。问它带类型的问题（选一个、可能性多大、在某个刻度上处于哪里），大约 167 ms 就能拿回概率。用它做重排序，它还会把没帮助的文档剔除掉。在 Hindsight 内部，这个决策模型让记忆最多便宜 2.5 倍，并让我们测试的七个 LLM 中有六个给出了更好的答案。每个数字及其背后的方法都在发布帖和 benchmarks.hindsight.vectorize.io 上。只为输入 token 付费，每 1M 低至 $0.005，新账户有 $5 免费额度。写代码前可以在 Playground 里试每个模型，也可以自己跑开放权重。你会把决策模型用在哪？我们全天都在线回答问题。发布帖：https://hindsight.vectorize.io/b...PH 用户带类型的决策模型是我会最先试的部分工作流里有很多小的“是/否”判断步骤，为这些步骤等完整的聊天回复太不划算了PH 用户恭喜！hs-decide-1-flash 在智能体记忆之外泛化得怎么样——比如用于支持工单路由？一个清晰的 prompt 加几个示例就够上手了吗，还是需要微调？PH 用户能想象，随着我每个月的 token 消耗不断上涨，这东西会很有用 热门产品Chris Bartholomew2026-11-04原文 打开互动版
我们做的是 Hindsight，一个面向 AI 智能体的开源记忆系统。记忆系统里全是细小的判断：这个事实是新的吗？这些记忆里哪些重要？这个证据够不够回答问题？以前我们把每一个判断都发给 LLM：几秒延迟，每个 token 都要计费，只为换回一个是或否。
所以我们为这些步骤训练了小模型。今天我们把它们作为 Hindsight Models 发布，在 Hugging Face 上开放权重，并提供托管的 Hindsight Inference API：
• hs-rerank-1（114M）：重排序模型，可直接替代 Cohere Rerank。比 gte-reranker-modernbert-base 更准，在 CPU 上快 6 倍。
• hs-embed-1（112M）：embeddings，可直接替代 OpenAI Embeddings。在 CPU 上每次查询 16.5 ms。
• hs-decide-1-flash（0.8B）：决策模型。问它带类型的问题（选一个、可能性多大、在某个刻度上处于哪里），大约 167 ms 就能拿回概率。用它做重排序，它还会把没帮助的文档剔除掉。
在 Hindsight 内部，这个决策模型让记忆最多便宜 2.5 倍，并让我们测试的七个 LLM 中有六个给出了更好的答案。每个数字及其背后的方法都在发布帖和 benchmarks.hindsight.vectorize.io 上。
只为输入 token 付费，每 1M 低至 $0.005，新账户有 $5 免费额度。写代码前可以在 Playground 里试每个模型，也可以自己跑开放权重。
你会把决策模型用在哪？我们全天都在线回答问题。
发布帖：https://hindsight.vectorize.io/b...
工作流里有很多小的“是/否”判断步骤，为这些步骤等完整的聊天回复太不划算了