Databricks 发布 aidecide，用决策模型替代 LLM 做快速判断
Databricks 推出 aidecide，用决策模型替代 LLM 处理分类、打分等简单判断，延迟和成本更低，可在 SQL 和 REST API 中调用。
Databricks 推出 AI Function（平台内置的 AI 调用单元）aidecide。它不生成文本，而是针对分类、打分、路由这类简单判断，返回概率、命名选项或有序分数，延迟和成本均低于通用 LLM，目前处于 Beta 阶段。
正文摘录
推出 aidecide：在你的受治理数据上快速决策 aidecide 是一个原生 Databricks AI Function，能为模型路由、文档处理、agent 评估等场景做出快速、低成本的决策。 作者：Jane Zhang、Matthew Ding、Archika Dogra 今天，我们推出新的 Databricks AI Function aidecide，它能在你的受治理数据（governed data）上做出快速决策。 我们看到很多团队把 LLM 用在并不需要复杂推理和文本生成的任务上。这张工单属于哪个类别？这份文档需要人工审核吗？这个 prompt 应该交给哪个模型处理？ 这些问题支撑着我们许多客户的高并发企业工作流——从处理数百万份文档，到控制实时应用逻辑。然而，用 LLM 来完成这些更小、更结构化的决策，意味着要额外付出延迟和成本，而这些开销在企业规模下会不断累积。像 TypeSafe AI 的 Jev 这样的决策模型（decision model）正好补上这个缺口：它不生成文本，而是接收非结构化输入和一组问题，直接返回决策及其概率。 aidecide 是由决策模型驱动的新 Databricks AI Function。它能在几分之一秒内针对文本评估一个或多个问题，对每个问题返回概率、从具名标准中选出的选项，或是有序刻度上的分数。由于 aidecide 针对快速决策做了优化，在类似任务上它比 LLM 延迟更低、成本更小。 aidecide 现已在 Databricks 上以 Beta 形式提供。你可以从 SQL 中调用它，在数据上大规模做出结构化决策；也可以通过 REST API 为实时应用和 agent 提供决策。对于已经在用 TypeSafe AI API 构建的团队，aidecide 函数可直接兼容。 不确定从哪里开始？