CMU 等提出化学采购成本估算基准 ChemCost，最强智能体准确率仅 50.6%
ChemCost 用一个不用人工或模型当裁判的成本估算任务，测出智能体在化学名称对齐、报价检索、单位换算上的连锁失误，指出了真实工作流里智能体能力的短板。
让目前最强的大模型智能体估算化学反应的原料采购成本，在误差 25% 以内就算对的判定标准下，干净输入时成功率只有约 50.6%；换成真实文献里的自然语言段落和 OCR 扫描文本，还会进一步下滑。CMU、圣母大学等团队为此构建了 ChemCost 基准，含 1,427 个反应、2,261 种化学品和 230,775 条供应商报价，把科学智能体评测从路线规划推进到定量成本推理。
正文摘录
.png) 如果让目前最强的大模型智能体去估算一个化学反应的原料采购成本，并把误差控制在 25% 以内，成功率只有一半左右；一旦输入换成真实文献里常见的自然语言段落和 OCR 扫描文本，这个数字还会进一步大幅下滑。 近日，来自卡内基梅隆大学（CMU）、圣母大学、北卡罗来纳大学教堂山分校和匹兹堡大学的研究团队提出了多步化学采购成本估算基准 ChemCost，把科学智能体的评测从高层的路线规划，推进到真实工业工作流中的定量成本推理。该工作已被 NeurIPS 2026 Datasets and Benchmarks Track 接收。 现有科学智能体已经能够调用领域工具规划化学合成路线，但相关评测大多停留在精选案例演示、专家主观评估或 LLM-as-judge 打分，缺乏精确、无需裁判（judge-free）的客观真值。ChemCost 构建了一个涵盖 1,427 个可评估化学反应、2,261 种化学品和 230,775 条供应商包装报价的冻结数据库，要求智能体从反应描述出发，自主完成化学名称对齐、供应商报价检索、合规包装选择、计量单位换算和最终成本汇总。实验表明，即便是最强的前沿模型智能体，在干净输入下的成本预测准确率（25% 误差容忍度内）也仅为 50.6%。 本文的共同第一作者是卡内基梅隆大学的 Yuyang Wu 和圣母大学的 Yue Huang，通讯作者是卡内基梅隆大学的 Jian Ma 教授、Olexandr Isayev 教授，以及圣母大学的 Xiangliang Zhang 教授。