清华团队发布 OSWorld-Science 科研软件智能体评测基准
AI 会讲科研步骤不等于能在科研软件里做完：OSWorld-Science 用 146 项真实任务测评，12 个模型平均仅得 34.3%。
清华团队联合多所高校推出 OSWorld-Science，一个面向真实科研场景的计算机使用智能体（能自己操作软件的 AI）评测基准。它包含 146 项专家设计任务，覆盖 7 大科学领域、14 种科研软件，12 个视觉语言模型参测，平均任务得分仅 34.3%。
正文摘录
.jpg)  一道科学问题，AI 可以给出解释，列出步骤，甚至写出分析代码。 但如果再往前走一步呢？ 让 AI 打开科研软件，自己完成任务所需的操作，再给科学家一个可以信赖的大结果，它能做到吗？ 从核磁共振分析到病理图像处理，从统计计算到物理仿真，这些任务每天都在科研工作中出现。完成它们需要相关科研领域的专业知识，也需要具备在软件中逐步规划、正确执行的能力。 当 AI 真正接手这些工作，会发生什么？ 由清华大学研究团队牵头，多所海内外知名高校与研究机构的科研人员共同推出了 OSWorld-Science：一个面向真实科研场景的计算机使用智能体评测基准及配套基础设施。 该 benchmark 包含了 146 项专家设计的任务，涵盖 7 大科学领域、14 种科研软件配置，并被交给 12 个视觉语言模型 测评。 在当前评测中，12 个模型的平均任务得分仅为 34.3%。 这里的得分衡量的是任务完成程度，并不等同于成功率。但它已经让一个问题浮出水面： 当 AI 被融入真实科研流程，从理解问题到自主实现科研流程、交付可靠结果，还需要完成哪些工作？