热门产品

LifeVal

LifeVal

LifeVal 是 OpenAI 面向日常任务智能体能力的评测基准,供开发者与研究者衡量 AI 在真实生活场景中的表现。

热门评论

PH 用户
Hey PH 社区 👋

今天很高兴来推荐 LifeVal。

OpenAI 刚刚推出了 LifeVal,这是一个新基准测试,衡量 AI 在处理人们真正想求助的日常任务时表现如何,比如找托育、做预算、订购杂货和办理政府服务。他们说过去一年一直用 LifeVal 来跟踪并推动模型改进,而 GPT 6 Astra 在预约车辆检查、按预算订购杂货等任务上取得了有记录以来的最佳成绩 100%。OpenAI 在 X 上发了一个简短介绍,链接在这里。

社区的反应如下:

Krish Subramanian 认为,企业应该复制的是方法,不是分数,并基于工单队列和流程日志构建自己的智能体评估:https://x.com/krishnan/status/2117322998881648740

Sarthak 想看看更高的分数能否在真实场景中转化为可靠的帮助:https://x.com/sarthaksavvy/status/2117322351541129554

任务清单是我觉得最有意思的部分。OpenAI 从 American Time Use Survey 和 Multinational Time Use Study 出发,然后又自己做了一项针对 3,995 人的调查,找出人们最希望在哪些地方有个私人助理,所以这些任务来自真实生活,而不是考试题。

采取行动是另一个核心思路。LifeVal 评估的是模型能否通过浏览器操作、电脑操作和连接器真正把事办成,这正是聊天回答和能放心托付跑腿杂事的助理之间的差距。

对做智能体的开发者来说,这是一张很有用的地图,标出了普通用户最关心哪些任务。

现在就可以去读完整拆解:https://openai.com/index/lifeval/

读一读,并告诉团队,你会最先交给 ChatGPT 的日常任务是哪个 🚀
PH 用户
现在到底是要有论文或技术报告,还是说一篇只有几段话的博客文章加个视频,就算研究发表了?
热门产品Sam Altman2026-11-03原文

相关内容