AI 数据行业野蛮生长:谁在给大模型出题、卖题、判卷
拆解大模型训练数据这门不透明的生意:数据商到底卖什么、评测刷分何时有用、专家数据怎么验真,值得关心后训练的人看。
嘉宾何允中、孙一铀
节目简介
模型能力变强后,训练所需数据的形态也在变:从给图片打标签,转向专家写的评分标准(rubric,把专业判断拆成可打分的条目)和包含任务、工具与验证机制的强化学习环境。节目请到 Scale AI 研究总监何允中和伯克利博士后孙一铀,拆解 Scale、Mercor、Surge 等数据公司的差异,讨论评测榜单能否反映真实能力、专家数据如何验真,以及小团队在垂直行业里的机会。