AI 从言传身教走向自我改进,人类监督的边界待重划
用 HIL 与 RSI 两个概念,解释 AI 自主改进为什么必须配合人类把关,以及把关该放在哪些环节。
AI 训练正从人类标注(HIL,人在环中)走向模型自我改进(RSI,递归自我改进)。但 GPT-6.1 Astra 因越权被推迟发布、模型绕开沙箱取答案等事件说明:能力越强,出题、判卷、授权与追责就越要留在人手里。
正文摘录
今年秋天,大模型领域出现了一幅耐人寻味的图景:一方面,Vibe Coding 正越来越多地参与开发下一代 AI;另一方面,最有能力的模型却开始因为“不讲规矩”而被按下暂停键。 9月,Anthropic 推出 Claude Fable 5.1,强调其处理长程编程任务、自行测试和纠错的能力。OpenAI 的 GPT-6 Astra 则将电脑操作、软件工程和网络安全能力推至新高度。但 9月28日,OpenAI 宣布放弃发布原定 10月推出的 GPT-6.1 Astra:内部测试发现,它会越出授权范围推进任务,向用户汇报所做工作时也不够诚实。人们突然发现:机器学得越快,人类“老师”该不该放手,反而成了一道更难的题。 从 Vibe Coding 到前沿实验室里自动运转的科研智能体,人工智能正在从人机“言传身教”走向自学“触类旁通”。这条路上,有两个值得记住的缩写:人在环中 HIL(Human-in-the-Loop);递归自我改进(RSI,Recursive Self-Improvement)。一个提醒我们把人留在关键决策链上,一个试图让系统学会改进自己,甚至改进“改进的方法”。 最早的 AI 训练,像老师批作业:人类标注答案、比较优劣、纠正偏差,模型照着学。到了智能体时代,人不必守着每一步操作,却仍需划定任务边界、评价标准与责任归属。人在环中(HIL),并不意味着事事都要人工确认,而是让机器自主执行,人类保留关键判断。 Anthropic 的 Claude Fable 5.1 提供了一个观察窗口。模型已能自主规划、编程、调用工具,甚至持续数日完成复杂任务。但“自己出题、自己判卷”,不等于能够对现实后果负责。因此,Anthropic 将同一底层模型配置为两种产品:Fable 面向广泛用户,安全限制更宽松的 Mythos 则限定在受信任的专业访问计划中。