启发学习框架 Isaac:让大模型在推理时复用跨领域旧经验
启发学习框架 Isaac 通过跨领域经验检索与注入,让大模型在推理时复用旧思路,无需重训。
现有大模型的能力多靠外部脚手架堆叠,换场景就要重写流程。新提出的启发学习框架 Isaac 不改模型权重,在推理时检索跨领域旧经验并注入,让模型在新问题上调用已有解题思路。其两条技术路径 DIN 与 CoDA 分别从提示和网络层实现迁移。
正文摘录
.jpg)  过去两年,大模型几乎重写了人机协作的默认想象:写代码、查资料、做分析,似乎都能 “一问即答”。但仔细看会发现,当下很多能力并不是模型自己长出来的,而是人为地在外面包了一层又一层框架。 人类先定流程、写 Skills、建知识库;参数继续变大,工具链继续变厚。Agent、Skills、Function Calling、RAG、Harness 轮番上场,把临时判断固化成可调用的工作流。这套做法有效,也撑起了眼下的繁荣。 问题在于,能力上限往往卡在脚手架上。换场景就要重写流程,换工具就要重排提示和权限。系统看起来更能干,知识却越来越多地挂在流程外面。另一条路更接近人类怎么学:复盘成败,把结构相近的问题连起来,把一次有效推理留到下次还能用。 现在主流方案多停在接口与检索,很少把 “经验怎么复用” 写进推理本身。外挂和算力人人都能堆,更难的是,让模型在新问题上自己调用旧经验。我们把这条路线命名为 “启发学习(Inspirational Learning)”,并把它集成到推理侧,取名 Isaac(源自牛顿的名字,寓意 “站在巨人肩膀上”)。