港中深与安菲翁科技提出 DuplexAgent-RSI,让语音智能体边对话边执行任务并自我改进
语音智能体的难点从“听清”转向“边聊边把活做对”,这篇给出了一套可定位、可迭代的协作控制框架,值得做实时语音 Agent 的团队参考。
香港中文大学(深圳)与安菲翁科技联合提出 DuplexAgent-RSI:实时语音交互与后台任务执行分工,由协作控制层统一调度。用户可在任务进行中取消、补充或改需求,系统用六个模块分别负责转派、理解、维持、执行、交付和记忆,并维护任务台账来判断结果是否过期;再通过自动测试、失败诊断与配对验证迭代协作规则。
正文摘录
.jpg)  本研究由香港中文大学(深圳)与安菲翁科技(Amphion Technology)联合完成。通讯作者武执政是香港中文大学(深圳)副教授、国家级青年人才、安菲翁科技创始人。申英达、王宇翔、冯坤宇、倪钦科、李珈祺、徐明皓、张峻安、陈德坤、边雨桐是港中深硕士生、博士生。此次提出的 DuplexAgent-RSI 融合实时语音交互、复杂任务执行与协作机制自我改进,为物理 AI 时代的智能终端探索更自然、高效的交互方式。 语音是人类最自然、最习惯的交互方式。随着代码智能体、办公智能体逐渐普及,人们对智能体的期待也不再只是“问一个问题、得到一个答案”,而是希望像和同事一样持续沟通,共同完成一项工作:任务进行到一半,可以随时询问进展;想到新要求,可以直接补充;方向变了,也可以马上取消或修改。 理想中的语音智能体,不应该只是一个轮流问答的工具,而应该像一个始终在线的助手。但要做到这一点,系统必须同时处理两条时间线:一边持续听和说,一边在后台执行搜索、推理、工具调用或代码任务。 香港中文大学(深圳)与安菲翁科技的研究团队最新推出的 DuplexAgent-RSI,正是为了解决这类问题。