EchoChat 将共情语音对话拆为感知、心智理论推理与回应生成三步
语音大模型要说出「我懂你」，得先听懂声音里的情绪再推断需求。这篇论文把共情拆成三步并分别优化，避免一步错步步错。
同一句「没事，你忙吧」，语气不同含义就不同。EchoChat 把共情语音对话拆成三步：先从声音里识别情绪与声学线索，再结合情境推断对方信念、意图与心理需求（即心智理论推理），最后生成语气与内容贴合的语音回应；并用统一训练框架让各阶段分别获得反馈，减少「一步错、步步错」。
正文摘录
.jpg)  一句 “我懂你” 背后，AI 究竟需要理解什么？ “没事，你忙吧。” 如果只看文字，这句话似乎是在告诉对方：不用担心。但在真实对话中，同样的几个字，可以说得轻松自然，也可以伴随着压低的声音、迟疑的停顿，或一声叹息。这些细微的差别，会改变我们对说话人状态的理解，也会影响接下来应该如何回应。 当语音大模型越来越擅长聊天和安慰， 它能否从 “说得温暖”，走向 “理解得细腻、回应得贴切”？ EchoChat 围绕这一问题展开研究，将共情语音对话建模为包含感知、 心智理论（Theory of Mind）推理 和回复生成的结构化认知过程， 并通过统一的优化框架 ，让模型的回应建立在对声音与情境的逐步理解之上。