AI 日报 2026-06-03 · 自改进Agent、开源LLM主播、Mellum2

开源项目

headroom

为LLM agent设计的上下文压缩层，能在工具输出、日志、代码等到达模型前将其压缩至原先的5%-40%而保持答案一致。支持库函数调用、透明代理、MCP Server等多种接入方式，无需修改现有代码。内置智能路由和多种压缩算法（JSON/代码/AST/通用文本），并提供可逆压缩机制以便LLM按需还原原文。

chopratejas原文

Open-LLM-VTuber

语音交互AI伴侣，支持Live2D虚拟形象，可完全离线运行，跨平台支持web和桌面客户端。亮点在于集成Ollama、OpenAI、GGUF等多种LLM后端及丰富ASR/TTS方案，支持视觉感知、语音打断、桌面宠物模式和角色自定义，适合打造个性化AI陪伴。注意：Live2D示例模型受其独立许可协议约束，商业使用需额外授权。

Open-LLM-VTuber原文

production-agentic-rag-course

从零到一构建生产级RAG系统的实战教程，涵盖从基础设施搭建到Agentic RAG、Telegram Bot集成的完整流程。亮点在于遵循专业搜索先行的设计理念，逐步引入混合检索、本地LLM、监控缓存和LangGraph智能决策，适合想要深入掌握RAG工程实践的AI开发者。

jamwithai原文

论文

GrepSeek: 训练用于直接语料库交互的搜索代理

大型语言模型搜索代理通过多轮推理和信息检索，在知识密集型任务中展现出强劲潜力。现有系统通常依赖检索器（将关键词或自然语言查询转化为预计算文档表示的索引，返回排序文档列表）。本文探索互补视角：将语料库本身作为搜索环境，通过可执行 shell 命令发现证据。

Alireza Salemi原文

COLLEAGUE.SKILL：通过专家知识蒸馏的自动化AI技能生成

随着LLM代理越来越多地被期望不仅完成孤立任务，还能承载人类专业知识、判断和交互风格的有界表示，构建这种人格化代理面临挑战：与个人或角色相关的可操作知识通常嵌入在异构痕迹中，而非编写成清晰的指令。现有的记忆和人物系统只能捕捉这些证据的片段，而技能框架提供了可移植的打包格式，但缺乏端到端的流程将这些痕迹提炼为可检查、可纠正、可供代理使用的技能。

Tianyi Zhou原文

面向在线策略蒸馏的信任域行为混合

在线策略蒸馏 (OPD) 训练学生策略时，使用从自身策略采样的前缀并匹配更强的教师策略。这解决了离线蒸馏中的前缀不匹配问题，但早期学生 rollout 质量仍然较差，导致教师监督作用于弱或低质量前缀。

Daniil Plyusov原文

SwanVoice: 富有表现力的长形式零样本语音合成，适用于独白和对话

零样本文本转语音（TTS）在单说话人合成方面有了显著改进，但富有表现力的长形式多说话人对话仍然困难。一种常见的解决方法是使用独白TTS模型合成每一轮对话，然后将输出拼接起来。这增加了推理成本，并且经常破坏跨轮的声学一致性、对话连贯性和情感连续性。最近的对话TTS系统已开始解决这一问题，但它们仍难以同时保持富有表现力的连贯性、可控的说话人切换和独白质量。

Ruiqi Li原文

Mellum2 技术报告

Mellum 2 是一个开放权重的 12B 参数 Mixture-of-Experts（MoE）语言模型，每个 token 仅激活 2.5B 参数。它是专注于软件工程的通用语言模型，涵盖代码生成、编辑、调试、多步推理、工具调用、函数调用、智能体编程和对话式编程辅助，是之前专注于补全的 4B Dense 模型 Mellum 的继任者。

Marko Kojic原文

GGT-100K: 可泛化真实世界图像复原的生成式真值

真实世界图像复原（IR）受限于高质量配对训练数据的稀缺。合成数据集虽丰富，但难以模拟真实退化；而真实配对数据昂贵且难以采集，导致IR模型在真实场景中泛化有限。本文提出生成式真值（GGT），利用生成式多模态基础模型（MFMs）从真实低质量图像生成高质量目标。

Xiangtao Kong原文

采用自回归扩散Transformer的流式同步空间音频生成

现有空间音频合成技术面临生成质量与推理延迟的权衡，且难以从多模态输入中精确捕捉空间信息。为解决这些问题，我们提出 SwanSphere，一个统一的流式框架，用于从全景视频和文本提示生成高保真空间音频。 SwanSphere 的主要贡献包括： 1. 引入因果自回归扩散Transformer架构，支持流式高质量空间音频生成。

Ke Lei原文

SANA-Streaming: 基于混合扩散变换器的实时流式视频编辑

实时流式视频到视频编辑（V2V）对于直播、游戏等交互应用至关重要，但由于对时间一致性和推理吞吐量的严格要求，仍面临巨大挑战。本文提出 SANA-Streaming，一种系统-算法协同设计框架，在消费级 GPU 上实现高分辨率、实时流式视频编辑，包含以下三个核心设计： 1. 混合扩散变换器架构：在部分块中引入 softmax 注意力，以增强局部建模能力，同时…

Yuyang Zhao原文

Comprehensive Benchmarking of Long-Form Speech Generation in Diverse Scenarios

近期语音生成技术实现了高保真合成，但对长上下文条件下模型的系统评估仍严重不足。构建针对长语音的全面评估基准至关重要，原因有二：1）现有测试场景常局限于有限领域，与下游多样化应用存在显著差距；2）现有指标忽视了诸如一致性和连贯性等关键长文本因素，难以可靠推广。为此，我们提出 Swanbench-Speech，一种将长语音质量分解为特定、解耦维度的综合基准。

Changhao Pan原文

面向任务的多模态智能体记忆机制

长时记忆对于多模态智能体构建连贯经验、累积世界知识和实现持续学习至关重要。然而，构建有效记忆的关键挑战不在于记忆模块设计或基本准确性，而在于决定记忆什么。多模态智能体（如具身智能体）持续感知、推理并行动，接收无界的多模态观测流。面对信息组合爆炸，智能体必须选择性保留与其角色相关且对未来任务有价值的内容。

Tao Zou原文

dMoE: 具有可学习块专家的 dLLMs

扩散大语言模型 (dLLMs) 近期成为自回归模型的有力替代，支持并行解码且性能相当。然而，当 dLLMs 与混合专家 (MoE) 架构结合以扩展模型容量时，块并行解码与 token 级专家选择之间出现根本性不匹配：每个 dLLM 前向传播处理多个具有双向依赖的 token，而传统 MoE 层独立路由每个 token。

Sicheng Feng原文

不是所有分歧都可学习：On-Policy Distillation 中的 Token Teachability

On-policy distillation (OPD) 通过 token 级教师信号训练学生模型。近期选择性 OPD 方法利用信号非均匀性，优先选择高熵或高分岐 token。本文重新审视这一原则，探究哪些 token 级教师信号实际可学习。

Yuanyi Wang原文

恢复策略引发的错误：鲁棒 GUI 智能体的基准测试与轨迹合成

尽管 GUI 智能体发展迅速，但它们往往缺乏从自身错误中恢复的鲁棒性，阻碍了实际部署。为在评估和数据层面弥补这一差距，我们引入 GUI-RobustEval 并提出鲁棒性驱动轨迹合成 (RoTS)。 GUI-RobustEval 包含 1,216 个可执行测试用例，在广泛且真实的错误模式范围内系统性地衡量错误恢复能力。

Tianpeng Bu原文

SCOPE: 通过策略协同进化的自我对弈用于开放式任务

现有自我对弈方法可训练语言模型而无需外部监督，但要求任务具有规则可检查的答案，导致开放式任务只能依赖精心设计的提示或前沿模型作为评判者。本文提出 SCOPE，一个无数据的自我对弈框架，通过策略协同进化解决开放式任务。框架包含两个策略：Challenger 生成基于文档的任务，Solver 通过多轮检索回答问题。

Wai-Chung Kwan原文

PEEK: 通过高效知识蒸馏挑选关键帧

视频语言模型只能处理有限帧，帧选择成为视频描述的关键瓶颈。当前大多数描述流程仍依赖均匀采样，计算成本低但忽略视觉内容。自适应帧采样近期作为选择最信息量帧的 promising 方法出现，但现有方法计算开销大。我们提出 PEEK，一种高效动态帧采样方法。它将基于描述的帧相关性排名从教师模型蒸馏到一个仅依赖视觉内容的轻量时序模型中。

Killian Steunou原文

SAAS: 自我意识强化学习用于代理搜索中的过度搜索缓解

代理搜索（Agentic Search）使大语言模型（LLMs）能通过迭代推理和外部搜索解决复杂多跳问题。然而，这些系统在实践中存在关键局限：智能体无法识别自身知识边界，在内部知识足够时盲目触发搜索，或收集到充分证据后仍不终止搜索。缺乏自我意识导致严重过度搜索，带来高昂推理延迟和计算成本。

Yunbo Tang原文

DecMem: 迈向分钟级一致世界生成的解耦记忆

近期视频生成模型的进展推动了可控世界模型的快速发展。然而，在长时域推理下保持细粒度的时空一致性仍然是一个关键挑战。本文超越了显式的3D记忆和粗糙的帧级隐式建模，提出了一种细粒度、可学习且可扩展的记忆架构以实现一致的世界生成。我们首先揭示了朴素可学习记忆架构在长时域外推中的两个根本局限：计算效率低下和注意力分散。

Zhenhao Yang原文

Harness Updating 并非 Harness Benefit：自进化 LLM Agent 中进化能力的解耦

LLM agent 日益被部署为围绕可编辑外部 harness（包括提示、技能、记忆和工具）构建的系统，这些 harness 在不改变模型参数的情况下塑造任务执行。Harness 自进化通过从执行证据中更新这些 harness 来适应此类代理。

Minhua Lin原文

DEMON: 音乐编排噪声的扩散引擎

我们提出 DEMON，一个实时扩散引擎，将去噪过程变为可演奏的乐器：其控制面既广泛（每帧可调整多个输出参数），又响应迅速（每个控制在其去噪循环位置允许的延时内生效）。该系统基于 ACE-Step 1.5 和 StreamDiffusion 的环形缓冲区架构，并采用 TensorRT 加速，在单张消费级 GPU（RTX 5090）上，对于 60 秒音乐可维持高…

Ryan Fosdick原文

How can embedding models bind concepts?

人类能够轻松判断多物体场景中哪个颜色属于哪个形状，这种能力被称为概念绑定。Vision-language embedding models 如CLIP 在绑定方面存在困难：它们能识别单个概念，但无法表示哪些概念构成哪些物体。尽管 CLIP 在跨模态检索中表现得像一个词袋模型，但物体信息可以从其图像和文本嵌入中分别恢复。

Arnas Uselis原文

热门产品

开源项目

论文

动态