AI 日报 2026-06-05 · 自改进智能体、飞桨OCR、Copilot SDK

开源项目

last30days-skill

AI agent 驱动的跨平台搜索引擎，能在 Reddit、X、YouTube、Hacker News、Polymarket 等 10+ 个来源并行搜索任意主题，并根据点赞、播放量、真实金钱等信号排序，最后合成一份简洁的摘要报告。

open-notebook

开源版 Notebook LM，提供自托管、隐私优先的 AI 笔记与知识管理体验。支持 18+ LLM 供应商（含本地 Ollama）、多模态内容（PDF、视频、网页等）、智能搜索与多 speaker 播客生成，核心功能对标 Google 原版并超越。亮点是完全掌控数据、模型自由切换、可 docker 一键部署，适合注重隐私和定制化的团队或个人使用。

lfnovo原文

PaddleOCR

轻量级多语言 OCR 工具包，将 PDF 和图像转为 LLM 可用的结构化数据（Markdown/JSON）。集成了 PaddleOCR-VL 视觉语言模型和 PP-StructureV3，在 OmniDocBench 上达到 96.3% 的准确率，支持 100+ 语言，并对表格、公式、古籍等复杂元素有专项优化。

PaddlePaddle原文

openclaw-windows-node

OpenClaw AI 个人助手的 Windows 原生伴侣套件，包含系统托盘应用、共享库和 CLI 工具。亮点是由 Scott Hanselman 和 Molty 打造，支持全局热键快速发送消息、嵌入式 WebView2 聊天、节点模式让 Windows 成为可被 AI 控制的节点（屏幕截图、摄像头、文本转语音等），深度整合 OpenClaw 生态，提供丰…

openclaw原文

copilot-sdk

多平台 SDK，用于将 GitHub Copilot Agent 集成到应用和服务中，支持 Node.js、Python、Go、.NET、Rust 和 Java。亮点：官方出品，底层复用 Copilot CLI 的生产级 agent 运行时，支持 BYOK（自带密钥）连接 OpenAI、Anthropic 等模型，无需 GitHub 身份验证。

github原文

论文

OCC-RAG: 面向忠实问答的最优认知核心

近年来，语言模型的进步主要由规模驱动，新模型将更多世界知识编码进参数中。然而，许多实际应用更依赖稳健推理而非大量参数知识。针对这一场景，任务专用小型语言模型(SLM)提供了更优的设计选择。本文提出最优认知核心(OCC)，一个基于此理念的SLM系列。作为OCC的变体，OCC-RAG专为基于给定上下文的忠实问答优化，要求对给定段落进行多跳推理，同时忽略记忆知识。

Maksim Savkin原文

从激活到因果：人脑中因果视觉表征的发现

识别人脑中哪些脑区表征一个视觉概念是神经科学的核心挑战。现有方法通过激活最大化（activation maximization）定位粗略的功能区域（例如面孔、场景），即找到对目标概念相对于其他概念激活更强的区域。然而，仅凭强激活并不能证明该区域表征了概念本身，因为响应可能由相关视觉或语义线索驱动。

Yuval Golbari原文

Humanoid-GPT: 扩展数据和结构以实现零样本运动跟踪

现有全身运动跟踪方法多采用浅层 MLP 追踪器，受限于数据稀缺与敏捷性-泛化权衡，难以处理高度动态行为并泛化到未见任务。为此，我们提出 Humanoid-GPT，一种采用因果注意力的 GPT 风格 Transformer，在十亿帧规模的运动语料库上预训练。

Zekun Qi原文

信任区域在线策略蒸馏

在线策略蒸馏 (OPD) 是大语言模型高效后训练的关键技术，广泛应用于智能体学习、多任务增强和模型压缩。然而，当教师与学生分布差异显著时，OPD 训练变得不稳定，因为教师对学生生成令牌的监督可能产生不可靠的策略梯度，甚至导致优化失败。本文通过信用分配策略解决可靠的在线策略令牌级监督问题，提出信任区域在线策略蒸馏 (TrOPD)。

Xingrun Xing原文

KVarN: 方差归一化的KV-Cache量化缓解推理任务中的误差累积

测试时扩展(Test-time scaling)是提升大语言模型推理能力的有效方法，但在长程解码时因KV-cache增长导致内存瓶颈。现有KV-cache量化方法多在预填充设置下评估，在自回归解码中量化误差随步长累积，主要由错误token尺度驱动。本文提出KVarN，一种无校准的量化器，先应用Hadamard旋转，再对K和V矩阵双轴进行双尺度方差归一化。

Lorenz K. Muller原文

多域强化学习中的跨域干扰与恢复的局部扰动理论

强化学习（RL）后训练能提升大语言模型（LLM）在数学推理、代码生成、问答和创意写作等单一领域上的性能，但针对一个领域的训练往往会降低其他领域的表现。现有的基于灾难性遗忘或全局梯度冲突的解释并不完整：即使全模型梯度近乎正交，仍可能发生大量干扰。我们证明，单域RL产生的参数编辑稀疏且幅度小，顶部变化神经元之间的重叠较弱；

Lei Yang原文

MIRA：面向源感知数据选择的中间训练规则锚定

中间训练已成为现代大语言模型（LLM）开发的重要阶段，通过使用大规模精心策划的数据混合，在最终后训练之前增强模型能力。其数据选择问题具有独特性：数据在接近预训练规模下以预训练风格目标进行优化，但又是针对下游能力策划的，并来自具有不同格式和训练角色的异构源。因此，有效选择需要兼顾可扩展性和源自适应语义标准。现有基于模型的方法可扩展性好，但仅提供隐式质量信号。

Haowen Wang原文

世界模型遇见语言模型：论具体与抽象推理的互补性

世界模型与多模态大语言模型 (MLLMs) 在从静态视觉观测预测未来结果方面具有互补能力。前者可生成具体的视觉 rollout，后者能在问题、目标和规则上做抽象推理。然而，生成的 rollout 具有随机性，可能视觉合理但任务错误，因此需要确定何时视觉模拟有用、rollout 是否可信以及如何影响最终答案。

Yucheng Zhou原文

AutoMedBench: 迈向基于智能体AI模型的医学自动研究

自主智能体正日益被期望支持端到端的医学AI研究工作流程，而不仅仅是孤立的预测任务或短形式的临床问答。然而，现有的医学智能体基准主要评估最终输出，对研究过程中智能体行为的可观测性有限。为解决这一问题，我们提出了AutoMedBench，一个面向工作流的自主医学AI研究基准，涵盖多种医学影像和多模态推理任务，将智能体执行组织为统一的五阶段工作流（S1-S5）：计…

Junqi Liu原文

Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories

过去几十年，机器学习算法设计取得了显著进展，从早期任务特定的浅层模型到更通用的深度大语言模型（LLMs）。尽管在需要即时预测或上下文学习（in-context learning）的任务中表现出色，现有模型缺乏持续学习能力，无法有效将其短期上下文知识转化为长期参数。

Ali Behrouz原文

多模态视频理解中的 Visual State Tracking 基准测试

视频理解不仅需要识别孤立时刻，更需要像人类一样持续追踪实体、状态和事件。这种视觉状态追踪能力是视频理解的基础，但在当前多模态大语言模型（MLLM）的评估中尚未得到充分探索。为此，我们提出 VSTAT 基准，一个专门诊断 MLLM 视觉状态追踪能力的视频基准。

Sihyun Yu原文

TRON: 面向视觉推理强化学习的目标导向可规则验证在线环境

视觉推理的强化学习需要可扩展、可验证且可控的训练信号。现有的视觉RL后训练在静态策划数据集上进行，受限于采集预算的固定图像-问题-答案样本。本文引入 TRON（目标导向、可规则验证的在线环境），一种在线环境基质：由可控的生成器-验证器程序按需生成训练轨迹，该程序采样新的潜在视觉状态，渲染图像，提出问题并精确验证答案。

Tianze Yang原文

NVIDIA OmniDreams：用于闭环自动驾驶仿真的实时生成式世界模型

随着自动驾驶能力提升，长尾场景下驾驶策略的安全评估仍是关键瓶颈。在闭环仿真中，策略模型与环境主动交互，其动作动态更新仿真器状态并直接影响下一帧传感器观测生成。尽管近期基于重建的神经模拟器实现了照片级真实感，但它们受限于初始捕捉数据，难以泛化到高度动态或新颖场景。

NVIDIA原文

Bootstrap Your Generator: 基于 Flow Matching 的无配对视觉编辑

现代生成模型对视觉内容有深度理解，但训练用于图像编辑的模型通常需要大量配对样本数据集，这限制了可扩展性，尤其在视频编辑中收集配对数据成本过高。本文提出 Bootstrap Your Generator (ByG)，一种用于无配对训练 flow matching 编辑模型的通用框架。它利用基础模型的知识，无需任何外部信号。

Yoad Tewel原文

用于统一且数据高效的图像到图像翻译的解耦残差去噪扩散模型

本文提出解耦残差去噪扩散模型（DRDD），旨在实现统一且数据高效的图像到图像（I2I）翻译。虽然扩散模型在质量和多样性上推动了I2I翻译的进步，但我们发现了一个之前未被充分探索的性质：注入高斯噪声不仅起到传统的高维流形提升作用，还能通过隐式对齐不同域的特征分布促进域协调，这对统一I2I翻译尤其有利。

Ziyue Lin原文

Ψ-Bench：评估说服性对话中的 Persona-Sensitive Influencing

个性化是现代语言智能体的关键能力，但当前研究主要将其定位为被动响应用户偏好的角色，限制了智能体主动与用户交互并提供建议或指导的能力。为系统评估这种主动个性化在真实交互中的表现，我们提出 Ψ-Bench 基准，用于评估大语言模型（LLM）通过对话影响真实用户的能力。

Peixuan Han原文

Adaptive Auto-Harness: 面向开放式任务流的智能体系统部署的持续自我改进

现有的自动编排系统（如 A-Evolve、GEPA 和 Meta-Harness）通过从执行反馈中优化提示、技能、工具、记忆及支撑基础设施来改进大语言模型（LLM）智能体，但这些系统通常仅在固定的离线基准上评估。实际部署场景面临开放式任务流：历史记录持续增长无固定终点，异构任务需要不同的编排配置，且问题分布随时间变化。

Zewen Liu原文

小RL控制器，大语言模型：RL引导的自适应采样用于测试时缩放

测试时缩放能提升大语言模型的推理性能，但会显著增加总计算量和延迟。现有自适应采样方法通过动态决定何时停止采样来部分缓解此问题，但通常依赖启发式规则或分布假设。本文将自适应采样建模为马尔可夫决策过程(MDP)，并使用强化学习(RL)训练轻量级采样控制器，以平衡答案正确性、延迟和计算成本。每轮控制器决定停止采样或获取额外样本。

Runpeng Dai原文

诊断答案正确的长 CoT 训练轨迹中的有害延续

长链思维（CoT）轨迹广泛用于面向推理的大语言模型监督微调（SFT），但答案正确的轨迹仍可能导致显著不同的微调结果。本研究聚焦于答案正确的长 CoT 数据中的结论后延续（post-conclusion continuation）：即答案已得到充分支持，但轨迹继续包含额外推理，且这些内容仍被保留在监督目标中。

Chen He原文

PaddleOCR-VL-1.6: 通过欠优化区域细化和渐进式后训练拓展文档解析前沿

我们介绍了 PaddleOCR-VL-1.6，一个基于 PaddleOCR-VL-1.5 升级的紧凑型文档解析模型。尽管 PaddleOCR-VL-1.5 建立了强大的 0.9B 基线，其剩余错误集中在欠优化区域，这些区域模型行为不稳定、数据覆盖稀疏或监督信号不可靠。

Zelun Zhang原文

热门产品

开源项目

论文

动态