AI 日报 · 2026-06-08

热门产品

MAI-Image-2.5

MAI-Image-2.5

MAI-Image-2.5是一款文本到图像生成及编辑模型,支持局部编辑、身份保持和文本渲染,适合开发者构建生产级图像工作流。

Rohan Chaubey原文

开源项目

turbovec

turbovec

基于 Google TurboQuant 算法的 Rust 向量索引库,Python 绑定,主打 16 倍压缩率、超低内存占用(10M 文档从 31GB 降到 4GB),搜索速度比 FAISS 快 12-20%(ARM)或持平(x86)。

RyanCodrai原文

论文

Code2LoRA:软件演化下代码语言模型的超网络生成适配器

Code2LoRA:软件演化下代码语言模型的超网络生成适配器

代码语言模型需要仓库级上下文来解析导入、API 和项目约定。现有方法通过长输入(通过 RAG 或依赖分析检索)或针对每个仓库的微调和 LoRA 来注入知识——这在仓库规模下成本高昂且对代码库演化脆弱。 我们提出 Code2LoRA,一个超网络框架,为代码语言模型生成仓库特定的 LoRA 适配器,在零推理时间 token 开销下有效注入仓库知识。

Liliana Hotsko原文

ArcANE:角色扮演语言代理在正确时机保持角色吗?

ArcANE:角色扮演语言代理在正确时机保持角色吗?

角色扮演语言代理(RPLAs)应扮演角色,其价值观和行为随故事推进而演变,而非保持固定人设。现有基准测试仅衡量给定章节的事实回忆,而非回答是否符合角色的心理轨迹,尤其在源文本未探索的场景中。 我们提出ArcANE(Arc-Aware Narrative Evaluation),一个自动构建的基准,覆盖17部小说和80个主要角色。

Woojung Song原文

TIDE: 通过模板引导迭代的主动多问题发现

TIDE: 通过模板引导迭代的主动多问题发现

智能体常被部署为文档、工具和代码的助手,但通常仅响应显式用户请求,这只能暴露用户已注意的问题。然而,许多重要问题隐藏在更广泛的用户上下文中,且数量未知。本文将此任务定义为从上下文中发现多个隐藏问题,要求揭示共存问题、提供支持证据并关联具体行动。为此,我们提出 TIDE,一个模板引导的迭代框架,包含两种互补机制。

Soyeong Jeong原文

AdaPlanBench:在世界与用户约束下评估大语言模型代理的自适应规划能力

AdaPlanBench:在世界与用户约束下评估大语言模型代理的自适应规划能力

现实世界中的规划问题通常同时涉及世界约束和用户约束,且这些约束可能不会事先完全明确,而是在交互过程中逐步披露。然而,现有基准对在逐步揭示的双重约束下进行自适应规划的探索仍不足。为此,我们提出 AdaPlanBench,一个动态交互基准,用于评估 大语言模型(LLM)代理 是否能够在逐步揭示的世界和用户约束下自适应地规划和重新规划。

Jiayu Liu原文

VideoKR: 面向知识和推理密集型视频理解

VideoKR: 面向知识和推理密集型视频理解

我们提出了 VideoKR,这是首个专门为增强知识和推理密集型视频理解而设计的大规模训练语料库。它包含 31.5 万个视频推理示例,涵盖 14.5 万个新收集的、CC 许可的专家领域视频。我们开发了一种人机协同、面向技能的示例生成流程,逐步瞄准更深层次的视频推理能力,同时确保示例及其 CoT 理由 的难度、多样性和可靠性。

Lin Fu原文

RobotValues: 当人类价值观冲突时评估家用机器人

RobotValues: 当人类价值观冲突时评估家用机器人

家用机器人通常以任务完成度作为评估标准,但在日常家庭环境中常出现价值观冲突场景,例如机器人需要在人类自主性、效率或社交适当性之间做出权衡。然而,目前缺乏评估机器人价值观偏好的基准。 我们提出 RobotValues 基准,包含 10K 个价值观冲突场景。每个实例由一张真实家庭图像和多个可能动作组成,这些动作优先考虑不同的人类价值观。

Jongwook Han原文

Reinforcement Learning 引发对未见语言翻译的上下文学习

Reinforcement Learning 引发对未见语言翻译的上下文学习

先前研究表明,大型语言模型(LLMs)可以通过持续训练或在上下文中编码语法书来翻译未见或低资源语言。但两种方法通常过度拟合特定语言,测试时零样本迁移有限。 为大规模翻译极端低资源语言,我们认为LLMs必须习得利用上下文语言知识的元技能,而非记忆特定语言。

Hanxu Hu原文

LoomVideo: 将多模态输入统一到视频生成与编辑中

LoomVideo: 将多模态输入统一到视频生成与编辑中

现有统一视频生成与编辑框架通常依赖大规模模型(13B 参数以上),并通过拼接序列令牌引入源视频条件,导致序列长度加倍,自注意力机制计算复杂度提升四倍,带来极大开销。 为克服这一瓶颈,LoomVideo 提出一种高效的 5B 参数 统一架构。

Jianzong Wu原文

重新思考自进化LLM代理的持续经验内化

重新思考自进化LLM代理的持续经验内化

经验内化将历史交互中的上下文经验转化为可重用的参数化能力,为大语言模型的持续学习提供了有前景的路径。先前工作主要关注单次迭代迁移,我们发现,在多轮次经验学习下,现有方法会出现渐进式能力崩溃,而非复合式提升。 本文从三个关键维度系统考察了这一失败: 1. 经验粒度:原则级经验比实例级经验更持久,因为它能有效从轨迹细节中抽象出可迁移策略。

Jingwen Chen原文

Personal AI Agent for Camera Roll VQA

Personal AI Agent for Camera Roll VQA

我们研究个人相机胶卷视觉问答(Personal Camera Roll VQA)场景。在此场景中,对话式AI助手可访问用户的个人相册,检索相关照片回答各种问题,从简单事实(如“我昨天尝试的食物名称?”)到开放式问题(如“推荐一些我从未吃过的菜肴”)。

Thao Nguyen原文

复杂度平衡的扩散分割 (Complexity-Balanced Diffusion Splitting)

复杂度平衡的扩散分割 (Complexity-Balanced Diffusion Splitting)

标准连续时间生成模型依赖单一架构,必须处理从各向同性噪声到复杂数据分布等差异极大的信号区间。虽然扩大模型容量可提升性能,但均匀部署大规模网络到整个生成时间线本质上是低效的。 本文提出复杂度平衡分割 (Complexity-Balanced Splitting, CBS),这是一个基于函数逼近理论和 de Boor 等分原理 的时序容量分配框架,将扩散时间线划…

Noam Issachar原文

自动驾驶的前进之路:KITScenes Multimodal 数据集

自动驾驶的前进之路:KITScenes Multimodal 数据集

现有自动驾驶数据集取得了重大进展,但在传感器保真度、地图完整性或地理多样性方面仍有不足。我们提出 KITScenes Multimodal,一个基于高保真传感器和地图构建的欧洲数据集。 - 传感器套件:全同步,包括高分辨率全局快门相机、超400m远程激光雷达、4D 成像雷达及冗余 GNSS/INS 定位。

Richard Schwarzkopf原文

Dream.exe: 视频生成模型能否梦到可执行的机器人操控?

Dream.exe: 视频生成模型能否梦到可执行的机器人操控?

视频生成模型在合成视觉上令人信服的内容方面取得了令人瞩目的进展,但其输出仍局限于虚拟领域。一个自然的问题随之而来:当这些模型生成的视频离开屏幕进入现实时,它们能在多大程度上反映物理世界? 我们提出将机器人操控作为衡量这一问题的具体、可测量窗口:如果模型真正内化了物理定律,它所描绘的运动应能转化为可执行的机器人行为。

Rui Zhao原文

MLEvolve: 一种用于自动化机器学习算法发现的自我进化框架

MLEvolve: 一种用于自动化机器学习算法发现的自我进化框架

现有的大语言模型(LLM)智能体在长期任务(如科学发现和机器学习工程)中面临分支信息隔离、无记忆搜索和缺乏分层控制等问题,阻碍了长期优化。 本文提出 MLEvolve,一个基于 LLM 的自我进化多智能体框架,用于端到端机器学习算法发现。

Shangheng Du原文

无监督技能发现用于代理数据分析

无监督技能发现用于代理数据分析

推理时技能增强为数据分析代理提供了一种轻量级改进方式,通过注入可复用程序知识而不更新模型参数。然而,无监督地发现有效技能仍具挑战,因为可靠监督成本高且成功标准因分析格式而异。核心问题是如何仅从无标签探索中发现可复用的数据分析技能。 本文提出 DataCOPE,一种无监督验证器引导的技能发现框架。它从探索轨迹中推导验证信号,用于表征轨迹间的相对质量或一致性。

Zhisong Qiu原文

AffordanceVLA: 一种通过可感知理解赋能动作生成的视觉-语言-动作模型

AffordanceVLA: 一种通过可感知理解赋能动作生成的视觉-语言-动作模型

问题:视觉-语言-动作(VLA)模型利用预训练视觉-语言模型(VLM)的丰富世界知识实现指令跟随机器人操控。然而,VLM语义空间与具身控制策略之间的结构不匹配往往阻碍精确感知-动作映射的学习。 方法:为应对该挑战,我们提出AffordanceVLA,一个统一框架,引入结构化可感知预测作为面向任务的中间表示,建立更精确鲁棒的感知-动作映射。

Qize Yu原文

MAOAM: 基于视觉-语言模型的统一对象与材质选择

MAOAM: 基于视觉-语言模型的统一对象与材质选择

选择是交互式图像编辑中的核心操作。为实现实用化,用户应能通过文本或点击交互来指定并消歧所需选择区域,且系统应支持不仅选择对象,还能选择其他标准如材质。基于材质的选择对于重新纹理表面或编辑特定材质实例等任务很有价值。然而,现有的基于视觉-语言模型 (VLM) 的选择方法以对象为中心,通常仅支持单一交互模态,限制了其适用性。

Jaden Park原文

推理的影子价格:LLMs 最优预算分配的经济学视角

推理的影子价格:LLMs 最优预算分配的经济学视角

推理时间扩展已成为提升大型语言模型性能的关键途径,但实际部署受限于严格的计算预算。本文将推理预算分配建模为受经济原则约束的全局优化问题。通过使用移位激增函数对每查询推理效用建模,我们基于全局影子价格(在资源稀缺下使边际效用均衡)推导出最优分配策略。

Xu Wan原文

World-Language-Action Model 用于统一世界建模、语言推理与动作合成

World-Language-Action Model 用于统一世界建模、语言推理与动作合成

我们提出世界-语言-动作模型 (WLA),一种全新的具身基础模型。WLA 接收文本指令、图像和机器人状态作为输入,联合预测文本子任务、子目标图像和机器人动作,融合了世界-动作模型 (WAM) 从大量第一人称视频中学习世界建模的能力,以及视觉-语言-动作模型 (VLA) 解决复杂长时域任务的语言推理能力。

Yi Yang原文

动态

Codex 新按钮,每天选1人获10倍限额

我有了一个新的“大按钮”,可以为 Codex 按下它。在接下来的 100 天里,我们每天会选出一位用 Codex 做出令人印象深刻或极其有用工作的人,并给他们一个月的 10 倍使用额度,看看他们能做出什么。第一个明天揭晓。

Tibo原文

反思未用Codex的缘由,模型能力仍有富余

每当我没为某个任务使用Codex时,我会问自己为什么,并通常意识到缺少某些上下文、需要编写技能,或者只是没想到用它。很少是因为任务超出模型能力。目前能力过剩的感觉很明显。

Greg Brockman原文

Codex从AI助手进化为AI队友

Codex use-cases: “From software engineering and design to data analysis and operations, Codex is becoming an AI teammate instead of just an AI assistant.”

Greg Brockman原文

研究Claude Design本地化,优化AI Agent开发流程

研究Claude Design本地化,优化AI Agent开发流程

之所以研究 Claude Design,是因为最近摸索出一套不错的开发模式: 1. 先用 Claude Design 去设计 App 的 UI 和 UX,第一版本越简单越好。 Claude Design 交付的结果是 HTML + CSS + React + data.js,通过 CSS 一下就可以看清楚设计系统的颜色系统、尺寸规范,通过 React 可以看…

宝玉原文

一周内25+开放权重模型发布综述

一周内25+开放权重模型发布综述

Before the week ends, let's acknowledge one of the most INSANE week ever for open AI, with 25+ notable open-weight drops across every modality: 🧠 LLMs → NVIDIA Nemotron 3 Ultra: 5…

Yann LeCun原文

Codex Remote从跳跃滚动改进为平滑流式

Codex Remote从跳跃滚动改进为平滑流式

我不知道你是否注意到,Codex Remote的最新几个版本从跳跃滚动改进为平滑流式。我真的很喜欢它的效果。而且,测试和调试它的最佳方式是什么?让Codex生成无尽文字。

Thomas Ricouard原文

OpenAI将ChatGPT升级为超级应用,整合Agent和Codex

ChatGPT 要变 AgentGPT 了 当然 ChatGPT 应该不会改名字,但 ChatGPT 应该不再是一个单纯的 Chat 工具了。 OpenAI 内部一位高管对《金融时报》说:"Chat is dead."(聊天已死。) OpenAI 正在准备 ChatGPT 自 2022 年上线以来最大规模的改版。

宝玉原文

Hermes桌面应用比Telegram好用,期待iOS版

@NousResearch 的 Hermes 桌面应用太棒了。相比单纯使用 Telegram 是巨大的进步。最大的生活质量提升是创建新聊天会话的无摩擦方式,而不是要么 (a) 创建 Telegram 话题体操,要么 (b) 在同一个聊天中混杂一切,不断玩“/new”游戏。 我希望 iOS 应用正在开发中。请告诉我这是真的 @Teknium 🙏

Teknium 🪽原文