AI 日报 · 2026-06-20

行业新闻

Speaking of Voxtral

Speaking of Voxtral

Mistral AI 发布了开放权重的 Voxtral TTS 模型,主打快速、即插即用且声音逼真,推动语音 AI 应用落地。

MiniCPM5-1B 发布

MiniCPM5-1B 发布

面壁智能发布 1B 参数端侧模型 MiniCPM5-1B,内置混合推理能力,在同尺寸开源模型中表现最优。

ZMXJJ原文

热门产品

Upstream

Upstream

为人类和智能体设计的收件箱,利用AI智能体自动整理邮件、起草回复,让邮件处理更轻松高效。

Louis Lecat原文

Elvin

Elvin

Elvin 是一款主动式 AI 助手,能自动发现并完成工作中的协调任务,适合团队协作场景,提升效率。

Ellie Powers原文

Viktor for Microsoft Teams

Viktor for Microsoft Teams

Viktor是Microsoft Teams中的自主AI员工,能跨3000+工具自动完成报告、审批等重复操作,为企业团队提升运营效率。

Fryderyk Wiatrowski原文

Agentic videos by D-ID

Agentic videos by D-ID

D-ID的Agentic Videos将视频转化为交互式AI体验,观众可提问并实时获得回答,帮助创作者洞察观众需求。

Gil Perry原文

VoiceOS

VoiceOS

VoiceOS 是一款语音驱动的电脑自动化工具,让你用自然语言执行工作流,适合追求高效的用户,提升专注力和生产力。

Jonah Daian原文

Juno

Juno

Juno是一款本地开源的AI语音转文字应用,为Mac用户提供实时转录,支持在多种应用中直接语音输入,提升工作效率。

Buddy

Buddy

Buddy 是 Figma 内的 AI 设计代理,可将网站、截图等导入为可编辑图层,适合设计师快速生成界面和变体。

Avishay Cohen原文

Adapt

Adapt

Adapt将Slack转变为AI工作空间,通过共享公司大脑,团队可随时提问、构建应用,提升协作效率。

Ashley原文

Ploy.ai

Ploy.ai

Ploy.ai 是一款智能营销平台,通过 AI 代理自动管理网站、广告和个性化内容,帮助营销团队持续提升流量和转化。

brryant原文

Locofy: design-to-code agents

Locofy: design-to-code agents

Locofy 是一款设计转代码代理,利用AI模型将Figma设计转换为精确前端代码,帮助开发者加速从设计到实现的流程。

Honey Mittal原文

Genie Mentions

Genie Mentions

Genie Mentions是一款社交AI产品,通过分析你和朋友的口味与动态,让你随时了解朋友的重要行动,适合希望加深社交联系的用户。

John Kneeland原文

Labs AI

Labs AI

Labs AI 利用 ElevenLabs 技术,在 iPhone 上快速将文本转为自然语音,支持多种声音和语言,适合内容创作者制作专业配音。

Agathe Dozo原文

LayerProof Bristol

LayerProof Bristol

Bristol将材料转化为交互式智能报告,适合代理、自由职业者,通过聊天即可生成并发布网页报告。

Hoang Anh Cao原文

CADAM

CADAM

CADAM是一款开源文本转CAD平台,用户通过自然语言描述即可生成参数化3D模型,适合设计师和3D打印爱好者快速建模。

Aaron Li原文

Tine

Tine

Tine 是一个AI桌面光标助手,能根据用户指令在Mac上的各个应用间自动操作,实现任务自动化,适合需要高效多步操作的用户。

hritvik Gupta原文

Refuse

Refuse

Refuse 是一款包安全管理工具,为 AI 编码代理和开发者设计,在安装前自动拦截已知漏洞包,提升供应链安全。

Gokul原文

Tabnxt

Tabnxt

Tabnxt是一款AI标签页管理工具,帮助Chrome用户自动挂起后台标签页以节省80%内存,并通过AI工作区快速分组,适合标签页过多的用户。

Sudeep S原文

Merlin by Encord

Merlin by Encord

Merlin 是 Encord 的智能代理层,通过对话管理 AI 数据基础设施,适用于 AI 团队,提升数据管理效率。

Eric Landau原文

VELA

VELA

VELA 为开发者提供安全执行 AI 生成代码的沙箱环境,使用微虚拟机隔离,防止安全风险。

Praveen原文

开源项目

palmier-pro

palmier-pro

macOS 原生视频编辑器,专为AI工作流设计,内建生成式AI模型(Seedance、Kling等)直接在时间线生成视频和图像,并通过MCP协议让Claude/Cursor等AI Agent协同编辑。亮点:基于Swift从头构建,对标Premiere Pro,首次将LLM Agent与专业视频编辑深度集成。

palmier-io原文

worldmonitor

worldmonitor

实时全球情报仪表盘,AI 驱动新闻聚合与地缘政治监控,整合 500+ 信源生成简报。亮点:支持本地 Ollama 运行 AI 无需 API Key,单代码库构建 6 种变体(科技/金融/能源等),原生桌面应用覆盖多平台。

koala73原文

agent-native

agent-native

开源框架,用于构建 agent 与 UI 深度绑定的原生应用,agent 和 UI 共享同一数据库和状态,支持实时多人协作。亮点在于它让 agent 不再是聊天框里的孤岛,而是能直接操作应用界面、跨 app 联动,并提供多种产品形态(headless、rich chat、whole app)。

BuilderIO原文

Hyper-Extract

Hyper-Extract

智能知识提取CLI工具,利用LLM将非结构化文本转换为结构化的知识图谱、超图或时空图。支持一键提取、增量进化,内置80+领域模板(金融、法律、医疗等),可本地部署(vLLM)保障数据隐私。亮点在于多结构支持和零代码配置,比同类GraphRAG/LightRAG更灵活。

yifanfeng97原文

awesome-generative-ai-guide

一站式生成式AI资源合集,涵盖最新研究论文、面试题、免费课程和实战notebook,由Aishwarya Naresh Reganti维护。内容持续更新,包含Applied LLMs Mastery等免费课程和多个学习路线图,适合初学者系统学习及求职准备。项目采用MIT许可,可自由使用。

aishwaryanr原文

论文

MolmoMotion:基于语言指令的3D点轨迹预测

MolmoMotion:基于语言指令的3D点轨迹预测

运动预测是视觉智能的核心:智能体必须预测物体如何运动,以规划行动、推理物理交互并合成逼真的未来。本文认为,世界坐标系中的 3D点 提供了一种通用表示:与类别无关、视角稳定、紧凑,并可直接用于下游任务。 我们形式化了 目标条件3D点运动预测 任务:给定短时视觉历史、感兴趣物体上的一组3D查询点以及目标的语言描述,模型预测每个点的未来3D轨迹。

Jianing Zhang原文

超越当前观测:在可控非马尔可夫游戏中评估多模态大语言模型

超越当前观测:在可控非马尔可夫游戏中评估多模态大语言模型

将多模态基础模型部署为闭环策略时,越来越需要基于不再可见的观测来调整动作。然而,现有基准要么暴露完整状态,将隐藏状态重建与其他智能体技能混为一谈,要么仅在一幕结束后测试回忆。 我们引入 RNG-Bench(Reconstructive Non-Markov Games) 基准套件,旨在隔离模型在多步交互中重建过去观测并据此行动的能力。

Shengyuan Ding原文

Kairos: 面向物理AI的原生世界模型栈

Kairos: 面向物理AI的原生世界模型栈

世界模型正从被动视觉生成器转变为物理AI的基础操作基础设施:它们必须原生地从异构经验中获取世界知识,在长时间范围内维护持久状态,并在实际部署约束下高效执行。 我们提出 Kairos,一个围绕这些需求设计的原生世界模型栈: 1. 原生预训练范式 由 跨本体数据课程 主导,将开放世界视频、人类行为数据和机器人交互组织成渐进发展路径。

Kairos Team原文

Guava:一种有效且通用的具身操控套件

Guava:一种有效且通用的具身操控套件

语言模型在大规模视觉-语言数据上的训练展示了在具身智能体方面的巨大潜力。通过具身工具使用来驾驭模型,提供了一种有前景的替代方案,相较于端到端的视觉-语言-动作系统,它将高级推理与外部感知、规划和控制模块相结合。然而,尚不清楚什么构成了有效的具身操控套件,以及这种套件在多大程度上能够解锁各类推理模型的具身能力。

Haowen Liu原文

奖励一直就在你的数据中:用判别器引导的RL纠正流匹配

奖励一直就在你的数据中:用判别器引导的RL纠正流匹配

分数匹配 和 流匹配模型 常依赖 基于偏好的强化学习 来实现两个目标:对齐主观偏好,以及(出人意料地)恢复视觉真实性和一致物体结构等属性——这些本应是匹配训练从数据中学习的内容。我们认为这反映了结构不匹配:匹配损失(如 ell2 回归误差)在训练时边际分布下衡量速度场或得分场,与推理时决定样本质量的视觉和语义属性关联甚微。

Nicolas Beltran-Velez原文

EfficientRollout: 面向RL Rollouts的系统感知自推测解码

EfficientRollout: 面向RL Rollouts的系统感知自推测解码

强化学习(RL)已成为大语言模型(LLMs)的代表性后训练范式,赋予其强大的推理与智能体能力。然而,rollout生成仍是主导延迟瓶颈,因为自回归采样顺序解码响应,且少量长尾生成通常决定完成时间。 推测解码(SD) 作为服务固定LLMs的成熟技术,通过快速草拟token并并行验证接受来降低延迟,同时保持目标模型分布。

Minseo Kim原文

SAE Interventions are Unreliable: 干预后抑制行为的恢复

SAE Interventions are Unreliable: 干预后抑制行为的恢复

稀疏自编码器(SAE)将残差流激活分解为可解释特征,近期潜在空间防御越来越依赖这些分解,假设识别的“不安全”SAE特征可作为可操作手柄进行监控和干预。在此范式下,钳制特定有害特征应可靠地阻止模型不当行为。然而,我们表明这种成功可能隐藏了一种可恢复的失效模式:钳制可能阻挡了通向行为的一条可见路径,但并未消除行为本身。

Mingyue Cui原文

From Trainee to Trainer: LLM设计的强化学习训练环境与多智能体推理

From Trainee to Trainer: LLM设计的强化学习训练环境与多智能体推理

强化学习流水线在训练大语言模型(LLM)时,常依赖手动重设计各阶段训练环境,实践者需启发式推断哪种配置能最好地改进当前策略。为自动化该过程,我们提出 LLM-as-Environment-Engineer框架:当前策略模型分析失败轨迹,结合上下文信息,提出下一阶段训练环境配置的修改建议。

Chao Chen原文

强化空间视觉语言模型中的双路径推理

强化空间视觉语言模型中的双路径推理

空间视觉语言模型(Spatial VLMs)在几何感知方面取得了显著进展,但处理需要跨深度、距离和场景关系进行多步推理的复杂空间任务仍具挑战性。此外,不同类型的空间查询需要截然不同的策略:有的适合纯语言逐步演绎,有的则需要先进行显式3D定位再进行定量推理。

Yatai Ji原文

Trust the Right Teacher: Quality-Aware Self-Distillation for GUI Grounding

Trust the Right Teacher: Quality-Aware Self-Distillation for GUI Grounding

图形用户界面定位(GUI Grounding)要求视觉语言模型(VLM)在高分辨率截图中识别微小的目标元素并预测精确的屏幕坐标。在线策略自蒸馏(On-Policy Self-Distillation, OPSD)是一种有前景的后训练方法,能为坐标敏感任务提供密集的令牌级教师信号,超越硬坐标标签。

Jingyuan Huang原文

原生主动感知作为全模态理解的推理

原生主动感知作为全模态理解的推理

针对长视频理解,被动模型通常采用“全部观看”范式,无论查询难度如何都统一处理帧,导致计算成本随视频时长增长。尽管出现了交互式框架,但它们往往依赖于全局预扫描,上下文成本仍然随视频长度扩展。 本文提出OmniAgent,首个原生全模态智能体,将视频理解建模为基于POMDP的迭代观察-思考-行动循环。

Zhenghao Xing原文

MaineCoon: 追求实时音频-视觉社交世界模型

MaineCoon: 追求实时音频-视觉社交世界模型

随着全球越来越多的视频内容在社交平台上被消费,用于交互社交目的,为社交世界构建的视频生成模型虽重要但被先前研究广泛忽视。本文定义了社交世界模型的定位,并构建了一个原型模型作为迈向该目标的第一步。先前的世界模型成功模拟了物理环境或游戏世界探索,但本质上仍脱离以人为中心的社交动态。

Lichen Bai原文

ViT-Up: 忠实特征上采样用于 Vision Transformers

ViT-Up: 忠实特征上采样用于 Vision Transformers

Vision Transformers (ViTs) 已成为视觉表示学习的主流架构,提供强大且可复用的骨干特征。然而,由于全局自注意力的二次复杂度,ViTs 通常在较小的patch-token网格上操作,这对语义分割、深度估计等密集预测任务造成了持续瓶颈,推动了任务无关特征上采样器的发展。

Krispin Wandel原文

STARE: 基于惊奇引导的令牌级优势重加权实现策略熵稳定性

STARE: 基于惊奇引导的令牌级优势重加权实现策略熵稳定性

基于可验证奖励的强化学习算法(如 GRPO)已成为大语言模型复杂推理的主流后训练范式,但常在训练中遭遇策略熵崩溃问题。本文对 GRPO 下令牌级熵动态进行一阶梯度分析,发现令牌级信用分配不匹配:每个令牌的熵变化可分解为轨迹级优势与下一个令牌分布上的熵敏感函数的乘积,形成优势-惊奇四象限结构及近临界属性。

Haipeng Luo原文

超越对齐:价值多样性作为多元文化智能体系统中的集体属性

超越对齐:价值多样性作为多元文化智能体系统中的集体属性

多元文化多智能体系统日益部署在全球多样化的环境中,不同智能体基于不同文化背景。现有文化评估聚焦于价值对齐:单个智能体与目标文化的匹配程度。然而,对齐是单个智能体的属性,无法揭示系统整体是否保留了其本应代表的文化多元性。 本文提出将价值多样性作为多元文化智能体系统的系统级评估轴,通过衡量不同文化条件下的智能体在共享价值调查中响应的差异性来定义。

Shaoyang Xu原文

Sumi: 从头训练的开放统一扩散语言模型

Sumi: 从头训练的开放统一扩散语言模型

扩散模型已成为自回归模型的有前景替代方案。其中,统一扩散语言模型(UDLM) 允许任意 token 在任意步骤更新,原则上可实现更灵活的生成。然而,目前尚无从零开始在大参数规模和大 token 预算下预训练的 UDLM。自回归模型和掩码扩散模型已有大规模可用模型,但 UDLM 仍属空白。

Mengyu Ye原文

CEO-Bench: Agent能玩长期游戏吗?

CEO-Bench: Agent能玩长期游戏吗?

语言模型Agent在软件工程和客户服务等孤立、短期的任务上逐渐成为熟练的执行者。然而,现实世界的挑战需要多种复杂技能的组合,这些技能在Agent中仍未得到充分测试: 1. 在不确定性中导航长期时间跨度; 2. 在噪声环境中获取信息; 3. 适应变化的世界; 4. 协调多个动态部分以实现连贯目标。

Haozhe Chen原文

MyPCBench: A Benchmark for Personally Intelligent Computer-Use Agents

MyPCBench: A Benchmark for Personally Intelligent Computer-Use Agents

当前计算机使用代理(computer-use agents)的基准测试在非个性化环境中评估模型。这导致了评估与部署之间的差距,因为个人助理需要跨越用户的整个数字生活,包括其上下文、历史数据和已登录账户。这一差距在Web任务上最为明显,因为实时Web评估无法处理需要登录或个人信息的网站——而这正是真实个人助理必须驱动的网站。

Lawrence Keunho Jang原文

PAIWorld: 用于机器人操作的3D一致世界基础模型

PAIWorld: 用于机器人操作的3D一致世界基础模型

现有世界基础模型作为强大的模拟器,但主要运行在单视图设置中,缺乏机器人操作所需的多视图3D一致性。虽然机器人系统依赖多个摄像头(自我中心、眼到手和腕装)进行策略学习,但当前多视图世界模型仅简单拼接视图令牌,缺乏显式几何推理,导致跨视图物体偏移、深度不一致和纹理错位。

Yuhang Huang原文

When Does Trajectory-Level Supervision Permit Efficient Offline Reinforcement Learning?

When Does Trajectory-Level Supervision Permit Efficient Offline Reinforcement Learning?

离线强化学习通常在过程级奖励监督下分析,但许多序列决策数据集仅记录轨迹级结果。本文针对此类结果级监督,建立了离线策略优化的统计理论。 首先研究规范设定:目标仍是期望累积奖励,但每条离线轨迹仅提供一个标量标签,其条件均值为累积回报。本文提出 OPAC 算法,一种悲观演员-评论家方法,学习潜在奖励模型并从轨迹级标签优化策略。

Xuanfei Ren原文

动态

AlphaFold负责人从Google DeepMind跳槽至Anthropic

一个消息:在近9年后,我决定离开Google DeepMind,加入Anthropic(先休息一段时间)。我非常感激在GDM的时光。@demishassabis 在我博士毕业仅6个月后就让我领导AlphaFold团队,GDM团队教会我如何做伟大的科学。GDM是一个特别的地方,我仍期待他们未来的惊人发现。

Lance Martin原文

使用提示注入发现未审查代码的贡献者

抓到了。我到处在 AGENTS.md(以及其他如代码注释)中注入提示,像这样来发现那些不审查代码就转给他人的人。总是能抓到人,然后立即封禁。 如我所说,我不在乎你是否审查自己的代码。但如果你向开源项目提交代码并跨越人为边界,做点人为审查是基本的礼貌。

jason原文

Codex支持线程在本地和远程主机间切换

Codex支持线程在本地和远程主机间切换

Codex 现在可以在本地和远程主机之间交接线程。 在你的笔记本电脑上开始工作,合上盖子之前将其发送到远程机器,稍后再取回。 是的,Codex 可以为你协调这个交接过程。https://t.co/CcIG9fwzXd

jason原文

构建Web应用的架构建议,涉及OpenAPI、TanStack Query等

如果你正在打造一个涉及Web应用的十亿美元公司,以下是我对前端架构的一些笔记。 如果你不这样做,可能也没问题,但总有一天你会雇人来修复,但实际上,如果你从一开始就做一些关键优化,那个人本可以做其他更有价值的事情。 你甚至不需要学习任何东西,反正你会让代理去做的! 好了,开始吧: - 让服务器代码生成OpenAPI规范,然后生成所有相关的客户端代码。

Peter Steinberger 🦞原文

Anthropic与美政府限制AI访问引发主权讨论

Anthropic与美政府限制AI访问引发主权讨论

过去两周,美国政府和Anthropic都采取了重大行动,展示了他们通过限制其他人对前沿模型的使用来控制AI访问的能力。这是一个一旦看到就难以忽视的时刻,它正在显著加速许多企业和国家确保可靠访问AI(且无人能终止)的努力。

Andrew Ng原文

Deepmind两位核心人物分别跳槽OpenAI和Anthropic

谷歌Deepmind在几天内相继失去Noam Shazeer和John Jumper,感觉是一个重大打击。一人去了OpenAI,另一人去了Anthropic……一位帮助发明了Transformer,另一位与Demis因AlphaFold共同获得诺贝尔奖。这些都是大牛在迁移……

Matt Wolfe原文

介绍agent distributions共享功能

介绍agent distributions共享功能

提醒大家,我们内置了一个系统,可以与你的团队、公众或任何人分享你的agent。它叫做agent distributions,更多信息请点击:https://t.co/TioH6JHaVE

Teknium 🪽原文