AI 日报 2026-06-27 · commaai/openpilot、超越 NL2Code：多模态代码智能的结构化综述、Causal-rCM: 一种统一的教师强制与自我强制开放方案，用于流视频生成与交互世界模型中…

行业新闻

OpenAI 发布 GPT-5.6 Sol 预览，新一代模型细节公开

OpenAI 预览 GPT-5.6 Sol，新一代模型在推理和多模态方面大幅升级，值得关注其技术路线和性能突破。

原文

OpenAI与博通推出LLM推理优化芯片Jalapeño

OpenAI与博通推出定制推理芯片Jalapeño，专为大模型推理优化，有望提升效率并降低成本。

原文

中科大等机构提出 VLA-JEPA，用潜空间预测训练 VLA 模型

VLA-JEPA 通过潜空间世界模型预训练，让小样本 VLA 机器人学会状态转移，降低对标注数据的依赖。

机器之心原文

Anthropic 与白宫僵持：Mythos 模型下线两周仍无解

Anthropic 的旗舰模型因与白宫对峙被下线，两周谈判无果，凸显 AI 安全监管的激烈冲突。

Hayden Field原文

智谱开源 GLM-5.2 跻身全球模型前三，马斯克预测追赶时间缩短

智谱开源 GLM-5.2 性能逼近顶尖闭源模型，且提供免费算力，标志中国开源模型首次进入全球核心竞争圈。

Jay原文

Claude Slackbot 升级，支持多人、主动、持久代理

Claude 在 Slack 中从被动问答升级为能主动参与多人协作的持久化智能代理。

原文

Cohere 发布 AI 代理构建实用指南

一份务实的工程指南，用具体步骤教你搭建可靠的 AI 代理，而非空谈概念。

原文

影石开源统一相机模型UniSHARP，单图即可生成3D高斯点云

影石开源UniSHARP，一张图适配所有相机，秒级生成3D场景，打破针孔相机依赖。

机器之心原文

国产视频模型以94毫秒延迟和100%监控胜率超越Gemini

国产视频模型延迟低至94毫秒，监控准确率100%，超越Gemini，展现视频理解领域突破。

新智元原文

NVIDIA 与 AWS 合作推动 AI 规模化生产

NVIDIA 与 AWS 联合优化 AI 基础设施，降低大规模生产部署的延迟和成本。

Josiah Byers原文

AI Agent Token开销居高不下，路由成为成本优化核心

AI21 Labs提出用智能路由自动优化Agent token成本，在不牺牲质量的前提下缓解成本飙升。

原文

联合国发布全球首个自动驾驶法规小鹏参与制定并计划出海

全球首个自动驾驶法规落地，小鹏加速出海布局，特斯拉入华，智驾竞赛转向全球市场适配与落地能力比拼。

原文

生成式因果测试将语言脑区预测黑箱转化为可读假说

新框架 GCT 把脑区预测模型翻译成可测试的短句，并用实验验证，打开了语言神经科学的黑箱。

Chandan Singh, Jianfeng Gao原文

美国政府加强 AI 模型发布管控，Anthropic 与 OpenAI 处境趋同

美国政府开始直接控制AI模型发布，Anthropic和OpenAI受冲击，行业需集体应对审批不确定性。

Russell Brandom原文

Subquadratic 声称攻克 LLM 数学瓶颈

Subquadratic 宣称突破 LLM 注意力计算效率瓶颈，但需更多证据验证。

Will Douglas Heaven原文

豆包大模型2.1发布，聚焦代码与Agent生产级能力

豆包大模型2.1在代码与Agent能力上号称跨越生产级门槛，展示大模型进入真实工程场景的潜力。

机器之心原文

Midjourney V8.1 草稿模式新增随机风格

Midjourney V8.1 草稿模式支持随机风格，一次生成 24 种风格变体，加速创意探索。

Caleb原文

Databricks 用数据工程方法实现视频自然语言搜索

Databricks 通过数据工程流水线，让用户用自然语言查询视频内容，自动截取相关片段并生成文本摘要，极大降低视频分析成本。

原文

Mistral AI 增强连接器控制功能

Mistral AI 升级连接器控制，用户可更灵活管理数据集成。

原文

Claude Code 大升级，Anthropic 称 65% 产品代码由其参与完成

Claude Code 升级后，Anthropic 内部大量代码由 AI 生成，卡帕西认为这代表 LLM 应用的范式转变。

henry原文

开源项目

openpilot

为300多款车型提供驾驶辅助升级的开源操作系统，基于机器学习和计算机视觉实现自适应巡航、车道保持等功能。亮点：社区活跃，支持硬件（comma four）即插即用，也可自行编译部署；持续收集真实驾驶数据优化模型。注意：此为研究性质的alpha软件，非产品，使用者需自行承担合规与安全责任。

commaai原文

open-seo

开源的SEO工具集，对标Semrush和Ahrefs，覆盖关键词研究、排名监控、网站审计、反向链接分析等完整工作流。亮点是内置MCP服务器和预置Agent Skills，让Claude Code、Codex等AI助手直接读取实时SEO数据辅助决策。完全自托管，仅需承担第三方DataForSEO API的按量费用，无订阅限制。

every-app原文

论文

我们准备好迎接 Agent-Native 记忆系统了吗？

大语言模型（LLM）智能体（agent）的记忆已从简单的检索增强机制，快速发展为一种数据管理系统，支持持久化信息存储、检索、更新、整合以及整个智能体执行过程中的动态生命周期治理。然而，现有评测仍主要通过端到端任务成功率（如 F1、BLEU）来对智能体记忆进行基准测试，将底层系统视为一个整体黑盒。

Wei Zhou原文

DomainShuttle: 自由开放域主题驱动文本到视频生成

开放域主题驱动文本到视频生成（S2V）在学术界和工业界引起了广泛关注。开放域S2V主要涉及两种场景：域内场景，需要尽可能保留参考主题特征；跨域场景，在保留主题内在特征的同时，允许与主题无关的属性根据文本提示灵活变化。现有方法主要侧重于最大化域内场景中的主题保真度，这限制了它们在跨域场景（如新颖风格、语义组合或域属性）中的可编辑性和适应性。

Nan Chen原文

ShutterMuse: 利用 MLLMs 进行拍摄时摄影指导

现实摄影需要在拍摄时获得构图和主体姿势的指导。然而，现有的美学裁剪基准主要评估事后裁剪预测，忽略了主体侧建议，导致多模态大语言模型（MLLMs）在拍摄时指导能力方面探索不足。为解决此问题，我们提出了 CaptureGuide-Bench，包含两个互补任务：摄影师侧的构图决策与优化，以及主体侧的基于场景的姿势推荐。

Jiayu Li原文

Wan-Streamer v0.1: 端到端实时交互基础模型

Wan-Streamer 是一种原生流式、端到端的交互式基础模型，专为实时、低延迟、全双工的视听交互设计。它通过单个 Transformer 统一建模语言、音频和视频，将序列表示为交错的视觉、音频、文本输入令牌与视觉、音频、文本输出令牌，并由块因果注意力(block-causal attention) 协调以实现增量流式处理。

Lianghua Huang原文

MVTrack4Gen: 多视图点跟踪作为4D视频生成的几何监督

从单目参考视频沿目标相机轨迹合成新颖视角视频，需要同时保持几何一致性和运动保真度。现有基于显式3D表示的方法受限于现成重建模块的精度，对单目视频中动态物体常产生不准确几何。相比之下，仅相机条件方法能达到高视觉质量，但难以保持几何和运动一致性。

JoungBin Lee原文

改进版大规模语言扩散模型

现代大规模语言模型主要采用自回归分解和因果注意力进行训练。我们提出了 iLLaDA，一个拥有完全双向注意力的 8B 参数掩码扩散语言模型，从头开始训练。方法：iLLaDA 在整个预训练和监督微调（SFT）阶段均保持掩码扩散目标，预训练数据量达 12T tokens，并在 25B tokens 的指令语料库上微调 12 个epoch。

Shen Nie原文

超越 NL2Code：多模态代码智能的结构化综述

大型语言模型（LLM）显著推进了文本到代码合成，但许多真实编程任务通过视觉构件（如截图、图表、矢量图、视频和交互状态）指定意图。这些任务要求模型将视觉感知连接到可执行程序，因为正确性不仅取决于语法，还取决于布局、数据语义、交互行为及执行后的领域特定约束。本综述考察多模态代码智能，涵盖在视觉输入和输出下生成、编辑、重构或推理代码的系统。

Xuanle Zhao原文

V-Zero: 无答案标签的对比证据门控在线策略蒸馏用于细粒度视觉推理

细粒度视觉推理需要多模态大语言模型（MLLMs）识别任务相关的视觉证据并将其推理过程定位到局部图像区域。现有基于智能体的方法通常依赖强化学习（带可验证奖励）或监督微调（基于大规模标注推理轨迹），导致探索成本高、需手工设计验证规则或严重依赖文本监督。

Haoxiang Sun原文

UnityShots: 记忆驱动的多镜头音视频生成与边界感知门控

生成连贯的多镜头视频需要结构化的跨镜头记忆。主体外观、场景上下文和说话人身份必须在剪辑间保持一致。现有方法要么在固定长度序列上端到端训练且无法扩展，要么使用线性增长的存储库逐镜头生成，要么在LLM规划器下编排预训练生成器但缺乏多镜头感知主干。

Jiehui Huang原文

Causal-rCM: 一种统一的教师强制与自我强制开放方案，用于流视频生成与交互世界模型中的自回归扩散蒸馏

自回归视频扩散与因果扩散 Transformer 已成为实时流视频生成和动作条件交互世界模型的主要范式。本工作将先进的扩散蒸馏框架 rCM 扩展到自回归视频扩散。rCM 的核心思想在于前向散度和反向散度的互补性，分别由一致性模型 (CMs) 和分布匹配蒸馏 (DMD) 表示。

Kaiwen Zheng原文

EBench: 通用移动操控策略的元素化诊断

我们提出 EBench，一个用于诊断通用移动操控策略的仿真基准，超越了单一的成功率标量。EBench 包含 26 个多样且富有挑战性的操控任务，标注了 5 个能力维度和 4 个泛化维度。

Ning Gao原文

IV-CoT: 隐式视觉思维链用于结构感知的文本到图像生成

统一的多模态大语言模型在文本到图像生成上取得了强劲性能，但在结构感知的提示遵循方面仍面临挑战，需要精确保持物体计数、空间关系、属性绑定和粗略布局。本工作将该局限部分归因于单一条件流中结构规划与外观渲染的纠缠。为解决此问题，本文提出隐式视觉思维链(IV-CoT)，一种用于查询条件图像生成的潜在视觉推理框架。

Zixuan Li原文

Autodata: 一种用于创建高质量合成数据的智能数据科学家代理

我们提出 Autodata，一种通用方法，使 AI 代理能够充当数据科学家，构建高质量的训练与评估数据。我们展示了如何训练（元优化）这样的数据科学家代理，使其学会创建更强大的数据。我们描述了整体框架及一个具体实现：Agentic Self-Instruct。

Ilia Kulikov原文

Agentic AI 探险者指南：从基础到系统

本书是一份全面的实践者参考指南，旨在构建自主AI系统。全书从第一性原理到生产部署，围绕一个核心论点展开：构建优秀的 Agentic AI 系统需要理解流水线的每一层，而非仅关注单一层面。

Haggai Roitman原文

看轻思考重：多模态 Chain-of-Thought 推理能做什么和不能做什么

链式思维推理（Chain-of-Thought, CoT）已成为通过引发逐步思考来提升大语言模型推理能力的标准方法，但其在多模态任务中的有效性尚不明确。本文旨在系统探究：多模态 CoT 推理能做什么，在哪些方面以及为何存在不足？为此，我们在感知与推理两大类别共 12 项多模态任务上，评估了 14 个非推理模型和 8 个推理模型。

Zhuoran Jin原文

TryOnCrafter: 通过可渲染4D试穿代理释放相机轨迹以实现逼真视频虚拟试穿

尽管视频虚拟试穿（VVT）在合成动态人物上的逼真服装覆盖方面取得了显著进展，现有范式仍受限于对源相机轨迹的被动依赖，无法满足全方位视角探索所需的交互自由度。为解决这一局限，我们定义了一个开创性研究前沿：相机可控视频虚拟试穿（CaM-VVT）。

Hao Sun原文

推进面向 WordArt 的场景文本识别：数据集与方法

艺术字（WordArt）具有高度自定义的字体、纹理和布局，使得面向艺术字的场景文本识别（WATER）比通用场景文本识别（STR）更具挑战性。现有的 STR 数据集和方法通常基于常规场景文本和固定模板输入，难以扩展至 WATER。为此，我们从数据和模型两方面推进该任务。在数据方面，我们构建了大规模合成数据集 WATER-S，规模相比现有艺术字数据提升数百倍。

Xingsong Ye原文