AI 日报 2026-06-29 · BrowserBC 开源人类操作复用网页任务、OpenHLM 提出人形机器人全身移动配方、后训练进展优势可提升 LLM Agent、世界模型幻觉可预测可预防

行业新闻

OpenAI发布GPT-5.6系列，分三档仅限受信任合作伙伴

OpenAI推出三档GPT-5.6，因政策限制仅向少数合作伙伴开放，引发技术公平性争议。

原文

OpenAI 发布 GPT-5.6 Sol 预览，新一代模型细节公开

OpenAI 预览 GPT-5.6 Sol，新一代模型在推理和多模态方面大幅升级，值得关注其技术路线和性能突破。

原文

360 与 Sakana AI 发布新模型，对标被美禁运的 Anthropic 神话系列

亚洲厂商借美国出口禁令窗口推出对标 Anthropic 的模型，显示 AI 供应链正因地缘政治加速多元化。

Kate Park原文

DeepSeek DSpark 提出混合推测解码架构，推理加速最高85%

DSpark 将并行和顺序推测解码结合，通过在线自适应调度进一步优化，实现端到端推理加速。

闻乐原文

Sharpa联合清华发布FTP-1，首个通用触觉基础模型跨21种传感器

首个通用触觉基础策略FTP-1，跨21种传感器预训练，可迁移至新传感器和机器人本体，打通触觉操作通用化路径。

机器之心原文

影石开源统一相机模型UniSHARP，单图即可生成3D高斯点云

影石开源UniSHARP，一张图适配所有相机，秒级生成3D场景，打破针孔相机依赖。

机器之心原文

百度开源 Unlimited OCR，长文档识别能力刷新 SOTA

百度开源 Unlimited OCR 通过革新注意力机制实现长文档连续识别，性能超越 DeepSeek OCR，或重塑 AI 数据入口竞争格局。

林樾原文

Unconventional AI 发布首款物理计算原语生成模型 Un-0，宣称能效可降千倍

Unconventional AI 用物理振子系统替代 GPU 计算，发布首个生成模型 Un-0，有望大幅降低 AI 能耗。

机器之心原文

杭州Om AI开源VLX，实现端侧流式多模态感知与行动

Om AI的VLX系统把持续感知、定位和行动决策整合在端侧，让模型从“看图说话”升级为“实时做事”。

henry原文

Databricks 用数据工程方法实现视频自然语言搜索

Databricks 通过数据工程流水线，让用户用自然语言查询视频内容，自动截取相关片段并生成文本摘要，极大降低视频分析成本。

原文

Cohere 发布 AI 代理构建实用指南

一份务实的工程指南，用具体步骤教你搭建可靠的 AI 代理，而非空谈概念。

原文

AI Agent Token开销居高不下，路由成为成本优化核心

AI21 Labs提出用智能路由自动优化Agent token成本，在不牺牲质量的前提下缓解成本飙升。

原文

Karpathy内部Claude.md配置泄露 10条规则比社区版更严

Karpathy内部实战版的Claude.md泄露，新增6条规则，把AI从莽撞码农调教成有自检能力的工程搭档。

新智元原文

推测解码本质是将内存带宽转化为算力

推测解码通过轻量模型预生成、大模型验证，把内存带宽压力转为算力，提升推理速度。

原文

它石智航等发布TacForeSight，机器人预判接触变化

它石智航联合多机构提出TacForeSight触觉世界模型，用力觉提前预测触觉变化，实现机器人预判接触，提升精细操作成功率。

思邈原文

BrowserBC 开源：人类操作一次，Agent 即可复用同类网页任务

BrowserBC 通过录制人类浏览器操作并转写为技能，让 Agent 无需重复探索，便宜模型也能完成同类任务。

机器之心原文

OpenAI 与 Broadcom 合作推出定制推理芯片，多家企业自研芯片降低英伟达依赖

OpenAI 自研推理芯片 Jalapeño，反映大厂通过定制芯片摆脱英伟达依赖的趋势，AI 芯片格局正从垄断走向多元。

Theresa Loconsolo原文

联合国发布全球首个自动驾驶法规小鹏参与制定并计划出海

全球首个自动驾驶法规落地，小鹏加速出海布局，特斯拉入华，智驾竞赛转向全球市场适配与落地能力比拼。

原文

OpenHLM提出人形机器人全身移动操作VLA配方

OpenHLM通过三阶段实验，给出让人形机器人全身协调、语言可控、低成本扩展的VLA设计配方。

机器之心原文

BrowserBC开源项目：将人类浏览器操作蒸馏为可复用Agent技能

BrowserBC把人类在浏览器上的操作轨迹变成可复用的技能卡，让Agent不再重复试错，大幅提升任务成功率。

一水原文

开源项目

strix

开源 AI 渗透测试工具，通过多 agent 协作动态扫描应用漏洞并生成真实 PoC。亮点是自带黑客工具链、支持 CI/CD 集成和自动修复，相比传统 SAST 误报率更低。注意需在授权范围内使用，测试前请确保有合法权限。

usestrix原文

FluidVoice

macOS 上最快的离线语音听写应用，集成 Parakeet、Nemotron、Whisper 等多种语音模型，并通过本地 AI 实现智能格式化和后处理。亮点是全栈本地运行，零数据离机，延迟极低，支持多种模型自由切换，且开源免费。

altic-dev原文

video-use

通过 Claude Code 等 AI 编程 agent 自动剪辑视频的工具，只需把原始素材放入文件夹，用自然语言描述需求，就能自动完成去填充词、调色、加字幕、生成动画覆盖层等操作。亮点在于 agent 不直接“看”视频，而是通过语音转录文本和时间轴可视化图进行决策，避免处理海量帧数据，效率极高。支持自我评估渲染结果，且完全开源，适合视频创作者快速产出成品。

browser-use原文

lingbot-map

前馈3D基础模型，能从流式数据中实时重建场景，核心是几何上下文Transformer，通过锚点上下文、位姿参考窗口和轨迹记忆统一处理坐标定位、密集几何线索与长时间漂移校正。支持Paged KV Cache注意力，在518×378分辨率下以约20FPS稳定推理超万帧序列，在多个公开基准上达到SOTA。研究向，Apache-2.0许可。

Robbyant原文

论文

DanceOPD: On-Policy Generative Field Distillation

现代图像生成需要单一模型统一多种能力，包括文本到图像（T2I）、局部编辑和全局编辑。然而，这些能力很少自然对齐，常常相互冲突：编辑会降低T2I性能，全局与局部编辑互相干扰。因此，如何有效组合这些能力成为模型训练的核心挑战。为此，我们提出 DanceOPD，一个面向流匹配模型的在策略生成场蒸馏框架。

Wei Zhou原文

面向机器人控制的上下文世界模型

现代视觉-语言-动作（VLA）模型通常难以泛化到新场景，例如摄像机视角或机器人形态的改变，因为它们通常仅基于当前观测和语言指令进行条件化。通过忽略底层系统配置这一变量，这些模型隐式假设了训练中遇到的固定执行上下文，从而需要对任何新环境进行数据密集型的微调。本文提出上下文世界模型（ICWM），将系统辨识视为一个上下文自适应问题。

Siyin Wang原文

OPID：面向智能体强化学习的在策略技能蒸馏

基于结果的强化学习为语言智能体提供了稳定的优化基础，但其稀疏的轨迹级奖励对中间决策的强化或抑制缺乏指导。在策略自蒸馏提供了密集的令牌级监督，但现有的技能条件变体通常依赖外部技能记忆或检索的优先上下文，维护成本高且易与当前策略在多轮交互中产生的状态分布不匹配。我们提出OPID（在策略技能蒸馏）框架，直接从完成的在策略轨迹中提取技能监督。

Shuo Yang原文

验证地平线：编程智能体奖励没有银弹

经典直觉认为验证方案比生成方案更容易，但如今的编程智能体正在颠覆这一直觉：随着基础模型推理能力增强和工程框架日趋复杂，生成复杂候选解不再困难，而可靠地验证它们却成了更难的问题。任何我们能构建的验证器都只是人类意图的代理信号（proxy signal），而非意图本身，这使验证面临双重困境：首先，意图天生是未完全指定的（underspecified），导致难以忠…

Binghai Wang原文

Qwen-Image-Agent：弥合真实世界图像生成中的上下文鸿沟

尽管文本到图像（T2I）模型取得了显著进展，但在处理真实世界请求时仍面临挑战，这些请求往往描述不充分、隐含或依赖最新知识。我们将此挑战称为上下文鸿沟（Context Gap）：用户上下文与T2I模型所需的充足生成上下文之间的不匹配。

Zekai Zhang原文

ViQ: 任意分辨率下的文本对齐视觉量化表示

文本与视觉的统一表示是自然的追求，因为它能实现更简单的多模态建模和更高效的训练。然而，将图像像文本一样表示为离散信号不可避免地会引入严重的信息损失。现有工作难以在离散表示中平衡低层细节与高层语义：面向重建的表示通常缺乏语义信息，而语义更强的特征往往遭受严重细节损失。

Xumin Yu原文

JetSpec: 使用并行树草稿突破推测解码的扩展上限

推测解码 (Speculative Decoding, SD) 通过草拟多个 token 并并行验证来加速自回归大语言模型 (LLM)，但其存在扩展限制：增加草稿预算仅在接受率保持较高且草稿开销较低时才能提升速度。这一上限很难突破，因为以往的基于 head 的 SD 方法面临因果-效率困境。

Lanxiang Hu原文

GUI vs. CLI: 纯屏幕与技能中介的计算机使用代理中的执行瓶颈

计算机使用代理可通过图形用户界面(GUI)或程序化命令行界面(CLI)执行软件任务，但现有评估混淆了交互模态与任务、初始状态、验证器和允许操作的差异。我们引入了一个匹配的执行层基准，包含18个应用程序和12个工作流类别的440个桌面任务。实验中，纯屏幕GUI代理与技能中介CLI代理接收相同目标、状态和最终状态验证器，但仅允许各自模态的原生操作。

Xiao Zhou原文

Fast LeWorldModel

联合嵌入预测架构（JEPAs），包括最近的 LeWorldModel（LeWM），已成为无重建视觉世界模型的有前景基础。然而，在视觉规划中，LeWM 通过反复应用局部单步潜在转移模型来评估候选动作序列。这种自回归展开使得规划计算昂贵，并且随着规划视界增长，预测轨迹会累积潜在误差。

Yuntian Gao原文

Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments

随着智能体系统不断演进并广泛部署于真实场景，对其能力进行忠实评估的需求日益增长。然而，当前基准通常基于流行应用构建，任务相对简单，且仅关注狭窄的能力维度，忽视了更广泛的方面，导致现代智能体性能饱和，无法探测其局限性。

Mykola Vysotskyi原文

Why Multi-Step Tool-Use Reinforcement Learning Collapses and How Supervisory Signals Fix It

工具使用使大型语言模型（LLMs）能够执行复杂任务，近期智能体强化学习（RL）方法在增强模型能力方面展现出潜力。然而，RL单独在工具使用任务中常导致不稳定或增益有限。实验中，部分模型出现灾难性崩溃，性能骤降且工具调用结构失效。分析表明，这些失败源于特定控制token出现意外的概率尖峰，破坏了结构化执行，但底层工具使用能力并未丧失，只是被特定格式掩盖。

Yupu Hao原文

LISA: 面向视觉条件可控生成的似然分数对齐

当前主流双分支范式——即训练侧网络编码视觉条件，并将其中间层特征注入冻结的预训练主网络——在视觉条件可控生成中取得了显著成功。然而，侧分支的角色及其训练效率仍未充分探索。本文首先从基于分数的生成模型视角重新审视该范式：1) 主网络通过提供先验无条件分数来保持视觉感知质量；2) 侧网络通过隐式贡献似然分数来引导条件控制。

Yanghao Wang原文

Discretizing Reward Models

尽管奖励模型在强化学习中广泛使用，但其作用仍未被充分理解。奖励模型承诺在没有验证器或人工评判时自动估计响应质量。与通常产生二元分数的“可验证奖励”不同，奖励模型通常产生连续分数，从而对细粒度差异敏感。然而，本文表明这一表面优势实为严重缺陷：许多流行的奖励模型存在过度敏感问题，即对同样好的响应赋予不同分数。理论上，我们证明看似完美的奖励模型可能高度过度敏感；

Vijay Viswanathan原文

面向长推理的信息感知KV缓存压缩

大型语言模型（LLMs）的推理能力快速提升，导致在预填充和解码阶段键值缓存（KV cache）规模日益增长。现有KV缓存压缩方法主要依赖注意力权重估计令牌重要性，虽能捕捉上下文相关性，却忽视了与预测不确定性和令牌信息量相关的互补信息论信号。本文从前瞻性视角重新审视令牌重要性，引入Forward Influence——一种衡量压缩令牌对未来上下文影响的指标。

Jushi Kai原文

后训练中被忽视的免费午餐：面向 LLM Agent 的进展优势

过程奖励模型能够提供细粒度、步骤级的语言模型评估，但在 agentic 场景中构建它们极其困难：长期交互、不可逆动作和随机环境反馈使得大规模人工标注和蒙特卡洛估计都不可行。本研究表明，强化学习（RL）后训练已经提供了有效步骤级打分的要素，无需专门训练奖励模型。

Changdae Oh原文

CoffeeBench: 异构多智能体经济中长周期LLM智能体的基准测试

随着LLM智能体能够处理越来越长周期的任务，评估其在经济系统中的表现变得愈发重要。现有基准大多测试单个智能体与被动环境的交互，而经济系统本质上是多智能体场景，要求自主智能体在长时间跨度内通过通信、协商和交易追求自身目标。我们提出CoffeeBench，一个用于评估长周期多智能体经济中LLM智能体的基准。

Issa Sugiura原文

置信度感知的工具编排用于鲁棒视频理解

视频推理语言模型隐式假设所有输入帧同等可靠，导致盲信问题（Blind Trust Problem）：在运动模糊、眩光、遮挡等现实扰动下，前沿视频推理模型准确率下降15–30%，且无法察觉视觉证据退化。为解决此挑战，我们提出Robust-TO，一种将每帧可信度显式集成到推理各阶段的智能视频理解框架。

Yangfan He原文

PhysiFormer: 在世界空间中学习模拟力学

我们提出 PhysiFormer，一种用于生成物理合理 3D 物体运动的扩散 transformer。与在视图依赖像素空间操作的视频世界模型不同，PhysiFormer 将物体表示为世界坐标下的 3D 网格。给定初始顶点位置、速度及物体材料类型（刚性或弹性），模型采样未来顶点轨迹。

Yiming Chen原文

Hallucination in World Models 是可预测且可预防的

现代生成式 World Models 能够渲染愈发真实的动作可控未来，但频繁出现 hallucination（幻觉）： rollout 在视觉上流畅，却偏离真实动态。我们假设幻觉集中在状态-动作空间的低覆盖区域，而轻量级数据信号既能检测也能引导缓解。

Nicklas Hansen原文

ABACUS: 适应统一基础模型以桥接图像计数理解与生成

ABACUS 是一个统一的视觉语言模型，能够处理物体计数、人群计数、指代表达计数和计数忠实图像生成，无需针对任何基准进行特定训练。该模型基于现有的 3B 参数统一基础模型，并通过三项关键创新适配于物体定位任务： 1. 密度感知自适应缩放与目标性图（objectness maps）用于空间定位； 2. 基于 GRPO 的边界感知计数策略，消除裁剪边界误差；

Anindya Mondal原文

行业新闻

热门产品

开源项目

论文

动态