AI 日报 2026-07-09 · OpenAI 发布国家安全合作伙伴原则、Google Photos 新增 AI 视频编辑工具 Video Remix、NVIDIA 调优 Nemotron 3 Ultra 以十分之

行业新闻

Meta发布Muse Image模型,支持在AI图片中@提及Instagram用户

Meta发布Muse Image模型,支持在AI图片中@提及Instagram用户

Meta新模型Muse Image允许用户通过@提及将Instagram用户融入AI生成图片,标志图像生成与社交图谱的首次深度整合。

Meta推出首个由Superintelligence Labs开发的图像生成模型Muse Image,已集成至Meta AI、Instagram和WhatsApp。用户可在提示中使用@提及其他Instagram账号,模型会基于公开资料生成包含该用户的图片。Muse具备“agentic”能力——能结合Muse Spark大语言模型推理、搜索和规划,而非简单文生图。

Emma Roth原文

NVIDIA 与 Hugging Face 为 LeRobot 集成 GR00T 1.7 模型与 Isaac Teleop 框架

NVIDIA 和 Hugging Face 为开源机器人库 LeRobot 带来 GR00T 1.7 等工具,简化机器人开发流程,加速物理 AI 创新。

NVIDIA 与 Hugging Face 合作,将开放视觉-语言-动作模型 GR00T 1.7 和数据采集框架 Isaac Teleop 集成到开源机器人库 LeRobot,未来还将加入物理 AI 前沿模型 Cosmos 3。这为开发者提供标准化端到端机器人开发路径,推动开源社区协作创新。

Sasa Docca原文

OpenAI 发布国家安全合作伙伴原则,明确 AI 在政府敏感场景的使用边界

OpenAI 主动划定红线:AI 可用于国防,但不能用于滥权,同时推动立法让民主程序而非企业说了算。

OpenAI 公布了一套针对政府合作与国家安全用途的原则,涵盖网络防御(如与多国建立联合网络防御项目)和生物安全(如向盟国开放 GPT-Rosalind 模型)。原则明确禁止将技术用于大规模国内监控、自主武器系统以及高风险自动化决策,同时主张相关立法应由民主程序决定而非企业单方拍板。

魔芯发布 MoWorld 世界模型,国产 NPU 实时生成达 50 FPS

魔芯 MoWorld 在国产 NPU 上以低成本实现 50 FPS 实时世界模型,验证了国产芯片的部署能力,并推动产业化。

魔芯科技发布 MoWorld,号称全球首个高帧率交互式世界模型(能模拟物理世界并实时响应用户输入的 AI 系统)。通过优化,在纯国产华为昇腾 NPU 上实现 50 FPS 实时推理,推理成本较 GPU 降低 70%,14B 参数 MoE 模型可生成稳定、一致的长视频,已用于影视和具身仿真等领域。

机器之心原文

蚂蚁灵波发布LingBot-VLA 2.0开源模型,数据量达6万小时

蚂蚁灵波发布LingBot-VLA 2.0开源模型,数据量达6万小时

新一代开源VLA模型用6万小时数据和20种机器人形态数据训练,大幅提升机器人做家务等长序列任务的通用能力。

蚂蚁灵波发布第二代开源VLA模型(视觉-语言-动作模型,让机器人看画面+理解语言+执行操作),用6万小时数据训练,覆盖20种机器人形态。模型引入未来深度预测,在多项任务上超越GR00T N1.7和π0.5。

十三原文

Gemini API 托管智能体新增后台执行与远程 MCP 支持

Gemini API 托管智能体新增后台执行与远程 MCP 支持

Gemini API 托管智能体新增后台执行和远程 MCP 支持,降低了构建复杂 AI 代理的门槛。

Google DeepMind 为 Gemini API 的托管智能体(一种在云端沙盒中自动推理、执行代码和文件管理的 AI 代理)新增后台任务执行、远程 MCP 服务器(模型上下文协议,允许智能体调用外部工具)连接、自定义函数调用和凭证刷新功能,让开发者构建更可靠的生产级应用。

Philipp Schmid Developer Relations Engineer Google DeepMind原文

Mistral AI 发布单摄像头导航模型 Robostral Navigate

Mistral AI 发布专用导航模型,单摄像头即可实现复杂环境自主导航,刷新指令跟随基准。

Robostral Navigate 是一个8B参数的视觉语言模型,仅凭一个普通RGB摄像头就能让机器人在陌生环境中自主导航,在指令跟随基准R2R-CE上达到76.6%成功率,超越使用多传感器方案的系统。

Gemini 3.5 Pro 前端代码生成能力超越 Fable 5,但推理短板明显

Gemini 3.5 Pro 前端代码生成能力超越 Fable 5,但推理短板明显

Gemini 3.5 Pro 前端能力跃升,但推理短板明显,重训底座后将于7月17日发布。

据泄露信息,谷歌将于7月17日发布Gemini 3.5 Pro。该模型在前端代码生成上表现突出:一次成型、像素级精准,超越Fable 5。但在最难的智能体任务和仓库级软件工程上,仍落后于Fable 5和GPT-5.6。谷歌为此重训了模型底座,并计划推出图像模型Nano Banana Pro。

新智元原文

Databricks 对百万行级代码库上的编码代理进行基准测试

Databricks 的基准测试表明,编码代理选型需匹配任务复杂度,中端模型性价比更优,GLM 5.2 有望成为日常驱动模型。

Databricks 基于自己百万行真实代码库测试了多种编码代理(模型与工具链的组合)。结果显示,高端模型虽然能解决复杂问题但成本高,中低端模型在常见任务上同样高效且便宜。例如 GLM 5.2 在顶级梯队中与 Opus 4.8 质量相当,但任务成本更低。此外,token 单价不能反映总成本,不同工具链(如 Claude Code vs Pi)执行同一模型时成本可差两倍。

腾讯发布混元Hy3模型,智能体能力与性价比显著提升

混元Hy3以较小参数实现比肩旗舰模型的智能,降价且提升稳定性,是腾讯AI在Agent和生产力场景的里程碑。

腾讯7月6日发布混元Hy3模型,采用MoE架构(混合专家模型,通过多个子网络协同降低计算成本),总参数295B、激活参数21B,支持256K上下文。相比Preview版,智能水平跃升,定价降低,已在多个业务接入。内部盲测表现优于GLM5.1等模型。

机器之心原文

蚂蚁灵波发布LingBot-Depth 2.0与视觉基座LingBot-Vision

蚂蚁灵波发布LingBot-Depth 2.0与视觉基座LingBot-Vision

机器人空间感知模型LingBot-Depth 2.0用1.5亿数据训练,在困难场景深度误差减半,配套视觉基座已开源。

蚂蚁灵波发布空间感知模型LingBot-Depth 2.0,训练数据从300万扩至1.5亿,在深度补全评测中获12项第一,尤其擅长玻璃、镜面等传统传感器失灵场景。同步开源视觉基座LingBot-Vision,以边界结构为训练目标,精度优于DINOv3。

新智元原文

NVIDIA Nemotron 3 Ultra 经 LangChain 调优,以十分之一成本实现基准领先

不更新模型,只优化工程环境,就能以更低成本获得更强性能,这对企业构建专用 AI 代理意义重大。

LangChain 通过调整系统提示、工具描述等工程手段,让 NVIDIA Nemotron 3 Ultra 在不重新训练的情况下,在 Deep Agents 基准测试中达到最高准确率,完成任务更多、吞吐更高,而每次推理成本仅为顶级闭源模型的十分之一。

Adel El Hallak原文

Cohere 发布开源阿拉伯语语音识别模型 Transcribe Arabic,准确率领先

Cohere 发布专为阿拉伯语设计的开源语音识别模型,在方言和双语场景下准确率超越现有开源方案。

Cohere 今天开源了 Transcribe Arabic,一个专为阿拉伯语优化的语音识别模型。它处理方言和英阿双语混用(代码切换)更准确,在阿拉伯语开源模型中词错误率最低,96% 的测试中人类更偏爱它的结果。开发者可在 Apache 2.0 许可下免费下载使用。

Google Photos 新增 AI 视频编辑工具 Video Remix

Google Photos 新增 AI 视频编辑工具 Video Remix

Google Photos 引入 AI 视频编辑,降低创作门槛,巩固生态壁垒。

Google Photos 推出“Video Remix”功能,由 Gemini Omni(多模态 AI 模型,可基于文本、图像、音频生成视频)驱动。用户能在几秒内调整光线、更换背景或添加水彩等艺术风格,无需专业软件。该功能面向 AI 订阅用户开放。

Aisha Malik原文

AI21 提出预算感知执行策略,动态降低 SWE 智能体成本

AI21 提出预算感知执行策略,动态降低 SWE 智能体成本

AI21 用预算感知的早停策略动态调整计算开销,在 SWE 修复任务中节省成本或延迟,避免对简单任务过度投入。

AI21 团队发现,SWE 任务难度呈重尾分布:约50%的任务一次生成就能解决,但此前对所有任务分配固定预算。他们提出级联(先低成本模型,低置信度时升级)和并行(同时运行,找到一个合格候选后早停)两种执行策略,分别优化成本和延迟,在保持质量的同时避免浪费。

Anthropic 将 Claude Cowork 扩展至移动端和网页端

Anthropic 将 Claude Cowork 扩展至移动端和网页端

Anthropic 将 Claude Cowork 扩展到移动和网页,支持云端后台运行和跨设备任务,提升实用性和灵活性。

Anthropic 的 AI 工作平台 Claude Cowork(可执行复杂任务的 AI 助手)现可在 iOS、Android 和网页上使用,并默认云端运行,支持跨设备继续任务,甚至设备离线时也能执行定时任务。首先向 Max 订阅者开放,其他用户几周后可用。

Stevie Bonifield原文

OpenAI 推出 GPT-Live 全双工语音模型

OpenAI 发布 GPT-Live,通过全双工架构和后台模型调用,实现更自然流畅的语音交互体验。

GPT-Live 是基于全双工架构(能同时听和说)的新一代语音模型,让 AI 对话更像真人交流,支持实时打断和沉默思考,复杂问题则后台调用 GPT-5.5 处理。

OpenAI发现SWE-Bench Pro约30%任务存在缺陷

OpenAI发现SWE-Bench Pro约30%任务存在缺陷

代码评估基准也有bug:SWE-Bench Pro约三成任务有问题,模型分数可能不靠谱。

OpenAI对代码评估基准SWE-Bench Pro(用于测试模型编程能力的标准化任务集)进行详细审计,发现约30%的任务存在设计缺陷,包括测试过于严格、需求不明确等问题,可能导致模型能力被高估或低估。

Fable 5 生成 63 个 3D 世界,Karpathy 惊叹模型理解力

Fable 5 生成 63 个 3D 世界,Karpathy 惊叹模型理解力

Fable 5 展示了 AI 生成复杂 3D 世界的能力,1600 行代码即可构建可交互场景,模型对现实世界细节的理解令专家意外。

Arena.ai 的 Gostev 用 Fable 5 一次性生成了 63 个高难度 3D 世界,包括水下曼哈顿、名画穿行等,多数只需 1600 行代码。Karpathy 看后感慨模型对物理世界细节的理解远超预期。

新智元原文

AI架构四大核心要素:数据准备、上下文工程与治理

AI架构四大核心要素:数据准备、上下文工程与治理

本文拆解AI架构四大基础要素:数据质量、上下文工程、治理与LLM管理,是IT决策者规模化AI的实用指南。

AI架构的四大基础要素——数据规模化准备、上下文工程(设计模型输入的信息环境)、治理与大语言模型管理——是IT领导者应对快速变化的技术、确保可靠部署的关键。数据质量是最大障碍,上下文工程比提示工程更重要,治理则需贯穿始终。

MIT Technology Review Insights原文

热门产品

Katalyst

Katalyst

Katalyst是一款AI销售代理,针对Salesforce团队,自动处理通话总结、记录更新和跟进,提升销售效率。

Divyansh Lohia原文

Scribble Network

Scribble Network

Scribble Network 是一款 AI 驱动的品牌推荐工具,帮助企业在 AI 引擎中提升可见性,通过审计、内容创作和创作者分发来获得 AI 引用。

kaavya prasad原文

Mira

Mira

Mira 是一款AI研究助手,面向产品团队和研究人员,通过实时面部编码、语音情感AI和眼动追踪,自动进行深度访谈并生成洞察报告。

Lavakumar E原文

AI Emaily

AI Emaily

AI Emaily 是一款 AI 驱动的智能邮箱,能自动阅读、分类邮件并用你的风格回复,适合忙碌的职场人士提高效率。

AI Emaily 是一个 AI 原生的收件箱,用起来就像你的幕僚长。它能读取每一条消息,筛选出真正需要你处理的,然后屏蔽掉噪音。它会用你自己的语气草拟回复——不是那种千篇一律的AI文字——然后跨 Gmail、Outlook 以及任何邮件服务商,在同一个收件箱里安排和发送。三种模式:Manual、Copilot、Autopilot。你来批准,它来执行,每一步都可以撤销,并且有完整的审计追踪。你的邮件绝不会被用来训练模型。免费开始使用。

Nafiul Hasan原文

Ellis

Ellis

Ellis 是一款 AI 会议记录工具,专为面对面会议设计,通过 iPhone 或 Apple Watch 记录并生成转录,帮助用户捕捉关键信息。

Ellis 是一款面向线下会议的 AI 笔记工具。录下会议内容后,它会生成一份清晰且标注了每位发言人的转录稿,之后你可以随意提问——比如会上决定了什么、你漏掉了什么、会议效果如何。不用带笔记本电脑,也不需要额外硬件,只用你的 iPhone(或 Apple Watch)就行。

Robin Greenwood原文

Ogment AI

Ogment AI

Ogment AI 是一款嵌入 Slack 的 AI 同事,可像同事一样@提问或委派任务,连接千款工具自动执行,提升团队效率。

@O 是原生存在于 Slack 里的终极 AI 同事。像跟同事说话一样 @O,用日常英语问任何问题或指派日常任务。它能连接你公司用的 1000+ 工具,在你睡觉时干活,并在 Slack 中、在你选的任何模型(也包括你自己的模型)上,把记忆和技能共享给整个团队。一键安装,5 分钟内就能让所有人(不仅仅是高级用户)用上 AI。零摩擦,最大采用率。

Teo Borschberg原文

LongCat-2.0

LongCat-2.0

LongCat-2.0 是一个1.6T参数MoE大模型,专为开发者和研究人员设计,在AI专用芯片上训练,支持超长上下文和智能体工作流。

LongCat-2.0 是一个采用 MIT 许可、拥有 1.6T 参数的 MoE 模型,激活参数约 48B,支持 1M 上下文,集成了 LongCat Sparse Attention,并针对编码和智能体工作流进行了后训练。它在 AI ASIC 超算集群上训练,与 Claude Code、OpenClaw 和 Hermes 深度整合。

Zac Zuo原文

Zoho Tables

Zoho Tables

Zoho Tables 是一款融合AI的无代码电子表格数据库,帮助团队高效管理工作、自动化流程并实时协作。

Zoho Tables 是一个无代码的电子表格-数据库混合体,内置AI大脑,能帮你组织工作、自动化工作流,并实时协作。

Sai Kishore T V原文

Kadoink AI

Kadoink AI

Kadoink AI 是一款AI驱动的即时通讯工具,帮助用户通过智能选择短信、视频或电话等方式快速召集人群,省去逐一联系。

通过AI文本、视频或电话呼叫,立即聚集人群。告诉Kadoink你需要谁,AI就会把他们召集起来。只需说谁、为什么,Kadoink就能聚集所有人。这是一个AI驱动的实时通信聚会工具。Kadoink会找到联系你的目标人群的最佳方式——视频、语音、文本、推送——AI自动选择路径。别再追着人跑了,让Kadoink AI来做吧。你的AI聚会引擎,它知道联系谁以及如何联系。告诉Kadoink任务,AI负责外联。

Eric Stone原文

开源项目

TencentDB-Agent-Memory

TencentDB-Agent-Memory

为AI Agent提供完全本地的长期记忆系统,通过四层渐进式管道实现符号短期记忆和分层长期记忆。亮点在于采用分层存储和符号化Mermaid画布,可降低token消耗达61%并提升任务成功率51%,支持与OpenClaw、Hermes等Agent框架无缝集成,完全本地部署无外部API依赖。腾讯云开源,MIT许可证。

TencentCloud原文

论文

优化训练策略的幻象:Monotonic Inference Policies 作为 LLM 强化学习的真正目标

优化训练策略的幻象:Monotonic Inference Policies 作为 LLM 强化学习的真正目标

强化学习(RL)在大语言模型(LLM)后训练中日益受关注,但 RL 训练仍脆弱,易出现不稳定甚至崩溃。一个关键原因是训练 - 推理不匹配:LLM 采用独立的推理和训练引擎以兼顾生成效率与训练精度,即使模型参数同步,相同轨迹在训练侧和推理侧的概率也往往不一致。这自然导致一种特殊的 off-policyness 持续存在并污染训练过程。先前工作致力于解决这种 off-policyness,以在不匹配条件下稳定训练策略。 本文指出,现有工作忽视了目标对齐问题:训练引擎中对策略的有效更新并不一定保证推理策略(即部署时使用的策略)的改进。为此,我们提出一种新的 LLM RL 策略优化目标——Monotonic Inference Policy Improvement (MIPI)。遵循该原则,我们引入 Monotonic Inference Policy Update (MIPU),这是一个两步式 LLM RL 框架:首先构建采样器参考的候选更新,然后利用推理侧差距代理选择性地接受同步候选。 在两种模型规模下,高不匹配场景的实验表明,MIPU 提升了平均推理性能,并增强了训练稳定性。

Jing Liang原文

Embodied.cpp: 面向异构机器人的具身AI模型可移植推理运行时

Embodied.cpp: 面向异构机器人的具身AI模型可移植推理运行时

当前具身AI模型涵盖视觉-语言-动作模型 (VLA) 和世界-动作模型 (WAM),但实际部署分散于特定模型的 Python 栈、后端假设以及机器人端胶水代码中,尤其在异构边缘设备上碎片化严重。现有推理运行时主要面向请求-响应服务,无法满足具身部署的运行时契约:闭环控制内多速率执行、异构硬件上的延迟优先的 batch-1 推理,以及超越固定令牌 I/O 的可扩展具身接口。 本文提出 Embodied.cpp,一种面向具身模型的可移植 C++ 推理运行时。通过分析代表性 VLA 模型和 WAM 的架构,Embodied.cpp 提取共享执行路径,组织为五层:输入适配器、序列构建器、骨干执行、头部插件和部署适配器。运行时提供模块化多速率执行、延迟优先融合推理,以及可扩展算子与 I/O 支持,通过单一后端抽象实现异构设备、机器人和模拟器的部署。 我们在两个 VLA 模型(HY-VLA 和 pi0.5)以及一个基于 LingBot-VA Transformer 块的初步 WAM 基准上评估 Embodied.cpp。VLA 部署分别实现 100.0% 和 91.0% 的闭环任务成功率。

Ling Xu原文

DataComp-VLM:面向视觉语言模型的改进开放数据集

DataComp-VLM:面向视觉语言模型的改进开放数据集

构建高性能视觉语言模型(VLM)需要精心策划大规模训练数据集,但社区缺乏系统评估此类策略的基准。我们提出DataComp for VLMs(DCVLM),一个用于受控数据中心实验以改进VLM训练的基准。作为DCVLM的一部分,我们收集了160个数据集,涵盖四种数据类型——图像-文本对、多模态交错文档、纯文本和指令微调数据——组成6T多模态token的语料库。 DCVLM允许参与者在1B-8B模型和6.25B-200B token预算下测试策划策略(过滤、混合、格式化、采样)。模型随后在精心挑选的52个下游基准(涵盖9个领域)上进行评估。我们在DCVLM上进行大量实验,发现数据混合而非过滤是高质量训练数据集的关键:指令密集型混合比标题密集型混合扩展性更好,且规模越大优势越明显。 最终的数据集DCVLM-Baseline,使用200B训练token在33任务核心套件上训练8B VLM达到63.6%准确率。相比最先进的开放VLM训练数据集FineVision,提升了+5.4个百分点。DCVLM及所有附带工件将在 https://www.datacomp.ai/dcvlm/ 公开。

Matteo Farina原文

OrbitQuant: 面向图像和视频扩散 Transformer 的数据无关量化

OrbitQuant: 面向图像和视频扩散 Transformer 的数据无关量化

扩散 Transformer (DiTs) 在图像和视频生成上取得了最先进的结果,但其多步采样和日益增长的参数量导致推理成本高昂。后训练量化 (PTQ) 是自然的补救措施,然而 DiT 的激活值会随时间步、提示词和引导分支而变化,迫使先前的方法为每个新 checkpoint 或模态重新拟合校准数据。 本文提出 OrbitQuant,一种数据无关的权值-激活量化器,通过在归一化旋转基中进行量化来绕过范围估计。在该基中,随机排列分块哈达玛 (RPBH) 旋转 使每个坐标围绕一个固定、已知的边缘分布集中(无论输入如何),因此单个 Lloyd-Max 码本 即可服务于给定输入维度的所有时间步、提示词和层。我们将同一量化器离线扩展到权值行,将旋转吸收到权值中,使得在每个线性层内部旋转相互抵消,运行时仅需对激活进行前向旋转。相同的方案无需按模态调整即可从图像迁移到视频。 在 FLUX.1、Z-Image-Turbo、Wan 2.1 和 CogVideoX 上,OrbitQuant 在多个低位设置下树立了 PTQ 的最先进水平。

Donghyun Lee原文

VLA-Corrector: 轻量级检测与纠正推理,用于自适应行动范围

VLA-Corrector: 轻量级检测与纠正推理,用于自适应行动范围

Vision-Language-Action (VLA) 基础模型在具身智能中取得了显著进展。为降低策略调用频率同时保持时序一致性,多数生成式策略采用 动作块机制,在固定行动范围内以开环方式执行多个未来动作。然而,这种“预测后盲目执行”范式牺牲了闭环反应性:在接触丰富的物理交互中,即使微小局部扰动也能在开环盲区内迅速放大,导致误差累积并最终任务失败。 针对此问题,我们提出 VLA-Corrector,一种轻量级纠正推理框架,用于基于动作块的 VLA 策略。在不修改骨干策略权重的前提下,VLA-Corrector 引入轻量级 潜空间视觉监视器 (LVM),持续比较预测与实际视觉特征演化,实现在线检测视觉动态偏差。一旦检测到持续偏差,系统触发 截断事件,丢弃剩余过时动作,并通过 在线梯度引导 (OGG) 执行纠正重规划。 VLA-Corrector 的检测与纠正机制自然产生事件触发自适应行动范围:当前块可靠时保留长范围执行,执行开始偏离时启动短范围纠正重规划。因此,VLA-Corrector 缓解了静态范围在执行鲁棒性与策略调用频率之间的权衡。

Yi Pan原文

保护 AI Agent:多层 Agent 红队测试的统一框架

保护 AI Agent:多层 Agent 红队测试的统一框架

随着开源 AI 基础设施的快速扩张——从模型服务引擎、Agent 平台到 Model Context Protocol (MCP) 生态系统和语言模型本身——安全工具的防护能力已滞后。我们提出 AI-Infra-Guard,一个开源框架,其核心观察是:AI Agent 的攻击面按层分层(基础设施层、协议/工具层、Agent 行为层、模型层),单一检测范式无法覆盖所有层。 框架为每层分配相应范式: - 基础设施层:基于确定性规则匹配,覆盖 75+ AI 组件和 1400+ 漏洞规则; - 协议/工具层:通过 LLM 驱动的 Agentic 审计 检测 MCP 服务器和 Agent 技能包; - Agent 行为层:多轮黑盒 Agent 红队测试; - 模型层:Jailbreak 测试框架,包含 26+ 攻击算子、16 个数据集。 据我们所知,这是唯一覆盖所有层的开源框架,包括对不断扩展的 Agent 技能的供应链审计。我们开源 AI-Infra-Guard,旨在将层-范式匹配作为 Agent 安全的实用基础,供社区共同构建。

Yong Yang原文

Measuring the Gap Between Human and LLM Research Ideas

Measuring the Gap Between Human and LLM Research Ideas

大型语言模型(LLMs)越来越多地被用于头脑风暴研究想法,但现有评估大多从新颖性、可行性或专家偏好角度判断单个想法。本文提出不同问题:当前LLM生成的想法与人类研究者之间有多大的差距? 为表征这一差距,我们构建了一个大规模评估框架,基于高质量人类研究论文进行构思。对于每篇论文,逆向工程出一小组可能启发其核心思想的密切相关工作集。然后提示LLM从这些论文标题和摘要中生成新想法。我们引入一个双轴研究品味分类法(research-taste taxonomy),从机会模式(opportunity pattern)和研究范式(research paradigm)两个维度刻画每个想法,并量化人类与LLM想法之间的分歧。 在由不同LLM生成的想法集上,我们观察到一致的分布差距:LLM想法不成比例地集中在桥梁型机会(bridge-like opportunities)和综合方法(synthesis methods)上,而人类论文的参考分布则更广泛地涵盖构架问题和构建贡献的各种方式。 结果表明,强大的LLM可以产生一系列合理想法,但该范围仍然比人类研究品味更窄,并且在系统上有偏移。

Ziyu Chen原文

MultAttnAttrib: 长文档问答中的免训练多模态归因

MultAttnAttrib: 长文档问答中的免训练多模态归因

随着基于证据的问答系统在AI助手中的广泛应用,准确地将生成答案归因于源证据对于用户信任和模型安全至关重要。尽管单模态归因已被深入探索,多模态场景仍相对研究不足。为此,本文提出 MultAttnAttrib,一种免训练的归因生成方法,利用模型的预填充阶段、选定的注意力头和校准阈值,在文档中定位源证据。为建立基线结果,我们同时引入 MultAttrEval,一个互补的基准数据集,为基于多模态源文档的答案组件提供细粒度的真实归因标注。据我们所知,这是首个专为长文档多模态归因设计的评估数据集。实验结果表明,MultAttnAttrib 在多类归因生成方法中持续胜出,包括多种强提示基线,并匹配 GPT 5.4 等前沿模型。该方法不仅显著提升了单模态和多模态归因类型的准确性,而且相比同基模型上的提示方法,其归因生成延迟可降低至七分之一。

Dang Quang Thien Tran原文

AnyBokeh: 物理引导的 Any-to-Any Bokeh 编辑与光学指纹迁移

AnyBokeh: 物理引导的 Any-to-Any Bokeh 编辑与光学指纹迁移

景深控制是摄影中的基本工具,但从单张图像进行后期散景编辑仍然具有挑战性。一个实用的编辑器需要处理在任意焦点和光圈设置下拍摄的图像。现有方法通常假设输入为全聚焦图像,或者先恢复全聚焦图像再渲染新散景。这类流程会丢弃源图像中的有效模糊线索,并将重建伪影传播到最终编辑结果中。 AnyBokeh 是一种物理引导的框架,用于任意到任意散景编辑。它不将源模糊视为需要去除的退化,而是通过有符号弥散圆图和视差图估计源模糊状态。通过建模有符号弥散圆与视差差值的线性关系,AnyBokeh 估计源特定的光学指纹,并将源光学特征迁移到目标焦点和光圈设置。一个基于生成编辑器(以源和目标弥散圆图为条件)执行相对模糊合成,实现空间自适应去模糊、保留和散焦渲染。 为支持物理监督学习,我们构建了一个高保真合成数据集,包含精确深度、焦点距离和完整 EXIF 元数据。在真实世界基准上的实验表明,AnyBokeh 在任意到任意散景编辑、全聚焦到散景渲染和散焦去模糊任务中均实现忠实可控的编辑,同时避免了现有方法中常见的全聚焦重建和测试时散景级校准。

Xinyu Hou原文

教会LLMs在代表性不足的癫痫护理中推荐与推迟决策

教会LLMs在代表性不足的癫痫护理中推荐与推迟决策

在资源匮乏环境中,癫痫专家稀缺,基于LLM的决策支持系统对一线临床医生管理长期治疗具有吸引力。这类系统必须适应当地处方习惯,并知道何时应推迟。本研究在乌干达小儿癫痫护理中对此问题展开研究,从纵向非结构化门诊笔记预测抗癫痫药物方案。标准提示与医生处方达到非平凡一致性,但神经科医生审查显示,许多错误源于分布校准不当的处方默认值,而非未能解析本地记录。 我们提出MANANA,一种非参数提示学习框架,从少量患者训练集中学习本地处方指导。MANANA将观察到的处方错误转化为可审计的提示记忆,实现为单智能体和多智能体变体,并在两个独立收集的乌干达队列上优于经典ML模型、直接LLM提示和提示优化基线。此外,我们提出贝叶斯提示平均,将学习到的提示轨迹转化为处方似然和基于不确定性的推迟信号。 在独立收集的保留队列表现上,该方法在就诊级top-3处方准确率上比提示优化基线提高4-8个百分点,并实现选择性预测:系统能以95%精度自动处理最自信的一半病例,以99%精度处理最自信的四分之一病例,同时将低置信度病例推迟给专家审查。

Shreyas Rajesh原文

面向解译的云去除:基于观测锚定残差流与地理上下文对齐

面向解译的云去除:基于观测锚定残差流与地理上下文对齐

云去除是光学遥感的关键预处理步骤,对后续解译任务(如语义分割、变化检测)的可靠性至关重要。然而,现有方法往往追求视觉真实性,忽视了对下游分析任务的影响,导致语义漂移和性能下降。 为解决该问题,本文提出Geo-Anchored Cloud Removal (GACR) 统一框架,同时保证忠实重建与鲁棒可解译性。其核心是Observation-Anchored Residual Flow (OAR-Flow),将云去除重构为物理驱动的残差反演过程:生成轨迹锚定于有云观测而非纯噪声,实现快速、稳定且忠实的重建。进一步,Geo-Contextual Prior Alignment (GCPA) 利用视觉基础模型(VFM)约束重建结果位于语义流形内,从而保持复杂地物的空间-语义完整性。 在6个云去除数据集和12个下游任务上的实验表明,GACR在提升重建质量的同时,持续改善下游任务精度。代码已开源。

Ziyao Wang原文

生成内容丰富化 (GCE)

生成内容丰富化 (GCE)

我们研究生成内容丰富化 (GCE),这是一种条件图像生成任务,先将稀疏场景描述通过显式场景表示进行丰富,再渲染为语义更丰富的视觉内容。传统图像生成系统能从有限描述生成视觉逼真的输出,但添加的内容通常隐含在生成器中,而非表示为可检查的中间结构。相比之下,GCE 旨在场景表示层面显式地进行场景丰富,同时在生成过程中检查其视觉后果,目标是鼓励生成视觉合理、结构连贯且语义比稀疏输入更丰富的内容。 为实例化GCE,我们提出一个联合训练的对抗框架,通过建模对象语义和对象间关系来丰富场景图。我们的方法首先将输入描述表示为场景图,其中节点建模对象,边捕获对象间关系。框架使用图卷积网络 (GCN) 预测额外对象及其与现有场景的关系。最后,将丰富后的场景图传递到下游图像生成流水线,生成对应的视觉内容。 我们在Visual Genome数据集上,通过代理场景图丰富度量、图像质量比较、定性示例和用户研究来评估该框架。实验结果证明了方法的有效性。

Mahdi Naseri原文

AGE: 用于图检索增强生成中的图嵌入自适应掩码

AGE: 用于图检索增强生成中的图嵌入自适应掩码

GraphRAG 是检索增强生成(RAG)的扩展,通过引入图结构数据作为外部知识来支持大语言模型(LLMs)。尽管该技术能捕捉复杂关系,但往往面临图表示与LLMs的对齐问题,尤其对于冻结的LLMs,原因在于 基于图的潜在特征 与 基于文本的潜在特征 不匹配。 为解决该问题,本文提出 自适应掩码图嵌入(AGE)。AGE 采用基于掩码的自监督学习(SSL)框架,使用 Transformer 架构,并设计为与文本嵌入编码器类似的结构,以缓解潜在特征错位。与自然语言文本不同,图是简洁表示,存在持有主要上下文信息的 关键节点,这些节点难以从周围节点预测。对此,AGE 利用 可学习的节点采样器,专注于预测非关键节点,从而提升自监督学习效率。 实验结果表明,AGE 在 GraphQA 任务中显著改进了基于非参数搜索的方法,在四个具有不同特性的基准数据集上取得了更高的准确率。

Bao Long Nguyen Huu原文

动态

GPT-live语音功能在ChatGPT上线

GPT-live(下一代语音)今日在ChatGPT中上线。它感觉神奇而‘真实’。我一直更喜欢打字而不是与AI对话,但现在我认为这种情况将会改变。

Sam Altman原文

Grok 4.5即将公开发布

转推 @elonmusk: 基于我们Beta测试客户的强烈积极反馈,@SpaceXAI 将于明天向公众提供Grok 4.5。它是一个Opus级别的模型,但更快、token效率更高且成本更低。

Matt Wolfe原文

Cursor AI与SpaceXAI合作训练Grok 4.5

Cursor AI与SpaceXAI合作训练Grok 4.5

转推 @cursorai:我们与 SpaceXAI 合作训练 Grok 4.5。 这是我们迄今为止最强大的模型,也是我们为超越软件工程而构建的第一个模型。https://t.co/U4B8Tedl34

Lee Robinson原文

重写可以变得好、便宜、快速

这应该是你软件工程模型中的一次重大更新:重写可以变得好、便宜且快速。当然,大多数应用程序不像Bun那样可测试和可验证,但模型将继续变得更好以填补这些空白。

Thariq原文