NVIDIA 加速 Google DeepMind 的 DiffusionGemma 以支持本地 AI

DiffusionGemma 通过并行生成文本块大幅降低延迟,NVIDIA 优化使其在消费级 GPU 上也能高效运行,推动本地 AI 应用发展。

DiffusionGemma 通过并行生成文本块大幅降低延迟,NVIDIA 优化使其在消费级 GPU 上也能高效运行,推动本地 AI 应用发展。

Anthropic 发布两款专用模型,分别优化创意与推理,展示模型专业化趋势。
Midjourney 将 V8.1 设为默认模型,带来更强的指令遵循和文字渲染能力。

Google 发布 Gemini Omni 和 Gemini 3.5,9 个演示视频展示多模态与推理能力升级。

Google 发布新一代多模态模型兼轻量版,展示 AI 从底层到应用的全面提速。

Mistral 发布能预测物理系统行为的 AI 模型,有望加速工程设计与硬件开发。

TCS 与 Anthropic 联手,为金融、医疗等受监管行业提供安全、合规的 Claude 部署方案。

微软发布专为电网设计的小型基础模型,毫秒级预测最优潮流,提升运营效率并解锁成本节省。

本期讨论 Elicit 如何通过过程监督和世界模型,为科学研究构建可审查的推理工作流,以应对模型不透明性。

美团开源了商业级数字人视频模型,在唇形同步和稳定性上突破,让数字人视频生成从技术演示走向真实应用。

NVIDIA 推出 XR AI 框架公测版,让开发者能轻松为 AR 眼镜打造交互式多模态 AI 助手。

智谱GLM-5.2以顶尖前端编码能力和IndexShare投机解码技术,再次刷新开源模型性能标杆。

Hermes Agent是一种通过递归学习自我改进的开源AI智能体,探讨了AI作为协作伙伴而非工具的未来。

一场播客对话讲述了AI模型如何成功反驳一个存在80年的数学猜想,展示了通用模型在数学发现中的潜力。

聊 ClickHouse 如何从 Yandex 内部工具变成 AI 公司的实时数据库,以及对代理时代基础设施的洞察。

Mistral AI 发布了开放权重的 Voxtral TTS 模型,主打快速、即插即用且声音逼真,推动语音 AI 应用落地。

面壁智能发布 1B 参数端侧模型 MiniCPM5-1B,内置混合推理能力,在同尺寸开源模型中表现最优。

MatterSim发布多任务模型MatterSim-MT,可同时模拟多种材料性质,加速新材料的发现与合成。

这篇研究揭示:当前AI智能体任务执行能力强,但缺乏真正的用户利益意识,即使得到明确指令也未必能做到。

美团开源原生多模态模型 LongCat-Next,融合视觉与语音理解,面向物理世界 AI 应用。

为人类和智能体设计的收件箱,利用AI智能体自动整理邮件、起草回复,让邮件处理更轻松高效。

Elvin 是一款主动式 AI 助手,能自动发现并完成工作中的协调任务,适合团队协作场景,提升效率。

Viktor是Microsoft Teams中的自主AI员工,能跨3000+工具自动完成报告、审批等重复操作,为企业团队提升运营效率。

D-ID的Agentic Videos将视频转化为交互式AI体验,观众可提问并实时获得回答,帮助创作者洞察观众需求。

VoiceOS 是一款语音驱动的电脑自动化工具,让你用自然语言执行工作流,适合追求高效的用户,提升专注力和生产力。

Juno是一款本地开源的AI语音转文字应用,为Mac用户提供实时转录,支持在多种应用中直接语音输入,提升工作效率。

Buddy 是 Figma 内的 AI 设计代理,可将网站、截图等导入为可编辑图层,适合设计师快速生成界面和变体。

Adapt将Slack转变为AI工作空间,通过共享公司大脑,团队可随时提问、构建应用,提升协作效率。

Ploy.ai 是一款智能营销平台,通过 AI 代理自动管理网站、广告和个性化内容,帮助营销团队持续提升流量和转化。

Locofy 是一款设计转代码代理,利用AI模型将Figma设计转换为精确前端代码,帮助开发者加速从设计到实现的流程。

Genie Mentions是一款社交AI产品,通过分析你和朋友的口味与动态,让你随时了解朋友的重要行动,适合希望加深社交联系的用户。

Labs AI 利用 ElevenLabs 技术,在 iPhone 上快速将文本转为自然语音,支持多种声音和语言,适合内容创作者制作专业配音。

Bristol将材料转化为交互式智能报告,适合代理、自由职业者,通过聊天即可生成并发布网页报告。

CADAM是一款开源文本转CAD平台,用户通过自然语言描述即可生成参数化3D模型,适合设计师和3D打印爱好者快速建模。

Tine 是一个AI桌面光标助手,能根据用户指令在Mac上的各个应用间自动操作,实现任务自动化,适合需要高效多步操作的用户。

Refuse 是一款包安全管理工具,为 AI 编码代理和开发者设计,在安装前自动拦截已知漏洞包,提升供应链安全。

Tabnxt是一款AI标签页管理工具,帮助Chrome用户自动挂起后台标签页以节省80%内存,并通过AI工作区快速分组,适合标签页过多的用户。

Merlin 是 Encord 的智能代理层,通过对话管理 AI 数据基础设施,适用于 AI 团队,提升数据管理效率。

为Magento开发者提供的统一控制面板,集成Claude Code实现AI原生数据流,提升开发灵活性与效率。

VELA 为开发者提供安全执行 AI 生成代码的沙箱环境,使用微虚拟机隔离,防止安全风险。

macOS 原生视频编辑器,专为AI工作流设计,内建生成式AI模型(Seedance、Kling等)直接在时间线生成视频和图像,并通过MCP协议让Claude/Cursor等AI Agent协同编辑。亮点:基于Swift从头构建,对标Premiere Pro,首次将LLM Agent与专业视频编辑深度集成。

实时全球情报仪表盘,AI 驱动新闻聚合与地缘政治监控,整合 500+ 信源生成简报。亮点:支持本地 Ollama 运行 AI 无需 API Key,单代码库构建 6 种变体(科技/金融/能源等),原生桌面应用覆盖多平台。

开源框架,用于构建 agent 与 UI 深度绑定的原生应用,agent 和 UI 共享同一数据库和状态,支持实时多人协作。亮点在于它让 agent 不再是聊天框里的孤岛,而是能直接操作应用界面、跨 app 联动,并提供多种产品形态(headless、rich chat、whole app)。

智能知识提取CLI工具,利用LLM将非结构化文本转换为结构化的知识图谱、超图或时空图。支持一键提取、增量进化,内置80+领域模板(金融、法律、医疗等),可本地部署(vLLM)保障数据隐私。亮点在于多结构支持和零代码配置,比同类GraphRAG/LightRAG更灵活。
一站式生成式AI资源合集,涵盖最新研究论文、面试题、免费课程和实战notebook,由Aishwarya Naresh Reganti维护。内容持续更新,包含Applied LLMs Mastery等免费课程和多个学习路线图,适合初学者系统学习及求职准备。项目采用MIT许可,可自由使用。
运动预测是视觉智能的核心:智能体必须预测物体如何运动,以规划行动、推理物理交互并合成逼真的未来。本文认为,世界坐标系中的 3D点 提供了一种通用表示:与类别无关、视角稳定、紧凑,并可直接用于下游任务。 我们形式化了 目标条件3D点运动预测 任务:给定短时视觉历史、感兴趣物体上的一组3D查询点以及目标的语言描述,模型预测每个点的未来3D轨迹。

将多模态基础模型部署为闭环策略时,越来越需要基于不再可见的观测来调整动作。然而,现有基准要么暴露完整状态,将隐藏状态重建与其他智能体技能混为一谈,要么仅在一幕结束后测试回忆。 我们引入 RNG-Bench(Reconstructive Non-Markov Games) 基准套件,旨在隔离模型在多步交互中重建过去观测并据此行动的能力。

世界模型正从被动视觉生成器转变为物理AI的基础操作基础设施:它们必须原生地从异构经验中获取世界知识,在长时间范围内维护持久状态,并在实际部署约束下高效执行。 我们提出 Kairos,一个围绕这些需求设计的原生世界模型栈: 1. 原生预训练范式 由 跨本体数据课程 主导,将开放世界视频、人类行为数据和机器人交互组织成渐进发展路径。

语言模型在大规模视觉-语言数据上的训练展示了在具身智能体方面的巨大潜力。通过具身工具使用来驾驭模型,提供了一种有前景的替代方案,相较于端到端的视觉-语言-动作系统,它将高级推理与外部感知、规划和控制模块相结合。然而,尚不清楚什么构成了有效的具身操控套件,以及这种套件在多大程度上能够解锁各类推理模型的具身能力。
分数匹配 和 流匹配模型 常依赖 基于偏好的强化学习 来实现两个目标:对齐主观偏好,以及(出人意料地)恢复视觉真实性和一致物体结构等属性——这些本应是匹配训练从数据中学习的内容。我们认为这反映了结构不匹配:匹配损失(如 ell2 回归误差)在训练时边际分布下衡量速度场或得分场,与推理时决定样本质量的视觉和语义属性关联甚微。

强化学习(RL)已成为大语言模型(LLMs)的代表性后训练范式,赋予其强大的推理与智能体能力。然而,rollout生成仍是主导延迟瓶颈,因为自回归采样顺序解码响应,且少量长尾生成通常决定完成时间。 推测解码(SD) 作为服务固定LLMs的成熟技术,通过快速草拟token并并行验证接受来降低延迟,同时保持目标模型分布。

稀疏自编码器(SAE)将残差流激活分解为可解释特征,近期潜在空间防御越来越依赖这些分解,假设识别的“不安全”SAE特征可作为可操作手柄进行监控和干预。在此范式下,钳制特定有害特征应可靠地阻止模型不当行为。然而,我们表明这种成功可能隐藏了一种可恢复的失效模式:钳制可能阻挡了通向行为的一条可见路径,但并未消除行为本身。

强化学习流水线在训练大语言模型(LLM)时,常依赖手动重设计各阶段训练环境,实践者需启发式推断哪种配置能最好地改进当前策略。为自动化该过程,我们提出 LLM-as-Environment-Engineer框架:当前策略模型分析失败轨迹,结合上下文信息,提出下一阶段训练环境配置的修改建议。

空间视觉语言模型(Spatial VLMs)在几何感知方面取得了显著进展,但处理需要跨深度、距离和场景关系进行多步推理的复杂空间任务仍具挑战性。此外,不同类型的空间查询需要截然不同的策略:有的适合纯语言逐步演绎,有的则需要先进行显式3D定位再进行定量推理。

图形用户界面定位(GUI Grounding)要求视觉语言模型(VLM)在高分辨率截图中识别微小的目标元素并预测精确的屏幕坐标。在线策略自蒸馏(On-Policy Self-Distillation, OPSD)是一种有前景的后训练方法,能为坐标敏感任务提供密集的令牌级教师信号,超越硬坐标标签。

针对长视频理解,被动模型通常采用“全部观看”范式,无论查询难度如何都统一处理帧,导致计算成本随视频时长增长。尽管出现了交互式框架,但它们往往依赖于全局预扫描,上下文成本仍然随视频长度扩展。 本文提出OmniAgent,首个原生全模态智能体,将视频理解建模为基于POMDP的迭代观察-思考-行动循环。
随着全球越来越多的视频内容在社交平台上被消费,用于交互社交目的,为社交世界构建的视频生成模型虽重要但被先前研究广泛忽视。本文定义了社交世界模型的定位,并构建了一个原型模型作为迈向该目标的第一步。先前的世界模型成功模拟了物理环境或游戏世界探索,但本质上仍脱离以人为中心的社交动态。
Vision Transformers (ViTs) 已成为视觉表示学习的主流架构,提供强大且可复用的骨干特征。然而,由于全局自注意力的二次复杂度,ViTs 通常在较小的patch-token网格上操作,这对语义分割、深度估计等密集预测任务造成了持续瓶颈,推动了任务无关特征上采样器的发展。

基于可验证奖励的强化学习算法(如 GRPO)已成为大语言模型复杂推理的主流后训练范式,但常在训练中遭遇策略熵崩溃问题。本文对 GRPO 下令牌级熵动态进行一阶梯度分析,发现令牌级信用分配不匹配:每个令牌的熵变化可分解为轨迹级优势与下一个令牌分布上的熵敏感函数的乘积,形成优势-惊奇四象限结构及近临界属性。

多元文化多智能体系统日益部署在全球多样化的环境中,不同智能体基于不同文化背景。现有文化评估聚焦于价值对齐:单个智能体与目标文化的匹配程度。然而,对齐是单个智能体的属性,无法揭示系统整体是否保留了其本应代表的文化多元性。 本文提出将价值多样性作为多元文化智能体系统的系统级评估轴,通过衡量不同文化条件下的智能体在共享价值调查中响应的差异性来定义。

扩散模型已成为自回归模型的有前景替代方案。其中,统一扩散语言模型(UDLM) 允许任意 token 在任意步骤更新,原则上可实现更灵活的生成。然而,目前尚无从零开始在大参数规模和大 token 预算下预训练的 UDLM。自回归模型和掩码扩散模型已有大规模可用模型,但 UDLM 仍属空白。

语言模型Agent在软件工程和客户服务等孤立、短期的任务上逐渐成为熟练的执行者。然而,现实世界的挑战需要多种复杂技能的组合,这些技能在Agent中仍未得到充分测试: 1. 在不确定性中导航长期时间跨度; 2. 在噪声环境中获取信息; 3. 适应变化的世界; 4. 协调多个动态部分以实现连贯目标。
当前计算机使用代理(computer-use agents)的基准测试在非个性化环境中评估模型。这导致了评估与部署之间的差距,因为个人助理需要跨越用户的整个数字生活,包括其上下文、历史数据和已登录账户。这一差距在Web任务上最为明显,因为实时Web评估无法处理需要登录或个人信息的网站——而这正是真实个人助理必须驱动的网站。

现有世界基础模型作为强大的模拟器,但主要运行在单视图设置中,缺乏机器人操作所需的多视图3D一致性。虽然机器人系统依赖多个摄像头(自我中心、眼到手和腕装)进行策略学习,但当前多视图世界模型仅简单拼接视图令牌,缺乏显式几何推理,导致跨视图物体偏移、深度不一致和纹理错位。
离线强化学习通常在过程级奖励监督下分析,但许多序列决策数据集仅记录轨迹级结果。本文针对此类结果级监督,建立了离线策略优化的统计理论。 首先研究规范设定:目标仍是期望累积奖励,但每条离线轨迹仅提供一个标量标签,其条件均值为累积回报。本文提出 OPAC 算法,一种悲观演员-评论家方法,学习潜在奖励模型并从轨迹级标签优化策略。
一个消息:在近9年后,我决定离开Google DeepMind,加入Anthropic(先休息一段时间)。我非常感激在GDM的时光。@demishassabis 在我博士毕业仅6个月后就让我领导AlphaFold团队,GDM团队教会我如何做伟大的科学。GDM是一个特别的地方,我仍期待他们未来的惊人发现。
今天早些时候,约3%的Claude Code Max和Pro用户遇到一个bug,显示错误的每周使用限制,并在某些情况下阻止他们发送消息。此问题已修复,我们正在重置所有受影响用户的5小时和每周限制。对造成的不便表示歉意。
抓到了。我到处在 AGENTS.md(以及其他如代码注释)中注入提示,像这样来发现那些不审查代码就转给他人的人。总是能抓到人,然后立即封禁。 如我所说,我不在乎你是否审查自己的代码。但如果你向开源项目提交代码并跨越人为边界,做点人为审查是基本的礼貌。
感谢John过去9年的非凡合作!我们通过AlphaFold取得的成就改变了世界,展示了AI在科学和医学领域的可能性,为AI造福人类照亮了道路。

Codex 现在可以在本地和远程主机之间交接线程。 在你的笔记本电脑上开始工作,合上盖子之前将其发送到远程机器,稍后再取回。 是的,Codex 可以为你协调这个交接过程。https://t.co/CcIG9fwzXd

如果你好奇我是如何在过去48小时内完成超过2万美元的推理计算的,这里有一个专门的视频。剧透:循环非常强大。
使用 Claude Code 的一种酷炫方式:破译克里特岛 3500 年前的文字线性文字A。希望经得起同行评审!🤞
感觉我们正在进入超级应用时代。
如果你正在打造一个涉及Web应用的十亿美元公司,以下是我对前端架构的一些笔记。 如果你不这样做,可能也没问题,但总有一天你会雇人来修复,但实际上,如果你从一开始就做一些关键优化,那个人本可以做其他更有价值的事情。 你甚至不需要学习任何东西,反正你会让代理去做的! 好了,开始吧: - 让服务器代码生成OpenAPI规范,然后生成所有相关的客户端代码。
Hermes Agent现在非常棒……

过去两周,美国政府和Anthropic都采取了重大行动,展示了他们通过限制其他人对前沿模型的使用来控制AI访问的能力。这是一个一旦看到就难以忽视的时刻,它正在显著加速许多企业和国家确保可靠访问AI(且无人能终止)的努力。

今天的这一集基本上是我近十年来第一次与@jackclarkSF交谈。这是上一次。https://t.co/HrMFbGUUKZ
白宫:“为什么?” Anthropic:“你听说过 Pliny the Liberator 吗?”
谷歌Deepmind在几天内相继失去Noam Shazeer和John Jumper,感觉是一个重大打击。一人去了OpenAI,另一人去了Anthropic……一位帮助发明了Transformer,另一位与Demis因AlphaFold共同获得诺贝尔奖。这些都是大牛在迁移……
Codex应用非常好
随着初创公司激增,显然没有创始人愿意做消费产品。已经到了推崇臃肿销售运营的地步。但在改变之前,公众会越来越讨厌科技。
如果属实,那真是大事!有人试过Hermes吗?你觉得怎么样?
OpenAI用于帮助面临罕见遗传病的家庭。这是用一年前的o3完成的,想想今天的模型可能做到什么,令人惊叹。

为企业推出信用使用分析和更新后的支出控制,可在全局管理员控制台中使用:https://t.co/fyT2JJ0FFl

提醒大家,我们内置了一个系统,可以与你的团队、公众或任何人分享你的agent。它叫做agent distributions,更多信息请点击:https://t.co/TioH6JHaVE