行业新闻

Meta新模型Muse Image允许用户通过@提及将Instagram用户融入AI生成图片,标志图像生成与社交图谱的首次深度整合。
Meta推出首个由Superintelligence Labs开发的图像生成模型Muse Image,已集成至Meta AI、Instagram和WhatsApp。用户可在提示中使用@提及其他Instagram账号,模型会基于公开资料生成包含该用户的图片。Muse具备“agentic”能力——能结合Muse Spark大语言模型推理、搜索和规划,而非简单文生图。
Gemini API 托管智能体新增后台执行和远程 MCP 支持,降低了构建复杂 AI 代理的门槛。
Google DeepMind 为 Gemini API 的托管智能体(一种在云端沙盒中自动推理、执行代码和文件管理的 AI 代理)新增后台任务执行、远程 MCP 服务器(模型上下文协议,允许智能体调用外部工具)连接、自定义函数调用和凭证刷新功能,让开发者构建更可靠的生产级应用。
魔芯 MoWorld 在国产 NPU 上以低成本实现 50 FPS 实时世界模型,验证了国产芯片的部署能力,并推动产业化。
魔芯科技发布 MoWorld,号称全球首个高帧率交互式世界模型(能模拟物理世界并实时响应用户输入的 AI 系统)。通过优化,在纯国产华为昇腾 NPU 上实现 50 FPS 实时推理,推理成本较 GPU 降低 70%,14B 参数 MoE 模型可生成稳定、一致的长视频,已用于影视和具身仿真等领域。

Anthropic 将 Claude Cowork 扩展到移动和网页,支持云端后台运行和跨设备任务,提升实用性和灵活性。
Anthropic 的 AI 工作平台 Claude Cowork(可执行复杂任务的 AI 助手)现可在 iOS、Android 和网页上使用,并默认云端运行,支持跨设备继续任务,甚至设备离线时也能执行定时任务。首先向 Max 订阅者开放,其他用户几周后可用。
Cohere 发布专为阿拉伯语设计的开源语音识别模型,在方言和双语场景下准确率超越现有开源方案。
Cohere 今天开源了 Transcribe Arabic,一个专为阿拉伯语优化的语音识别模型。它处理方言和英阿双语混用(代码切换)更准确,在阿拉伯语开源模型中词错误率最低,96% 的测试中人类更偏爱它的结果。开发者可在 Apache 2.0 许可下免费下载使用。
Claude 推出跨设备协作功能,用户可在电脑和手机间无缝切换任务。
用户可以在电脑上启动任务,在手机上查看进度,即使合上笔记本也能获取最终输出,实现跨设备无缝协作。

本文拆解AI架构四大基础要素:数据质量、上下文工程、治理与LLM管理,是IT决策者规模化AI的实用指南。
AI架构的四大基础要素——数据规模化准备、上下文工程(设计模型输入的信息环境)、治理与大语言模型管理——是IT领导者应对快速变化的技术、确保可靠部署的关键。数据质量是最大障碍,上下文工程比提示工程更重要,治理则需贯穿始终。
AP+案例显示,AI不仅能提升文档处理效率,还能在严谨支付系统中加速技术排查,且不影响准确性。
澳大利亚支付基础设施公司AP+全员部署ChatGPT Enterprise,并用Codex(OpenAI的代码生成模型)辅助技术调查。结果显示77%员工每周节省超2小时,80%报告工作质量提升;复杂对账问题调查从4小时降至30分钟,一天内可构建工作模拟。

Solos AirGo A6 智能眼镜轻至 19 克,无摄像头,全靠语音 AI 提供免提翻译、提醒等实用功能。
Solos 推出新款 AirGo A6 智能眼镜,重量仅约 19 克(比上代减半)。它没有摄像头,通过语音与 AI 助手交互,支持实时翻译、日历提醒、音乐播放和通话,还能保持环境音 awareness。

Gemini 3.5 Pro 前端能力跃升,但推理短板明显,重训底座后将于7月17日发布。
据泄露信息,谷歌将于7月17日发布Gemini 3.5 Pro。该模型在前端代码生成上表现突出:一次成型、像素级精准,超越Fable 5。但在最难的智能体任务和仓库级软件工程上,仍落后于Fable 5和GPT-5.6。谷歌为此重训了模型底座,并计划推出图像模型Nano Banana Pro。
Barracuda 用 Databricks Genie 让分析师直接用自然语言查安全日志,无需写 SQL,查询耗时从小时降至分钟。
Barracuda 在其托管 XDR 安全服务中,基于 Databricks Genie 推出了 AI 驱动的日志搜索功能。分析师可用自然语言提问如“显示过去 24 小时来自外部的失败登录”,Genie 自动转换为 SQL 并返回结果,同时通过 Unity Catalog 的行级隔离保障多租户安全。这省去了手动编写 SQL 和适应不同厂商日志格式的麻烦,将常规调查耗时从小时级缩短到分钟级。
Discord 的 AI 审核 bug 导致数千用户因正常图片被误封,凸显 AI 辅助审核的误判难题。
Discord 的 AI 人工智能审核系统(自动匹配已知有害内容库)出现漏洞,将棋盘、电子表格等正常图片误判为违规,导致过去两个月超过 8000 个账号被误封。公司已修复该漏洞,正逐步恢复所有受影响账号。
OpenAI 提炼五种对话设计模式,帮助开发者从“功能正确”转向“更好对话”,提升客户对 AI 产品的体验。
在追求功能准确之外,OpenAI 总结了五种对话设计模式,帮助开发者构建更自然的客户交互体验。这些模式经生产环境验证,专注于提升对话质量而非单次响应正确率。

这篇博客概述了国家AI战略的五大要素(AI工厂、人才、模型、生态、紧迫性),解释了为什么各国必须自建AI基础设施以掌控数据和主权。
各国正投资建设AI工厂——一种新型数据中心,将本地数据转化为智能,用本土团队训练大语言模型,以满足当地语言、文化和法规要求。同时培养AI人才、完善生态系统,确保AI能力服务于国家经济、安全和可持续发展。
BetaDescribe 直接读取蛋白质序列并输出功能描述,尤其擅长传统方法无能为力的“孤儿蛋白”,弥合序列与功能间的鸿沟。
BetaDescribe 是一个 70 亿参数的蛋白质语言模型,它把氨基酸序列当作“生物文本”,直接生成功能、定位、结构域等自然语言描述。模型采用“生成器—验证器—评判器”三层架构,类似同行评审,能处理传统方法难以注释的低相似度“孤儿蛋白”,为探索未知蛋白提供新假设。

伯克利使机器人能从网络视频学习灵巧操作,首次打通从互联网到真机的数据链路,大幅降低数据获取成本。
伯克利团队提出 Do as I Do 端到端流程,首次打通从互联网单目 RGB 视频到灵巧手真机部署的完整链路。他们先引导式扩散稳定重建手-物交互的 4D 轨迹,再通过稳健动作重定向(处理噪声参考轨迹)迁移到 22 自由度 Sharpa Wave 灵巧手。在 20 类操作上生成 500 条验证轨迹,并部署 10 个真实任务至双 UR3e 机械臂平台,将重定向成功率从 25% 提升至 71%。
Fast-LeWM通过并行预测动作序列的未来状态,大幅加速世界模型规划,同时提升规划质量。
世界模型在规划时需逐步 rollout,耗时且误差累积。西安交大提出 Fast-LeWM,用动作前缀编码器并行预测未来潜变量,将动态模块耗时从31.4秒降至8.0秒,成功率从85.8%提升至90.5%。
实时语音交互的难点不在响应生成,而在于把握对话节奏、中断与恢复等精细时序控制。
实时语音体验中,对话的时序、打断时机、静默间隔和恢复流畅度等非语言因素,与话语内容本身同等重要。OpenAI 总结大规模部署后的关键经验。
AI 诈骗成本骤降,Savi Security 推出实时拦截应用,保护普通人免受深度伪造欺诈。
Savi Security 由两位技术兄弟创办,旨在保护消费者免受利用生成式 AI 进行的逼真诈骗(如声音克隆绑架勒索)。公司今日上线手机应用,并宣布获得 700 万美元种子轮融资。

零犀科技用六年把因果推理注入大模型,成为世界模型新赛道的前沿玩家。
世界模型的核心是因果推理——预测“如果这样做,世界会怎样”。零犀科技六年前就开始做因果AI,如今其“因果大模型”已获网信办备案,将因果阶梯(观察、干预、反事实)融入LLM,瞄准社会行为系统而非仅仅物理世界。
热门产品

AnySearch 为AI智能体和开发者提供实时结构化搜索,通过并行搜索可信来源,过滤去重,提升代理获取信息的可靠性。
一个为智能体设计的搜索工具,而非搜索框。AI智能体的质量取决于它们接收到的信息。当连接到AnySearch时,你的智能体可以从受信任的来源并行搜索,获得经过筛选、去重和结构化的信息,从而生成更可靠的结果。免费开始使用。

Typeahead 2.0 是一款为 Mac 应用提供隐私 AI 自动补全的工具,适合需要高效写作的用户,支持多语言和个性化风格,节省时间。
Typeahead 2.0 是一款私密 AI 自动补全工具,适用于 Mac 上的每个应用,支持按应用设置写作风格、任意语言,以及更智能的上下文理解,能适应你的工作方式。现在它变得更可定制、每天更有用,同时内存占用更小、后台运行更快。你还能看到私密的 Insights,了解自己节省了多少时间。一次性购买 79 美元,免费更新,无需订阅。

Octolens 是一个社交媒体监听工具,帮助开发者和营销团队通过 AI 过滤互联网提及,并支持 API、webhook 及 MCP 集成,连接 Slack、CRM 或智能体。
你的 AI 智能体可以读你的代码、文档和 CRM,但看不到 Reddit、Hacker News、播客或新闻。Octolens 是一个 API,覆盖互联网上所有的提及。通过 API、webhooks 和 MCP 提供 AI 过滤的 JSON。把它接入 Slack、你的 CRM、你的数据仓库,或者你的智能体。

AirKaren是一款AI客服助手,自动处理航班投诉,引用法规、提交索赔、追踪进度,适合旅行者免费使用。
AirKaren 是一个完全免费的 AI,专门帮你跟客服吵架。你告诉 Karen 航班出了什么问题,她就会引用相关法规、帮你提交索赔申请,然后追回你应得的赔偿。Karen 会帮你打客服热线、发邮件、填表格——你从此再也不需要自己动手了。我们目前从航空公司开始,接下来几周会扩展到其他行业。

Stanley Studio是一款AI视频编辑工具,适合拍摄大量视频的用户,能自动完成从原始素材到成品字幕视频的端到端编辑,无需手动调整。
Stanley 是为那些拍出精彩视频却任其烂在相册里的人打造的。把原始素材发给 Stanley,你拿回的就是一条成品带字幕的视频。没有时间线,不用手动调字幕,也不用花几小时找完美配乐。只要告诉 Stanley 你想要什么,它就从头到尾帮你剪好:口播、vlog、播客片段、UGC,不管你的 niche 是什么都行。而且免费。上传素材,就能拿到一条视频。

Edgee Claude Code Compressor V2 是一款为AI编码智能体设计的Token压缩工具,帮助开发者降低使用Claude Code等AI编程助手的成本,最多节省50%费用。
Compression V2 通过两层内的三种技术来削减编码智能体的 token 费用:更精准的工具结果修剪、新的任务感知工具表面缩减,以及输出简洁化。可直接替换 Claude Code、Codex、OpenCode 和 Cursor。语义无损。

CodeMote 是一款 iPhone 应用,让开发者远程控制 Claude Code 等 AI CLI 代理,实现锁屏实时终端和审批推送。
CodeMote 将你的 iPhone 与你的机器或 VPS 配对,给你真正的会话体验。锁屏上显示实时终端,智能体需要审批时会推送通知,支持完整 diff 和完整的 git flow。直接加密连接,你的代码永远不会触达我们的服务器。

Nixmac通过自然语言生成Nix代码,将Mac配置为可复现、版本控制的系统,适合开发者高效管理配置。
nixmac 把你的 Mac 变成一个可复现、可版本控制的系统。用纯英语描述你想要什么 — 它会自动写出 Nix 配置、构建它,并安全地应用。

Mozaik 是一个 TypeScript 运行时,用于构建自组织的 AI 智能体团队,面向开发者,实现多代理协作与动态任务自动分配。
Mozaik 让自主智能体团队能够并发工作、对事件做出响应、智能地沟通,并在执行过程中决定协作如何展开。

Cadence 是一款 AI 增强的屏幕录制工具,自动优化口音、降噪并生成字幕和截图,适合需要快速制作专业视频的用户。
Cadence 是唯一一款在你按下停止键瞬间就能轻松完善视频的屏幕录制工具。AI 能即时转换口音、应用清晰的语音配音、去除背景噪音,并自动为你生成转录内容和截图。
论文

强化学习(RL)在大语言模型(LLM)后训练中日益受关注,但 RL 训练仍脆弱,易出现不稳定甚至崩溃。一个关键原因是训练 - 推理不匹配:LLM 采用独立的推理和训练引擎以兼顾生成效率与训练精度,即使模型参数同步,相同轨迹在训练侧和推理侧的概率也往往不一致。这自然导致一种特殊的 off-policyness 持续存在并污染训练过程。先前工作致力于解决这种 off-policyness,以在不匹配条件下稳定训练策略。 本文指出,现有工作忽视了目标对齐问题:训练引擎中对策略的有效更新并不一定保证推理策略(即部署时使用的策略)的改进。为此,我们提出一种新的 LLM RL 策略优化目标——Monotonic Inference Policy Improvement (MIPI)。遵循该原则,我们引入 Monotonic Inference Policy Update (MIPU),这是一个两步式 LLM RL 框架:首先构建采样器参考的候选更新,然后利用推理侧差距代理选择性地接受同步候选。 在两种模型规模下,高不匹配场景的实验表明,MIPU 提升了平均推理性能,并增强了训练稳定性。

构建高性能视觉语言模型(VLM)需要精心策划大规模训练数据集,但社区缺乏系统评估此类策略的基准。我们提出DataComp for VLMs(DCVLM),一个用于受控数据中心实验以改进VLM训练的基准。作为DCVLM的一部分,我们收集了160个数据集,涵盖四种数据类型——图像-文本对、多模态交错文档、纯文本和指令微调数据——组成6T多模态token的语料库。 DCVLM允许参与者在1B-8B模型和6.25B-200B token预算下测试策划策略(过滤、混合、格式化、采样)。模型随后在精心挑选的52个下游基准(涵盖9个领域)上进行评估。我们在DCVLM上进行大量实验,发现数据混合而非过滤是高质量训练数据集的关键:指令密集型混合比标题密集型混合扩展性更好,且规模越大优势越明显。 最终的数据集DCVLM-Baseline,使用200B训练token在33任务核心套件上训练8B VLM达到63.6%准确率。相比最先进的开放VLM训练数据集FineVision,提升了+5.4个百分点。DCVLM及所有附带工件将在 https://www.datacomp.ai/dcvlm/ 公开。

当前具身AI模型涵盖视觉-语言-动作模型 (VLA) 和世界-动作模型 (WAM),但实际部署分散于特定模型的 Python 栈、后端假设以及机器人端胶水代码中,尤其在异构边缘设备上碎片化严重。现有推理运行时主要面向请求-响应服务,无法满足具身部署的运行时契约:闭环控制内多速率执行、异构硬件上的延迟优先的 batch-1 推理,以及超越固定令牌 I/O 的可扩展具身接口。 本文提出 Embodied.cpp,一种面向具身模型的可移植 C++ 推理运行时。通过分析代表性 VLA 模型和 WAM 的架构,Embodied.cpp 提取共享执行路径,组织为五层:输入适配器、序列构建器、骨干执行、头部插件和部署适配器。运行时提供模块化多速率执行、延迟优先融合推理,以及可扩展算子与 I/O 支持,通过单一后端抽象实现异构设备、机器人和模拟器的部署。 我们在两个 VLA 模型(HY-VLA 和 pi0.5)以及一个基于 LingBot-VA Transformer 块的初步 WAM 基准上评估 Embodied.cpp。VLA 部署分别实现 100.0% 和 91.0% 的闭环任务成功率。

扩散 Transformer (DiTs) 在图像和视频生成上取得了最先进的结果,但其多步采样和日益增长的参数量导致推理成本高昂。后训练量化 (PTQ) 是自然的补救措施,然而 DiT 的激活值会随时间步、提示词和引导分支而变化,迫使先前的方法为每个新 checkpoint 或模态重新拟合校准数据。 本文提出 OrbitQuant,一种数据无关的权值-激活量化器,通过在归一化旋转基中进行量化来绕过范围估计。在该基中,随机排列分块哈达玛 (RPBH) 旋转 使每个坐标围绕一个固定、已知的边缘分布集中(无论输入如何),因此单个 Lloyd-Max 码本 即可服务于给定输入维度的所有时间步、提示词和层。我们将同一量化器离线扩展到权值行,将旋转吸收到权值中,使得在每个线性层内部旋转相互抵消,运行时仅需对激活进行前向旋转。相同的方案无需按模态调整即可从图像迁移到视频。 在 FLUX.1、Z-Image-Turbo、Wan 2.1 和 CogVideoX 上,OrbitQuant 在多个低位设置下树立了 PTQ 的最先进水平。

Vision-Language-Action (VLA) 基础模型在具身智能中取得了显著进展。为降低策略调用频率同时保持时序一致性,多数生成式策略采用 动作块机制,在固定行动范围内以开环方式执行多个未来动作。然而,这种“预测后盲目执行”范式牺牲了闭环反应性:在接触丰富的物理交互中,即使微小局部扰动也能在开环盲区内迅速放大,导致误差累积并最终任务失败。 针对此问题,我们提出 VLA-Corrector,一种轻量级纠正推理框架,用于基于动作块的 VLA 策略。在不修改骨干策略权重的前提下,VLA-Corrector 引入轻量级 潜空间视觉监视器 (LVM),持续比较预测与实际视觉特征演化,实现在线检测视觉动态偏差。一旦检测到持续偏差,系统触发 截断事件,丢弃剩余过时动作,并通过 在线梯度引导 (OGG) 执行纠正重规划。 VLA-Corrector 的检测与纠正机制自然产生事件触发自适应行动范围:当前块可靠时保留长范围执行,执行开始偏离时启动短范围纠正重规划。因此,VLA-Corrector 缓解了静态范围在执行鲁棒性与策略调用频率之间的权衡。

随着开源 AI 基础设施的快速扩张——从模型服务引擎、Agent 平台到 Model Context Protocol (MCP) 生态系统和语言模型本身——安全工具的防护能力已滞后。我们提出 AI-Infra-Guard,一个开源框架,其核心观察是:AI Agent 的攻击面按层分层(基础设施层、协议/工具层、Agent 行为层、模型层),单一检测范式无法覆盖所有层。 框架为每层分配相应范式: - 基础设施层:基于确定性规则匹配,覆盖 75+ AI 组件和 1400+ 漏洞规则; - 协议/工具层:通过 LLM 驱动的 Agentic 审计 检测 MCP 服务器和 Agent 技能包; - Agent 行为层:多轮黑盒 Agent 红队测试; - 模型层:Jailbreak 测试框架,包含 26+ 攻击算子、16 个数据集。 据我们所知,这是唯一覆盖所有层的开源框架,包括对不断扩展的 Agent 技能的供应链审计。我们开源 AI-Infra-Guard,旨在将层-范式匹配作为 Agent 安全的实用基础,供社区共同构建。

大型语言模型(LLMs)越来越多地被用于头脑风暴研究想法,但现有评估大多从新颖性、可行性或专家偏好角度判断单个想法。本文提出不同问题:当前LLM生成的想法与人类研究者之间有多大的差距? 为表征这一差距,我们构建了一个大规模评估框架,基于高质量人类研究论文进行构思。对于每篇论文,逆向工程出一小组可能启发其核心思想的密切相关工作集。然后提示LLM从这些论文标题和摘要中生成新想法。我们引入一个双轴研究品味分类法(research-taste taxonomy),从机会模式(opportunity pattern)和研究范式(research paradigm)两个维度刻画每个想法,并量化人类与LLM想法之间的分歧。 在由不同LLM生成的想法集上,我们观察到一致的分布差距:LLM想法不成比例地集中在桥梁型机会(bridge-like opportunities)和综合方法(synthesis methods)上,而人类论文的参考分布则更广泛地涵盖构架问题和构建贡献的各种方式。 结果表明,强大的LLM可以产生一系列合理想法,但该范围仍然比人类研究品味更窄,并且在系统上有偏移。

随着基于证据的问答系统在AI助手中的广泛应用,准确地将生成答案归因于源证据对于用户信任和模型安全至关重要。尽管单模态归因已被深入探索,多模态场景仍相对研究不足。为此,本文提出 MultAttnAttrib,一种免训练的归因生成方法,利用模型的预填充阶段、选定的注意力头和校准阈值,在文档中定位源证据。为建立基线结果,我们同时引入 MultAttrEval,一个互补的基准数据集,为基于多模态源文档的答案组件提供细粒度的真实归因标注。据我们所知,这是首个专为长文档多模态归因设计的评估数据集。实验结果表明,MultAttnAttrib 在多类归因生成方法中持续胜出,包括多种强提示基线,并匹配 GPT 5.4 等前沿模型。该方法不仅显著提升了单模态和多模态归因类型的准确性,而且相比同基模型上的提示方法,其归因生成延迟可降低至七分之一。

景深控制是摄影中的基本工具,但从单张图像进行后期散景编辑仍然具有挑战性。一个实用的编辑器需要处理在任意焦点和光圈设置下拍摄的图像。现有方法通常假设输入为全聚焦图像,或者先恢复全聚焦图像再渲染新散景。这类流程会丢弃源图像中的有效模糊线索,并将重建伪影传播到最终编辑结果中。 AnyBokeh 是一种物理引导的框架,用于任意到任意散景编辑。它不将源模糊视为需要去除的退化,而是通过有符号弥散圆图和视差图估计源模糊状态。通过建模有符号弥散圆与视差差值的线性关系,AnyBokeh 估计源特定的光学指纹,并将源光学特征迁移到目标焦点和光圈设置。一个基于生成编辑器(以源和目标弥散圆图为条件)执行相对模糊合成,实现空间自适应去模糊、保留和散焦渲染。 为支持物理监督学习,我们构建了一个高保真合成数据集,包含精确深度、焦点距离和完整 EXIF 元数据。在真实世界基准上的实验表明,AnyBokeh 在任意到任意散景编辑、全聚焦到散景渲染和散焦去模糊任务中均实现忠实可控的编辑,同时避免了现有方法中常见的全聚焦重建和测试时散景级校准。

在资源匮乏环境中,癫痫专家稀缺,基于LLM的决策支持系统对一线临床医生管理长期治疗具有吸引力。这类系统必须适应当地处方习惯,并知道何时应推迟。本研究在乌干达小儿癫痫护理中对此问题展开研究,从纵向非结构化门诊笔记预测抗癫痫药物方案。标准提示与医生处方达到非平凡一致性,但神经科医生审查显示,许多错误源于分布校准不当的处方默认值,而非未能解析本地记录。 我们提出MANANA,一种非参数提示学习框架,从少量患者训练集中学习本地处方指导。MANANA将观察到的处方错误转化为可审计的提示记忆,实现为单智能体和多智能体变体,并在两个独立收集的乌干达队列上优于经典ML模型、直接LLM提示和提示优化基线。此外,我们提出贝叶斯提示平均,将学习到的提示轨迹转化为处方似然和基于不确定性的推迟信号。 在独立收集的保留队列表现上,该方法在就诊级top-3处方准确率上比提示优化基线提高4-8个百分点,并实现选择性预测:系统能以95%精度自动处理最自信的一半病例,以99%精度处理最自信的四分之一病例,同时将低置信度病例推迟给专家审查。

云去除是光学遥感的关键预处理步骤,对后续解译任务(如语义分割、变化检测)的可靠性至关重要。然而,现有方法往往追求视觉真实性,忽视了对下游分析任务的影响,导致语义漂移和性能下降。 为解决该问题,本文提出Geo-Anchored Cloud Removal (GACR) 统一框架,同时保证忠实重建与鲁棒可解译性。其核心是Observation-Anchored Residual Flow (OAR-Flow),将云去除重构为物理驱动的残差反演过程:生成轨迹锚定于有云观测而非纯噪声,实现快速、稳定且忠实的重建。进一步,Geo-Contextual Prior Alignment (GCPA) 利用视觉基础模型(VFM)约束重建结果位于语义流形内,从而保持复杂地物的空间-语义完整性。 在6个云去除数据集和12个下游任务上的实验表明,GACR在提升重建质量的同时,持续改善下游任务精度。代码已开源。

我们研究生成内容丰富化 (GCE),这是一种条件图像生成任务,先将稀疏场景描述通过显式场景表示进行丰富,再渲染为语义更丰富的视觉内容。传统图像生成系统能从有限描述生成视觉逼真的输出,但添加的内容通常隐含在生成器中,而非表示为可检查的中间结构。相比之下,GCE 旨在场景表示层面显式地进行场景丰富,同时在生成过程中检查其视觉后果,目标是鼓励生成视觉合理、结构连贯且语义比稀疏输入更丰富的内容。 为实例化GCE,我们提出一个联合训练的对抗框架,通过建模对象语义和对象间关系来丰富场景图。我们的方法首先将输入描述表示为场景图,其中节点建模对象,边捕获对象间关系。框架使用图卷积网络 (GCN) 预测额外对象及其与现有场景的关系。最后,将丰富后的场景图传递到下游图像生成流水线,生成对应的视觉内容。 我们在Visual Genome数据集上,通过代理场景图丰富度量、图像质量比较、定性示例和用户研究来评估该框架。实验结果证明了方法的有效性。

GraphRAG 是检索增强生成(RAG)的扩展,通过引入图结构数据作为外部知识来支持大语言模型(LLMs)。尽管该技术能捕捉复杂关系,但往往面临图表示与LLMs的对齐问题,尤其对于冻结的LLMs,原因在于 基于图的潜在特征 与 基于文本的潜在特征 不匹配。 为解决该问题,本文提出 自适应掩码图嵌入(AGE)。AGE 采用基于掩码的自监督学习(SSL)框架,使用 Transformer 架构,并设计为与文本嵌入编码器类似的结构,以缓解潜在特征错位。与自然语言文本不同,图是简洁表示,存在持有主要上下文信息的 关键节点,这些节点难以从周围节点预测。对此,AGE 利用 可学习的节点采样器,专注于预测非关键节点,从而提升自监督学习效率。 实验结果表明,AGE 在 GraphQA 任务中显著改进了基于非参数搜索的方法,在四个具有不同特性的基准数据集上取得了更高的准确率。
动态
"当智力充足时,意志力变得宝贵。能有所作为的人不是那些寻求放松、被动使用AI以少干活的人,而是那些寻求进步、主动与AI搏斗以发展自身心智能力并完成更多事情的人。" https://t.co/gDEy4aABwo
如果你运行这个工作流,让Fable把codex变成主力。

转载 @RemiCadene: 发布我们的Northstar设计 @UMARobots 一个能导航我们空间的身体 能使用我们工具的手 平易近人、能干、冷静 一款让你在工作和家中都感到舒适的机器人 https://t.co/qRulfeH0e1

转自 @RemiCadene:从基础开始 原型版本0 AI、软件、硬件 一个小团队,9个月 在巴黎设计并组装于 @UMARobots https://t.co/BJvtpgHctL
今天没有Sol,未经证实的消息称商务部已正式解除发布禁令,现在取决于OpenAI何时发布。我赌是周四。
转自 @lilianweng: 关于AI自我改进的能力工程新文章:https://t.co/ZYvGfVs61k 很难预测RSI的未来在多大程度上依赖能力工程。很可能能力工程将朝着自我改进和自动化研究的方向发展,反过来,更智能的模型会保持能力工程的简单性。 即使许多能力改进最终被内化到核心模型中,指定目标和上下文的需求也不会消失。
感觉他们好像知道这周可能还有别的东西要发布...干得好Claude。现在把周限额重置一下吧。🙏
如今人们如何进行AI辅助的工程面试?
Anthropic团队谈论他们Slack bot的影响方式与我们自己的经验非常相似,所以我本以为产品也会非常相似。但实际上它们相当不同!他们强调的一点是,通常你会实现“当X发生时做Y”的功能,而他们却依赖LLM。LLM有能力做Y,并自行决定何时调用。核心产品保持精简。我认为最终结果很不一样,并且我更喜欢我们的(目前),但这挺有意思。
RT @jukan05: 中国考虑限制海外访问尖端AI模型 中国商务部过去一个月牵头与主要AI公司(包括阿里巴巴、字节跳动和https://t.co/YDe0KRldDB)开会,讨论限制海外访问尖端AI模型的措施,包括尚未发布的模型。 讨论内容不仅包括闭源模型,也包括开放权重模型。不过适用范围仍在讨论中,规则可能最终仅适用于未来的前沿模型。 官员们还讨论了将专有AI技术的泄露或盗窃定为危害国家安全罪并加重处罚,以及限制外资投资中国AI初创企业的类型。 背景是美国加强AI模型出口管制,以及对具备先进网络攻击能力的尖端模型的国家安全担忧。 据报道,中国当局担心美国先进的网络安全AI模型可能被用来利用中国软件的漏洞。 自今年年初以来,中国持续收紧防止AI技术向海外转移的措施。当局调查了海外迁址的中国AI初创企业是否违反出口管制法,同时加强对涉及中国投资者、技术、数据和国家安全的海外交易的监管。 未来监管可能采取基于技术能力的分级框架。基础开源AI模型可能通过备案制管理,高性能模型可能需安全审查,最敏感的前沿模型可能禁止公开发布或限制在中国境内使用。
很多人已经在Hermes中尝试了@garrytan的GBrain,Tonbi做了一个视频指南解释它是什么以及如何使用,来看看吧:
一位在旧金山待了一周的工程主管,会见了许多AI初创公司后说: “回来后,我写了一份关于印象的备忘录。最主要的是,我遇到的这些出色的初创公司大多没有业务。但我们有。 所以,在模仿他们的做法时要非常谨慎。当你的公司每月支出超过收入,还在寻找真正的业务方向时,很容易自信地认为做X或Y是‘正确’的方式。 当你像我们一样拥有业务,并且正在寻找如何使它更大或更高效时,情况就完全不同了。”
我从旧金山一家早期AI初创公司的创始人那里听到一件有趣的事: 招聘对他们来说非常困难,因为能通过他们创始工程师(onsite)职位招聘标准的那类开发者……恰好也是那些被旧金山AI实验室录用或得到YC录取的开发者!所以大多数人选择了那些选项……
每次听到有人因为‘对代理更好’而建议某事时,他们只是在胡编乱造。
Hermes Agent 现在支持可插拔的机密管理器,你可以自带,同时还原生集成了 1Password! 运行 'hermes update' 即可访问!
当然,AI正在影响技术就业市场。招聘经理表示: - 求职信几乎全是AI写的,因此毫无用处 - 入站申请量增长了10倍,部分原因可能是自动化简历投递工具(许多使用AI来自动化更多投递)

创始人是科技界最幸福的人 https://t.co/8vQvv1hFHa

我们正在经历收入的线性爆炸,预计到2045年达到1亿美元ARR。这让我们稳稳成为世界上最慢达到1亿美元ARR的初创公司。
学习如何创建一个秘密源插件: https://t.co/2rHGTUJFrs

RT @RemiCadene: 在 @UMARobots 开发的AI 单一神经网络,端到端 它能精确、稳健地运行数小时,并适应所见环境。