行业新闻

苹果 LensVLM:长上下文压成图片,模型按需放大细读

把长上下文压成图片、再按需放大原文,LensVLM 用 4.3 倍有效压缩把长文问答准确率做到接近全文输入。

苹果与杜克大学提出 LensVLM:把长文本渲染成高压缩页面图像,模型先浏览覆盖全文的压缩页,再挑出相关页面、调用展开工具读回原文,相当于给模型配一个放大镜。七项问答评测中,5 倍压缩下平均准确率 68.9%,接近全文输入的 72.4%。

正文摘录

![](https://image.jiqizhixin.com/uploads/article/coverimage/ffb03fc5-3660-43d5-9c39-71fc092807a6/03(2).jpg) ![图片](https://mmbiz.qpic.cn/szmmbizpng/5L8bhP5dIqElqZ0GcgINP4V78xIEARSSDI7pRpUQpZAhGK6rr8zoMJM3icYLohdHNhq93gll1YkHwsYaOO3tolCuL5QN5gAtJc46PnNgECQI/640?wxfmt=png&from=appmsgimgIndex=0) Agent 执行长程任务时,代码、工具输出和交互记录不断累积,上下文也跟着变长。 生成摘要、压缩上下文,可以减少输入,却也可能删掉后续任务需要的细节。一段当时看起来无关紧要的记录,到了下一步,或许就是关键线索。如果模型只能看到压缩结果,就很难再把它找回来。 DeepSeek-OCR 展示了另一条路线:让图像承载文字,用较少的视觉 token 表示文本信息。压缩页面能够覆盖全文,但清晰度成了新的瓶颈。字符越小,模型越难辨认;压得太狠,答案就在页面上,模型却已经看不清了。 许多压缩方案对模型而言是一条单行道:压缩之后,它就无法按需回头查阅原文。那如果给模型一个 “放大镜” 呢? 苹果基础大模型团队与杜克大学提出 LensVLM,让模型先浏览覆盖全文的压缩页面,再展开与问题有关的页面。在七项文本问答评测中,它以 4.3 倍有效压缩达到 68.9% 的平均准确率,接近完整文本参照的 72.4%。 这项工作近期被 NeurIPS 2026 接收,在 X 上也获得了较高关注,并引发了不少关于 “将文本转化为图像进行长上下文理解” 的讨论。

阅读原文(jiqizhixin.com)→

行业新闻机器之心2026-10-14原文

相关内容