明略科技与中科院开源自修改视觉骨干 VisionHOPE
视觉骨干把“怎么学”也交给图像内容决定，在 ImageNet 上以更小参数超过 VMamba，代码与权重全部开源。
现有视觉模型会根据当前图像调整计算结果，但决定“怎么学”的规则，比如更新步长和旧信息保留比例，仍由训练阶段固定下来。明略科技与中科院自动化所提出的 VisionHOPE 用一套嵌套记忆模块，在处理同一张图的过程中同步修改这些规则；它的 52.9M 参数版本在 ImageNet-1K 上达到 85.2% 的 Top-1 准确率，代码与预训练权重已按 MIT 协议开源。
正文摘录
.jpg) 人眼在观察陌生事物时，从来不会按一套死板的程序一路走到底。 读一封字迹潦草的手写信时，最难认的往往是开头几个字。看得多了，我们渐渐摸清写信人的笔画和连笔习惯，后面的字也就越认越顺。医生阅片、考古学者辨认拓片，也有类似的经验：前面识别出的线索，会影响后面如何观察和判断。 这看起来是一件很自然的事，但对视觉 AI 而言，要实现并不简单。 一张图片进入模型后，哪些区域需要重点关注、不同位置的特征怎样关联，模型已经能够根据眼前的画面作出调整。在很多现有架构里，决定信息如何被学习、该更新多少、哪些旧信息应当保留的规则，仍主要由训练阶段确定。换一张图片，模型的计算结果会改变，但背后的大量学习规则不会跟着改变。 明略科技与中国科学院自动化研究所 的研究团队，正试图推动这一步。双方联合提出 VisionHOPE——首个以自修改学习系统为核心构建的通用视觉骨干网络。 它让模型在一次前向计算中，一边读取和保存图像信息，一边根据已读到的内容更新自己的学习方式。前面看过的区域，能够参与决定后面的特征怎样建立关联、学习步长该有多大、已有记忆应保留多少。 这项研究并不只停留在机制设计上。在 ImageNet-1K 图像分类基准上，拥有 52.9M 参数的 VisionHOPE-S 取得 85.2% 的 Top-1 准确率，参数量不到 VMamba-B（89M）的六成，准确率高出 1.3 个百分点；VisionHOPE-B 的准确率达到 85.6%。同时，其自修改机制的核心计算量随 Token 数量线性增长。