北大提出HOI-Edit基准与SCPE自纠错框架，推动图像编辑进入交互理解时代
北大提出HOI-Edit基准和SCPE自纠错框架，让图像编辑模型学会理解并正确执行复杂人物交互指令。
传统图像编辑只能改颜色、换物体，但面对“拿起苹果”“清理扶手箱”这类人物交互指令，模型需要真正理解动作。北大团队建立了HOI-Edit基准，从基础交互、空间理解到因果推理三层评测，并提出SCPE框架，利用视频生成过程暴露错误原因，再通过分析反思自动优化，让编辑结果更准确合理。
正文摘录
.jpg)  本文的第一作者为北京大学王选计算机研究所博士生高嘉怿，通讯作者为博士生导师刘洋。团队近年来在 TPAMI、CVPR、ICCV、ICML 等顶会上有多项代表性成果发表，多次荣获多模态感知和生成竞赛冠军，和国内外知名高校、科研机构广泛开展合作。 本文主要介绍该团队的最新论文：Taming I2V models for Image HOI Editing: A Cognitive Benchmark and Agentic Self-Correcting Framework。 本文面向复杂人 - 物交互（Human-Object Interaction, HOI）图像编辑任务，提出首个层级化认知评测基准 HOI-Edit，系统刻画模型在 基础交互编辑、上下文空间理解、因果与物理推理 三类能力上的表现。 针对现有全局指标难以判断 “具体人与具体物体是否真正发生正确交互” 的问题，本文进一步提出 基于成对区域 grounding 的自动评测协议 HOI-Eval ，通过目标区域关联、身份一致性验证和交互 / 合理性问答，更可靠地评估编辑结果。