MetaCanvas将MLLM推理转化为扩散模型的时空条件

多模态LLM（MLLM）在推理、布局理解和规划方面表现出色，然而在基于扩散的生成中，它们往往被降级为简单的多模态编码器。

如果MLLM能直接在潜在空间中推理，并以细粒度、时空控制的方式引导扩散生成呢？🤔

介绍MetaCanvas 🎨
一个轻量级框架，将MLLM推理转化为结构化的时空条件，用于扩散模型。

🧵 👇