探讨ResNet缩放潜力及与ViT-L对比

它质疑某种ResNet是否能够缩放。考虑到那些微小的ResNet在Inet10规模实验中的表现，除了数据规模小之外，实验设置中是否有任何有利于ResNet的因素？绝对不需要154x4这种荒谬的规模，一个280-350M参数范围的ResNet类模型与ViT-L进行比较会让我感兴趣。在Inet10上架构覆盖面很广，但只有ConvNext-v2和ViT-L在300-600M范围内。