补丁是你所需要的吗？

ConvMixer 与 MLP 混音器类似。MLP-Mixer 将空间维度和信道维度的混合分开，方法是跨空间维度应用 MLP，然后在通道维度上应用 MLP（空间 MLP 取代 ViT 注意力，通道 MLP 是ViT 的 FFN）。

C@@

onvMixer 使用 1x1 卷积进行通道混合，使用深度卷积进行空间混合。由于它是卷积而不是整个空间的完整MLP，因此与 ViT 或 MLP 混音器相比，它只混合附近的批次。此外，MLP-Mixer 在每次混音时使用两层的 MLP，而 ConvMixer 为每次混音使用单个层。

本文建议移除通道混音中的残余连接（逐点卷积），并且在空间混合（深度卷积）上只有一个剩余连接。他们还使用批量归一化而不是图层规范化。