你只需要补丁吗？
这是 PyTorch 对论文《补丁就是你所需要的？》的实现
。convMixer 类似于 MLP 混音器。MLP-Mixer 通过在空间维度上应用 MLP，然后在信道维度上应用 MLP 来分离空间维度和信道维度的混音（空间 MLP 取代 vIT 注意力，信道 MLP 是 ViT 的 FFN）。
ConvMixer 使用 1x1 卷积进行通道混合，使用深度卷积进行空间混合。由于它是卷积而不是整个空间的完整的 MLP，因此与 vIT 或 MLP-Mixer 相比，它只混合附近的批次。此外，MLP-Mixer 每次混合使用两层 MLP，ConvMixer 每次混合使用单层。
该论文建议删除信道混合（逐点卷积）上的剩余连接，在空间混合（深度卷积）上仅使用残差连接。他们还使用批量标准化而不是图层标准化。