跳转至

Early Convolutions Help Transformers See Better

动机

ViT 1模型的可优化性与传统CNN相比较差：他对优化器（AdamW v.s. SGD）、模型大小、数据集、训练超参和训练计划很敏感。

ViT在BERT主干网络之前使用一个\(p\)-strided \(p \times p\)卷积（patchify stem）来将2D图像切成1D图像块（默认p=16）。这种大步长大卷积核的设计与现行的CNN设计原则不同。

本文揭示了ViT的训练不稳定性与这种patchify stem相关。 通过将这一个卷积层替换成一组\(2\)-strided \(3 \times 3\)卷积层（convolutional stem），ViT的训练稳定性取得了显著的提升，并且最高性能也取得了一定提升（~ 1 - 2% ImageNet-1k top-1准确率）。 这种提升对不同规模的模型（1G - 36G Flops）和不同规模的数据集（ImageNet-1k - ImageNet-21k）均适用。

原创

本文的核心贡献在于对ViT进行分析。 此前工作 , , , 2345使用了与本工作类似的convolutional stem，但是他们着重于将局部性先验引入ViT，而没有对可优化性进行分析。 ViT也尝试了使用ResNet的前3个阶段和BERT的混合模型，但这样的convolutional stem有40个卷积层，本文尝试了一个更轻量化的模型。

本文指出，在stem中引入仅~5个卷积层即可显著提升ViT的可优化性。

方法

convolutional stem采用了类似于VGG 6的结构，一组\(3 \times 3\)卷积后跟一个\(1 \times 1\)卷积。\(3 \times 3\)卷积总共有两种：

  1. 步长为2，通道数加倍
  2. 步长为1，通道数不变

对于不同大小的ViT（按照GFlops）计算，本文使用的convolutional stem的输出通道分别是：

  • 1GF: [24, 48, 96, 192]
  • 4GF: [48, 96, 192, 384]
  • 18GF/36GF: [64, 128, 128, 256, 256, 512]

实验

TODO

  1. A. Dosovitskiy et al., “An image is worth 16x16 words: Transformers for image recognition at scale,” in International conference on learning representations, 2021. Available: https://openreview.net/forum?id=YicbFdNTTy ↩

  2. Z. Chen, L. Xie, J. Niu, X. Liu, L. Wei, and Q. Tian, “Visformer: The vision-friendly transformer,” in Proceedings of the IEEE/CVF international conference on computer vision (ICCV), 2021, pp. 589–598. ↩

  3. K. Yuan, S. Guo, Z. Liu, A. Zhou, F. Yu, and W. Wu, “Incorporating convolution designs into visual transformers,” in Proceedings of the IEEE/CVF international conference on computer vision (ICCV), 2021, pp. 579–588. ↩

  4. B. Graham et al., “LeViT: A vision transformer in ConvNet’s clothing for faster inference,” in Proceedings of the IEEE/CVF international conference on computer vision (ICCV), 2021, pp. 12259–12269. ↩

  5. H. Wu et al., “CvT: Introducing convolutions to vision transformers,” in Proceedings of the IEEE/CVF international conference on computer vision (ICCV), 2021, pp. 22–31. ↩

  6. K. Simonyan and A. Zisserman, “Very deep convolutional networks for large-scale image recognition,” in International conference on learning representations, 2015. ↩

early_convolutions.pdf