跳转至

ResNet面试简介

前言

作为计算机视觉的基础,ResNet几乎在每处都有应用–无论是分类还是检测,VC还是HOI。

因此,ResNet是我的必问题。令人遗憾的是,至今没有一个人能够回答出所有点。事实上,我有时被面试时也被问到这个问题。但令人更加遗憾的是,有些面试官也不甚了解……

“请简要介绍ResNet。”

这道问题看似简单–带有一个跳跃连接的神经网络。但他其实是对神经网络的一个综合的问题。具体来说,这包含三个方面:神经网络退化,梯度消失/爆炸,非线性、初始化与归一化。

ResNet

ResNet通过将多个神经网络的层聚合成一个块,然后在这个块的一侧加入一个恒等映射,使得这个块从原本的F(x)变成F(x) + x,从而解决了神经网络的退化问题。

如果候选人能够给出类似这样的标准回答,那之后话题就会很自然而然地转移到网络退化与恒等映射去,另外两点只能找机会再问。然而,绝大多数人的回答都是:

梯度消失/爆炸#

梯度消失/爆炸

ResNet通过引入跳跃连接,使得梯度能够更好的回传,从而缓解了梯度消失与梯度爆炸问题。

虽然这是一个不太正确的答案(ResNet论文中明确说明优化困难并不是由于梯度消失而导致的),但其实也正是我希望得到的回答。

梯度消失

什么是梯度消失?传统的激活函数在两端会进入梯度饱和区,从而导致梯度消失。但现代激活函数比如ReLU,他在输入为正时恒为1,那么应当就没有梯度消失问题才对啊?

从这个问题开始就在挖坑了。ReLU在输入为负时恒为0,因此对梯度消失的效果有限。

梯度消失/爆炸

梯度消失/爆炸问题主要是通过BN和初始化来解决的。

归一化#

BatchNorm

什么是BatchNorm?BatchNorm如何计算并起到了什么样的效果?

ICS

BatchNorm通过将输入变换成一个均值为0,方差为1的分布,从而缓解了Internal Covariant Shift。

这个答案其实还是一个可接受的答案–Inception V2里正是这么解释的。然而后来的研究发现给BN的输出人为加一个随机的偏移,使其仍然存在ICS,BN的效果一样的好。

利普希茨

BatchNorm通过使损失的landscape更加平滑从而降低了优化的难度。

这是目前对BatchNorm的解释之一,当然此外还有写文章分析了BatchNorm可以缓解Mean Shift,答出这些说明候选人的阅读范围十分广泛,算是一个加分项。

归一化

你还了解其他的归一化方法吗?

这个属于一个开放式的扩展问题,在候选人展现出对BN的深刻理解之后一定会有。如上一道问题一样,我也不期望候选人能给出令人欣赏的回答。

归一化

常用归一化包括BatchNorm、LayerNorm、InstanceNorm以及后两者的杂交GroupNorm。如果把数据看作一个[N, C, HW]的正方体的话,BN对NHW做归一化、LN对CHW做归一化,IN对HW做归一化,GN将C分成k组然后对kHW做归一化。

BatchNorm在大批尺寸下表现一般,Sync BN可以一定程度上缓解这个问题,但由此引入的额外的通讯时间是令人非常难受的。由此,Google在BiT一文中使用GroupNorm并对卷积层应用Weight Standardization来取代BatchNorm。

初始化#

初始化

初始化是如何缓解梯度消失/梯度爆炸问题的呢?为什么有XavierKaiming这样的初始化呢?

初始化

我们通常希望网络的输出是一个均值为0方差为1的标准正态分布–与输入保持一致。

对于一个只有卷积或者全连接层构成的线性的神经网络来说,常规做法是使用1 / n_{in}n_{in}为输入连接数)来归一化权重使得其输出满足正态分布。然而,这个做法在引入了非线性变换的神经网络中效果有限,Xavier认为反向传播也很重要,因此将上式变为2 / n_{in} + n_{out}n_{out}为输出连接数)。Xavier对于传统非线性激活函数效果还凑合,但对ReLU这样的激活函数就跪了。因此有了Kaiming初始化。

网络退化#

对于一个深度为5层的网络,我们在其后添上45层的恒等连接构建成一个50层神经网络,这个神经网络应该和5层网络效果完全一致。也就是说,一个深度神经网络至少会跟浅度网络一样好。但是,实际训练中我们经常发现5层的网络比50层的效果要好。也就是说网络发生了退化。

现有理论认为随着网络深度的增加,隐藏层的有效维度逐渐降低、积矩阵的奇异值越来越集中0,这使得优化非常困难。

ResNet通过跳跃连接引入了一个恒等映射,来打破网络退化。原始论文认为,前向传播时,输入X通过残差连接可以直接被从浅层传播到深层;反向传播时,损失也可以直接从深层传播到浅层(从这个角度来说,ResNet确实会一定程度上缓解梯度消失问题:即使其中某一层的梯度很小也总会有损失通过残差连接传播上去)。之后则有研究对于残差块做了深入分析,他们认为残差网络展开后的路径具有一定的独立性和冗余性,因此贡献梯度的主要是相对较短的路径。

后记

作为深度学习中最常见的架构,针对ResNet展开的研究几乎没有停过。本文所依赖的某些文章也许某天也会被证否。作为一个从业人员,坚持阅读论文跟进最新进展是十分重要的。想要拿到一个好的面试评价,这些也是必须的。


最后更新: 2021-03-12 09:48:27

评论