系统学一下backbone吧
ResNet系列
深度网络讨论：网络深度增加时
1、出现了退化问题（Degradation problem）：网络准确度出现饱和，甚至出现下降。【排除过拟合，因为训练的误差也很高】
2、存在着梯度消失或者爆炸的问题，这使得深度学习模型很难训练。【梯度消失：权值更新的时候，越前面的更新慢，越后面的更新相对正常。那么前面的层相当于只做简单因那个蛇，深层网络学习等价于后面几层的学习了。梯度爆炸：一般出现在深层网络和权值初始化值太大的情况下。在深层神经网络或循环神经网络中，误差的梯度可在更新中累积相乘。如果网络层之间的梯度值大于 1.0，那么重复相乘会导致梯度呈指数级增长，梯度变的非常大，然后导致网络权重的大幅更新，并因此使网络变得不稳定。】