resnet即殘差網(wǎng)絡，是一種作為許多計算機視覺任務主干的經(jīng)典神經(jīng)網(wǎng)絡。

resnet是2015年ImageNet挑戰(zhàn)賽的獲勝者，ResNet最根本的突破在于它使得我們可以訓練成功非常深的神經(jīng)網(wǎng)路，如150+層的網(wǎng)絡。

在resnet之前，由于梯度消失的問題，訓練非常深的神經(jīng)網(wǎng)絡是非常困難的。

但是，提升網(wǎng)絡的深度并不是簡單的將網(wǎng)絡層堆疊起來。

resnet很難訓練的原因，是因為非常煩人的梯度消失問題——隨著梯度反向傳播回前面的網(wǎng)絡層，重復的乘積操作會使得梯度變得非常小。

結果呢，隨著網(wǎng)絡越來越深，它的性能就變得飽和了，并開始迅速下降。

resnet是靠前個提出殘差連接的概念。