resnet即殘差網(wǎng)絡(luò)，是一種作為許多計算機視覺任務(wù)主干的經(jīng)典神經(jīng)網(wǎng)絡(luò)。

resnet是2015年ImageNet挑戰(zhàn)賽的獲勝者，ResNet最根本的突破在于它使得我們可以訓(xùn)練成功非常深的神經(jīng)網(wǎng)路，如150+層的網(wǎng)絡(luò)。

在resnet之前，由于梯度消失的問題，訓(xùn)練非常深的神經(jīng)網(wǎng)絡(luò)是非常困難的。

但是，提升網(wǎng)絡(luò)的深度并不是簡單的將網(wǎng)絡(luò)層堆疊起來。

resnet很難訓(xùn)練的原因，是因為非常煩人的梯度消失問題——隨著梯度反向傳播回前面的網(wǎng)絡(luò)層，重復(fù)的乘積操作會使得梯度變得非常小。

結(jié)果呢，隨著網(wǎng)絡(luò)越來越深，它的性能就變得飽和了，并開始迅速下降。

resnet是靠前個提出殘差連接的概念。