resnet即殘差網(wǎng)絡(luò)，是一種作為許多計(jì)算機(jī)視覺(jué)任務(wù)主干的經(jīng)典神經(jīng)網(wǎng)絡(luò)。

resnet是2015年ImageNet挑戰(zhàn)賽的獲勝者，ResNet最根本的突破在于它使得我們可以訓(xùn)練成功非常深的神經(jīng)網(wǎng)路，如150+層的網(wǎng)絡(luò)。

在resnet之前，由于梯度消失的問(wèn)題，訓(xùn)練非常深的神經(jīng)網(wǎng)絡(luò)是非常困難的。

但是，提升網(wǎng)絡(luò)的深度并不是簡(jiǎn)單的將網(wǎng)絡(luò)層堆疊起來(lái)。

resnet很難訓(xùn)練的原因，是因?yàn)榉浅┤说奶荻认?wèn)題——隨著梯度反向傳播回前面的網(wǎng)絡(luò)層，重復(fù)的乘積操作會(huì)使得梯度變得非常小。

結(jié)果呢，隨著網(wǎng)絡(luò)越來(lái)越深，它的性能就變得飽和了，并開(kāi)始迅速下降。

resnet是靠前個(gè)提出殘差連接的概念。