LeNet由Yann Lecun 提出，是一種經典的卷積神經網路，是現代卷積神經網路的起源之一。Yann將該網路用於郵局的郵政的郵政編碼識別，有著良好的學習和識別能力。LeNet又稱LeNet-5,具有一個輸入層，兩個卷積層，兩個池化層，3個全連線層（其中最後一個全連線層為輸出層）。
基本介紹
- 中文名：LeNet-5
- 外文名：LeNet-5
- 所屬學科：計算機視覺
定義,原理,其他,
定義
LeNet-5是一種經典的卷積神經網路結構，於1998年投入實際使用中。該網路最早套用於手寫體字元識別套用中。普遍認為，卷積神經網路的出現開始於LeCun 等提出的LeNet 網路（LeCun et al., 1998），可以說LeCun 等是CNN 的締造者，而LeNet-5 則是LeCun 等創造的CNN 經典之作。
原理
LeNet5 一共由7 層組成，分別是C1、C3、C5 卷積層，S2、S4 降採樣層（降採樣層又稱池化層），F6 為一個全連線層，輸出是一個高斯連線層，該層使用softmax 函式對輸出圖像進行分類。為了對應模型輸入結構，將MNIST 中的28* 28 的圖像擴展為32* 32 像素大小。下面對每一層進行詳細介紹。C1 卷積層由6 個大小為5* 5 的不同類型的卷積核組成，卷積核的步長為1，沒有零填充，卷積後得到6 個28* 28 像素大小的特徵圖；S2 為最大池化層，池化區域大小為2* 2，步長為2，經過S2 池化後得到6 個14* 14 像素大小的特徵圖；C3 卷積層由16 個大小為5* 5 的不同卷積核組成，卷積核的步長為1，沒有零填充，卷積後得到16 個10* 10 像素大小的特徵圖；S4 最大池化層，池化區域大小為2* 2，步長為2，經過S2 池化後得到16 個5* 5 像素大小的特徵圖；C5 卷積層由120 個大小為5* 5 的不同卷積核組成，卷積核的步長為1，沒有零填充，卷積後得到120 個1* 1 像素大小的特徵圖；將120 個1* 1 像素大小的特徵圖拼接起來作為F6 的輸入，F6 為一個由84 個神經元組成的全連線隱藏層，激活函式使用sigmoid 函式；最後一層輸出層是一個由10 個神經元組成的softmax 高斯連線層，可以用來做分類任務。
其他
雖然深度學習概念提出於2006 年，但直到2012 年它才真正火熱起來。在此期間出現了一個非常重要的事件——ImageNet 競賽，它極大地推動了卷積神經網路乃至深度學習的發展。隨著ImageNet 競賽的持續升溫，研究將卷積神經網路套用於圖像識別任務的工作變得非常流行，在早期卷積神經網路LeNet-5 的基礎上發展出許多新的變形。
鑒於很多初學者不理解利用卷積神經網路進分類的類別數目的區別，特在此明確其定義：對於不同分類任務（具體為數據類別），設定最後輸出層的輸出通道（可以使用全連線層或卷積層等）與類別相對應。如將LeNet-5的最後一層輸出通道設定為1000，其同樣可以完成ImaegNet數據集的分類任務，將最新的深度網路輸出類別設定為2，其也可以完成對應的分類任務。對於不同的任務，網路最後一層需要使用不同的結構使得模型的表現達到最佳。
