網路裁剪

神經網路的壓縮大體上可以分為近似，量化和裁剪三類方法。網路裁剪是一種神經網路壓縮方法，主要特點是會直接改變網路的結構。網路裁剪可以按粒度分為層級裁剪，神經元級裁剪和神經連線級裁剪。層級裁剪的裁減對象是網路層，裁剪的結果是獲得更淺的網路。

基本介紹

• 中文名：網路裁剪
• 外文名：Network cutting
• 領域：深度學習
• 特點：直接改變網路的結構
• 類別：層級，神經元級和神經連線級裁剪
• 目的：降低計算代價

定義

神經網路想要達到良好的模式識別效果，必須具有較深的深度，但對具體問題而言，深度太深也會帶來過擬合風險增高，訓練難度加大等問題，且過深的網路對提高具體場景下模式識別的性能幫助有限，因此有時會對網路進行層級的裁剪。網路裁剪是指通過改變網路的結構，將網路中的冗餘部分剔除。神經網路的冗餘性是網路壓縮的基礎，只有存在冗餘的神經網路才具有可壓縮的空間。對神經元級的網路裁剪而言，我們所關心的是網路中神經元的功能是否重複。

裁剪粒度

依據裁剪對象的不同，網路裁剪可以分為層級裁剪，神經元級裁剪，神經連線級裁剪等多個粒度。

神經元級的裁剪對象是一層中的神經元或濾波器，裁剪的結果是獲得更“瘦”的神經網路，瘦長的神經網路不但能夠減少網路存儲開銷，還能提高網路運算速度。經過層級或神經元級裁剪的神經網路，仍然保持了原本神經網路的正規性，即網路的存儲和運算規則仍然保持不變，只是規模變小。神經連線級的裁剪對象是一條具體的網路連線，或一個具體的參數，裁剪的結果通常是獲得更為稀疏的網路。神經連線級的裁剪往往更加精細可控，對網路性能的影響最小。但神經連線級的裁剪會導致網路失去正規性，經過裁剪的網路權值張量變的稀疏，因此在存儲和運算時需要採用稀疏張量的存儲和運算規則，不利於並行。

層級裁剪的裁剪對象是整個網路層，主要適合於網路層數較多的模型，裁剪的結果是神經網路變得更“淺”，去除了深度殘差網路的若干模組，實際上就是一種層級裁剪。神經元級裁剪的裁剪對象是單個神經元或濾波器，裁剪的結果是神經網路變得更“瘦”。神經連線級裁剪的目標是單個神經網路連線權，裁剪的結果是使得神經網路更“稀疏”。

層級裁剪由於粒度較粗糙，對層內特徵表達影響很大，研究相對較少。神經連線級裁剪是研究較多的網路壓縮方法之一，相對而言具有更精細的裁剪粒度。但它具有的副作用是，稀疏的神經連線的保存需要使用稀疏張量的存儲和運算方法。稀疏張量的存儲需要保存數據點位置的額外存儲開銷，其實際節約的存儲空間小於裁減掉的參數數目。稀疏張量的計算需要用特殊的計算方法，不利於並行計算。我們稱神經連線級的裁剪破壞了網路的“正規性”。

必要性

深度神經網路儘管在計算機視覺、語音識別、機器人技術等多個領域都取得了良好成果，但正如我們在前文中所說，深度學習的實際套用往往受限於其存儲和運算規模。例如，VGG-16網路含有約1.4億浮點數參數，假設每個參數存儲為32位浮點數格式，則整個網路需要占用超過500兆存儲空間。在運算時，單張測試圖片共需要大約3.13×次浮點數運算。這樣的計算量在只能通過高性能並行設備進行，且仍不具備很好的實時性。高性能並行計算設備具有體積大、能耗大、價格高的特點，在許多場合都不能使用。因此，如何在資源受限場合，如手機、平板電腦、各種嵌入式和攜帶型設備上運行神經網路，是深度學習走向日常生活的關鍵一步，也是當前學界和工業界研究的熱點問題之一。神經網路的壓縮不但具有必要性，也具有可能性。首先，儘管神經網路通常是深度越深，效果越好，但針對具體的套用場景和需求，適當深度和參數數目的網路即能夠滿足。盲目加深網路複雜度所帶來的微弱性能提升在許多套用場合意義並不大。其次，神經網路常常存在過參數化的問題，網路神經元的功能具有較大的重複性，即使在網路性能敏感的場景，大部分網路也可以被“安全地”壓縮而不影響其性能。

網路裁剪的一般過程

網路裁剪通常遵循“篩選-裁剪-微調”三步。“篩選”指的是根據一定的準則，選擇出待裁剪的目標，通常被篩選出的裁減目標是對網路性能影響較小的對象，或者是冗餘的對象。篩選出待裁剪對象後，進行第二步裁剪。我們通過把與神經元相連的所有參數置為0，或者將濾波器的所有參數置為0來進行裁剪。此時，在物理上神經元仍然存在於網路之中，但在信號處理的流程里，參數被置0的神經元已經不能對網路的運算做出任何貢獻，在信號處理流程中被裁剪出了網路。一般而言，進行網路裁減後，網路的性能會退化。性能退化的主要原因是網路裁剪導致網路參數脫出了之前的局部最優點，因此需要進行微調。如果網路的裁剪是通過參數置0的方法完成的，那么在微調的時候需要注意阻止這些參數更新。如果網路的裁剪是物理上將目標脫出網路，則可以直接進行微調。將網路提升到原有性能所需要的微調次數是衡量網路裁剪效果的重要指標之一。