文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.200263
中文引用格式： 肖國麟，楊春玲，陳宇. 基于權值交互思想的卷積神經網絡量化算法[J].電子技術應用，2020，46(10)：39-41.
英文引用格式： Xiao Guolin，Yang Chunling，Chen Yu. Convolutional neural network quantization algorithm based on weight interaction ideas[J]. Application of Electronic Technique，2020，46(10)：39-41.
0 引言
隨著深度學習的飛速發展，卷積神經網絡(CNN)被越來越多地應用于各個領域，如圖像識別[1-2]和目標檢測[3-4]。然而，隨著應用要求的提高，CNN的結構越來越深，導致其對于計算力和內存的需求大大提高。同時由于移動端設備的飛速發展，設備小型化的需求和市場不斷擴大，將CNN應用到小型移動端設備的需求也隨之增加。然而，受限于電源、內存及功耗，移動端平臺無法滿足高性能CNN對于硬件性能、功耗及內存的要求，因此優化CNN模型從而降低其對于計算資源的要求非常必要[5]。
CNN權值量化是目前一種主流的CNN模型優化方法，而三值量化其中一種能夠將權值由32位量化到2位（0，±α）從而達到16倍壓縮比的低位量化方法。自從2016年三值化網絡被LI F等人提出以來[6]，其方法不斷改進，性能不斷提高。其中MELLEMPUDI N等人于2017年提出的細粒度三值化網絡[7]，將激活函數量化到8或4位，將權重量化至2位，將每N個權值分為一個組，分組量化，兩組之間相互獨立，其中N=2，4，8，16，…。該方法主要通過嘗試不同的分組和暴力搜索解空間以及二次訓練的方式得到最優解，但相比原精度的32位卷積網絡仍有較大性能差距。目前的三值量化網絡性能不佳的其中一個問題在于都使用對稱均勻量化操作，只考慮了單個權值的量化，忽視了相鄰權值量化之間的相互關系，量化噪音直接相互累加，導致每一層網絡的噪聲積累過高，使得量化模型的預測準確率有極大的下降。
針對此問題，本文提出一種新的CNN模型三值量化算法，基于權值交互思想，在同一卷積核內，將先前量化產生的積累噪聲作為一個負變量加入到下一個權值的量化操作中，使得對下一個權值朝著能減小積累噪聲的方向進行量化。然后，通過層級貪婪搜索算法逐層搜索局部最優解，得到效果近似最優解的優化解，降低搜索算法復雜度，極大減少搜索所需時間。實驗證明，相比于其他使用對稱均勻量化操作的算法，本文的算法極大地減小了由于量化操作導致的模型預測準確率的損失。
本文詳細內容請下載:http://www.rjjo.cn/resource/share/2000003017
作者信息:
肖國麟，楊春玲，陳 宇
(哈爾濱工業大學 電氣工程及自動化學院，黑龍江 哈爾濱150001)