嚴 晶 任明武

（南京理工大學計算機科學與工程學院 南京 210000）

1 引言

目前，隨著人們生活和科學技術(shù)的不斷發(fā)展，智能手機已經(jīng)普惠大眾。當下的智能手機更是搭載了高分辨率相機，利用智能手機的高分辨率相機拍攝人民幣特征區(qū)域甚至可以看到人眼都無法看清的人民幣紋理細節(jié)。且隨著支付寶、微信等第三方支付工具的興起，人們可能不具備人民幣鑒偽的能力，則有可能受到欺騙。

在過去的幾年中，深度神經(jīng)網(wǎng)絡已經(jīng)取得了顯著的發(fā)展，同時這些網(wǎng)絡的計算復雜度和資源消耗也不斷增加。例如，廣泛使用的VGG16［8］網(wǎng)絡模型在對單張224*224 大小的圖像進行分類的時候，需要500M 以上的存儲空間以及15B FLOPs。在實時應用程序或者資源受限的設備中，這些網(wǎng)絡的部署產(chǎn)生了巨大的挑戰(zhàn)。傳統(tǒng)的解決方法是把模型的前向推理放在服務器上，然后通過網(wǎng)絡將預測結(jié)果傳回終端并上顯。這種解決方式比較依賴網(wǎng)絡，當終端處于無網(wǎng)或者網(wǎng)絡延時等的情況下，將無法保證應用程序的實時性。近年來，在無人駕駛、智能手機等嵌入式和移動設備取得了迅速發(fā)展，在這些設備上部署CNN 模型的需求變得越來越強烈，這也推動了對計算效率高，模型體積小的CNN 的研究。人們主要從三個方面進行了研究探索［24］：1）在原有的模型基礎(chǔ)上進行網(wǎng)絡剪枝與壓縮，比如進行網(wǎng)絡剪枝［7，17］、量化［13］、低秩分解等，但非結(jié)構(gòu)化的稀疏模型需要專門的軟/硬件支持［17］；2）緊湊網(wǎng)絡設計，比如MobileNet［12］，shuffleNet［2，9］，Xception［6］等；3）使用AutoML技術(shù)，傳統(tǒng)網(wǎng)絡剪枝需要人們手工設計模型度量標準，這往往需要經(jīng)驗與多次嘗試，AutoML 技術(shù)克服這種弊端，讓機器自主學習新的網(wǎng)絡架構(gòu)，比如RasNet［11］。

本文提出的手機人民幣鑒偽技術(shù)需要將網(wǎng)絡模型部署到手機上，在手機本地實現(xiàn)真?zhèn)舞b別。在不大幅度降低（甚至提高）預測準確率的前提下，構(gòu)建基于移動終端的卷積神經(jīng)網(wǎng)絡并將之用于人民幣真?zhèn)窝芯渴潜疚牡暮诵难芯咳蝿?。為此本文?gòu)建了輕量化的Light_DPN 網(wǎng)絡，以DPN92 為主體網(wǎng)絡架構(gòu)，運用緊湊網(wǎng)絡設計、網(wǎng)絡剪枝等技術(shù)設計出了新模型。本文設計了詳細的人民幣采集方案，并與某銀行合作采集制作紙幣數(shù)據(jù)集，并對本文提出的Light_DPN網(wǎng)絡算法進行多組驗證分析實驗。

2 Light_DPN網(wǎng)絡

ResNet［4］能夠進行特征復用，但是不能很好地提取新的特征。相反，DenseNet［15］可以提取新的特征，但是擁有很高的特征冗余度，DPN 即將這兩者結(jié)合起來。原始DPN92 網(wǎng)絡參數(shù)量34.22M，模型大小137.78M，浮點數(shù)運算量6.42GFLOPs。本文采集人民幣的左上角國徽區(qū)域和中間花卉區(qū)域的圖像樣本，分別進行訓練，將訓練好的模型部署到移動端，按照原始的DPN 網(wǎng)絡模型的大小，APP 將會太大，增加手機運行負荷，給用戶下載造成負擔。

本文改進原始的DPN 網(wǎng)絡，通過引入Learned Group Convolution［16］（以下簡稱L-Conv）和Squeeze and Excitation［10］（以下簡稱SE）結(jié)構(gòu)，在保證模型預測準確率的情況下有效地壓縮了模型大小，減少了模型FLOPs 的大小。引入L-Conv，在訓練的早期階段就開始進行權(quán)重剪枝，自主學習稀疏網(wǎng)絡。在測試階段，通過引入index 層將輸入特征進行重新排序，就可以使用普通的組卷積替代L-Conv。目前，組卷積在很多的深度學習庫中都已經(jīng)實現(xiàn)，這無疑降低了將Light_DPN 網(wǎng)絡部署到實際應用中的難度和成本。另外，本文通過在DPN 網(wǎng)絡中ResNet分支直連部分引入擠壓和激勵結(jié)構(gòu)，使得它在學習過程中可以自主獲得每個特征通道的重要性，通過強化重要的特征來提高模型的準確率。

2.1 主體網(wǎng)絡架構(gòu)DPN

2.2 引入Learned Group Convolution

1*1 卷積雖然可以對特征通道進行降維，減少后續(xù)層參數(shù)量和復雜度，但是其本身卻擁有著較高的計算復雜度。組卷積的概念最早在AlexNet［1］中就引入了，在ResNeXt［5］中很好的證明其能有效地降低參數(shù)量和計算復雜度。但是如果將它直接應用于DPN 網(wǎng)絡中1*1 的卷積層將會導致正確率的猛烈下降。這主要是因為在DPN 網(wǎng)絡中1*1 的卷積的輸入是前面層的輸出concat組成的，它們本來就擁有內(nèi)在的順序。將這些輸入特征硬性分配給不相交的組會阻礙網(wǎng)絡中的特征重用，從而導致模型準確率的下降。本文引入了L-Conv 結(jié)構(gòu)，將訓練分為兩個階段，第一個階段是壓縮剪枝階段，將那些擁有低權(quán)重的不重要的連接裁減掉。訓練的第二階段是優(yōu)化階段，通道分組已經(jīng)確定，迭代若干次進行訓練優(yōu)化，彌補之前剪枝操作帶來的正確率的下降。在預測階段，通過引入index 層將輸入特征重新排序，稀疏層可以直接利用標準的組卷積來實現(xiàn)，無需特殊硬件的支持，有利于模型在移動端的部署。

2.2.1 分組及壓縮規(guī)則

圖1 分組示意圖

圖2 壓縮規(guī)則示意圖

2.2.2 壓縮階段

圖3 訓練、剪枝、預測示意圖

2.3 引入Squeeze and Excitation 結(jié)構(gòu)

根據(jù)2.1 節(jié)的分析可知，DPN 簡單來說是ResNet 和DenseNet 的組合。本文在原始的DPN 模塊中ResNet 分支的特征通道上引入SE 結(jié)構(gòu)，其通過顯示地建模通道之間的相互依賴關(guān)系，自主衡量各個特征通道的重要程度。稍微增加計算量，但卻獲得了較高的模型性能。SE結(jié)構(gòu)如圖4所示，其中U 表示某一層的輸出特征圖，U∈RH*W*C，其中C 是通道數(shù)。

圖4 擠壓激勵示意圖

特征圖U 首先執(zhí)行squeeze 操作，該操作通過聚合空間維度的特征信息，將特征圖在channel 維度進行特征壓縮來產(chǎn)生每個通道的描述符。本文選擇簡單的全局平均池化來聚合空間維度信息，式（4）如下：

SE 結(jié)構(gòu)使模型體積和參數(shù)大小略微增加，但卻帶來顯著的性能改善。并且SE 結(jié)構(gòu)不需要設計新的網(wǎng)絡層，通過全局平均池化，卷積和非線性激活函數(shù)即可獲得特征通道的權(quán)重。簡單的操作無需特殊的硬件或者軟件平臺支持，有利于模型在移動端的部署。

2.4 Light_DPN網(wǎng)絡設計

本文提出的Light_DPN 的block 如圖5 所示，每個卷積部分都采用了Conv-BN-ReLU 結(jié)構(gòu)。分別在第一個和第三個1*1 Conv 部分運用了L-Conv，在ResNet 分支部分加入SE 模塊。Light_DPN 輕量級神經(jīng)網(wǎng)絡是以DPN92(32×3d）為主體網(wǎng)絡架構(gòu)的，詳細的結(jié)構(gòu)描述如表3 所示，其中每個block 均采用本文提出的block結(jié)構(gòu)（圖5所示）。其中（+K）表示密集連接路徑上的寬度增量。SE 表示在殘差分支使用擠壓激勵結(jié)構(gòu)。

表3 Light_DPN網(wǎng)絡結(jié)構(gòu)示意圖

圖5 Light_DPN網(wǎng)絡block結(jié)構(gòu)示意圖

3 實驗

3.1 實驗環(huán)境

實驗硬件配置為英特爾至強銀牌4116 處理器，Titan-V顯卡的服務器，同時使用vivo S1作為移動端，基于android 6.0 開發(fā)，配置為6G 運行內(nèi)存，雙核1200萬像素的主攝像頭。

3.2 實驗數(shù)據(jù)集

本文制定了詳細的人民幣采集方案，并與某銀行合作，請求銀行提供各式各樣的人民幣樣本庫。采集設備包含低、中、高端手機各一部，采集數(shù)據(jù)時模擬真實應用場景，利用這三部手機在4 種場景下（室內(nèi)自然光、室內(nèi)日光燈，室外陽光、夜），采用4種拍攝姿勢（放置平拍，手拿仰視拍，手拿平視拍，手拿俯視），兩種拍攝距離（6cm、8cm），3 種聚焦方式（對焦、輕度模糊、重度模糊），對4 種紙幣質(zhì)量（正常，有污跡、破損、褶皺）進行拍攝。本文中采集紙幣國徽和花卉區(qū)域，這兩個區(qū)域采用雕刻凹版印刷技術(shù)，此技術(shù)工藝復雜，制作成本昂貴，而假幣采用的是普通膠印技術(shù)。由于制作工藝不同，相比于假幣，真幣在這兩個區(qū)域紋理更加清晰，有明顯的凹凸感和三維效果。在高分辨率鏡頭下，這種區(qū)別將會更加明顯。國徽和花卉區(qū)域分別建立鑒偽數(shù)據(jù)庫，以國徽數(shù)據(jù)庫為例，訓練集包含1800 張（900張真，900 張假），驗證集600 張（300 張真，300 張假），測試集600張（300張真，300張假）。

3.3 訓練參數(shù)

在訓練集上，將原始圖像隨機裁剪成不同大小和不同寬高比的圖像，然后將這些圖像縮放成224*224 大小的圖像。在驗證集上，先將圖像縮放成256*256，然后采用中心裁剪的方式裁剪出224*224 大小的圖像進行前向推理。訓練一個模型使用300 個周期，weight decay=1e-4 ，學習率設置采用cosine 函數(shù)，初始值為0.1，并隨著訓練epoch的增加逐漸降為0。

3.4 實驗結(jié)果與分析

原始DPN 網(wǎng)絡模型大小為137.7817M，參數(shù)量34.22M，F(xiàn)LOPs 的大小6387.48M，在國徽和花卉特征數(shù)據(jù)集上的預測準確率分別為99.87%和99.89%。運用本文2.4 小節(jié)提出的Light_DPN 網(wǎng)絡模型，進行了兩組對比實驗。第一組對比實驗是，Learned Group Convolution中壓縮系數(shù)不變，對比在引入和不引入擠壓激勵結(jié)構(gòu)（SE）的兩種情況下，對模型parameter、Flops，以及國徽和花卉區(qū)域前向推理預測的正確率的比較。實驗結(jié)果如表4 所示。 第二組對比實驗是，在引入擠壓激勵結(jié)構(gòu)的情況下，對比不同的Condensation factor（壓縮系數(shù)）對國徽和花卉區(qū)域預測的正確率、模型參數(shù)、Flops的影響。Condensation factor 值越大表示裁剪得越多。在本實驗中，設置Condensation factor 即為groups 的數(shù)量，即分組的數(shù)量。實驗結(jié)果如表4 所示。圖6和圖7分別表示國徽特征區(qū)域和花卉特征區(qū)域在4 種情況下的訓練損失圖像。其中標簽為“C=4”和“C=8”表示在不引入SE 結(jié)構(gòu)，壓縮系數(shù)為4 和8 的兩種情形。“SE C=4”和“SE C=8”表示在引入SE結(jié)構(gòu)壓縮系數(shù)為4和8的情形。

表4 實驗結(jié)果對比表

圖6 國徽區(qū)域訓練損失

圖7 花卉區(qū)域訓練損失

采用pytorch 將模型部署在移動端，CPU 運行測試，平均預測一張圖的時間為1360ms。以國徽區(qū)域和花卉區(qū)域在引入SE 結(jié)構(gòu)、壓縮系數(shù)為4 的情形為例，訓練損失曲線如圖8 和圖9 所示。圖中第50、100、150 epochs的時候loss突然急劇增加，這是由于剪枝操作引起的。迭代共進行300 個epochs，C=4，則前150 epochs 處于壓縮階段，共進行3個剪枝操作，分別在第50、100、150epochs 是執(zhí)行，該操作剪去了剩余權(quán)重的一半，所以造成了loss 突然急劇增加。但是這些訓練損失圖也表明了模型可以在后續(xù)的優(yōu)化階段從這些剪枝操作中恢復過來，loss會再次逐漸趨于平緩。從表4可以看出，在Light_DPN 網(wǎng)絡ResNet 分支引入擠壓激勵結(jié)構(gòu)能夠使正確率提高一兩個百分點。從實驗結(jié)果中可以看到，壓縮系數(shù)取8 比取4 的時候具有更高的準確率，且壓縮系數(shù)取8的時候獲得與原始DPN 網(wǎng)絡相同級別的準確率，這不僅證明了深度卷積神經(jīng)網(wǎng)絡中具有很高的參數(shù)冗余，還證明了剪枝的合理性，有的時候剪枝能夠帶來更高的準確率、更好的效果。

圖8 C=4時有SE國徽損失函數(shù)圖

圖9 C=4有SE花卉損失函數(shù)圖

4 結(jié)語

針對目前深度神經(jīng)網(wǎng)絡模型復雜度高，計算量大，不利于其在移動端的部署等問題，本文提出了一種以DPN92 網(wǎng)絡為主體網(wǎng)絡架構(gòu)的輕量級Light_DPN 網(wǎng)絡。通過在訓練期間，用Learned Group Convolution 替代常規(guī)的1*1 卷積，訓練開始階段就進行剪枝操作去除冗余的連接權(quán)重。并且為了使模型在預測時效率更高，通過引入index 層將修剪后的網(wǎng)絡用常規(guī)組卷積替代Learned Group Convolution 卷積，而常規(guī)組卷積在大多數(shù)深度學習庫中均已有效實現(xiàn)。另外在Light_DPN 網(wǎng)絡的ResNet分支部分引入了擠壓激勵結(jié)構(gòu)，其可以自主獲得各個通道的權(quán)重，強化重要的特征通道，抑制無用的特征。在本文的實驗中，就模型的計算效率和模型大小而言，Light_DPN 相比于相同精度級別的原始DPN 網(wǎng)絡在本文采集的國徽和花卉數(shù)據(jù)集上具有更高的優(yōu)越性，其模型更小，計算量更小。并將其運用到手機辨幣中，可以讓用戶在沒有互聯(lián)網(wǎng)的情況下也可隨時隨地進行人民幣的真?zhèn)舞b別。不需要網(wǎng)絡，不需要與云端服務器進行通信，模型預測占用手機空間小，運行起來流暢、快速，且功耗低，延長了電池壽命。這款APP將會有很大的應用前景，同時也為人民幣走向國際化道路推波助瀾。