周 旭， 楊 靜， 張秀華， 溥 江

(1.貴州大學(xué),a.機械工程學(xué)院; b.現(xiàn)代制造技術(shù)教育部重點實驗室，貴陽 550000； 2.貴州民族大學(xué)機械電子工程學(xué)院，貴陽 550000)

0 引言

圖像采集時容易產(chǎn)生噪聲，帶有噪聲的圖像會降低原有圖像質(zhì)量，影響后續(xù)圖像處理結(jié)果。為去除圖像噪聲，研究者們提出了濾波[1-2]、稀疏[3-4]、低秩[5]等傳統(tǒng)降噪方法和DnCNN[6]，U-net[7-8]等深度學(xué)習(xí)降噪方法，盡管這些降噪方法在某種程度上解決了圖像降噪問題，但噪聲類別需專業(yè)人員識別或提前設(shè)定或用傳統(tǒng)低效分類方法的缺陷也是顯而易見的，這降低了整個圖像處理過程的效率，因此有必要改善噪聲圖像分類現(xiàn)狀。

為了對噪聲圖像進行分類，楊冰等[9]采用總間隔v最小類內(nèi)方差支持向量機(TM-v-MCV-SVMs)用于人臉噪聲圖像分類，盡管該算法對于人臉噪聲圖像的分類效果要好于最小類內(nèi)方差支持向量機(MCVSVMs)和總間隔v-支持向量機(TM-v-SVM)，但SVM固有的依賴參數(shù)和核函數(shù)選擇的缺點使其自適應(yīng)能力不強，無法企及深度學(xué)習(xí)強大的數(shù)據(jù)擬合和參數(shù)自適應(yīng)能力。SIMONYAN等[10]采用深層小卷積核(3×3)的思想搭建圖像特征提取網(wǎng)絡(luò)用于圖像分類，深層小卷積核的引入提高了網(wǎng)絡(luò)特征提取精度，該網(wǎng)絡(luò)在2014年ImageNet比賽中獲得分類第二名，但網(wǎng)絡(luò)訓(xùn)練時由于網(wǎng)絡(luò)深度加深反向傳播權(quán)值更新時梯度容易消失。文獻[11]采用殘差學(xué)習(xí)思想，將卷積層的輸入和輸出信息跳躍連接構(gòu)成一個殘差塊，這種方式可在網(wǎng)絡(luò)反向傳播時直接將梯度值通過殘差網(wǎng)絡(luò)傳遞到卷積層輸入位置而跳過殘差塊內(nèi)的卷積層，有效避免了網(wǎng)絡(luò)反向傳播時梯度消失情況，因而能夠把圖像分類網(wǎng)絡(luò)深度增加至152層，網(wǎng)絡(luò)能夠提取到深層特征信息，該網(wǎng)絡(luò)在2015年的ILSVRC-2015分類競賽中贏得第一名，雖然殘差學(xué)習(xí)解決了深層卷積神經(jīng)網(wǎng)絡(luò)梯度消失問題，使得構(gòu)建深層卷積神經(jīng)網(wǎng)絡(luò)的想法得以實現(xiàn)，網(wǎng)絡(luò)也能提取到深層特征信息，但是網(wǎng)絡(luò)加深后也隨之丟失了淺層特征信息。文獻[12]在圖像分類網(wǎng)絡(luò)中引入passthrough層將網(wǎng)絡(luò)提取的淺層特征信息與深層特征信息融合，避免淺層特征信息丟失，從而提高了圖像分類準(zhǔn)確率。

傳統(tǒng)SVM噪聲圖像分類方法依賴于參數(shù)和核函數(shù)選擇，網(wǎng)絡(luò)自適應(yīng)能力不強。卷積網(wǎng)絡(luò)雖然自適應(yīng)能力強，且經(jīng)逐步優(yōu)化后網(wǎng)絡(luò)分類準(zhǔn)確率已達到應(yīng)用程度，但以往的卷積神經(jīng)網(wǎng)絡(luò)都未用于噪聲圖像分類。本文結(jié)合以上各深度學(xué)習(xí)圖像分類網(wǎng)絡(luò)優(yōu)點提出利用殘差學(xué)習(xí)、Dropout[13]和正則化改進的Darknet噪聲圖像分類網(wǎng)絡(luò)，實現(xiàn)噪聲圖像自動分類，解決傳統(tǒng)噪聲圖像分類方法性能不足的問題。

1 噪聲圖像分類方法

用于圖像分類的卷積神經(jīng)網(wǎng)絡(luò)眾多，需要選擇一種最優(yōu)的分類網(wǎng)絡(luò)作為噪聲圖像分類的原始網(wǎng)絡(luò)。對LeNet，AlexNet，VGG以及原始Darknet19這4個分類網(wǎng)絡(luò)實驗對比后得出，在不改進網(wǎng)絡(luò)結(jié)構(gòu)的情況下，Darknet19網(wǎng)絡(luò)對于噪聲圖像分類的準(zhǔn)確率最高。

1.1 改進的Darknet19網(wǎng)絡(luò)

Darknet19為YOLOv2的主干網(wǎng)絡(luò)，主要用于圖像識別。去掉網(wǎng)絡(luò)1×1卷積輸出層，將第19層卷積核數(shù)量改為4，同時在網(wǎng)絡(luò)最后加上Softmax層，可實現(xiàn)圖像分類功能。其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 Darknet19 分類網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Diagram of Darknet19 classification network注：Conv為卷積層；Pool為最大池化層；Shortcut為數(shù)據(jù)引出層；Concat為特征融合層；Global為全局池化層；Softmax表示將輸出轉(zhuǎn)化為概率。

Darknet19由19層卷積層組成，前面2個卷積層后分別接有最大池化層，中間6個卷積層中每3個卷積層后接1個最大池化層，最后11個卷積層里前5個卷積層后接1個卷積層，池化層可避免網(wǎng)絡(luò)過擬合同時也可對特征圖進行降維，后6個卷積層后接1個全局池化層和1個Softmax層，Softmax層主要將輸出值轉(zhuǎn)換為0～1之間的概率值。網(wǎng)絡(luò)卷積層的卷積核數(shù)量由32開始，按倍數(shù)依次增加至1024個，可使網(wǎng)絡(luò)提取到的特征信息變多。同時，將網(wǎng)絡(luò)的第13層輸出和第18層輸出通過passthrough層相連，使得網(wǎng)絡(luò)在提取深層特征信息時不會丟失淺層特征圖信息。

由于原始Darknet19網(wǎng)絡(luò)對噪聲圖像的分類效果不佳，因此對Darknet19網(wǎng)絡(luò)進行了改進，改進后的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，主要改進點在以下兩個方面。

圖2 改進Darknet網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Diagram of the improved Darknet network

1) 增加了Dropout層(即丟棄層)。Darknet19網(wǎng)絡(luò)的passthrough層輸出特征圖維度為8×8×3072，網(wǎng)絡(luò)參數(shù)過多，為此，在此passthrough層和第19層卷積層間增加了1個丟棄率為0.5的Dropout層，其次分別在第6，7，8層卷積層后增加了1個丟棄率為0.5的Dropout層，避免網(wǎng)絡(luò)過擬合。另外，為避免網(wǎng)絡(luò)過擬合，卷積層中也加入了L2正則化。

Dropout[13]丟棄機制是在網(wǎng)絡(luò)每個循環(huán)訓(xùn)練時隨機丟棄卷積神經(jīng)網(wǎng)絡(luò)的部分神經(jīng)元，使其不參與網(wǎng)絡(luò)訓(xùn)練和權(quán)值更新，而在網(wǎng)絡(luò)訓(xùn)練結(jié)束后參與網(wǎng)絡(luò)預(yù)測的一種方法。由于網(wǎng)絡(luò)訓(xùn)練時每個循環(huán)丟棄的神經(jīng)元不同，故網(wǎng)絡(luò)實際上可以訓(xùn)練多個結(jié)構(gòu)類似而神經(jīng)元不同的網(wǎng)絡(luò)以抑制網(wǎng)絡(luò)過擬合。Dropout原理結(jié)構(gòu)如圖3所示。

圖3 Dropout原理結(jié)構(gòu)圖Fig.3 Schematic diagram of Dropout

2) 增加了殘差網(wǎng)絡(luò)。Darknet19網(wǎng)絡(luò)共有19層卷積層，網(wǎng)絡(luò)相對較深，為避免反向傳播權(quán)值更新時梯度消失，引入殘差網(wǎng)絡(luò)，將第10層和第11層、第12層和第13層、第15層和第16層、第17層和第18層分別作為殘差塊。

殘差網(wǎng)絡(luò)[11]就是用一條通道將卷積層輸入和輸出直接相連，通道和被連接卷積層共同構(gòu)成殘差塊如圖4所示。

圖4 殘差網(wǎng)絡(luò) Fig.4 Residual network

注：x為卷積層輸入；F(x)為卷積層替代函數(shù)；H(x)為殘差塊輸出。

殘差網(wǎng)絡(luò)輸出可表示為

xk+1=xk+F(xk,wk)

(1)

式中：xk為卷積層輸入；F(xk,wk)為卷積層；wk為卷積層中的權(quán)值。

對式(1)迭代后有

(2)

反向傳播[14]時對式(2)求導(dǎo)可得

(3)

1.2 網(wǎng)絡(luò)噪聲圖像分類結(jié)果

為了驗證改進Darknet19網(wǎng)絡(luò)噪聲圖像分類準(zhǔn)確性，本文在Cifar-10公開數(shù)據(jù)集[15]上人為添加噪聲后進行了噪聲圖像分類實驗。結(jié)果表明，在Cifar-10數(shù)據(jù)集上改進的Darknet19網(wǎng)絡(luò)對彩色噪聲圖像和黑白噪聲圖像分類準(zhǔn)確率均可達到0.904，其對彩色噪聲圖像分類準(zhǔn)確率較原始Darknet19網(wǎng)絡(luò)提高了近3%，黑白噪聲圖像分類準(zhǔn)確率較原始Darknet19網(wǎng)絡(luò)提高了5%。改進的Darknet19網(wǎng)絡(luò)噪聲圖像分類效果優(yōu)異。

1.3 網(wǎng)絡(luò)損失函數(shù)

用改進的Darknet19網(wǎng)絡(luò)對噪聲圖像分類采用有監(jiān)督學(xué)習(xí)方式。在有監(jiān)督學(xué)習(xí)中，網(wǎng)絡(luò)首先對一張訓(xùn)練集圖片預(yù)測一個輸出分類，再將這個輸出分類與訓(xùn)練集標(biāo)簽對比，得到預(yù)測值與真實標(biāo)簽值差異，然后通過反向求導(dǎo)逐步更新網(wǎng)絡(luò)權(quán)值，使網(wǎng)絡(luò)預(yù)測輸出與訓(xùn)練集標(biāo)簽無限接近。因此，Darknet網(wǎng)絡(luò)需定義網(wǎng)絡(luò)輸出預(yù)測值與訓(xùn)練集標(biāo)簽真實值的差異關(guān)系函數(shù)即損失函數(shù)，同時也要選擇反向求導(dǎo)時權(quán)值更新方法即優(yōu)化方法。本文選用均方差(MSE)函數(shù)[16]計算網(wǎng)絡(luò)預(yù)測值與訓(xùn)練集標(biāo)簽值差異，反向求導(dǎo)權(quán)值更新方法采用一般梯度下降優(yōu)化方法。

2 實驗與結(jié)果分析

本文實驗詳細程序運行環(huán)境如表1所示。

表1 程序運行環(huán)境Table 1 Program running environment

2.1 數(shù)據(jù)集

本文從Cifar-10數(shù)據(jù)集取20 000張36像素×36像素大小的彩色圖像，經(jīng)128×128維尺寸變換后均分成4組圖片存儲，再對4組圖片分別添加高斯噪聲、泊松噪聲、鹽噪聲和斑點噪聲如圖5所示，接著從每組取出100張圖片地址并打亂，然后從地址里提取圖片并按噪聲類別對每張圖片進行One-hot編碼以作為測試集，同理，每組取100張圖片經(jīng)編碼后作為驗證集，剩下的圖片經(jīng)One-hot編碼后作為訓(xùn)練集，最后將訓(xùn)練集、驗證集和測試集制作成一個npz文件，用于網(wǎng)絡(luò)訓(xùn)練、驗證和測試。另外，對BSD100數(shù)據(jù)集分別添加高斯噪聲、泊松噪聲、鹽噪聲和斑點噪聲，如圖6所示，接著進行One-hot編碼后制作成BSD100測試集，用于網(wǎng)絡(luò)圖像分類準(zhǔn)確率測試?；叶葓D像測試集的制作也與彩色圖像測試集類似。

圖5 Cifar-10圖片噪聲類型Fig.5 Cifar-10 image noise types

圖6 BSD100圖片噪聲類型Fig.6 BSD100 image noise types

此外，用4組相同圖片的BSD100數(shù)據(jù)集按組分別添加高斯噪聲、泊松噪聲、鹽噪聲、斑點噪聲后制作成4個彩色圖像測試集，同理制作4個BSD100灰度圖像測試集、4個100張相同圖片的Cifar-10彩色圖像測試集和灰度圖像測試集，共16個用于測試噪聲對網(wǎng)絡(luò)分類準(zhǔn)確率影響的單噪聲圖片測試集。

2.2 實驗設(shè)置

本文共設(shè)置了6組對比實驗，分別對LeNet,AlexNet,VGG以及原始Darknet19,加Dropout的Darknet，加Dropout和殘差的Darknet網(wǎng)絡(luò)進行了網(wǎng)絡(luò)訓(xùn)練、驗證和測試，以比較不同模型在不同數(shù)據(jù)集上的彩色和灰度圖像分類準(zhǔn)確率。

從訓(xùn)練完后的網(wǎng)絡(luò)在Cifar-10和BSD100測試集上的測試準(zhǔn)確率可知，在LeNet，AlexNet，VGG和原始Darknet19這4個網(wǎng)絡(luò)模型中，Darknet19網(wǎng)絡(luò)在兩種數(shù)據(jù)集上對彩色和灰度圖像的分類準(zhǔn)確率最高，在Cifar-10測試集上的彩色和灰度圖像分類準(zhǔn)確率分別為0.878和0.854，在BSD100測試集上的彩色和灰度圖像分類準(zhǔn)確率分別為0.68和0.56。LeNet網(wǎng)絡(luò)在兩種數(shù)據(jù)集上的分類準(zhǔn)確率最低，在Cifar-10測試集上的彩色和灰度圖像分類準(zhǔn)確率分別低于Darknet19網(wǎng)絡(luò)0.476和0.44，在BSD100測試集上的彩色和灰度圖像分類準(zhǔn)確率更是分別低至0.31和0.25。在Cifar-10和BSD100測試集上的分類準(zhǔn)確率如表2所示。

表2 Cifar-10/BSD100測試集上的噪聲圖像分類準(zhǔn)確率Table 2 Classification accuracy of noise image onCifar-10/BSD100 test sets

Darknet19和LeNet兩種網(wǎng)絡(luò)的分類準(zhǔn)確率差異較大，造成這種現(xiàn)象的原因，一方面是LeNet網(wǎng)絡(luò)卷積層少無法學(xué)習(xí)噪聲圖像深層特征信息，另一方面是卷積層的卷積核數(shù)量少無法提取更多的圖像特征。此外，同種網(wǎng)絡(luò)對不同數(shù)據(jù)集的分類準(zhǔn)確率差距同樣較明顯，這主要是因為采用Cifar-10數(shù)據(jù)集制作的測試集圖片數(shù)量多達1000張，而采用BSD100制作的測試集圖片只有100張，測試集樣本少發(fā)生分類不準(zhǔn)確的偶然情況增多。

由于4個網(wǎng)絡(luò)中Darknet19分類準(zhǔn)確率最高，因此，本文選擇Darknet19網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)進行改進，分別對網(wǎng)絡(luò)增加Dropout和殘差塊。相對于原始網(wǎng)絡(luò)，在增加Dropout后網(wǎng)絡(luò)在Cifar-10測試集上的彩色和灰度圖像分類準(zhǔn)確率分別提高了0.01和0.032。在增加Dropout的基礎(chǔ)上再增加殘差網(wǎng)絡(luò)后在Cifar-10測試集上的彩色和灰度圖像分類準(zhǔn)確率均增加至0.904，在BSD100測試集上的彩色和灰度圖像分類準(zhǔn)確率分別改善了5%和6%。由測試集上的分類準(zhǔn)確率可以看出， Darknet19網(wǎng)絡(luò)加入Dropout和殘差網(wǎng)絡(luò)后分類準(zhǔn)確率改善較為明顯。網(wǎng)絡(luò)在Cifar-10和BSD100測試集上的分類準(zhǔn)確率如表3所示。

表3 改進網(wǎng)絡(luò)在Cifar-10/BSD100測試集上的噪聲圖像分類準(zhǔn)確率Table 3 Classification accuracy of noise image on Cifar-10/BSD100 test sets by the improved networks

為分析彩色和灰度圖像的不同類型噪聲對網(wǎng)絡(luò)分類準(zhǔn)確率的影響，用制作的16個單噪聲圖片測試集對4種網(wǎng)絡(luò)分類準(zhǔn)確率做64組對比實驗，其結(jié)果見表4、表5。

由表4可知，LeNet和改進Darknet19網(wǎng)絡(luò)在對BSD100彩色噪聲圖像分類時泊松噪聲對網(wǎng)絡(luò)分類準(zhǔn)確率影響最大，高斯噪聲影響最小。AlexNet和VGG網(wǎng)絡(luò)對BSD100彩色噪聲圖像分類時鹽噪聲對分類準(zhǔn)確率影響最大，高斯噪聲影響最小。對于Cifar-10彩色圖像數(shù)據(jù)集，鹽噪聲對LeNet，AlexNet，VGG網(wǎng)絡(luò)的分類準(zhǔn)確率影響最大，泊松噪聲對改進Darknet19網(wǎng)絡(luò)分類準(zhǔn)確率影響最大，高斯噪聲對AlexNet和VGG網(wǎng)絡(luò)分類準(zhǔn)確率影響最小，泊松噪聲對LeNet網(wǎng)絡(luò)分類準(zhǔn)確率影響最小，鹽噪聲對改進Darknet19網(wǎng)絡(luò)分類準(zhǔn)確率影響最小。對比表4、表5可知，兩種數(shù)據(jù)集的不同噪聲類型灰度圖像對4種網(wǎng)絡(luò)分類準(zhǔn)確率的最大和最小影響與彩色數(shù)據(jù)集類似。

表4 4種網(wǎng)絡(luò)對Cifar-10/BSD100彩色噪聲圖像的分類準(zhǔn)確率Table 4 Classification accuracy of Cifar-10/BSD100color noise images by four networks

表5 4種網(wǎng)絡(luò)對Cifar-10/BSD100灰度噪聲圖像的分類準(zhǔn)確率Table 5 Classification accuracy of Cifar-10/BSD100 grey noise images by four networks

3 結(jié)束語

本文研究了將卷積神經(jīng)網(wǎng)絡(luò)用于噪聲圖像分類的問題，并將Dropout和殘差網(wǎng)絡(luò)用于Darknet19網(wǎng)絡(luò)優(yōu)化改進。對4種深度學(xué)習(xí)分類算法經(jīng)Cifar-10數(shù)據(jù)集訓(xùn)練后，并用Cifar-10和BSD100測試集測試得出，改進的Darknet19網(wǎng)絡(luò)分類準(zhǔn)確率最高，該噪聲圖像分類網(wǎng)絡(luò)能有效改善現(xiàn)有依靠專業(yè)人員手工分類和傳統(tǒng)SVM分類算法效率低的問題。同時，通過64組對比實驗分析了不同噪聲類型對網(wǎng)絡(luò)分類準(zhǔn)確率的影響問題。由于現(xiàn)有噪聲圖像訓(xùn)練集都是依靠算法人為增加高斯噪聲、泊松噪聲、鹽噪聲和斑點噪聲，未能采集生活場景中的真實噪聲圖像用于網(wǎng)絡(luò)訓(xùn)練和測試。因此，接下來的研究任務(wù)主要集中于解決生活場景中的噪聲圖像分類問題，用噪聲圖像分類網(wǎng)絡(luò)解決現(xiàn)實問題。