廉家偉，何軍紅，牛 云，王天澤

(西北工業(yè)大學(xué) 航海學(xué)院,陜西 西安 710072)

0 引言

在工業(yè)生產(chǎn)過(guò)程中，對(duì)存在缺陷的工件或產(chǎn)品進(jìn)行缺陷檢測(cè)必不可少。缺陷檢測(cè)即識(shí)別出是否有缺陷以及缺陷的類型，傳統(tǒng)工業(yè)中對(duì)于工件的表面缺陷識(shí)別還停留在人工檢測(cè)階段，受到工人的個(gè)人因素影響，效率和質(zhì)量都難以保障，傳統(tǒng)的人工檢測(cè)方法已經(jīng)無(wú)法滿足工業(yè)需求。在當(dāng)前數(shù)據(jù)量與計(jì)算力日益劇增的時(shí)代背景下，深度學(xué)習(xí)迎來(lái)了發(fā)展的春天，新的學(xué)習(xí)算法層出不窮，廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)[1-2]、語(yǔ)音識(shí)別[3-4]以及自然語(yǔ)言處理[5]等各個(gè)領(lǐng)域，并取得了巨大的成功。近年來(lái)，基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)的視覺(jué)檢測(cè)方法已經(jīng)越來(lái)越廣泛地應(yīng)用在表面缺陷檢測(cè)中，其檢測(cè)過(guò)程具有無(wú)接觸無(wú)損傷等特點(diǎn)，而且在提高檢測(cè)效率的同時(shí)也大大提高了檢測(cè)精度。

如今，運(yùn)用深度學(xué)習(xí)的方法進(jìn)行表面缺陷檢測(cè)已經(jīng)成為主流趨勢(shì)，很多學(xué)者對(duì)此進(jìn)行了深入的研究。CHEN等[6]以從粗到細(xì)的方式級(jí)聯(lián)了3個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)階段，設(shè)計(jì)了一個(gè)緊固件的缺陷檢測(cè)系統(tǒng)，并通過(guò)實(shí)驗(yàn)證明了該系統(tǒng)能夠在復(fù)雜的環(huán)境下達(dá)到較高的檢測(cè)精度，以及良好的魯棒性和適應(yīng)性。TAO等[7]提出一種深度卷積神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)結(jié)構(gòu)，將缺陷檢測(cè)轉(zhuǎn)化為兩級(jí)對(duì)象檢測(cè)問(wèn)題，通過(guò)這種方式定位并檢測(cè)絕緣體的缺陷。YU等[8]提出一種可重復(fù)使用的兩階段深度學(xué)習(xí)的工業(yè)環(huán)境下的表面缺陷檢測(cè)方法。FENG等[9]提出一種深度主動(dòng)學(xué)習(xí)的系統(tǒng),達(dá)到模型識(shí)別的最大化。ZHENG等[10]提出一種基于半監(jiān)督深度學(xué)習(xí)的自動(dòng)缺陷檢測(cè)方法，能夠充分利用大量的無(wú)標(biāo)簽數(shù)據(jù)。熊紅林等[11]提出基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的玻璃表面缺陷檢測(cè)方法，能夠達(dá)到較高的識(shí)別準(zhǔn)確率?？傊?，深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用越來(lái)越廣泛。

隨著對(duì)模型性能的要求不斷提高，為了達(dá)到更好的預(yù)測(cè)效果，通常會(huì)采取兩種方法：

(1)使用過(guò)參數(shù)化的大型深度神經(jīng)網(wǎng)絡(luò)，能夠大幅提高模型的學(xué)習(xí)能力，為防止過(guò)擬合，通常也往往會(huì)加上正則化策略配合使用，于是出現(xiàn)了一系列性能更加優(yōu)越的神經(jīng)網(wǎng)絡(luò)模型，如VggNet、GoogleNet以及ResNet等。

(2)使用集成策略，將很多相對(duì)較弱的模型集成起來(lái)，甚至是強(qiáng)強(qiáng)聯(lián)合，往往能夠達(dá)到更好的預(yù)測(cè)效果。然而，在這兩種方案中網(wǎng)絡(luò)性能的提升往往伴隨著參數(shù)的增加以及復(fù)雜度的提升等問(wèn)題，使得模型的部署困難，在實(shí)際應(yīng)用中受限。如手機(jī)等便攜式設(shè)備以及工業(yè)高實(shí)時(shí)性的檢測(cè)設(shè)備等。因此，在保證模型精度和速度的同時(shí)，盡可能壓縮網(wǎng)絡(luò)成為當(dāng)下亟待解決的問(wèn)題。

HOWARD等[12]提出的MobileNet采用步長(zhǎng)為2的卷積代替池化操作，同時(shí)放棄傳統(tǒng)的標(biāo)準(zhǔn)卷積，采用深度可分離卷積(Depthwise Separable Convolution，DSC)，可以大大減少參數(shù)量和模型計(jì)算量且不損失模型精度。HINTON等[13]提出通過(guò)知識(shí)蒸餾的方法讓小模型和大模型的Softmax輸出分布盡可能接近，從而達(dá)到盡可能相似的預(yù)測(cè)效果。WEN等[14]通過(guò)實(shí)驗(yàn)證明了龐大的深度卷積神經(jīng)網(wǎng)絡(luò)存在大量的冗余參數(shù)，可以通過(guò)網(wǎng)絡(luò)修剪來(lái)優(yōu)化模型。HU等[15]提出了網(wǎng)絡(luò)修剪(Network Pruning)，通過(guò)評(píng)估神經(jīng)元的重要性并以其作為依據(jù)，裁減掉影響作用較小的部分來(lái)壓縮網(wǎng)絡(luò)。WU等[16]提出一種對(duì)權(quán)重參數(shù)使用k均值算法的方法，通過(guò)k個(gè)聚類中心和權(quán)重分配指數(shù)進(jìn)行權(quán)值共享。COIFFIER等[17]提出一種ThriftyNets網(wǎng)絡(luò)結(jié)構(gòu)，定義了一個(gè)循環(huán)使用的卷積層，壓縮了參數(shù)量并提高了參數(shù)利用效率。

近年來(lái)，各式各樣的網(wǎng)絡(luò)壓縮優(yōu)化算法被提出，模型的尺寸以及效率得到了大幅度的優(yōu)化，但當(dāng)前仍面臨網(wǎng)絡(luò)壓縮尺度單一、壓縮幅度有限以及精度損失大等問(wèn)題，對(duì)于部分工業(yè)現(xiàn)場(chǎng)的部署應(yīng)用還需要進(jìn)一步改善。本文提出一種基于多尺度壓縮卷積神經(jīng)網(wǎng)絡(luò)模型(Multi-scal Compression Convolution Neural Network,MC-CNN)，從不同的尺度對(duì)網(wǎng)絡(luò)進(jìn)行壓縮，在盡可能避免損失精度的情況下大幅降低模型復(fù)雜度，壓縮模型尺寸且提高分類效率。并通過(guò)在NEU-CLS鋼板表面缺陷數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了該模型的可行性和有效性。

1 模型構(gòu)建

本文所提MC-CNN壓縮優(yōu)化流程示意圖如圖1所示。首先，采用改進(jìn)的輕量型網(wǎng)絡(luò)MobileNet[12]作為基礎(chǔ)的網(wǎng)絡(luò)結(jié)構(gòu)，采用深度可分離卷積代替常規(guī)卷積，并將淺層和深層中尺寸相等的兩個(gè)FeatureMap進(jìn)行拼接，得到一個(gè)更大的FeatureMap，能夠增加特征的數(shù)量并保留一定的原始特征。然后，以改進(jìn)的MobileNet作為學(xué)生網(wǎng)絡(luò)通過(guò)知識(shí)蒸餾方法學(xué)習(xí)教學(xué)網(wǎng)絡(luò)的知識(shí)，再通過(guò)網(wǎng)絡(luò)修剪，剔除冗余參數(shù)，將得到的模型進(jìn)行參數(shù)量化處理，最終得到能夠在保證分類精度的同時(shí)，體積和運(yùn)算速度大幅減小的模型MC-CNN。

2 模塊介紹

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)結(jié)構(gòu)采用改進(jìn)的MobileNet[12]，該網(wǎng)絡(luò)采用深度可分離卷積代替?zhèn)鹘y(tǒng)卷積結(jié)構(gòu)。深度可分離卷積主要在網(wǎng)絡(luò)結(jié)構(gòu)上進(jìn)行優(yōu)化，由深度卷積(Depthwise Convolution，DWC)和逐點(diǎn)卷積(Pointwise Convolution，PWC)兩個(gè)步驟組成。然后將淺層和深層中尺寸相等的兩個(gè)FeatureMap進(jìn)行拼接，如圖2所示，得到一個(gè)更大的FeatureMap，能夠有效增加特征的數(shù)量，將淺層原始特征與深層抽象特征相結(jié)合，能夠避免特征抽象過(guò)程中丟失特征信息，使得有效的特征信息流繼續(xù)向后傳遞，從而改善分類效果。

與常規(guī)卷積中一個(gè)卷積核同時(shí)操作所有的通道不同，在DWC中的卷積核不同于常規(guī)卷積的立體卷積核，而是二維平面的，一個(gè)卷積核只負(fù)責(zé)一個(gè)通道，不涉及其他通道信息，卷積核的個(gè)數(shù)等于輸入通道的數(shù)目，逐通道進(jìn)行卷積，只改變特征圖的大小，不改變通道數(shù)，如圖3所示。

PWC是將DWC的輸出所有通道進(jìn)行逐點(diǎn)卷積，糅合逐通道整理出來(lái)的各通道間的信息，只改變通道數(shù)，不改變特征圖的大小，如圖4所示。

同樣的輸入和輸出情況下，常規(guī)卷積有O個(gè)k×k×I(其中：I為輸入通道數(shù)，O為輸出通道數(shù)，k×k為卷積核大小)大小的卷積核，參數(shù)量為k×k×I×O；而深度可分離卷積有I個(gè)k×k大小的卷積核和O個(gè)大小為I的卷積核，參數(shù)量為k×k×I+I×O，如圖5所示。

從而得到深度可分離卷積和常規(guī)卷積的參數(shù)量比值為：

(1)

通常輸出通道數(shù)O的值遠(yuǎn)大于k，故O對(duì)于優(yōu)化的參數(shù)量的作用較小，主要取決于卷積核的大小k，多數(shù)情況下，k=3，此時(shí)深度卷積神經(jīng)網(wǎng)絡(luò)參數(shù)量約縮小為常規(guī)卷積的1/9。因此，使用深度卷積神經(jīng)網(wǎng)絡(luò)能夠大幅減少模型參數(shù)量，從而降低模型復(fù)雜度，提高模型識(shí)別效率。

2.2 知識(shí)蒸餾

將搭建好的輕量型網(wǎng)絡(luò)與訓(xùn)練好的大型CNN網(wǎng)絡(luò)進(jìn)行知識(shí)蒸餾。知識(shí)蒸餾(knowledge distillation)的思想是將一個(gè)小規(guī)模的模型通過(guò)向訓(xùn)練好的大模型學(xué)習(xí)達(dá)到接近大模型的預(yù)測(cè)效果，即將一個(gè)強(qiáng)大的模型所包含的重要知識(shí)教給較小的模型。

首先訓(xùn)練一個(gè)較大的教學(xué)模型，然后再訓(xùn)練一個(gè)小的學(xué)生模型學(xué)習(xí)教學(xué)模型的行為，即Softmax輸出，讓教學(xué)模型和學(xué)生模型在給定輸入情況下的Softmax輸出分布匹配，即優(yōu)化其Softmax分布的交叉熵，如圖6所示。這樣做的好處是可以充分利用Softmax分布所包含的信息。比如當(dāng)識(shí)別手寫體數(shù)字1的時(shí)候，標(biāo)簽只能告訴我們是1，不是7，也不是9，而經(jīng)過(guò)訓(xùn)練的Softmax可以告訴我們0.7的概率是1，0.2的概率是7，0.1的概率是9。

為了讓兩個(gè)模型的Softmax輸出的分布充分接近，不能直接使用一般的Softmax，因?yàn)樵谝话愕腟oftmax函數(shù)中，先用指數(shù)拉大logits(the inputs to the final Softmax)[13]間的差距，然后歸一化，最終輸出的是一個(gè)接近one-hot的向量，大大局限了知識(shí)的體現(xiàn)。

有兩種方法可以避免該問(wèn)題：

(1)直接比較logits，對(duì)于每條數(shù)據(jù)，大模型和小模型產(chǎn)生的logits分別為vi和zi，將式(2)最小化即可。

(2)

(2)更通用的做法即是使用一種廣義的Softmax函數(shù)將小模型中的logitzi，轉(zhuǎn)化為屬于各個(gè)類別的概率qi，如式(3)所示：

(3)

式中T是引用統(tǒng)計(jì)力學(xué)中玻爾茲曼分布中的概念，指的是溫度，通常設(shè)為1。由式(3)可知，當(dāng)T的值很小時(shí)，Softmax的輸出接近one-hot向量；當(dāng)T變大時(shí)，Softmax輸出的屬于各個(gè)類別的概率分布會(huì)變軟，即各元素?cái)?shù)值差距相對(duì)較小，因此在訓(xùn)練模型時(shí)調(diào)大兩個(gè)模型的超參數(shù)T(兩個(gè)模型的T值相等)使得輸出足夠軟，然后優(yōu)化其交叉熵?fù)p失C：

(4)

使兩個(gè)模型足夠接近。訓(xùn)練結(jié)束后，仍然使用T=1即常規(guī)Softmax進(jìn)行預(yù)測(cè)。

交叉熵?fù)p失C對(duì)于小模型中的zi的梯度為：

(5)

其中：vi為大模型的logit，pi為大模型的Softmax輸出。

當(dāng)T相對(duì)于logits足夠大時(shí)，式(5)可以化為：

(6)

如果所有的logits對(duì)于每個(gè)樣本都是零均值化，即∑jzj=∑jvj=0，則式(6)可轉(zhuǎn)化為：

(7)

當(dāng)T過(guò)大，且logits對(duì)于每條數(shù)據(jù)都是零均值化的，則知識(shí)蒸餾等價(jià)于最小化logits的平方差(見(jiàn)式(2))；當(dāng)T過(guò)小時(shí)，輸出偏硬，不利于信息的表達(dá)。實(shí)驗(yàn)表明，應(yīng)選取適當(dāng)?shù)腡，軟化Softmax輸出分布有助于提高模型表現(xiàn)。

2.3 網(wǎng)絡(luò)修剪

經(jīng)過(guò)知識(shí)蒸餾學(xué)習(xí)的模型還存在著一定量冗余的參數(shù)，接下來(lái)對(duì)該模型進(jìn)行網(wǎng)絡(luò)修剪。簡(jiǎn)單來(lái)說(shuō)，網(wǎng)絡(luò)修剪(network pruning)就是對(duì)一個(gè)已經(jīng)訓(xùn)練過(guò)的模型中影響較小的參數(shù)進(jìn)行修剪，使模型變得更加精簡(jiǎn)。主要流程如圖7所示。

首先訓(xùn)練一個(gè)待修剪的網(wǎng)絡(luò)模型，然后選出影響作用小的部分并去除，這時(shí)模型效果會(huì)有所下降，需要再通過(guò)訓(xùn)練來(lái)更新參數(shù)使模型精度得到一定的恢復(fù)，重復(fù)裁剪和更新的過(guò)程直到得到滿足要求的模型。

網(wǎng)絡(luò)修剪包括權(quán)重修剪和神經(jīng)元修剪兩種方式。其中權(quán)重修剪是剔除影響較小的值，為方便矩陣運(yùn)算，將空缺的連接權(quán)重補(bǔ)0，因此實(shí)質(zhì)上并未提高運(yùn)算效率，據(jù)實(shí)驗(yàn)[14]表明，在修剪掉大量參數(shù)后，只有很小的精度損失。雖然計(jì)算效率并沒(méi)有提高，但是表明了網(wǎng)絡(luò)裁剪的可行性與巨大的裁剪空間。通常采用的是神經(jīng)元修剪的方式，神經(jīng)元修剪相當(dāng)于移除了權(quán)重矩陣中的列，參數(shù)減少，運(yùn)算速度提升。本文實(shí)驗(yàn)中采用神經(jīng)元修剪的方式。

修剪神經(jīng)元之前要先評(píng)判神經(jīng)元的重要程度。Pytorch中提供的Batchnorm計(jì)算如式(8)所示：

(8)

需要計(jì)算每個(gè)mini-batch中數(shù)據(jù)各個(gè)維度的均值和標(biāo)準(zhǔn)差，其中γ和β是尺寸和輸入數(shù)據(jù)一致的學(xué)習(xí)系數(shù)矩陣，是可訓(xùn)練的參數(shù)，γ是權(quán)重系數(shù)，β是偏移系數(shù)。神經(jīng)元的作用越小，相應(yīng)的γ因子的值就越小。故可以通過(guò)Batchnorm layer的γ因子評(píng)判神經(jīng)元的重要程度，從而修剪掉影響作用較小的神經(jīng)元。實(shí)驗(yàn)表明，修剪參數(shù)過(guò)多將對(duì)精度產(chǎn)生較大影響，參數(shù)修剪量百分比Quantity與精度下降△Acc(重復(fù)5次實(shí)驗(yàn)取平均值)如表1所示，故取參數(shù)修剪量為3%為宜。

表1 Params和△Acc對(duì)照關(guān)系

2.4 參數(shù)量化

最后，將經(jīng)過(guò)修剪的網(wǎng)絡(luò)模型進(jìn)行參數(shù)量化處理。實(shí)驗(yàn)中采用兩種方式對(duì)參數(shù)進(jìn)行量化，如圖8所示。

(1)縮減參數(shù)的存儲(chǔ)位數(shù)，本次實(shí)驗(yàn)使用Pytorch深度學(xué)習(xí)框架，默認(rèn)的參數(shù)類型是32位浮點(diǎn)型，可以將32位浮點(diǎn)型數(shù)據(jù)轉(zhuǎn)換為16位浮點(diǎn)型數(shù)據(jù)，該方法雖然簡(jiǎn)單，但效果卻非常直觀，實(shí)驗(yàn)表明，模型體積會(huì)縮小一半且精度幾乎沒(méi)有損失。

(2)采用K-Means聚類算法對(duì)參數(shù)進(jìn)行聚類。K-Means算法的思想很簡(jiǎn)單，將給定的樣本集按照樣本之間距離的大小劃分為K個(gè)簇，并使簇內(nèi)點(diǎn)之間的距離盡可能的近，簇與簇之間的距離盡可能的遠(yuǎn)。

給定數(shù)據(jù)集D={x1,x2, …,xm}，劃分為k個(gè)簇(C1,C2, …,Ck)，則最小化目標(biāo)函數(shù)平方誤差E：

(9)

式中ui是簇Ci的均值向量，即質(zhì)心，

(10)

參數(shù)聚類后將模型中屬于該類別的參數(shù)用該類別中所有參數(shù)的中位數(shù)或均值表示即可。聚類數(shù)目通常為2的整數(shù)次方，比如參數(shù)分為16類，則只需4個(gè)bit存儲(chǔ)類別編號(hào)即可。實(shí)驗(yàn)表明，參數(shù)聚類的顆粒度大小對(duì)模型的精度會(huì)產(chǎn)生不同的影響，參數(shù)類別數(shù)目k和精度的下降百分比△Acc(重復(fù)5次實(shí)驗(yàn)取平均值)如表2所示，故k值取32為宜。

表2 k和△Acc對(duì)照關(guān)系

3 實(shí)驗(yàn)分析

本文提出基于多尺度壓縮卷積神經(jīng)網(wǎng)絡(luò)模型MC-CNN。采用深度可分離卷積和特征圖拼接結(jié)構(gòu)作為基礎(chǔ)網(wǎng)絡(luò)模型，然后通過(guò)知識(shí)蒸餾的方法學(xué)習(xí)已經(jīng)訓(xùn)練好的CNN模型的知識(shí)，再對(duì)學(xué)習(xí)過(guò)的模型進(jìn)行網(wǎng)絡(luò)修剪并微調(diào)模型參數(shù)以恢復(fù)網(wǎng)絡(luò)修剪造成的精度損失，最后對(duì)模型參數(shù)進(jìn)行量化得到最終的模型，能夠?qū)崿F(xiàn)較好的快速分類效果，且大幅度壓縮模型的體積。

3.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)采用的是NEU-CLS表面缺陷公開(kāi)數(shù)據(jù)集，其中收集了熱軋鋼帶軋制氧化皮(RS)，斑塊(Pa)，開(kāi)裂(Cr)，點(diǎn)蝕表面(PS)，內(nèi)含物(In)和劃痕(Sc)6種典型的表面缺陷，如圖9所示。每一類缺陷包含300個(gè)樣本數(shù)據(jù)，共有1 800個(gè)樣本數(shù)據(jù)，由于樣本數(shù)據(jù)量較少，對(duì)樣本數(shù)據(jù)進(jìn)行擴(kuò)增處理，通過(guò)旋轉(zhuǎn)90度，180度以及鏡像等方式擴(kuò)增數(shù)據(jù)集，擴(kuò)增后每一類缺陷包含1 200個(gè)樣本數(shù)據(jù)，共有7 200個(gè)樣本數(shù)據(jù)。訓(xùn)練集、驗(yàn)證集以及測(cè)試集的比例為5:3:2，使用CrossEntropy損失函數(shù)，Adam算法進(jìn)行優(yōu)化，epoch設(shè)為60，batch_size設(shè)為64，學(xué)習(xí)率為0.001。各個(gè)模型中上述參數(shù)均保持一致。

原始圖片數(shù)據(jù)分辨率為200×200，經(jīng)邊緣擴(kuò)充及中心裁剪后分辨率為224×224，訓(xùn)練樣本輸入矢量為(224,224,3)的圖片數(shù)據(jù)，首先在卷積池化層進(jìn)行特征提取，接著在全連接層分類，經(jīng)Softmax輸出為(1,6)的矢量，代表屬于各類別的概率，其中最大的概率值就是模型分類的最終結(jié)果，為便于模型訓(xùn)練，分別使用0,1,2,3,4,5代表缺陷類型軋制氧化皮(RS)，斑塊(Pa)，開(kāi)裂(Cr)，點(diǎn)蝕表面(PS)，內(nèi)含物(In)和劃痕(Sc)。

3.2 對(duì)比分析

為驗(yàn)證提出的MC-CNN模型的有效性，將該模型與CNN(網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表3所示)、MobileNetV2以及ShuffleNetV2等模型進(jìn)行比較。

表3 CNN結(jié)構(gòu)參數(shù)

為測(cè)試所提出模型的綜合性能，除了模型的準(zhǔn)確率(Acc)之外，還要將模型的復(fù)雜度作為評(píng)價(jià)指標(biāo)進(jìn)行對(duì)比分析。時(shí)間復(fù)雜度決定了模型的訓(xùn)練和預(yù)測(cè)時(shí)間，過(guò)高則會(huì)導(dǎo)致模型訓(xùn)練和預(yù)測(cè)耗費(fèi)大量時(shí)間，既無(wú)法快速驗(yàn)證和改善模型，也無(wú)法進(jìn)行快速的預(yù)測(cè)。空間復(fù)雜度由模型的參數(shù)數(shù)量決定，模型的參數(shù)越多，訓(xùn)練模型所需的數(shù)據(jù)量就越大，而且還需要更多的存儲(chǔ)資源。計(jì)算量指模型的運(yùn)算次數(shù)，從另一方面反映了模型的復(fù)雜程度。

通過(guò)運(yùn)算時(shí)間(Time)、模型大小(Size)以及浮點(diǎn)運(yùn)算量(FLOPs)作為時(shí)間、空間和計(jì)算量3個(gè)維度的復(fù)雜度評(píng)價(jià)指標(biāo)，其中Time為各個(gè)模型在測(cè)試集上的運(yùn)算時(shí)間，由于不同硬件設(shè)備的差異，該參數(shù)只在表4中模型間的比較具有意義。其中CNN模型大小為48.94 MB，浮點(diǎn)運(yùn)算量為1123.62百萬(wàn)次，運(yùn)算時(shí)間為5.577 s；MobileNetV2模型大小為0.99 MB，浮點(diǎn)運(yùn)算量為98.37百萬(wàn)次，運(yùn)算時(shí)間為2.781 s；ShuffleNetV2模型大小為1.94 MB，浮點(diǎn)運(yùn)算量為132.21百萬(wàn)次，運(yùn)算時(shí)間為3.253 s；MC-CNN模型大小為0.46 MB，浮點(diǎn)運(yùn)算量為43.82百萬(wàn)次，運(yùn)算時(shí)間為1.483 s。MC-CNN的復(fù)雜度遠(yuǎn)小于CNN的復(fù)雜度，且大幅低于MobileNetV2和ShuffleNetV2的復(fù)雜度。

各模型訓(xùn)練精度隨迭代次數(shù)的變化如圖10所示。CNN的學(xué)習(xí)能力相對(duì)較強(qiáng)，Acc曲線上升較快，精度也較高。輕量型網(wǎng)絡(luò)MC-CNN通過(guò)知識(shí)蒸餾向CNN學(xué)習(xí)以及網(wǎng)絡(luò)修剪和參數(shù)量化也可以達(dá)到較高精度且能夠降低模型復(fù)雜度。從圖中可以看出MC-CNN的收斂速度和精度要優(yōu)于其他兩個(gè)主流輕量型網(wǎng)絡(luò)。

各模型損失值隨迭代次數(shù)的變化如圖11所示。同樣，CNN強(qiáng)大的學(xué)習(xí)能力使Loss在前幾次迭代中大幅下降，隨后MC-CNN基本與其持平，而且優(yōu)于MobileNetV2和ShuffleNetV2。

3.3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果如表4所示，由表可知MC-CNN模型相比于CNN體積縮小了99.06%，效率提高了273.96%，浮點(diǎn)運(yùn)算量降低了96.10%；相比于MobileNetV2體積縮小了53.54%，效率提高了87.53%，浮點(diǎn)運(yùn)算量降低了55.45%；相比于ShuffleNetV2體積縮小了76.29%，效率提高了119.35%，浮點(diǎn)運(yùn)算量降低了66.86%，更易于在實(shí)時(shí)性要求高，存儲(chǔ)資源以及計(jì)算資源有限的環(huán)境下部署，而且相較于其他兩個(gè)主流輕量型網(wǎng)絡(luò)有效避免了精度的損失。

表4 各模型性能對(duì)比

4 結(jié)束語(yǔ)

本文提出一種基于多尺度壓縮卷積神經(jīng)網(wǎng)絡(luò)模型MC-CNN。首先使用深度可分離卷積和特征圖拼接作為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)，然后通過(guò)知識(shí)蒸餾對(duì)模型進(jìn)行訓(xùn)練，接著對(duì)訓(xùn)練好的模型進(jìn)行網(wǎng)絡(luò)修剪，去除冗余參數(shù)，最后對(duì)模型進(jìn)行參數(shù)量化，最終得到MC-CNN模型，能夠?qū)崿F(xiàn)在大幅提高檢測(cè)效率并壓縮模型體積的同時(shí)達(dá)到較高精度的分類。

使用神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)技術(shù)進(jìn)行表面缺陷檢測(cè)已然是大勢(shì)所趨，能夠避免傳統(tǒng)圖像檢測(cè)方法中繁瑣的圖像預(yù)處理、特征提取以及分析等步驟，但是復(fù)雜的網(wǎng)絡(luò)模型應(yīng)用部署存在一定困難，因此對(duì)模型進(jìn)行壓縮并保留檢測(cè)精度具有十分重要的現(xiàn)實(shí)意義。當(dāng)前網(wǎng)絡(luò)壓縮技術(shù)還在發(fā)展當(dāng)中，下一步，在壓縮網(wǎng)絡(luò)的同時(shí)還應(yīng)盡可能提高檢測(cè)精度；另一方面，模型的結(jié)構(gòu)以及超參數(shù)的配置有限，應(yīng)研究更加合理的配置壓縮模型方法來(lái)應(yīng)對(duì)更加復(fù)雜的任務(wù)。