張素智，吳玉紅，常 俊

(1.鄭州輕工業(yè)大學(xué) 軟件學(xué)院，河南 鄭州 450000；2.鄭州輕工業(yè)大學(xué) 計(jì)算機(jī)與通信工程學(xué)院，河南 鄭州 450000)

0 引 言

近些年，國(guó)內(nèi)經(jīng)濟(jì)的高速提升帶動(dòng)了汽車(chē)行業(yè)的飛速發(fā)展，使得汽車(chē)的銷(xiāo)售量大幅上漲，汽車(chē)輪胎的使用與理賠問(wèn)題逐漸成為現(xiàn)代社會(huì)的關(guān)注焦點(diǎn)。而將深度學(xué)習(xí)應(yīng)用于輪胎破損圖像的分類(lèi)識(shí)別中，利用學(xué)習(xí)模型對(duì)大量的輪胎破損圖像進(jìn)行訓(xùn)練，學(xué)習(xí)有用的特征，實(shí)現(xiàn)利用計(jì)算機(jī)自動(dòng)對(duì)圖像分類(lèi)和識(shí)別，無(wú)疑是給輪胎工業(yè)帶來(lái)了新的機(jī)遇和挑戰(zhàn)。

圖像識(shí)別是指利用計(jì)算機(jī)模仿人類(lèi)對(duì)圖像的認(rèn)知過(guò)程，以圖像的特征信息為記憶點(diǎn)，自動(dòng)地根據(jù)圖像不同的特征信息完成分類(lèi)識(shí)別。近些年，國(guó)內(nèi)計(jì)算機(jī)行業(yè)有很大的發(fā)展，促使圖像識(shí)別技術(shù)與現(xiàn)代人們的生活息息相關(guān)，由于它很大限度地滿(mǎn)足了人們?cè)诓煌闆r下的各種需求，被廣泛應(yīng)用在各個(gè)方面，包括醫(yī)療健康、農(nóng)業(yè)生產(chǎn)、監(jiān)控追蹤等，所采用的圖像識(shí)別技術(shù)也從最早的模板匹配、原型匹配到現(xiàn)在的深度學(xué)習(xí)方法[1]。深度學(xué)習(xí)在圖像識(shí)別的很多領(lǐng)域都被成功應(yīng)用，而且使得圖像的識(shí)別準(zhǔn)確率越來(lái)越高，也吸引了很多人對(duì)其進(jìn)行改進(jìn)研究。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)新的研究領(lǐng)域，它是通過(guò)建立、模擬人類(lèi)大腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，通過(guò)模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)[2]。近年來(lái)，以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的深度學(xué)習(xí)技術(shù)在圖像識(shí)別的很多應(yīng)用上都取得了很大的進(jìn)步，比如人臉識(shí)別[3]、文字識(shí)別[4]、花卉識(shí)別[5]等。與常規(guī)的識(shí)別方法相比，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)方法直接由數(shù)據(jù)本身驅(qū)動(dòng)特征及表達(dá)關(guān)系的自我學(xué)習(xí)，對(duì)圖像具有極強(qiáng)的數(shù)據(jù)表征能力[6]。LeCun采用有監(jiān)督反向傳播網(wǎng)絡(luò)實(shí)現(xiàn)了數(shù)字識(shí)別[7]。Hinton在ImageNet比賽中設(shè)計(jì)了AlexNet網(wǎng)絡(luò)模型提高了圖像識(shí)別的準(zhǔn)確率[8]?？蛮i飛結(jié)合CNN平面網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)的特點(diǎn)，使用平均池化層代替全連接層，使得網(wǎng)絡(luò)結(jié)構(gòu)變得簡(jiǎn)單且增強(qiáng)了可移植性[9]。傅勇提出并訓(xùn)練一個(gè)多任務(wù)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了360度范圍內(nèi)檢測(cè)平面旋轉(zhuǎn)人臉[10]。白琮在AlexNet網(wǎng)絡(luò)模型的全連接層引入了一層新的隱層，通過(guò)隱層讓網(wǎng)絡(luò)可以同時(shí)有學(xué)習(xí)圖像特征和二值哈希的功能，使AlexNet網(wǎng)絡(luò)擁有了處理大規(guī)模圖像數(shù)據(jù)的能力[11]。劉亮對(duì)Softmax層進(jìn)行了改進(jìn)設(shè)計(jì)，在Softmax的損失代價(jià)函數(shù)中加入一個(gè)正則項(xiàng)，引入權(quán)重衰減系數(shù)使得卷積神經(jīng)網(wǎng)絡(luò)在人臉識(shí)別領(lǐng)域的測(cè)試集識(shí)別率有一定的提高[12]。王昱皓等將核主成分分析法與Softmax分類(lèi)函數(shù)結(jié)合在一起，提出了一種新的故障診斷分類(lèi)模型，通過(guò)對(duì)高壓斷路器機(jī)械故障的分類(lèi)也驗(yàn)證了模型的優(yōu)越性[13]。周非等人通過(guò)增加訓(xùn)練樣本標(biāo)簽的維度和增加不同樣本類(lèi)別的最小漢明距離，并將Sigmoid激活函數(shù)與交叉熵?fù)p失函數(shù)相結(jié)合，提高了卷積網(wǎng)絡(luò)模型的分類(lèi)能力[14]。楊鶴標(biāo)針對(duì)Softmax層在大量數(shù)據(jù)訓(xùn)練效率低的問(wèn)題，提出了一種新型的動(dòng)態(tài)層序Softmax算法，采用節(jié)點(diǎn)置換方法動(dòng)態(tài)構(gòu)建編碼樹(shù)，通過(guò)動(dòng)態(tài)使用一階矩估計(jì)和二階矩估計(jì)方法調(diào)整更新方向和學(xué)習(xí)率，提高了Softmax分類(lèi)在對(duì)海量數(shù)據(jù)時(shí)進(jìn)行訓(xùn)練分類(lèi)的準(zhǔn)確率[15]。

該文針對(duì)輪胎破損圖像識(shí)別中容易出現(xiàn)過(guò)擬合現(xiàn)象，導(dǎo)致圖像分類(lèi)識(shí)別準(zhǔn)確率不高的問(wèn)題，提出一種基于嶺回歸分析的AlexNet卷積神經(jīng)網(wǎng)絡(luò)輪胎破損圖像識(shí)別模型。在AlexNet網(wǎng)絡(luò)的圖像特征信息提取模塊中引入嶺回歸模型，通過(guò)在原來(lái)的損失函數(shù)中加入一個(gè)新的正則項(xiàng)，盡可能地減小目標(biāo)函數(shù)，以此降低模型訓(xùn)練過(guò)程中出現(xiàn)的過(guò)擬合現(xiàn)象，提高圖像的訓(xùn)練準(zhǔn)確率。最終實(shí)驗(yàn)結(jié)果也驗(yàn)證了提出的改進(jìn)算法提高了輪胎破損圖像分類(lèi)識(shí)別的準(zhǔn)確率。

1 相關(guān)理論

1.1 AlexNet模型網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)是第一個(gè)成功訓(xùn)練多層網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)算法，通過(guò)提取圖像特征信息，最終得到一幅圖像的高級(jí)語(yǔ)義特征[16]。卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)一般由卷積層、池化層和全連接層組成。而AlexNet網(wǎng)絡(luò)是一種深度卷積神經(jīng)網(wǎng)絡(luò)，由五個(gè)卷積層、三個(gè)池化層和三個(gè)全連接層構(gòu)成。其中卷積層和池化層主要是進(jìn)行圖像特征信息的提取操作，全連接層將特征圖轉(zhuǎn)換為特征向量，其中最后一個(gè)全連接層將輸出結(jié)果遞交給Softmax層[17]。AlexNet模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 AlexNet模型的網(wǎng)絡(luò)結(jié)構(gòu)

其中卷積層的計(jì)算表達(dá)式為：

(1)

(2)

全連接層的計(jì)算表達(dá)式為：

(3)

其中，ω表示權(quán)重變量；bi表示第i個(gè)神經(jīng)元的偏置項(xiàng)數(shù)值；yi表示第i個(gè)神經(jīng)元的輸出數(shù)值；N表示所有樣本特征圖的個(gè)數(shù)；M表示樣本數(shù)據(jù)的特征圖的熵神經(jīng)元個(gè)數(shù)；m表示分類(lèi)類(lèi)別的數(shù)目；Q表示輸出層激活函數(shù)的作用值。

使用AlexNet網(wǎng)絡(luò)對(duì)圖像訓(xùn)練得到訓(xùn)練模型的過(guò)程共分成兩個(gè)階段，包括前向傳播階段和反向傳播階段。每個(gè)階段的運(yùn)算過(guò)程如下：

(1)前向傳播階段AlexNet網(wǎng)絡(luò)模型對(duì)每層輸入的運(yùn)算為：

(4)

其中，y(l)表示第l個(gè)卷積層的輸出，x(i)表示輸入向量，?表示卷積計(jì)算，bl表示偏置，Wi表示此層所對(duì)應(yīng)的卷積核的權(quán)值，m表示輸入圖像的特征圖的全部集合，f(x)表示非線(xiàn)性激活函數(shù)。

(2)反向傳播階段AlexNet網(wǎng)絡(luò)模型對(duì)每層輸入的運(yùn)算為：

一個(gè)含有m個(gè)樣本的數(shù)據(jù)集，經(jīng)過(guò)前向傳播的過(guò)程之后AlexNet網(wǎng)絡(luò)會(huì)輸出每一種不同類(lèi)別預(yù)測(cè)的最終結(jié)果，則根據(jù)此結(jié)果與期望值的輸出，可定義網(wǎng)絡(luò)的整體目標(biāo)函數(shù)為：

(5)

式中，L(zi)是網(wǎng)絡(luò)對(duì)應(yīng)的損失函數(shù)，它是通過(guò)迭代訓(xùn)練最小化損失函數(shù)，目的是降低網(wǎng)絡(luò)模型的分類(lèi)錯(cuò)誤率，zi是反向傳播階段開(kāi)始時(shí)的輸入，也就是前向傳播階段最后一層網(wǎng)絡(luò)的輸出結(jié)果。W表示網(wǎng)絡(luò)在本次迭代中所占的權(quán)值，λ表示相應(yīng)的歸一項(xiàng)所占的比重。損失函數(shù)L(zi)隨著不同的分類(lèi)數(shù)量而改變。而Softmax層的歸一化概率函數(shù)可以定義為：

zi=zi-max(z1,z2,…,zm)

(6)

(7)

在上述定義中，zi是每一個(gè)類(lèi)別線(xiàn)性預(yù)測(cè)的結(jié)果，σi(z)表示概率，是網(wǎng)絡(luò)預(yù)測(cè)輸入值z(mì)i屬于每一種類(lèi)別的可能性。則可定義損失函數(shù)為：

L(zi)=-logσi(z)

(8)

采用梯度下降算法對(duì)公式(1)中每一層的W與bl分別求其導(dǎo)數(shù)，最終通過(guò)計(jì)算可以得到網(wǎng)絡(luò)參數(shù)的更新權(quán)值和模型的最小化損失函數(shù)。

1.2 嶺回歸模型

當(dāng)數(shù)據(jù)存在多重共性數(shù)據(jù)時(shí)，盡管使用最小二乘法得出的估計(jì)值不存在偏差，但是它們的方差差別很大，使得預(yù)測(cè)結(jié)果與真實(shí)結(jié)果相差甚遠(yuǎn)。嶺回歸(ridge regression)分析是最小二乘估計(jì)法的一種改進(jìn)方程，主要被用來(lái)處理共線(xiàn)性的數(shù)據(jù)，是一種有偏估計(jì)的回歸方法[18]。它不考慮最小二乘法的無(wú)偏性，而是損失一些信息以此獲得一個(gè)新的回歸系數(shù)[19]。嶺回歸分析雖然降低了數(shù)據(jù)精度，但更貼近實(shí)際應(yīng)用，是一種更值得信任的回歸方法，對(duì)于破損輪胎圖像的數(shù)據(jù)的擬合比最小二乘法更好。

對(duì)于傳統(tǒng)的最小二乘法線(xiàn)性回歸，它的代價(jià)函數(shù)如下式所示：

(9)

公式(9)是通過(guò)改變擬合系數(shù)β的大小使RSS值最小。而嶺回歸分析是在傳統(tǒng)的最小二乘線(xiàn)性回歸方程中加上一個(gè)正則項(xiàng)，用此正則項(xiàng)對(duì)參數(shù)進(jìn)行改進(jìn)，即加上正則項(xiàng)(L2范數(shù))。正則化是一種常見(jiàn)的防止過(guò)擬合的方法，一般原理是在代價(jià)函數(shù)后面加上一個(gè)對(duì)參數(shù)的約束項(xiàng)，而這個(gè)約束項(xiàng)被稱(chēng)作正則化項(xiàng)。

(10)

(11)

引入正則化項(xiàng)L2范數(shù)后，此時(shí)代價(jià)函數(shù)可被定義為：

(12)

其中，λ是一個(gè)非負(fù)的調(diào)節(jié)參數(shù)。從上式可以得到：當(dāng)λ=0時(shí)，結(jié)果與傳統(tǒng)的最小二乘法一致，沒(méi)有起到任何作用，而當(dāng)λ=+∞，RSS占整個(gè)代價(jià)函數(shù)的比重非常小，正則項(xiàng)變得非常大，若要代價(jià)函數(shù)的值取最小，只能選擇改變擬合系數(shù)β的值，使其無(wú)限接近零。

嶺回歸的代價(jià)函數(shù)是一個(gè)凸函數(shù)，L2范數(shù)懲罰項(xiàng)的加入使得滿(mǎn)秩，保證了可逆，但是也由于懲罰項(xiàng)的加入，使得回歸系數(shù)β的估計(jì)不再是無(wú)偏估計(jì)。所以嶺回歸是以放棄無(wú)偏性、降低精度為代價(jià)解決病態(tài)矩陣問(wèn)題的回歸方法。

2 基于改進(jìn)的AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型

為提高輪胎破損圖像的識(shí)別準(zhǔn)確率，該文提出了一種改進(jìn)的AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型，該模型是在原來(lái)模型的圖像特征信息提取模塊中加入嶺回歸分析。傳統(tǒng)的模型由于輪胎圖像的特征信息具有較多的共性，在訓(xùn)練時(shí)會(huì)出現(xiàn)過(guò)擬合現(xiàn)象，使得算法的訓(xùn)練準(zhǔn)確率降低了。而嶺回歸分析對(duì)含有大量多重共性信息的數(shù)據(jù)有較好的分析能力，引入嶺回歸分析可以在一定程度上弱化過(guò)擬合問(wèn)題。改進(jìn)的AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)如圖2所示。

圖2 改進(jìn)AlexNet模型的網(wǎng)絡(luò)結(jié)構(gòu)

該文在卷積層和池化層之間引入嶺回歸分析方程，在進(jìn)行特征信息的提取時(shí)，首先找出多重共線(xiàn)性的信息，并剔除一部分信息，目的是通過(guò)嶺回歸系數(shù)的穩(wěn)定與否找出代表性不夠大的變量。利用嶺回歸分析對(duì)共性數(shù)據(jù)強(qiáng)大的分析能力，放棄一些輪胎數(shù)據(jù)信息，選擇提取信息豐富具有特征代表性的信息，并獲得一個(gè)新的回歸系數(shù)。利用新的回歸系數(shù)調(diào)整網(wǎng)絡(luò)的代價(jià)函數(shù)，以此達(dá)到改變函數(shù)比重的目的。這也降低了網(wǎng)絡(luò)模型在訓(xùn)練過(guò)程中出現(xiàn)的過(guò)擬合現(xiàn)象，更進(jìn)一步增強(qiáng)了模型的訓(xùn)練能力，提高了輪胎破損圖像的識(shí)別準(zhǔn)確率。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集

本次實(shí)驗(yàn)數(shù)據(jù)集是由人工拍攝以及網(wǎng)上獲取的輪胎破損圖像組成，共分為四類(lèi)，包括2 488張圖片。為保證數(shù)據(jù)樣本數(shù)量充足，在進(jìn)行模型訓(xùn)練之前首先對(duì)輪胎破損圖像進(jìn)行預(yù)處理操作，對(duì)數(shù)據(jù)的樣本數(shù)量進(jìn)行擴(kuò)充處理。預(yù)處理技術(shù)包括水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)或縮放技術(shù)等。經(jīng)過(guò)預(yù)處理后，最終共有樣本3 735張。該文選擇每類(lèi)樣本中的70%作為訓(xùn)練集，剩余的30%則構(gòu)成測(cè)試集，數(shù)據(jù)集中所有輪胎破損圖像的尺寸均為64*64像素。數(shù)據(jù)集的具體分類(lèi)如表1所示。

表1 輪胎破損圖像數(shù)據(jù)集分類(lèi)

3.2 實(shí)驗(yàn)平臺(tái)

為了驗(yàn)證將嶺回歸分析方法引入AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型的可行性，將其用于輪胎破損圖像的分類(lèi)和識(shí)別中。本次實(shí)驗(yàn)均是在基于Python語(yǔ)言的深度學(xué)習(xí)框架TensorFlow下實(shí)現(xiàn)的。環(huán)境為Windows10 64位操作系統(tǒng)，硬件環(huán)境為Intel i5。

3.3 實(shí)驗(yàn)驗(yàn)證與分析

為了驗(yàn)證提出的改進(jìn)網(wǎng)絡(luò)模型可以應(yīng)用在輪胎破損圖像識(shí)別中，在相同的實(shí)驗(yàn)環(huán)境下，將處理完成的訓(xùn)練集用傳統(tǒng)的AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型與提出的改進(jìn)模型分別訓(xùn)練并進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果如圖3所示，其中左圖為傳統(tǒng)的網(wǎng)絡(luò)模型訓(xùn)練結(jié)果，右圖為提出的改進(jìn)網(wǎng)絡(luò)模型訓(xùn)練結(jié)果。

圖3 對(duì)比實(shí)驗(yàn)結(jié)果

從實(shí)驗(yàn)結(jié)果圖可以看出，在訓(xùn)練過(guò)程中，隨著迭代次數(shù)的不斷增加，兩種網(wǎng)絡(luò)模型的訓(xùn)練準(zhǔn)確率均逐漸上升且最終趨于一個(gè)穩(wěn)定的狀態(tài)，但改進(jìn)的AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練準(zhǔn)確率與損失率都更加穩(wěn)定?？傮w看來(lái)，改進(jìn)的AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型的性能優(yōu)于傳統(tǒng)的網(wǎng)絡(luò)模型。傳統(tǒng)模型的訓(xùn)練準(zhǔn)確率為88.732%，而提出的改進(jìn)AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練準(zhǔn)確率為90.158%，訓(xùn)練準(zhǔn)確率有所提高。使用測(cè)試集對(duì)改進(jìn)的網(wǎng)絡(luò)模型以及傳統(tǒng)網(wǎng)絡(luò)模型分別進(jìn)行測(cè)試實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果也顯示改進(jìn)的網(wǎng)絡(luò)模型識(shí)別準(zhǔn)確率也優(yōu)于傳統(tǒng)的網(wǎng)絡(luò)模型。

4 結(jié)束語(yǔ)

針對(duì)卷積神經(jīng)網(wǎng)絡(luò)算法在應(yīng)用于輪胎破損圖像的分類(lèi)識(shí)別時(shí)，由于輪胎圖像特征信息含有大量的共性數(shù)據(jù)以至于分類(lèi)準(zhǔn)確率與識(shí)別準(zhǔn)確率不高的問(wèn)題，提出一種基于嶺回歸分析的AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型并將其應(yīng)用于輪胎破損圖像識(shí)別中。針對(duì)訓(xùn)練過(guò)程中由于圖像特征信息的共性而出現(xiàn)的過(guò)擬合現(xiàn)象導(dǎo)致模型的訓(xùn)練準(zhǔn)確率降低的問(wèn)題，在傳統(tǒng)的網(wǎng)絡(luò)模型的基礎(chǔ)上，引入了嶺回歸分析，在一定程度上解決了此問(wèn)題。根據(jù)實(shí)驗(yàn)結(jié)果可以看出，改進(jìn)的AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型相比于傳統(tǒng)的網(wǎng)絡(luò)模型有更高的訓(xùn)練準(zhǔn)確率和識(shí)別準(zhǔn)確率，但是在輪胎破損圖像識(shí)別的應(yīng)用中，此網(wǎng)絡(luò)模型還存在一定的不足，后續(xù)工作將致力于進(jìn)一步改進(jìn)網(wǎng)絡(luò)模型，以達(dá)到對(duì)輪胎破損圖像有更高的識(shí)別準(zhǔn)確率的目的。