胡 鷹 孫紹寧 喬磊明

（太原科技大學計算機科學與技術學院 太原 030024）

1 引言

隨著時代的進步發(fā)展，板材在我們日常生活中的應用越發(fā)廣泛，然而板材的生產不是一個完美的過程，外部原因可能導致板材有許多不同類別的缺陷。板材質量不合格不僅影響矯直機作業(yè)的速度和質量，嚴重的甚至會造成機械報廢［2］。

傳統(tǒng)的板形缺陷識別大多依靠人的經驗［5］，不僅工作效率低下，而且容易受到人力因素的干擾。有經驗的工人畢竟是少數(shù)，一旦工作量較大時往往會因人手不夠導致工作無法進行下去。隨著時代的發(fā)展，人力操作逐漸被人工智能所取代。板形儀作為當代測量板形數(shù)據(jù)常用的儀器［5］，在國外的應用較為廣泛，在國內還沒有普及。國內大多是利用徑向基（Radial Basis Function，RBF）神經網絡和BP（Back Propagation）神經網絡進行板形缺陷的識別［10］。但現(xiàn)有的方法只能糾正簡單的板形缺陷，不能識別稍復雜的缺陷。

為了解決板形缺陷識別精度不高、操作復雜和成本過高等問題，提出了一種基于卷積神經網絡的板形缺陷識別模型（OP-AlexNet）。

2 相關工作

目前，很多學者針對板形缺陷識別問題做了許多研究。馮曉華等將遺傳算法與BP算法相結合，讓網絡結構能隨著板寬的變化而變化，使得網絡結構靈活多變［17］，減少了訓練所需樣本，提高了神經網絡的學習能力和收斂性。解相朋等利用粒子群優(yōu)化算法優(yōu)化了徑向基神經網絡的結構，增強了網絡的泛化能力，提高了板形識別的精度［11］。張秀玲等通過對聚類算法的優(yōu)化，提出了SOM聚類方法，對RBF和BP神經網絡進行混合優(yōu)化從而提高了板形識別的精度，同時相比之前的方法計算量減少，網絡模型的魯棒性也更強［10］。但不論是RBF還是BP神經網絡模型都需要精密儀器測量數(shù)據(jù)，操作復雜且成本過高。

自LeNet-5誕生后陸續(xù)誕生了AlexNet、VGGNet、Inception等經典卷積網絡模型相繼問世并得到廣泛應用［13］。嚴飛等改進了CNN圖像語義分割方法并應用于木材缺陷識別。但由于結構相對簡單效果并不出眾［8］。姜洪全等改進了卷積神經網絡模型結構建立池化模型并應用于焊縫缺陷識別，通過對池化層的改進提升了模型的特征提取能力，從而提高了焊縫缺陷識別的精度［20］。陳立潮等改進了經典的AlexNet模型并應用于不銹鋼焊縫缺陷分類中，通過凍結網絡的前三層減小網絡對輸入數(shù)據(jù)量的限制，之后采用BN層代替原模型的LRN層以提高網絡訓練速度，并使用LeakyReLU函數(shù)對抑制神經元進行重新激活，從而提出一種融合遷移學習的AlexNet神經網絡不銹鋼焊縫缺陷分類模型并達到了較好的效果。但是上述方法均在不同于板形識別的領域且不同程度的存在一定不足，例如BP神經網絡的連接權值、節(jié)點數(shù)以及網絡層數(shù)等參數(shù)過多，工作量龐大。不同領域的模型參數(shù)不同，且受材料、加工等多方面因素影響，因此不能直接用于板形缺陷識別當中。

綜上，為使板形缺陷識別的操作更為簡單、成本更低以及識別更加準確，本文提出OP-AlexNet模型對各種板形缺陷進行識別。

3 準備工作

3.1 卷積神經網絡

卷積神經網絡于1987年被提出并應用，當時的神經網絡存在內存和內部參數(shù)占用過多的問題，卷積神經網絡的出現(xiàn)很好地解決了這些問題［1］。整個網絡主要包含卷積層、池化層、全連接層這三個部分［18］。圖1為卷積神經網絡的結構。

圖1 卷積神經網絡結構

卷積層的正向傳播映射為

偏置項的偏導數(shù)為

定義誤差項為

則有：

在卷積層后的是池化層，它的作用是將提取的特征進行分割。假設池化層輸入為x(l-1)，輸出為x(l)那么將有以下定義：

上式為下采樣操作，同理可得上采樣計算誤差項為

最后是全連接層，它的作用是將提取到的特征信息組合在一起，識別出種類。

3.2 AlexNet模型

AlexNet由Alex Krizhevsky于2012年提出［21］。AlexNet提出后深度學習開始迅速發(fā)展。圖2為AlexNet模型的網絡結構示意圖。

圖2 AlexNet網絡結構示意圖

由圖2可以看出AlexNet模型具有5層卷積層、3層池化層以及3層全連接層［15］。激活函數(shù)采用ReLU進行運算，ReLU函數(shù)的公式為

AlexNet是多GPU并行運算，其輸出大小為

其中n為輸入圖片的大小，p為填充像素，f為過濾器，s為步長。

AlexNet在圖像處理方面有著廣泛的應用且相較其它網絡模型效果出眾，因此本文選擇AlexNet作為基礎模型進行改進。

3.3 板形模式識別的基本模式

板形缺陷識別就是判斷板材中存在的缺陷類型，而板形缺陷種類繁多且有單一和復合型缺陷之分。生活中常見的板形缺陷模式有左邊浪、右邊浪、中間浪、雙邊浪、四分浪和邊中浪［10］。如圖3所示。

圖3 6種板形缺陷模式

勒讓德多項式為判斷板形模式的常用方法，因為目前板形內部的殘余應力用勒讓德多項式表達最為準確［10］。幾種常見的板形缺陷歸一化方程如式（9）~（14）所示：

左邊浪：

右邊浪：

中間浪：

雙邊浪：

四分浪：

邊中浪：

4 基于卷積神經網絡的板形缺陷識別

4.1 雙立方插值算法

因為數(shù)據(jù)集中的圖片采集自不同的環(huán)境、設備，例如光照、拍攝角度等因素，所以極容易對圖片產生干擾噪聲，因此需要對圖片進行預處理。

本文使用雙立方插值算法對數(shù)據(jù)集中的圖片進行尺寸的統(tǒng)一。其算法函數(shù)公式為

取a=-0.5，即：

假設原圖片大小為m×n，像素坐標為(x，y)，目標圖片大小為M×N，目標圖片的像素坐標為( X，Y)，轉換成原圖片像素坐標為( x+μ，y+ν)：

雙立方插值算法考慮參考點周圍的灰度值變化，在圖像縮放過程中可以更多地保留圖像的細節(jié)，且放大后的圖像不會帶有鋸齒。

本文另選擇最近鄰插值算法、線性插值算法與雙立方插值算法進行比較，效果均不如雙立方插值算法。最近鄰插值算法采集的信息過于片面，只采集最近的信息，沒有考慮周圍信息的影響，盡管算法的速度較快但處理后的圖片連續(xù)性不強，斷層現(xiàn)象嚴重。線性插值算法雖然圖片的連續(xù)性相較前者增強，但在圖像邊緣會出現(xiàn)模糊問題。因此本文對圖片的預處理選擇雙立方插值算法。

4.2 板形缺陷識別模型（OP-AlexNet）網絡結構設計

本文采用傳統(tǒng)的AlexNet模型作為基礎實驗，在此基礎上對AlexNet模型結構進行改進，因為本文數(shù)據(jù)集中的圖片尺寸偏小，原結構的卷積核大小并不適用于處理本文數(shù)據(jù)集中的圖片，為了更好地提取板形特征，本文將卷積核調小并只保留3層卷積層，卷積核大小分別為5×5，3×3，5×5。由于本文數(shù)據(jù)集龐大且板形缺陷較為復雜，為避免參數(shù)過多使得整個網絡復雜度偏高，本文在原結構基礎上減少1層全連接層。此外，將原結構的LRN層用BN層代替，BN層的計算方法是先求出數(shù)據(jù)x的均值和方差，接著將每一層地數(shù)據(jù)標準化，引入兩個變量γ和β，最后輸出。具體操作步驟如式（18）~（21）所示。

其中θ={ x1…m}，γ，β為待學習變量，xi為輸入，yi為輸出。因BN較LRN在數(shù)據(jù)處理上有著更好的包容性，因此在原結構上使用BN層代替LRN層。

綜上，改進后的網絡模型減少了訓練時間，對圖片特征提取的能力增強，使網絡能夠更好地適于板形缺陷識別。如圖4所示為改進后的網絡結構。

圖4 OP-AlexNet模型網絡結構

5 實驗與結果分析

5.1 實驗環(huán)境以及數(shù)據(jù)集

本文使用PyCharm2019.3.1實現(xiàn)板形缺陷識別系統(tǒng)，并進行實驗，同時所使用的系統(tǒng)參數(shù)如表1所示。

表1 系統(tǒng)參數(shù)表

本實驗選擇kaggle比賽中的板材缺陷檢測競賽的實驗數(shù)據(jù)作為板形缺陷識別模型的原始數(shù)據(jù)，以此來驗證所提出模型的有效性。實驗數(shù)據(jù)集中每一張圖片都是帶有缺陷的板材。圖片共18074張，按照2∶1的比例劃分，12050張為訓練集，6024張為測試集。

5.2 實驗過程

5.2.1 模型效果驗證

本文實驗在PyCharm2019.3.1中進行，首先按照前一節(jié)所述搭建好板形缺陷識別模型（OP-AlexNet），然后將圖片輸入進行訓練實驗。為了驗證模型的性能，本文選擇AlexNet做基礎實驗，并將兩者的實驗結果進行對比。每迭代100次記錄當前驗證精度，由此得到迭代次數(shù)與驗證精度變化曲線圖如圖5所示。

圖5 AlexNet與板形缺陷識別模型驗證精度對比

從圖5中可以看出，在訓練初期，兩種模型的驗證精度都存在波動，這是因為初始化權重不同對訓練結果的影響較大。隨著訓練的進行，兩種模型的驗證精度都在提高并趨于穩(wěn)定，收斂速度也在提高。但板形缺陷識別模型較經典AlexNet神經網絡模型識別精度提高16.2%，并且收斂速度和魯棒性都有了提升。

5.2.2 激活函數(shù)的改進對模型效果的影響

本文在OP-AlexNet模型基礎上采用LeakyRe-LU激活函數(shù)與原本的ReLU激活函數(shù)進行對比實驗，對比結果如圖6所示。

圖6 不同激活函數(shù)驗證精度對比

由圖可以看出，兩種模型在迭代1000次后均已基本收斂，改進后的模型相較傳統(tǒng)的AlexNet模型在驗證精度上提高了1.25%。這是因為ReLU激活函數(shù)在作用時可能導致一部分神經元靜默，從而導致這部分參數(shù)更新停滯。而LeakyReLU可以改善這個問題，因為LeakyReLU在負半軸不會出現(xiàn)導數(shù)為0的情況，可以使得這些被靜默的神經元重新被激活，因此本文激活函數(shù)采用LeakyReLU。

5.3 實驗結果分析

本文使用4.1節(jié)配置的實驗環(huán)境進行訓練，結束訓練的迭代次數(shù)設置為1000次，本文統(tǒng)計了6種板形缺陷的識別精度、召回率和F1值來評價模型的性能，實驗結果如表2所示。

表2 模型性能評價

從表2可以看出，左邊浪和右邊浪的識別效果最好，中間浪和雙邊浪的識別效果次之，四邊浪和邊中浪的識別效果較差。原因在于它們分別屬于一次、二次和四次板形［10］，缺陷復雜度依次增高，識別的困難程度依次增大，因此識別效果依次降低。

為了使實驗結果更具有說服力，將本文模型與未經預訓練的VGGNet模型和Inception模型進行對比，并統(tǒng)計實驗進行至1000次的精度變化。對比結果如表3和圖6所示。

表3 不同模型性能對比

由圖7可以看出，VGGNet和Inception模型的運行時間分別為14.8h和13.6h，本文模型在迭代1000次時的時間約為16.3h，分別是VGGnet和Inception模型的1.1倍和1.2倍。這主要是因為板形缺陷較為復雜導致參數(shù)過多，計算量較大，因而達到相同迭代次數(shù)的時間較長。然而本文實驗模型準確率達到了91.3%，相較于VGGNet和Inception模型分別提高了27.5%和13.2%。VGGNet模型因其網絡的深度與廣度不高，隨著迭代次數(shù)地增加效果會變差，錯誤率會提高。而Inception屬于大型的深度提取網絡，對數(shù)據(jù)集有著較為嚴格的標準，而本文的數(shù)據(jù)集還存在一定不足，因為實驗結果較差。

圖7 不同模型驗證精度對比

6 結語

本文針對現(xiàn)有的板形缺陷識別操作復雜、成本高等問題，采用雙立法插值算法統(tǒng)一數(shù)據(jù)集中的圖片尺寸，以AlexNet為基礎對網絡模型結構進行改進，使其特征提取能力增強，并使用LeakyReLU激活函數(shù)替換ReLU激活函數(shù)對抑制的神經元進行重新激活，提出了OP-AlexNet模型。本文模型的識別準確率最終達到91.3%。相較傳統(tǒng)的AlexNet模型提高了16.2%，相較于VGGNet和Inception模型分別提高了27.5%和13.2%，由此驗證了該模型的有效性。但該模型相較于現(xiàn)有模型，訓練時間相對較長，今后還需繼續(xù)研究，縮短訓練時間，以適應現(xiàn)代化工業(yè)生產。