朱超平，楊永斌

基于改進(jìn)的Faster-RCNN模型的汽車輪轂表面缺陷在線檢測(cè)算法研究

朱超平1,2，楊永斌1,2

（1.重慶工商大學(xué) 人工智能學(xué)院，重慶 400067；2.重慶市檢測(cè)控制集成系統(tǒng)工程重點(diǎn)實(shí)驗(yàn)室，重慶 400067）

通過構(gòu)建輪轂在線生產(chǎn)視覺檢測(cè)系統(tǒng)，預(yù)測(cè)輪轂生產(chǎn)過程中輪轂表面的缺陷。根據(jù)輪轂表面缺陷的定義和評(píng)價(jià)標(biāo)準(zhǔn)，給出了輪轂表面缺陷的計(jì)算模型，采用了改進(jìn)型的Faster-RCNN目標(biāo)檢測(cè)算法，引入了深度生成式對(duì)抗網(wǎng)絡(luò)，消除圖像的模糊性，再利用清晰的輪轂表面圖像進(jìn)行模型訓(xùn)練，結(jié)合領(lǐng)域?qū)＜业呐袆e標(biāo)準(zhǔn)，優(yōu)化網(wǎng)絡(luò)參數(shù)，構(gòu)建輪轂表面缺陷檢測(cè)模型。利用深度學(xué)習(xí)Pytorch框架，在NVIDIA Tesla P100圖像加速卡上進(jìn)行模型訓(xùn)練，并對(duì)模型結(jié)果進(jìn)行對(duì)比性實(shí)驗(yàn)分析，找出最優(yōu)的預(yù)測(cè)模型。在基礎(chǔ)網(wǎng)絡(luò)部分，采用殘差模型ResNet101網(wǎng)絡(luò)比采用VGG16模型的準(zhǔn)確率提高了24%。在目標(biāo)檢測(cè)網(wǎng)絡(luò)模型中引入了多通道特征融合模塊，準(zhǔn)確率提升了2%。再引入FPN金字塔模型，融入低級(jí)和高級(jí)語義信息，使得輸出的多尺度的預(yù)測(cè)特征圖譜效果更好。最后把殘差網(wǎng)絡(luò)的ROI-Pooling算法改為ROI-Align算法，準(zhǔn)確率提高了5%。通過對(duì)網(wǎng)絡(luò)模型的不斷改進(jìn)和優(yōu)化，輪轂表面缺陷的識(shí)別率不斷提高。利用改進(jìn)型的Faster-RCNN網(wǎng)絡(luò)能夠識(shí)別出輪轂表面缺陷的種類和位置，滿足生產(chǎn)環(huán)境的要求，具有一定的工程應(yīng)用價(jià)值。

汽車輪轂；缺陷檢測(cè)；深度學(xué)習(xí)；目標(biāo)檢測(cè)；Faster-RCNN

隨著人們生活水平的提高，汽車成為家庭的消費(fèi)品，消費(fèi)者越來越看重汽車的質(zhì)量。輪轂是汽車的重要組成部分，也是重要的安全組件，汽車輪轂質(zhì)量的好壞直接影響產(chǎn)品的外觀，甚至生命的安全，對(duì)輪轂表面缺陷檢測(cè)就顯得非常重要。輪轂制造工藝相對(duì)簡(jiǎn)單，但輪轂的結(jié)構(gòu)復(fù)雜，檢測(cè)技術(shù)要求高，傳統(tǒng)的檢測(cè)方法主要有滲透檢測(cè)技術(shù)、渦流檢測(cè)技術(shù)、磁粉檢測(cè)技術(shù)、圖像檢測(cè)技術(shù)、目視檢測(cè)技術(shù)和人工檢測(cè)[1]。這些方法技術(shù)要么有污染，要么檢測(cè)工藝復(fù)雜，要么檢測(cè)速度慢，很難實(shí)現(xiàn)輪轂表面的自動(dòng)化檢測(cè)，導(dǎo)致生產(chǎn)效率低，檢測(cè)效果不理想。因此，有必要研究如何提高輪轂表面缺陷的檢測(cè)效率效果。

近年來，基于人工智能的智能生產(chǎn)技術(shù)在工業(yè)領(lǐng)域的應(yīng)用得到迅速發(fā)展，使得計(jì)算機(jī)視覺和深度學(xué)習(xí)方法逐步滲透到輪轂表面缺陷檢測(cè)的研究領(lǐng)域中。趙海文[2]提出了基于深度卷積神經(jīng)網(wǎng)絡(luò)，檢測(cè)汽車輪轂表面缺陷的方法。趙娜娜[3]提出了基于視角顯著性超像素圖像的檢測(cè)方法，可對(duì)高鐵輪轂表面缺陷進(jìn)行檢測(cè)。葉凱[4]提出了基于利用深度學(xué)習(xí)，對(duì)生產(chǎn)線上的輪轂進(jìn)行缺陷定位和分類。王一妍[5]提出了利用機(jī)器視覺對(duì)輪轂鑄造面的缺陷區(qū)域進(jìn)行定位，提取缺陷特征，從而進(jìn)行特征缺陷識(shí)別。這些方法首先都需要先離線采集輪轂表面圖像，然后對(duì)圖像繼續(xù)進(jìn)行加強(qiáng)處理，最后進(jìn)行表面缺陷識(shí)別，這很難適應(yīng)流水線自動(dòng)化生產(chǎn)的要求，并且預(yù)測(cè)效果也不夠理想。鑒于此，文中選用行業(yè)專家的評(píng)判標(biāo)準(zhǔn)，結(jié)合采集的數(shù)據(jù)，確定缺陷的類別，引入Faster-RCNN目標(biāo)檢測(cè)模型[6]，并優(yōu)化網(wǎng)絡(luò)模型，旨在構(gòu)建輪轂表面缺陷檢測(cè)模型。

1 缺陷的分類和圖像采集

輪轂的主要生產(chǎn)環(huán)節(jié)包含四個(gè)：鑄造、打磨、機(jī)加工和自動(dòng)噴漆。在生產(chǎn)過程中，可能會(huì)出現(xiàn)鑄造密度不均勻以及氣動(dòng)打磨不足導(dǎo)致的表面不夠平滑等問題，從而產(chǎn)生料斷、冷夾、坑洼和氣孔等缺陷[7]。這些缺陷主要分類三類：凹坑類、線條類和偏差類。由于偏差類缺陷通過深度學(xué)習(xí)算法檢測(cè)比較困難，所以本文只對(duì)前兩類缺陷進(jìn)行檢測(cè)，其缺陷的樣例圖片如圖1所示。

圖1 缺陷的種類

1.1 圖像采集系統(tǒng)

當(dāng)輪轂進(jìn)入檢測(cè)階段時(shí)，首先利用機(jī)械臂上的工業(yè)相機(jī)對(duì)流水線上的輪轂表面進(jìn)行圖像采集（圖像采集系統(tǒng)如圖2所示），然后再對(duì)輪轂的反表面進(jìn)行采集，收集大量的輪轂表面圖像。由于要訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，前期需要采集大量圖像，并從中識(shí)別出輪轂表面有缺陷的圖像，周期較長，并且需要花費(fèi)大量的人力和物力。

1.2 圖像標(biāo)注和數(shù)據(jù)增強(qiáng)

根據(jù)廠家對(duì)輪轂表面缺陷檢測(cè)的要求，以及輪轂生產(chǎn)線的專業(yè)技術(shù)人員對(duì)缺陷分析的指導(dǎo)，最終確定通過深度學(xué)習(xí)網(wǎng)絡(luò)系統(tǒng)，檢測(cè)輪轂表面的缺陷點(diǎn)和劃痕兩類缺陷[8]，利用LabelImg軟件對(duì)輪轂表面的缺陷用矩形框框出，并在右側(cè)的信息欄內(nèi)標(biāo)注缺陷區(qū)域的類別和位置，完成標(biāo)注的信息會(huì)存在XML文件中。

由于在生產(chǎn)線上有瑕疵的輪轂數(shù)量占比較低，要采集大量有缺陷的輪轂表面圖像比較困難，并且非常耗時(shí)。為了獲得更高的輪轂表面缺陷識(shí)別率，需要大量的缺陷圖像，但由于采集條件的限制，采集大量的圖像用于訓(xùn)練較難，而模型的訓(xùn)練又需要大量的數(shù)據(jù)集作為支撐，折中的辦法就是對(duì)采集到的圖像通過翻轉(zhuǎn)、旋轉(zhuǎn)、平移、縮放和噪聲等方式，進(jìn)行擴(kuò)展處理，增加圖像的數(shù)量集，用于模型的訓(xùn)練[9-12]。

2 消除圖像模糊性

2.1 圖像模糊性判斷

輪轂在生產(chǎn)線上移動(dòng)，對(duì)運(yùn)動(dòng)輪轂表面進(jìn)行圖像采集時(shí)，很有可能采集到的圖像會(huì)產(chǎn)生模糊性，在進(jìn)行圖像識(shí)別之前，需要先對(duì)圖像進(jìn)行消除模糊處理，把模糊圖像變得清晰，以提高輪轂表面缺陷的識(shí)別率。處理的主要步驟是：1）將采集到的圖像轉(zhuǎn)化為灰度圖；2）利用拉普拉斯算子對(duì)灰度圖做一次卷積運(yùn)算，得到圖像的計(jì)算圖；3）利用計(jì)算圖的方差閾值來判斷圖像的清晰度，值越小，圖像越模糊，值越大，圖像越清晰[13]。通過大量對(duì)比研究實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)閾值大于20時(shí)，為清晰圖像，當(dāng)閾值小于20時(shí)，為模糊圖像[14]。

2.2 條件生成式對(duì)抗網(wǎng)絡(luò)

2014年，Goodfellow[15]提出了GANs（Generative adversarial nets），即生成式對(duì)抗網(wǎng)絡(luò)，主要用于從訓(xùn)練樣本中學(xué)習(xí)出新樣本。該網(wǎng)絡(luò)至少包含生成模型（Generative Model）和判別模型（Discriminative Model）兩部分[16]。生成模塊主要用于學(xué)習(xí)真實(shí)圖像分布，讓生成的圖像更加真實(shí)；判別模塊主要用于判斷圖像是真實(shí)圖像還是生成圖像。隨著網(wǎng)絡(luò)的不斷訓(xùn)練，參數(shù)的不斷迭代和優(yōu)化，生成模塊和判別模塊不斷地進(jìn)行對(duì)抗式學(xué)習(xí)，最終網(wǎng)絡(luò)模型達(dá)到一個(gè)動(dòng)態(tài)平衡[17]。訓(xùn)練過程中生成器和判別器的優(yōu)化目標(biāo)函數(shù)如公式(1)所示[18]。

通過對(duì)公式(1)進(jìn)行研究發(fā)現(xiàn)，生成式對(duì)抗網(wǎng)絡(luò)可以通過輸入隨機(jī)信號(hào)的組合來生成近似真實(shí)圖像數(shù)據(jù)，這使得生成圖像和真實(shí)圖像無法共享信息，但是在高維的數(shù)據(jù)空間中，生成模型利用隨機(jī)信號(hào)生成的圖像數(shù)據(jù)和真實(shí)圖像數(shù)據(jù)之間具有一定的相似性。為了改善這種情況，在公式(1)中引入條件來構(gòu)成條件生成式對(duì)抗網(wǎng)絡(luò)，這能夠有效地辨別是真實(shí)圖像，還是生成圖像，公式如(2)所示[19]。其中，為真實(shí)圖像的標(biāo)簽。

2.3 消除圖像模糊性

條件生成式對(duì)抗網(wǎng)絡(luò)選用深度卷積神經(jīng)網(wǎng)絡(luò)，以適應(yīng)對(duì)輪轂表面圖像數(shù)據(jù)的處理，并重新設(shè)計(jì)圖像內(nèi)容損失函數(shù)，用于模型的訓(xùn)練，實(shí)現(xiàn)輸入的模糊圖像與網(wǎng)絡(luò)輸出的清晰圖像之間的圖像共享內(nèi)容不發(fā)生改變，保證內(nèi)容的真實(shí)性，從而消除圖像的模糊性。消除過程如圖3所示。

圖3 消除圖像模糊性

3 輪轂表面缺陷檢測(cè)

2016年，在R-CNN和Fast-RCNN技術(shù)發(fā)展的基礎(chǔ)之上，Girshick[20]提出了新的Faster-RCNN模型。該模型通過抽取網(wǎng)絡(luò)特征，提取proposal區(qū)域，將bounding box regression和分類都整合在一個(gè)網(wǎng)絡(luò)中，使得模型的特征提取和分類的綜合性能有較大提高，

在檢測(cè)速度方面的提升尤為明顯[21]。本文在Faster- RCNN的基礎(chǔ)之上，進(jìn)行模型的改進(jìn)，提出了適合輪轂表面檢測(cè)的網(wǎng)絡(luò)模型，如圖4所示，該模型主要包括以下四個(gè)部分：

1）特征提取網(wǎng)絡(luò)。作為一種CNN網(wǎng)絡(luò)目標(biāo)檢測(cè)方法，F(xiàn)aster-RCNN首先使用一組基礎(chǔ)深度神經(jīng)網(wǎng)絡(luò)層提取圖像的特征圖譜，該特征圖譜被共享，用于后續(xù)RPN層和全連接層。

2）RPN（Region Proposal Networks）。RPN網(wǎng)絡(luò)把任意尺度的圖像作為輸入、輸出系列的矩形目標(biāo)框，用于生成推薦區(qū)域，通過softmax判斷錨點(diǎn)屬于前景還是背景，最后利用邊界框回歸圖修正錨點(diǎn)，獲得精確的proposals。

3）ROI Pooling。該層負(fù)責(zé)收集輸入的特征圖譜和proposals信息，利用這些綜合信息來提取proposal feature maps，最后送入到后續(xù)全連接層，判定目標(biāo)類別和位置。

4）Classification。利用proposal feature maps計(jì)算proposal的類別，同時(shí)再次獲得邊界框回歸算法邊框的準(zhǔn)確位置。

圖4 Faster-RCNN網(wǎng)絡(luò)模型結(jié)構(gòu)

3.1 特征提取基礎(chǔ)網(wǎng)絡(luò)

在特征提取基礎(chǔ)網(wǎng)絡(luò)選取方面，選取VGG16網(wǎng)絡(luò)和殘差神經(jīng)網(wǎng)絡(luò)ResNet101作為特征提取的基礎(chǔ)網(wǎng)絡(luò)，分別對(duì)兩個(gè)方案的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，針對(duì)實(shí)驗(yàn)結(jié)果（表1），選擇最優(yōu)網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)。由表1可知，VGG16網(wǎng)絡(luò)的缺陷點(diǎn)檢測(cè)率為0.56，劃痕檢測(cè)率為0.73，均值mAP優(yōu)化率為0.65，準(zhǔn)確度為0.6；ResNet101的缺陷檢測(cè)率為0.88，劃痕檢測(cè)率為0.78，均值為0.83，召回率和準(zhǔn)確率提升效果非常明顯。因此，選擇ResNet101作為特征提取的基礎(chǔ)網(wǎng)絡(luò)。

表1 目標(biāo)檢測(cè)網(wǎng)絡(luò)實(shí)驗(yàn)對(duì)比

Tab.1 Experimental comparison of target detection network

3.2 SE通道特征融合模塊

為了進(jìn)一步提高網(wǎng)絡(luò)模型的特征提取能力，在殘差網(wǎng)絡(luò)ResNet101的基礎(chǔ)之上，引入了特征通道之間的融合模塊SE（squeeze-and-excitation module）[22]。該模塊能從特征通道間進(jìn)行特征融合，建立特征通道之間的相互依賴關(guān)系，并且能夠通過學(xué)習(xí)的方式，獲取每個(gè)特征通道的重要程度，然后按照重要程度去提升有用的特征，并抑制對(duì)當(dāng)前任務(wù)不重要的通道特征，進(jìn)一步加強(qiáng)特征提取網(wǎng)絡(luò)的性能，融入SE模塊的殘差學(xué)習(xí)網(wǎng)絡(luò)，如圖5所示。

圖5 嵌入SE模塊的殘差網(wǎng)絡(luò)

對(duì)比引入SE模塊的殘差網(wǎng)絡(luò)和普通殘差網(wǎng)絡(luò)的實(shí)驗(yàn)分析數(shù)據(jù)可知（見表2），嵌入SE模塊后，能夠有效地整合不同通道之間的特征，對(duì)網(wǎng)絡(luò)性能特征提取能力有比較明顯的提升。

表2 嵌入SE模塊網(wǎng)絡(luò)參數(shù)對(duì)比

Tab.2 Parameter comparison of embedded SE module network

3.3 FPN網(wǎng)絡(luò)

FPN（Feature Pyramid Network）特征金字塔網(wǎng)絡(luò)由bottom-up和top-down路徑及側(cè)面鏈接構(gòu)成，通過任意大小的單尺度圖像作為輸入，以完全卷積的方式對(duì)多尺度特征圖進(jìn)行多個(gè)級(jí)別的特征圖的計(jì)算[23]。具體的操作過程為：首先對(duì)底層金字塔層級(jí)特征圖通過1×1卷積操作，進(jìn)行降維處理，得到與高層金字塔特征相同的通道，再對(duì)高層金字塔特征圖進(jìn)行兩倍采樣，然后對(duì)兩者的特征圖進(jìn)行逐個(gè)像素相加，最后得到金字塔的輸出[24]。通過在特征提取網(wǎng)絡(luò)中引入FPN網(wǎng)絡(luò)以后，模型能夠融入低級(jí)和高級(jí)語義信息，使得模型輸出的多尺度的預(yù)測(cè)特征圖譜效果更好。實(shí)驗(yàn)數(shù)據(jù)（表3）表明，指標(biāo)提升的效果非常明顯。

表3 加入FPN網(wǎng)絡(luò)參數(shù)對(duì)比

Tab.3 Parameter comparison of added FPN network

3.4 ROI檢測(cè)網(wǎng)絡(luò)

Faster-RCNN在得到一系列的候選框區(qū)域時(shí)，需要計(jì)算候選框區(qū)域的準(zhǔn)確位置和精確分類。ROI- Pooling就是將特征圖上大小不同的ROI池化成大小相同的特征圖，使得輸出的特征圖的大小與ROI的大小和特征圖譜大小無關(guān)，加快ROI-Pooling操作，大力地提升了候選框的處理速度。研究發(fā)現(xiàn)，在ROI- Pooling算法中采用雙線性插值方式，對(duì)圖像中的小目標(biāo)進(jìn)行處理，會(huì)產(chǎn)生像素的位置偏移，從而造成較大的誤差[25]。為了提高性能，減少誤差，本文提出采用ROI-Align算法來替代ROI-Pooling算法，將ROI區(qū)域映射為原圖的方法改為最近鄰插值法。通過對(duì)比實(shí)驗(yàn)發(fā)現(xiàn)，采用ROI-Align能夠較大地提升網(wǎng)絡(luò)的性能。

表4 加入ROI網(wǎng)絡(luò)參數(shù)對(duì)比

Tab.4 Parameter comparison of added ROI network

4 實(shí)驗(yàn)結(jié)果分析

4.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境使用的是NVIDIA Tesla P100專業(yè)加速卡，操作系統(tǒng)是Ubuntu18.0，使用的深度學(xué)習(xí)框架是Pytorch，模型的訓(xùn)練測(cè)試都在NVIDIA Tesla P100圖像加速卡上進(jìn)行。

4.2 實(shí)驗(yàn)數(shù)據(jù)集

利用人工在輪轂加工廠采集了1000張968×648像素的樣本圖片，有缺陷和無缺陷的圖片各500張。由于輪轂在生產(chǎn)線上會(huì)移動(dòng)，這些圖片中有的輪轂圖像比較模糊，需要采用深度對(duì)抗網(wǎng)絡(luò)去除圖像的模糊性，得到清晰圖片。由于采集的輪轂缺陷圖片的樣本數(shù)量較少，樣本的數(shù)量又直接影響模型缺陷識(shí)別的精度，只有通過對(duì)無缺陷的圖像進(jìn)行翻轉(zhuǎn)、旋轉(zhuǎn)、縮放、變換、增加噪聲和缺陷特征位置變化等方式，把數(shù)據(jù)量擴(kuò)展至2000張，其中1600張作為訓(xùn)練集圖片，400張作為測(cè)試集圖片。把有缺陷的圖片數(shù)量擴(kuò)展至1000張，其中訓(xùn)練集圖片900張，測(cè)試集圖片100張。

4.3 實(shí)驗(yàn)結(jié)果對(duì)比

為了測(cè)試基礎(chǔ)網(wǎng)絡(luò)對(duì)目標(biāo)檢測(cè)模型的應(yīng)用，選用VGG16和殘差網(wǎng)絡(luò)ResNet101作比較實(shí)驗(yàn)，殘差網(wǎng)絡(luò)ResNet101的性能優(yōu)于VGG16模型。為了得到更好的目標(biāo)檢測(cè)性能，在基礎(chǔ)網(wǎng)絡(luò)檢測(cè)網(wǎng)絡(luò)之上，分別加入SE模塊、改進(jìn)的ROI-Align算法和FPN多尺度特征融合網(wǎng)絡(luò)算法，對(duì)加入不同模塊和算法的模型進(jìn)行訓(xùn)練，對(duì)輪轂表面的缺陷點(diǎn)和劃痕兩種缺陷類型的預(yù)測(cè)值、mAP(mean average precision)值、召回 率和準(zhǔn)確率進(jìn)行測(cè)量，最后在模型中加入SE模塊、ROI-Align算法和FPN算法進(jìn)行綜合訓(xùn)練，測(cè)量模型的參數(shù)值。實(shí)驗(yàn)數(shù)據(jù)結(jié)果如表5所示。

表5 實(shí)驗(yàn)結(jié)果匯總

Tab.5 Summary of experimental results

從表5中的實(shí)驗(yàn)數(shù)據(jù)可以看出，當(dāng)在檢測(cè)網(wǎng)絡(luò)中引入SE模塊、改進(jìn)ROI-Align算法和FPN多尺度特征融合網(wǎng)絡(luò)后，輪轂表面缺陷檢測(cè)網(wǎng)絡(luò)的指標(biāo)明顯提高。此外，缺陷點(diǎn)和劃痕檢測(cè)的召回率和準(zhǔn)確率分別比只加入其中一個(gè)模塊的召回率和準(zhǔn)確率都有所提高，并且提升的效果比較明顯。

4.4 結(jié)果展示

由于網(wǎng)絡(luò)模型是采用清晰圖像進(jìn)行訓(xùn)練的，對(duì)模糊圖像的正確識(shí)別率很差，很難檢測(cè)出缺陷位置。為了能夠檢測(cè)出模糊圖片，需要先利用深度生成式對(duì)抗網(wǎng)絡(luò)去除圖像的模糊性，如圖6所示。然后再利用缺陷檢測(cè)網(wǎng)絡(luò)進(jìn)行缺陷檢測(cè)和定位，實(shí)驗(yàn)結(jié)果表明，去除模糊性的圖片可以非常有效地檢測(cè)出缺陷的類型和位置，實(shí)驗(yàn)結(jié)果如圖7所示。

圖6 模糊圖像檢測(cè)結(jié)果

圖7 清晰圖像檢測(cè)結(jié)果

利用數(shù)據(jù)集中帶有缺陷的清晰圖像對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并通過測(cè)試數(shù)據(jù)集對(duì)訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行測(cè)試。從實(shí)驗(yàn)結(jié)果來看，圖像中的缺陷和劃痕可以非常容易地檢測(cè)出，說明模型檢測(cè)的置信度較高。

5 結(jié)論

目前，汽車輪轂的表面多用人工進(jìn)行檢測(cè)，文中利用深度學(xué)習(xí)對(duì)生產(chǎn)線上的輪轂表面進(jìn)行缺陷檢測(cè)。首先通過圖像采集系統(tǒng)獲取輪轂表面的圖像，然后利用生成式對(duì)抗網(wǎng)絡(luò)去除圖像的模糊性，生成清晰的圖像，其次利用殘差網(wǎng)絡(luò)Resnet101作為特征提取基礎(chǔ)網(wǎng)絡(luò)，并在網(wǎng)絡(luò)中引入SE模塊，加入FPN多尺度融合特征網(wǎng)絡(luò)，把殘差網(wǎng)絡(luò)的ROI-Pooling算法改為ROI-Align算法，得到改進(jìn)型Faster-RCNN的目標(biāo)檢測(cè)網(wǎng)絡(luò)模型。利用清晰的圖像數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練，利用測(cè)試集數(shù)據(jù)進(jìn)行模型測(cè)試，實(shí)驗(yàn)結(jié)果表明，該模型能夠?qū)θ毕蔹c(diǎn)和劃痕進(jìn)行有效檢測(cè)，檢測(cè)缺陷區(qū)域的準(zhǔn)確率為89%，召回率可以達(dá)到92%，基本能夠滿足當(dāng)前生產(chǎn)環(huán)境的要求。

[1] 王琦, 張超. 模式識(shí)別的汽車輪轂鑄件缺陷檢測(cè)技術(shù)研究[J]. 鑄造技術(shù), 2017, 38(12): 2889-2891.WANG Qi, ZHANG Chao. Research on defects detection technology of automobile bub casting based on pattern recognition[J]. Foundry technology, 2017, 38(12): 2889- 2891.

[2] 趙海文, 趙亞川, 齊興悅, 等. 基于深度學(xué)習(xí)的汽車輪轂表面缺陷檢測(cè)算法研究[J]. 組合機(jī)床與自動(dòng)化加工技術(shù), 2019(11): 112-115. ZHAO Hai-wen, ZHAO Ya-chuan, QI Xing-yue, et al. Research on surface defect inspection algorithms of auto-mobile hub based on deep learning[J]. Modular machine tool & automatic manufacturing technique, 2019(11): 112- 115.

[3] 趙娜娜, 陶溢, 李芬, 等. 高鐵輪轂表面缺陷的視覺顯著性超像素圖像檢測(cè)方法[J]. 科學(xué)技術(shù)與工程, 2019, 19(32): 230-235. ZHAO Na-na, TAO Yi, LI Fen, et al. Visual saliency sup-erpixel image detection method for surface defect of high- speed rail hub[J]. Science technology and engineering, 2019, 19(32): 230-235.

[4] 韓凱. 基于深度學(xué)習(xí)的汽車輪轂表面缺陷在線檢測(cè)算法[M]. 北京: 北京郵電大學(xué), 2019. HAN Kai. The online detection algorithm for surface def-ects of automobile hubs based on deep learning[M]. Bei-jing: Beijing University of Posts and Telecommunication, 2019.

[5] 王一妍. 基于機(jī)器視覺的輪轂鑄造面質(zhì)量檢測(cè)研究[M]. 沈陽: 沈陽工業(yè)大學(xué), 2019.WANG Yi-yan. Research on quality inspection of wheel cas-ting surface based on machine vision[M]. Shenyang: Shen-yangUniversityofTechnology, 2019.

[6] 劉暢, 張劍, 林建平. 基于神經(jīng)網(wǎng)絡(luò)的磁瓦表面缺陷檢測(cè)識(shí)別[J]. 表面技術(shù), 2019, 48(8): 330-339. LIU Chang, ZHANG Jian, LIN Jian-ping. Detection and ide-ntification of surface defects of magnetic tile based on neural network[J]. Surface technology, 2019, 48(8): 330- 339.

[7] LI R, ZENG X, SIGMUND S E, et al. Automatic localiza-tion and identification of mitochondria in cellular electron cryo-tomography using faster-RCNN[J]. BMC bioinforma-tics, 2019, 20(S3): 75-84.

[8] 李宜汀, 謝慶生, 黃海松, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)快速區(qū)域標(biāo)定的表面缺陷檢測(cè)[J]. 計(jì)算機(jī)集成制造系統(tǒng), 2019, 25(8): 1897-1907.LI Yi-ding, XIE Qing-sheng, HUANG Hai-song, et al. Sur-face defect detection based on fast regions with convolu-tional neutral network[J]. Computer integrated manufact-uring systems, 2019, 25(8): 1897-1907.

[9] 車翔玖, 劉華羅, 邵慶彬. 基于Fast RCNN改進(jìn)的布匹瑕疵識(shí)別算法[J]. 吉林大學(xué)學(xué)報(bào)(工學(xué)版), 2019, 49(6): 2038-2044.CHE Xiang-jiu, LIU Hua-luo, SHAO Qing-bin. Fabric defect recognition algorithm based on improved fast RCNN[J]. Jou-rnal of Jilin University (engineering and technology edi-tion), 2019, 49(6): 2038-2044.

[10] 朱傳敏, 顧鵬, 劉丁豪, 等. 基于支持向量機(jī)的鋁基碳化硅磨削表面質(zhì)量預(yù)測(cè)[J]. 表面技術(shù), 2019, 48(3): 240-248. ZHU Chuan-min, GU Peng, LIU Ding-hao, et al. Surface quality prediction of SiCp/Al composite in grinding based on support vector machine[J]. Surface technology, 2019, 48(3): 240-248.

[11] 朱超平, 楊藝. 基于YOLO2和ResNet算法的監(jiān)控視頻中的人臉檢測(cè)與識(shí)別[J]. 重慶理工大學(xué)學(xué)報(bào)(自然科學(xué)), 2018, 32(8): 170-175. ZHU Chao-ping, YANG Yi. Face detection and recogni-tion in monitoring video based on YOLO2 and ResNet alg-orithm[J]. Journal of Chongqing University of Technology (natural science), 2018, 32(8): 170-175.

[12] VIPUL Sharma, ROOHIE Naaz Mir. Saliency guided faster-RCNN (SGFr-RCNN) model for object detection and recognition[J]. Journal of King Saud University—Computer and information sciences, 2019, 9: 1319-1578.

[13] JU Hu-yan, WEI Li, SUSAN Tighe, et al. Detection of sea-led and unsealed cracks with complex backgrounds using deep convolutional neural network[J]. Automation in con-struction, 2019, 107: 1-14.

[14] SANG J, GUO P, XIANG Z, et al. Vehicle detection basedon faster-RCNN[J]. Journal of Chongqing University, 2017, 40(7): 32-36.

[15] HU Jie, SHEN Li, ALBANIE Samuel, et al. Squeeze-and- excitation networks[J]. IEEE transactions on pattern analy-sis and machine intelligence, 2019, 1: 1-13.

[16] ZHANG Fang-li, ZHOU Qi-ming. Parallelization of the flow-path network model using a particle-set strategy[J]. International journal of geographical information science, 2019, 33(9-10): 1984-2010.

[17] 李東潔, 李若昊. 基于改進(jìn)Faster RCNN的馬克杯缺陷檢測(cè)方法研究[J]. 激光與光電子學(xué)進(jìn)展, 2020, 57(4): 353-360.LI Dong-jie, LI Ruo-hao. Research on the mugs defect det-ection method based on improved Faster RCNN[J]. Laser & optoelectronics progress, 2020, 57(4): 353-360.

[18] 虢韜, 楊恒, 時(shí)磊, 等. 基于Faster RCNN的絕緣子自爆缺陷識(shí)別[J]. 電瓷避雷器, 2019(3): 183-189.GUO Tao, YANG Heng, SHI Lei, et al. Self-explosion def-ect identification of insulator based on Faster RCNN[J]. Insulators and surge arresters, 2019(3): 183-189.

[19] 卞景帥, 盧家品, 羅月童, 等. 基于Faster-RCNN的結(jié)核桿菌自動(dòng)檢測(cè)方法研究與應(yīng)用[J]. 圖學(xué)學(xué)報(bào), 2019, 40(3): 608-615. BIAN Jing-shuai, LU Jia-pin, LUO Yue-tong, et al. Res-earch and application of Faster-RCNN based automatic detection method for tuberculosis bacillus[J]. Journal of graphics, 2019, 40(3): 608-615.

[20] 陳丹, 林清泉. 基于級(jí)聯(lián)式Faster RCNN的三維目標(biāo)最優(yōu)抓取1方法研究[J]. 儀器儀表學(xué)報(bào), 2019, 40(4): 229-237. CHEN Dan, LIN Qing-quan. Research on 3D object opti-mal grasping method based on cascaded Faster RCNN[J]. Chinese journal of scientific instrument, 2019, 40(4): 229-237.

[21] 劉文強(qiáng), 辛大欣, 華瑾, 等. 基于Faster RCNN的鎂還原罐工人檢測(cè)算法[J].國外電子測(cè)量技術(shù), 2019, 38(4): 12-17.LIU Wen-qiang, XIN Da-xin, HUA Jin, et al. Magnesium reduction tank worker detection algorithm based on faster RCNN[J]. Foreign electronic measurement technology, 2019, 38(4): 12-17.

[22] 楊薇, 王洪元, 張繼, 等. 一種基于Faster-RCNN的車輛實(shí)時(shí)檢測(cè)改進(jìn)算法[J].南京大學(xué)學(xué)報(bào)(自然科學(xué)), 2019, 55(2): 231-237.YANG Wei, WANG Hong-yuan, ZHANG Ji, et al. An imp-roved vehicle real-time detection algorithm based on Faster- RCNN[J]. Journal of Nanjing University (natural science), 2019, 55(2): 231-237.

[23] 黃繼鵬, 史穎歡, 高陽. 面向小目標(biāo)的多尺度Faster- RCNN檢測(cè)算法[J]. 計(jì)算機(jī)研究與發(fā)展, 2019, 56(2): 319-327. HUANG Ji-peng, SHI Ying-huan, GAO Yang. Multi-scale Faster-RCNN algorithm for small object detection[J]. Journal of computer research and development, 2019, 56(2): 319-327.

[24] 晏琳, 景軍鋒, 李鵬飛. Faster RCNN模型在坯布疵點(diǎn)檢測(cè)中的應(yīng)用[J]. 棉紡織技術(shù), 2019, 47(2): 24-27.YAN Lin, JING Jun-feng, LI Peng-fei. Application of Faster RCNN mold used in gray fabric defect detection[J]. Cotton textile technology, 2019, 47(2): 24-27.

[25] 陳英紅, 杜明坤. 基于Fast-RCNN與結(jié)構(gòu)光縱焊縫三維形態(tài)參數(shù)檢測(cè)方法[J].中國測(cè)試, 2018, 44(12): 85-90. CHEN Ying-hong, DU Ming-kun. A Fast-RCNN & struc-tured light based three-dimensional shape parameter dete-ction method for longitudinal welds[J]. China measure-ment & test, 2018, 44(12): 85-90.

Online Detection Algorithm of Automobile Wheel Surface Defects Based on Improved Faster-RCNN Model

1,2,1,2

(1.School of Artificial Intelligence, Chongqing Technology and Business University, Chongqing 400067, China; 2.Chongqing Engineering Laboratory for Detection Control and Integrated System, Chongqing 400067, China)

The work aims to predict the wheel surface defects during the production by constructing a visual inspection system for the online production of the wheel.According to the definition and evaluation criteria of wheel surface defects, a calculation model of wheel surface defects was produced. The improved Faster-RCNN target detection algorithm was used, and the deep generative adversarial network was introduced to eliminate the ambiguity of the image. The limpid image of wheel surface was adopted for model training and the network parameters were optimized combined with the expert's discriminative criteria, thus constructing a wheel surface defect detection model. The deep learning Pytorch framework was used to perform the model training on the NVIDIA’S Tesla P100 image acceleration card, and the model results were analyzed comparatively to find the optimal prediction model.In the basic network, the performance of the ResNet101 network using the residual model improved the accuracy rate by 24% compared with the VGG16 model. The multi-channel fusion module was introduced into the target detection network model, and the accuracy rate was improved by 2%. Then, the FPN pyramid was introduced, and the low-level and high-level semantic information was incorporated, which made the output of multi-scale prediction map better. Finally, the ROI-Pooling algorithm of the residual network was changed to the ROI-Align algorithm, which improved the accuracy by 5%. With continuous improvement and optimization, the recognition rate of the wheel surface defects was improved continuously. The improved Faster-RCNN network can recognize the types and locations of wheel surface defects, thus meeting the requirements of the production environment, and providing great value in the engineering application.

automotive wheels; defect detection; deep learning; target detection; Faster-RCNN

2020-01-02；

2020-04-28

ZHU Chao-ping (1977—), Male, Master, Lecturer, Research focus: machine learning & intelligent data processing.

楊永斌（1968—），男，碩士，副教授，主要研究方向?yàn)橹悄軘?shù)據(jù)處理。郵箱: yangbin0715@sina.com

Corresponding author：YANG Yong-bin (1968—), Male, Master, Associate professor, Research focus: intelligent data processing. E-mail:yangbin0715@sina.com

朱超平, 楊永斌. 基于改進(jìn)的Faster-RCNN 模型的汽車輪轂表面缺陷在線檢測(cè)算法研究[J]. 表面技術(shù), 2020, 49(6): 359-365.

TH165.4；TG506

A

1001-3660(2020)06-0359-07

10.16490/j.cnki.issn.1001-3660.2020.06.044

2020-01-02；

2020-04-28

教育部科技發(fā)展中心產(chǎn)學(xué)研創(chuàng)新基金項(xiàng)目（2018A02049）；重慶工商大學(xué)重點(diǎn)開放項(xiàng)目（KFJJ2019106）；重慶市教育科學(xué)規(guī)劃項(xiàng)目（2018-GX-348）；重慶工商大學(xué)自然科學(xué)基金項(xiàng)目（1752006）

Fund：Innovation Fund Project of Science and Technology Development Center of Ministry of Education (2018A02049), Chongqing Technology and Business University Key Open Project (KFJJ2019106), Chongqing Educational Science Planning Project (2018-GX-348), Business University Natural Science Foundation Project (1752006)

朱超平（1977—），男，碩士，講師，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)和智能數(shù)據(jù)處理。

ZHU Chao-ping, YANG Yong-bin. Online detection algorithm of automobile wheel surface defects based on improved faster-RCNN model[J].Surface technology, 2020, 49(6): 359-365.