閆明明，陳 亮

(沈陽理工大學(xué) 自動(dòng)化與電氣工程學(xué)院，沈陽 110159)

輪胎的質(zhì)量問題是道路交通安全問題中關(guān)鍵的一環(huán)，輪胎作為一種被動(dòng)組件對汽車的安全和穩(wěn)定起至關(guān)重要的作用，所以輪胎出廠前的質(zhì)量檢測是輪胎生產(chǎn)過程中的重要環(huán)節(jié)。

輪胎生產(chǎn)過程中常見的缺陷包括雜質(zhì)、氣泡、胎稀、簾線彎曲、簾線交叉、帶束層重疊、帶束層散線、帶束層缺線、帶束層接頭開等。這些缺陷都或多或少影響著輪胎的壽命和性能。

目前國內(nèi)外針對輪胎缺陷的主要檢測手段為X射線檢測[1]，檢測設(shè)備主要采用歐美國家制造的高精度檢測設(shè)備，但由于國內(nèi)外對于輪胎的缺陷標(biāo)準(zhǔn)和分類不同，導(dǎo)致國外的自動(dòng)化檢測設(shè)備無法在國內(nèi)的生產(chǎn)環(huán)境中應(yīng)用；目前國內(nèi)大部分廠商采用人工檢測，優(yōu)點(diǎn)是檢測全面且準(zhǔn)確率高，缺點(diǎn)是隨著工作時(shí)間增長會(huì)引起人眼視覺疲勞，易導(dǎo)致漏檢。因此需要一種全自動(dòng)、高準(zhǔn)確率、高效率的算法進(jìn)行缺陷檢測。

在算法研究領(lǐng)域，郭奇[2]提出分區(qū)域特定缺陷分類檢測方法檢測胎側(cè)區(qū)域的缺陷，相較于傳統(tǒng)的模板匹配算法更適用于輪胎缺陷檢測，但存在圖像處理花費(fèi)時(shí)間較長的問題。崔雪紅等[3]用卷積神經(jīng)網(wǎng)絡(luò)對輪胎圖像進(jìn)行分類，對大部分缺陷的識(shí)別率較傳統(tǒng)算法有較大提升，但對氣泡的識(shí)別率較低。這些方法在輪胎缺陷檢測領(lǐng)域并沒有得到很好的應(yīng)用[4]，主要由于輪胎內(nèi)部鋼絲的層數(shù)和結(jié)構(gòu)排列差異性大，且不同部分的材料厚度及密度不同，導(dǎo)致成像的灰度差異較大，其中以帶束層區(qū)域的鋼絲結(jié)構(gòu)最為復(fù)雜。張傳海[5]提出的紋理無關(guān)的缺陷檢測算法，能夠較為精準(zhǔn)的判斷出裂紋缺陷且標(biāo)定其位置，并能夠滿足實(shí)時(shí)性要求，但能夠檢測的缺陷種類較為單一。

由于鋼絲的結(jié)構(gòu)對檢測的精確度影響較大，本文采取對帶束層區(qū)域的X光圖片進(jìn)行三維重建，以拆解帶束層區(qū)域的結(jié)構(gòu)，將由三層鋼絲疊加而成的帶束層圖片拆解成單層鋼絲圖片，提高圖片的紋理清晰度，通過提升數(shù)據(jù)集質(zhì)量來提高缺陷檢測識(shí)別率。

在X光圖像三維重建方面，算法研究多用于醫(yī)學(xué)領(lǐng)域CT圖像重建[6-7]，常用的方法主要有解析類重建方法和迭代類重建方法。解析類重建算法以三維錐形束(Feldkamp Davis Kress，F(xiàn)DK)算法為代表，該算法計(jì)算量小且易于實(shí)現(xiàn)，但需要的投影數(shù)據(jù)較多，在稀疏投影時(shí)不能得到滿意的結(jié)果；迭代類重建算法在基于壓縮感知理論的基礎(chǔ)上對稀疏投影有良好的重建效果[8]。近些年隨著深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的技術(shù)也廣泛應(yīng)用于三維重建[9]。由于卷積神經(jīng)網(wǎng)絡(luò)在特征匹配方面的巨大優(yōu)勢，將卷積神經(jīng)網(wǎng)絡(luò)引入三維重建與傳統(tǒng)算法的優(yōu)勢進(jìn)行互補(bǔ)融合，如神經(jīng)網(wǎng)絡(luò)同步定位與建圖將卷積神經(jīng)網(wǎng)絡(luò)預(yù)測的致密深度圖和單目同步定位與建圖的結(jié)果進(jìn)行融合，在單目同步定位與建圖接近失敗的圖像位置(如低紋理區(qū)域)，其融合方案給予卷積神經(jīng)網(wǎng)絡(luò)預(yù)測值更多權(quán)重，提高了重建的效果。完全采用深度學(xué)習(xí)的算法與傳統(tǒng)算法相比減少了步驟繁瑣的特征提取部分，以卷積神經(jīng)網(wǎng)絡(luò)代替手工特征提取，效率大大提高但重建精度不如傳統(tǒng)方法。

本文研究三維重建不同于傳統(tǒng)的由二維圖片恢復(fù)深度信息得到三維信息。由于已知帶束層區(qū)域的鋼絲結(jié)構(gòu)，只要提取對應(yīng)角度的鋼絲特征來生成對應(yīng)的圖片，就可以將疊加形成的帶束層圖片拆解成單層鋼絲結(jié)構(gòu)的圖片。由于輪胎生產(chǎn)工藝限制，X光圖片在輪胎制作完成后拍攝獲取，不能獲取復(fù)雜區(qū)域的鋼絲在疊加前的單層鋼絲網(wǎng)絡(luò)X光圖，因此無法制作帶有一對一標(biāo)簽的數(shù)據(jù)集，沒有可用來計(jì)算能夠量化評(píng)價(jià)指標(biāo)的真實(shí)值，所以本研究是典型的無監(jiān)督學(xué)習(xí)[10]，在圖像轉(zhuǎn)換領(lǐng)域，循環(huán)一致生成對抗網(wǎng)絡(luò)(Cycle Consistently Generate Adversarial Network，CycleGAN)[11]可實(shí)現(xiàn)兩個(gè)域的圖像無監(jiān)督轉(zhuǎn)換。本文采用CycleGAN來進(jìn)行圖片的生成，通過對自制輪胎數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，對網(wǎng)絡(luò)的損失函數(shù)及參數(shù)選取進(jìn)行改進(jìn)；實(shí)驗(yàn)結(jié)果證明，用CycleGAN對帶束層X光圖的三維重建完全可行。

1 問題分析及CycleGAN網(wǎng)絡(luò)介紹

1.1 問題分析

帶束層區(qū)域結(jié)構(gòu)示意圖如圖1所示。

圖1 帶束層結(jié)構(gòu)示意圖

由圖1可以看出，帶束層區(qū)域結(jié)構(gòu)由兩層相同角度和另一層不同角度的鋼絲疊加形成，一般輪胎的缺陷會(huì)出現(xiàn)在其中某一層鋼絲中。由于三層鋼絲堆疊加上輪胎橡膠的花紋，導(dǎo)致拍攝的X光圖像清晰度較差，使帶束層區(qū)域的輪胎缺陷檢測誤識(shí)率及漏識(shí)率較高。因?yàn)殇摻z的角度特征差異明顯，本文采取不同于傳統(tǒng)的三維重建方法，利用類似風(fēng)格轉(zhuǎn)換的方式對不同角度的鋼絲進(jìn)行特征提取，然后分別生成橫向及斜向的鋼絲，以達(dá)到分離鋼絲結(jié)構(gòu)的目的。預(yù)期重建效果如圖2所示。

圖2 帶束層區(qū)域結(jié)構(gòu)拆解圖

1.2 CycleGAN網(wǎng)絡(luò)介紹

1.2.1 網(wǎng)絡(luò)結(jié)構(gòu)介紹

CycleGAN網(wǎng)絡(luò)旨在解決圖像到圖像的轉(zhuǎn)換任務(wù)中缺少成對的訓(xùn)練數(shù)據(jù)的問題，其結(jié)構(gòu)如圖3所示。

圖3 CycleGAN網(wǎng)絡(luò)結(jié)構(gòu)圖

為解決上述問題，CycleGAN使用一個(gè)與G相反的映射F：Y→X組成雙射，將這個(gè)結(jié)構(gòu)應(yīng)用到映射G和F的同步訓(xùn)練中，加入一個(gè)循環(huán)一致?lián)p失函數(shù)L使F(G(x))≈x與G(F(y))≈y，即使每一個(gè)輸入x有一個(gè)唯一的輸出y。其中數(shù)據(jù)集合與數(shù)據(jù)分布為

(1)

式中：P為預(yù)測值；N和M分別代表X域和Y域數(shù)據(jù)集中的數(shù)據(jù)總量。另外引入兩個(gè)判別函數(shù)：用于區(qū)分{x}與{F(y)}的DX；用于區(qū)分{y}與{G(x)}的DY。

CycleGAN構(gòu)建的模型包含兩種損失：對抗損失，使生成的圖片更接近于目標(biāo)圖片的分布；循環(huán)一致性損失，使每一個(gè)輸入都有一個(gè)唯一確定的輸出。

1.2.2 損失函數(shù)介紹

對于映射函數(shù)G與DY的對抗損失，有

LGAN(G，DY，X，Y)=Ey～pdata(y)[log(DY(Y))]+
Ex～pdata(x)[log(1-DY(G(x)))]

(2)

minGmaxDYLGAN(G，DY，X，Y)
minFmaxDXLGAN(F，DX，Y，X)

(3)

對于循環(huán)一致?lián)p失，采用L1范數(shù)，即

Lcyc(G，F(xiàn))=Ex～pdata(x)[‖F(xiàn)(G(x))-x‖1]+
Ey～pdata(y)[‖G(F(y))-y‖1]

(4)

完整的模型公式為

L(G，F(xiàn)，DX，DY)=LGAN(G，DYX，Y)+
LGAN(F，DXY，X)+
λLcyc(G，F(xiàn))

(5)

式中：第一項(xiàng)表示G與DY的對抗損失；第二項(xiàng)表示F與DX的對抗損失；第三項(xiàng)表示G與F的對抗損失；λ表示循環(huán)一致?lián)p失系數(shù)，控制循環(huán)一致?lián)p失函數(shù)Lcyc(G，F(xiàn))的權(quán)重。

文獻(xiàn)[12]的實(shí)驗(yàn)結(jié)果表明，優(yōu)化選擇大小合適的循環(huán)一致?lián)p失系數(shù)，可有效提高生成圖像的質(zhì)量。在與CycleGAN同期的具有相似思想的DiscoGAN中選擇L2范數(shù)作為循環(huán)一致?lián)p失系數(shù)，相較于L1范數(shù)的魯棒性，L2范數(shù)做損失函數(shù)L對異常值更加敏感。實(shí)驗(yàn)階段對于不同的循環(huán)一致?lián)p失系數(shù)及循環(huán)一致?lián)p失函數(shù)L的選取進(jìn)行多次對比試驗(yàn)，改進(jìn)后的參數(shù)及損失函數(shù)L的選取可有效地提升生成圖片的效果，實(shí)驗(yàn)整體系統(tǒng)框圖如圖4所示。

圖4 整體系統(tǒng)框圖

2 實(shí)驗(yàn)及結(jié)果分析

2.1 數(shù)據(jù)集及參數(shù)設(shè)置

本實(shí)驗(yàn)的數(shù)據(jù)集為自制輪胎數(shù)據(jù)集，數(shù)據(jù)集選取的圖片皆為沒有缺陷的正向樣本，分為橫向鋼絲數(shù)據(jù)集及斜向鋼絲數(shù)據(jù)集兩類。CycleGAN的數(shù)據(jù)集設(shè)置與一般的GAN網(wǎng)絡(luò)實(shí)驗(yàn)不同，對于X域和Y域分別有一個(gè)訓(xùn)練集和一個(gè)測試集，即testA、testB、trainA和trainB。橫向鋼絲數(shù)據(jù)集的X域由2469×13600的輪胎X光圖片的帶束層區(qū)域自上而下切成128×128大小的圖片，測試集176張、訓(xùn)練集1473張。由于橫向鋼絲貫穿整個(gè)輪胎，胎側(cè)為單層橫向鋼絲結(jié)構(gòu)，Y域由橫向鋼絲自上而下切成128×128大小的圖片，測試集188張、訓(xùn)練集1512張。對于斜向鋼絲數(shù)據(jù)集，由于輪胎X光圖片沒有單層斜向鋼絲的區(qū)域，有斜向鋼絲的部分至少為兩層結(jié)構(gòu)，無法直接采用，于是用開源計(jì)算機(jī)視覺庫(OpenCV)來繪制相同角度的單層斜線來模仿斜線部分的數(shù)據(jù)集，為盡量避免數(shù)據(jù)單一導(dǎo)致多樣性不足的問題，直線部分選擇真實(shí)的胎側(cè)圖片，同時(shí)對圖片添加高斯噪聲，盡量增加數(shù)據(jù)多樣性。X域?yàn)樘?cè)區(qū)域的單根鋼絲圖片加OpenCV繪制的兩層斜線，Y域?yàn)镺penCV繪制的單層斜線，圖片大小及數(shù)據(jù)集大小與橫向鋼絲相同。

除λ外的參數(shù)選取及訓(xùn)練細(xì)節(jié)與原網(wǎng)絡(luò)相同，對于LGAN，使用最小二乘損失，可以獲得更好的穩(wěn)定性及高質(zhì)量的結(jié)果；使用歷史圖片而不是最新生成的圖片來更新判別器，以減小模型訓(xùn)練的震蕩。使用Adam優(yōu)化器，批尺寸設(shè)置為1，使用實(shí)例標(biāo)準(zhǔn)化并將初始的λ設(shè)置為10(原網(wǎng)絡(luò)為10，后續(xù)調(diào)整)，學(xué)習(xí)率設(shè)置為2×10-4，在訓(xùn)練100次后將學(xué)習(xí)率向0線性減小。

2.2 實(shí)驗(yàn)結(jié)果及分析

對橫向鋼絲數(shù)據(jù)集使用2.1節(jié)的參數(shù)迭代4500次左右時(shí)，得到結(jié)果如圖5所示，已經(jīng)可以清晰地將輸入的帶束層區(qū)域圖片生成對應(yīng)的橫向鋼絲圖，但存在鋼絲的傾斜角度與輸入有略微差異的情況，圖5生成的鋼絲圖片右端明顯向下彎曲，而輸入圖片橫向鋼絲大部分呈水平、少部分略微向上彎曲。

圖5 橫向鋼絲數(shù)據(jù)集使用初始參數(shù)的生成結(jié)果

于是更改λ的大小及將循環(huán)一致?lián)p失函數(shù)(用cycle表示)由L1范數(shù)更改為L2范數(shù)，進(jìn)行對比試驗(yàn)，循環(huán)一致?lián)p失函數(shù)結(jié)果如圖6所示。

圖6 更改λ與cycle實(shí)驗(yàn)對比圖

由圖6可以看出，隨著λ的增大，六組實(shí)驗(yàn)的縱坐標(biāo)即循環(huán)一致?lián)p失值明顯增大，但仍可以正常收斂，由于L2范數(shù)做損失函數(shù)對異常值更加敏感，循環(huán)一致?lián)p失值明顯有更大的波動(dòng)，且可以收斂得更小。實(shí)驗(yàn)結(jié)果表明：當(dāng)λ取20時(shí)，對紋理復(fù)雜的圖片生成的鋼絲產(chǎn)生扭曲，如圖7所示；當(dāng)λ=15、cycle=L2時(shí)生成圖片效果最好，對斜向上及斜向下角度的鋼絲均有不錯(cuò)的生成效果，對紋理復(fù)雜的圖片生成鋼絲的扭曲情況也得到了改善，如圖8、圖9所示。

圖7 λ=20時(shí)鋼絲產(chǎn)生扭曲

圖8 不同角度的橫線生成效果

圖9 鋼絲扭曲的情況得到改善

對斜線部分，由于OpenCV生成的數(shù)據(jù)集多樣性較小，使用初始參數(shù)即可較好地生成斜向鋼絲圖片，重建具體效果如圖10所示。圖10a為帶束層區(qū)域圖片，圖10b、圖10c、圖10d分別為生成的橫向及兩個(gè)斜向的鋼絲圖片。

圖10 重建效果圖

在定量評(píng)價(jià)實(shí)驗(yàn)結(jié)果方面，本實(shí)驗(yàn)引入結(jié)構(gòu)相似性(Structural Similarity，SSIM)來對重建效果進(jìn)行衡量。SSIM是一種衡量圖像相似度的指標(biāo)，由于本實(shí)驗(yàn)重建前后的圖像在對應(yīng)重建部分有相同的結(jié)構(gòu)，故當(dāng)重建圖片與原圖片結(jié)構(gòu)相似度更高時(shí)，SSIM應(yīng)該對應(yīng)提高。在測試集中選取圖片，利用Sci-Kit圖像庫內(nèi)置的SSIM函數(shù)對選取各種參數(shù)的實(shí)驗(yàn)測試結(jié)果進(jìn)行測試，結(jié)果如表1所示。SSIM將得分歸化到-1～1范圍內(nèi)，得分為1表示完全相同，得分為-1表示完全不同。由表1可見，當(dāng)參數(shù)選取λ=15、cycle=L2時(shí)得分最高，說明重建圖片與原圖片結(jié)構(gòu)越相似，SSIM值也有所提高，表明對循環(huán)一致?lián)p失系數(shù)λ和循環(huán)一致?lián)p失函數(shù)的改進(jìn)有效。

表1 SSIM測試結(jié)果

由表1可知：當(dāng)λ取值較小時(shí)生成圖像的分布更近似于Y域的圖像分布，使生成的鋼絲角度與X域的輸入不符；λ取值較大時(shí)，生成圖像的分布更近似于X域的圖像分布；當(dāng)紋理復(fù)雜度較高時(shí)，生成圖片會(huì)產(chǎn)生扭曲。

在對比試驗(yàn)方面選取具有相似思想的無監(jiān)督圖像轉(zhuǎn)換網(wǎng)絡(luò)DualGAN，網(wǎng)絡(luò)的生成器和判別器使用了將輸入圖片感受野設(shè)定為70×70像素的PatchGAN判別器結(jié)構(gòu)，與CycleGAN同樣沒有噪聲向量Z，但使用了隨機(jī)失活，訓(xùn)練時(shí)采用了文獻(xiàn)[13]中的訓(xùn)練過程。本實(shí)驗(yàn)選取相同的256×256大小的輪胎數(shù)據(jù)集，分別用CycleGAN和DualGAN進(jìn)行訓(xùn)練并測試，得到結(jié)果如圖11所示。

圖11 實(shí)驗(yàn)結(jié)果對比圖

由圖11可以看出，兩個(gè)實(shí)驗(yàn)結(jié)果除灰度方面略有差異，重建效果基本相同。斜線部分由于數(shù)據(jù)集多樣性較低，重建效果無差異，與圖10斜線圖片效果相同，所以不再給出。對比實(shí)驗(yàn)表明，無監(jiān)督圖像轉(zhuǎn)換實(shí)驗(yàn)可以較好地對輪胎X光圖進(jìn)行重建。

3 結(jié)論

實(shí)驗(yàn)使用CycleGAN網(wǎng)絡(luò)訓(xùn)練自制輪胎帶束層區(qū)域的X光圖數(shù)據(jù)集，通過對CycleGAN中循環(huán)一致?lián)p失系數(shù)的調(diào)整，將循環(huán)一致?lián)p失函數(shù)更換為更適合本實(shí)驗(yàn)的L2范數(shù)。實(shí)驗(yàn)結(jié)果表明，經(jīng)過改進(jìn)后的CycleGAN網(wǎng)絡(luò)可以較好地完成對正向的輪胎帶束層區(qū)域圖片的三維重建工作。