高仁 柴曉冬 鄭樹彬 李立明 戚瑋瑋

文章編號(hào)：1002-3100（2024）03-0044-06

摘? 要：針對(duì)當(dāng)前高鐵軌旁電纜槽蓋板檢測(cè)方法自動(dòng)化程度和檢查效率低等問(wèn)題，提出一種基于改進(jìn)UNet的槽蓋板檢測(cè)模型。在編碼部分引入兩種不同的殘差結(jié)構(gòu)，避免梯度消失等問(wèn)題，同時(shí)融合SA注意力機(jī)制，抑制背景干擾，進(jìn)一步提升槽蓋板狀態(tài)的檢測(cè)能力。實(shí)驗(yàn)結(jié)果表明，該算法達(dá)到的MPA、MIoU分別為95.03%、90.88%。相較于UNet等其他分割網(wǎng)絡(luò)，該算法能更好地分割出槽蓋板區(qū)域。

關(guān)鍵詞：槽蓋板檢測(cè)；殘差結(jié)構(gòu)；SA注意力機(jī)制；UNet

中圖分類號(hào)：U216? ? 文獻(xiàn)標(biāo)志碼：A

DOI：10.13714/j.cnki.1002-3100.2024.03.011

Abstract： Aiming at the problems of low automation and inspection efficiency of current detection methods for trackside cable tray cover plate of high-speed railway， a detection model for tray cover plate based on improved UNet is proposed. In the coding part， two different residual structures are introduced to avoid problems such as gradient disappearance. At the same time， SA attention mechanism is integrated to suppress background interference and further improve the detection ability of slot cover plate status. The experimental results show that the MPA and MIoU achieved by this algorithm are 95.03% and 90.88%. Compared with other segmentation networks such as UNet， this algorithm can segment the slot cover area better.

Key words： slot cover detection; residual structure; SA attention mechanism; UNet

0? 引? 言

在電務(wù)軌旁設(shè)備檢修任務(wù)中，電纜槽蓋板的狀態(tài)檢測(cè)是一個(gè)重要的必檢項(xiàng)目。如圖1所示，方框內(nèi)為電纜槽蓋板，是一種鋪設(shè)在軌旁電纜槽溝上的蓋板，其主要作用是為了保護(hù)槽溝內(nèi)通信、電力等。圖2為不同槽蓋板的狀態(tài)圖，圖2（a）為正常狀態(tài)；圖2（b）為破損狀態(tài)；圖2（c）為丟失狀態(tài)。目前，該檢測(cè)項(xiàng)目主要是采用人工視覺檢查的方式，該方式存在檢查效率低、受天氣影響等問(wèn)題。部分線路采用了基于機(jī)器視覺技術(shù)的檢測(cè)方式，但仍然需要人工參與，自動(dòng)化程度有待提高。

傳統(tǒng)的槽蓋板圖像檢測(cè)方法為圖像匹配算法。在圖像匹配算法中，呂明珠^[1]利用圖像處理理論，對(duì)印刷品缺陷的形狀進(jìn)行檢測(cè)研究，結(jié)合尺度不變特征變換（SIFT）角點(diǎn)匹配和決策樹，對(duì)印刷品的缺陷進(jìn)行分類。劉澤等^[2]利用動(dòng)態(tài)的閾值分割算法和缺陷區(qū)域提取算法，對(duì)鋼軌表面掉塊、裂痕兩類缺陷圖像進(jìn)行處理，準(zhǔn)確提取缺陷位置區(qū)域。使用傳統(tǒng)的圖像匹配算法對(duì)槽蓋板狀態(tài)進(jìn)行檢測(cè)，算法魯棒性差，受圖片質(zhì)量影響較大。圖像匹配時(shí)候容易導(dǎo)致誤檢，形成大量誤檢圖片。近年來(lái)，基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域取得極高成就^[3]，產(chǎn)生了許多基于深度學(xué)習(xí)的圖像分割網(wǎng)絡(luò)。例如全卷積神經(jīng)網(wǎng)絡(luò)^[4]（Fully Convolutional Networks， FCN）是語(yǔ)義分割發(fā)展的基礎(chǔ)。UNet最初被運(yùn)用到醫(yī)學(xué)領(lǐng)域的細(xì)胞分割，Roy等^[5]在UNet的編碼解碼過(guò)程中串聯(lián)了3個(gè)SE模塊來(lái)抑制背景干擾。Oktay O等^[6]提出的Attention U-Net在跳躍連接層特征拼接前加入集成注意力，消除跳躍連接層中的其他干擾編碼。Moradi等^[7]提出了MFP-UNet，在UNet的上外接特征金字塔網(wǎng)絡(luò)，再將特征串聯(lián)，提高了網(wǎng)絡(luò)分割能力。宮艷晶等^[8]提出了融合ResNet的火焰圖像分割法，提升了UNet在火焰圖像上的準(zhǔn)確率。Rahman等^[9]提出了一種融合多注意力機(jī)制的UNet卷積神經(jīng)網(wǎng)絡(luò)，提高了分割的精確度。基于以上研究表明UNet分割網(wǎng)絡(luò)已經(jīng)不局限于醫(yī)療行業(yè)，應(yīng)用場(chǎng)景十分廣闊。

目前在電纜槽蓋板狀態(tài)檢測(cè)領(lǐng)域，還未應(yīng)用過(guò)基于深度學(xué)習(xí)的語(yǔ)義分割技術(shù)，本文根據(jù)電纜槽蓋板圖片的特征，針對(duì)原始UNet網(wǎng)絡(luò)在樣本較少且正負(fù)樣本不平衡時(shí)，易產(chǎn)生過(guò)擬合、受到背景和噪聲的影響導(dǎo)致特征提取能力差等問(wèn)題，在UNet中引入了殘差結(jié)構(gòu)并融合注意力機(jī)制SA，提出改進(jìn)UNet的電纜槽蓋板狀態(tài)檢測(cè)算法，主要包括以下幾點(diǎn)：（1）將UNet特征提取網(wǎng)絡(luò)中的卷積層替換成BasicBlock；（2）在下采樣中，在BasicBlock后加入BottleNeck；（3）在引入的BottleNeck上融合注意力機(jī)制SA；（4）采用Dice Loss+BCE Loss組成復(fù)合損失函數(shù)。

1? 改進(jìn)的UNet模型

1.1? 傳統(tǒng)UNet

UNet是一種基于全卷積神經(jīng)網(wǎng)絡(luò)（FCN）改進(jìn)的網(wǎng)絡(luò)模型^[10]。如圖3所示，該網(wǎng)絡(luò)呈U型的對(duì)稱結(jié)構(gòu)，由編碼器、跳躍連接、解碼器等三部分組成。圖3左側(cè)為編碼器，通過(guò)3×3的卷積層、ReLU函數(shù)、2×2最大池化層等下采樣，提取圖像的語(yǔ)義特征和上下文信息；右側(cè)解碼器進(jìn)行2×2的反卷積操作，通過(guò)跳躍連接層，將反卷積后的結(jié)果和相應(yīng)的特征圖拼接，以恢復(fù)丟失的邊緣特征并保留底層的位置信息，再進(jìn)行上采樣，還原圖像分辨率，最終由1×1卷積調(diào)整通道數(shù)，輸出分割圖像^[11]。

1.2? 基于殘差模塊與注意力機(jī)制的UNet改進(jìn)

本文模型針對(duì)槽蓋板圖像邊緣模糊、破損、形狀不規(guī)律等特征在UNet網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行了改進(jìn)：使用BasicBlock殘差結(jié)構(gòu)代替原始的卷積層，在下采樣過(guò)程中加入Bottleneck結(jié)構(gòu)并在Bottleneck后融合Shuffle注意力機(jī)制。圖4為改進(jìn)的流程框架。

1.2.1? 殘差結(jié)構(gòu)

ResNet（Resdiual Network）是由He等^[12]提出的殘差網(wǎng)絡(luò)模型，簡(jiǎn)化了網(wǎng)絡(luò)的訓(xùn)練，使模型更容易被優(yōu)化，并且提高了網(wǎng)絡(luò)的精度。如圖5（a）所示，殘差結(jié)構(gòu)^[13]的短連接可跳過(guò)中間層，將兩條路徑結(jié)果疊加作為輸出結(jié)果，將淺層特征傳輸?shù)缴顚?，在加深網(wǎng)絡(luò)層數(shù)的同時(shí)減少額外的參數(shù)和計(jì)算復(fù)雜度，以解決由網(wǎng)絡(luò)層數(shù)的增加而引發(fā)的訓(xùn)練問(wèn)題。殘差結(jié)構(gòu)有兩種，分別為圖5（b）BasicBlock結(jié)構(gòu)和圖5（c）BottleNeck結(jié)構(gòu)。由圖5（c）可知BottleNeck通過(guò)第一個(gè)1×1卷積層降維，減少參數(shù)量，再由另一個(gè)1×1卷積層恢復(fù)維度，在減少計(jì)算量的同時(shí)保證精度。

傳統(tǒng)卷積層在訓(xùn)練過(guò)程中為提升網(wǎng)絡(luò)性能，一般采用加深網(wǎng)絡(luò)層數(shù)的方法，隨著網(wǎng)絡(luò)層數(shù)的增加，會(huì)引發(fā)梯度消失，網(wǎng)絡(luò)退化的問(wèn)題。本文使用BasicBlock替換編碼部分的卷積層，再將經(jīng)BasicBlock后所得的輸出特征作為BottleNeck的輸入特征，輸入到BottleNeck中以減少參數(shù)量、計(jì)算量，有利于構(gòu)建更多的網(wǎng)絡(luò)層數(shù)，提升網(wǎng)絡(luò)性能，使主干網(wǎng)絡(luò)能更好地提取槽蓋板的區(qū)域細(xì)節(jié)特征。

1.2.2? Shuffle注意力

加入殘差模塊的UNet網(wǎng)絡(luò)能更好地提取槽蓋板的局部信息，但忽略了不同的像素類別、通道特征間的差異性，特征學(xué)習(xí)權(quán)重會(huì)影響槽蓋板分割的效果。引入注意力機(jī)制，增加槽蓋板狀態(tài)的特征學(xué)習(xí)權(quán)重，獲取更多槽蓋板區(qū)域的特征信息，減少背景區(qū)域的學(xué)習(xí)權(quán)重，忽略其他無(wú)關(guān)信息^[14]。由于使用Bottleneck減少了殘差網(wǎng)絡(luò)中的通道數(shù)，為更好地獲取通道中的特征信息，在Bottleneck下方加入注意力機(jī)制SA（Shuffle Attention）^[15]，通過(guò)改變特征學(xué)習(xí)的權(quán)重。

圖7是將SA融入Bottleneck中的結(jié)構(gòu)圖，在Bottleneck結(jié)構(gòu)下方加入SA，將Bottleneck的輸出特征輸入到SA模塊，得到更重要的特征信息。

結(jié)合了殘差模塊、注意力機(jī)制UNet模型結(jié)構(gòu)圖如圖8所示，UNet下采樣中加入BasicBlock、Bottleneck，更好地獲取槽蓋板狀態(tài)的特征信息，并在Bottleneck下方融入SA注意力機(jī)制，在減少算力的同時(shí)，給圖像特征分配不同的權(quán)重，減少槽蓋板圖片其他背景的干擾。

1.3? 損失函數(shù)

圖像分割算法中，常用的損失函數(shù)是二進(jìn)制交叉熵?fù)p失函數(shù)（Binary Cross Entropy Loss， BCE），如式（3）所示。而槽蓋板圖像存在正負(fù)樣本不均衡的情況，繼續(xù)使用BCE Loss會(huì)使網(wǎng)絡(luò)過(guò)擬合，降低訓(xùn)練效果。Dice Loss通過(guò)計(jì)算預(yù)測(cè)值和真實(shí)結(jié)果的相似度，解決正負(fù)類樣本不均衡問(wèn)題，式（4）為Dice Loss。由于預(yù)測(cè)值和和真實(shí)值存在偏差，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練不穩(wěn)定，為加強(qiáng)網(wǎng)絡(luò)對(duì)樣本的學(xué)習(xí)，本文設(shè)計(jì)了復(fù)合損失函數(shù)，如式（5）所示。

2? 實(shí)驗(yàn)結(jié)果與分析

2.1? 數(shù)據(jù)采集及預(yù)處理

本文試驗(yàn)使用的數(shù)據(jù)集是高鐵軌旁槽蓋板圖像，利用軌檢車采集鐵路旁的槽蓋板圖像。一共采集390張具有槽蓋板的圖像，按照比例9∶1的方式，訓(xùn)練集有351張圖像，39張圖像作為測(cè)試集，使用LabelMe軟件對(duì)槽蓋板圖像進(jìn)行手動(dòng)標(biāo)注，得到正常槽蓋板和非正常槽蓋板兩種狀態(tài)。圖9為L(zhǎng)abelMe軟件準(zhǔn)備數(shù)據(jù)集的界面。

2.2? 實(shí)驗(yàn)細(xì)節(jié)

表1為實(shí)驗(yàn)使用的系統(tǒng)和軟件設(shè)置。

表2為模型訓(xùn)練超參數(shù)設(shè)定。

2.3? 評(píng)價(jià)指標(biāo)

本文采用的模型性能評(píng)價(jià)指標(biāo)為語(yǔ)義分割領(lǐng)域公認(rèn)的像素準(zhǔn)確率（Pixel Accuracy，PA）、類別平均像素準(zhǔn)確率（Mean Pixel Accuracy，MPA）、平均交并比（Mean Intersection over Union，MIoU）、加權(quán)交并比（Frequency Weighted Intersection over Union， FWIoU）^[16]。

2.4? 實(shí)驗(yàn)結(jié)果對(duì)比與分析

本文使用幾種先進(jìn)的語(yǔ)義分割模型和本文改進(jìn)的模型分別對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試，得到不同模型的分割精度，進(jìn)行對(duì)比實(shí)驗(yàn)。圖10為不同模型訓(xùn)練的Loss曲線，比較了UNet、ResUNet以及本文模型，從Loss值的變化來(lái)看，本文改進(jìn)的模型收斂速度更快。

表3為不同網(wǎng)絡(luò)對(duì)槽蓋板分割的評(píng)價(jià)指標(biāo)結(jié)果，Res-UNet在各項(xiàng)指標(biāo)上明顯高于其他經(jīng)典的語(yǔ)義分割網(wǎng)絡(luò)，分割效果略差于改進(jìn)的Deeplabv3-mobile，而本文改進(jìn)后網(wǎng)絡(luò)的各項(xiàng)指標(biāo)都高于原始UNet和Res-UNet，相較于Res-UNet，PA、MPA、MioU、FWIoU分別提高了3.71%、5.77%、5.56%、3.74%；本文方法相較于分割效果較好的Deeplabv3-mobile，PA、MPA、MioU、FWIoU分別提高了1.89%、4.71%、7.16%、3.42%。

圖11是不同網(wǎng)絡(luò)分割效果圖，各網(wǎng)絡(luò)對(duì)第一列圖片的分割效果相當(dāng)，沒有遺漏或模糊；在第二、第三列圖片的分割結(jié)果中，原始UNet、PSPNet等算法存在漏檢的問(wèn)題。加入兩種殘差模塊，解決了漏檢的問(wèn)題。但由于背景因素的干擾，加入殘差的UNet把部分槽蓋板區(qū)域錯(cuò)誤地歸類為背景，導(dǎo)致區(qū)域分割不完整、邊緣不清晰的問(wèn)題，而引入SA注意力機(jī)制能有效抑制背景因素干擾，更好地關(guān)注槽蓋板區(qū)域的信息，使該網(wǎng)絡(luò)分割的區(qū)域更完整，邊緣劃分更精確，達(dá)到了預(yù)期的優(yōu)化目標(biāo)。

3? 結(jié)束語(yǔ)

本文針對(duì)軌旁電纜槽蓋板狀態(tài)檢測(cè)的問(wèn)題，提出了改進(jìn)UNet 的語(yǔ)義分割模型，在UNet下采樣過(guò)程中引入兩種殘差結(jié)構(gòu)，解決了訓(xùn)練中梯度爆炸、網(wǎng)絡(luò)退化的問(wèn)題，能更多地獲取槽蓋板圖像的特征。在殘差結(jié)構(gòu)上融合了SA后，增強(qiáng)槽蓋板區(qū)域的關(guān)注度，提高了網(wǎng)絡(luò)對(duì)槽蓋板區(qū)域特征的提取能力，弱化背景噪聲干擾。進(jìn)一步加強(qiáng)了網(wǎng)絡(luò)的分割效果。與原始UNet及其他幾種分割算法相比，本文網(wǎng)絡(luò)在分割精確度有較大優(yōu)勢(shì)。未來(lái)在使用中，將進(jìn)一步擴(kuò)充槽蓋板圖像數(shù)據(jù)集，優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，提高網(wǎng)絡(luò)的檢測(cè)效果。

參考文獻(xiàn)：

[1] 呂明珠. 基于機(jī)器視覺的印刷品表面缺陷檢測(cè)研究[D]. 西安：西安理工大學(xué)，2019.

[2] 劉澤，王嵬，王平. 鋼軌表面缺陷檢測(cè)機(jī)器視覺系統(tǒng)的設(shè)計(jì)[J]. 電子測(cè)量與儀器學(xué)報(bào)，2010，24（11）：1012-1017.

[3] 高玉雙. 深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的應(yīng)用發(fā)展探究[J]. 電腦編程技巧與維護(hù)，2020（9）：125-127.

[4]? LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015，39（4）：640-651.

[5]? ROY A G， NAVAB N， WACHINGER C. Concurrent spatial and channel squeeze & excitation in fully convolutional networks[J/OL]. （2018）[2023-03-20]. http：//arxiv.org/abs/180302579.2018.

[6]? OKTAY O， SCHLEMPER J， FOLGOC L L， et al. Attention U-Net： Learning where to look for the pancreas[J/OL]. （2021）[2023-03-10]. https：//blog.csdn.net/fujikoo/article/details/111462676.

[7]? MORADI S， GHELICH-OGHLI M， ALIZADEHASL A， et al. A novel deep learning based approach for left ventricle segmentation in echocardiography： MFP-UNet[J/OL]. （2019）[2023-03-10]. https：//www.docin.com/P-2326647814.html.

[8] 宮艷晶，黃民，黃小龍. 基于改進(jìn)ResNet-UNet的火焰圖像分割方法[J]. 北京信息科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，36（5）：39-44.

[9]? RAHMAN M R U， CHEN H. Defects inspection in polycrystalline solar cells electroluminescence images using deep learning[J]. IEEE Access， 2020（8）：40547-40558.

[10] 王明常，朱春宇，陳學(xué)業(yè)，等. 基于FPN Res-UNet的高分辨率遙感影像建筑物變化檢測(cè)[J]. 吉林大學(xué)學(xué)報(bào)：地球科學(xué)版，2021，51（1）：296-306.

[11] 殷曉航，王永才，李德英. 基于U-Net結(jié)構(gòu)改進(jìn)的醫(yī)學(xué)影像分割技術(shù)綜述[J]. 軟件學(xué)報(bào)，2021，32（2）：32.

[12]? HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C] // Proceedings of the IEEE Conference on Computer Risionand Pattern Recognition， 2016：770-778.

[13] 李愛蓮，劉浩楠，郭志斌，等. 改進(jìn)ResNet101網(wǎng)絡(luò)下渣出鋼狀態(tài)識(shí)別研究[J]. 中國(guó)測(cè)試，2020，46（11）：5.

[14] 朱張莉，饒?jiān)瑓菧Y，等. 注意力機(jī)制在深度學(xué)習(xí)中的研究進(jìn)展[J]. 中文信息學(xué)報(bào)，2019，33（6）：11.

[15]? ZHANG Q L， YANG Y B. Sa-net： Shuffle attention for deep convolutional neural networks[C] // ICASSP 2021-2021 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP）. IEEE， 2021：2235-2239.

[16] 于營(yíng)，王春平，付強(qiáng)，等. 語(yǔ)義分割評(píng)價(jià)指標(biāo)和評(píng)價(jià)方法綜述[J/OL]. 計(jì)算機(jī)工程與應(yīng)用：1-14[2023-02-24]. http：//kns.cnki.net/kcms/detail/11.2127.TP.20221205.1515.002.html.

收稿日期：2023-03-17

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目（51975347）；上海市科技計(jì)劃項(xiàng)目（22010501600）

作者簡(jiǎn)介：高? 仁（1997—），男，江蘇鹽城人，上海工程技術(shù)大學(xué)城市軌道交通學(xué)院碩士研究生，研究方向：交通通信與智能信息處理；柴曉冬（1962—），本文通信作者，男，上海人，上海工程技術(shù)大學(xué)城市軌道交通學(xué)院，教授，碩士生導(dǎo)師，研究方向：軌道檢測(cè)、圖像處理。

引文格式：高仁，柴曉冬，鄭樹彬，等. 基于改進(jìn)UNet的軌旁槽蓋板狀態(tài)檢測(cè)算法[J]. 物流科技，2024，47（3）：44-49.