徐寶康，鄭樹彬，2，戚瑋瑋，2，李立明，2，丁亞琦

（1 上海工程技術(shù)大學(xué) 城市軌道交通學(xué)院，上海 201620；2 上海工程技術(shù)大學(xué)上海市軌道交通振動與噪聲控制技術(shù)工程研究中心，上海 201620；3 上海地鐵維護(hù)保障有限公司車輛分公司，上海 200235）

0 引言

軌道車輛的螺栓狀態(tài)檢測是保障列車安全運營的一項重要檢修工作，地鐵車輛段主要由簡單直接的人工巡檢完成，但工人長時間工作造成的視覺疲勞和精力下降會導(dǎo)致效率低下、誤檢率高等問題。目前已有地鐵維保公司安裝了基于機(jī)器視覺的檢測設(shè)備，但采用的檢測算法誤檢率過高，檢測算法的性能亟需提升。

近年來國內(nèi)外對利用機(jī)器視覺實現(xiàn)螺栓狀態(tài)檢測技術(shù)進(jìn)行了研究。目前主要檢測方法是利用圖像處理技術(shù)對螺栓特征進(jìn)行識別檢測，如文獻(xiàn)［1］采用混合高斯模型剔除正常螺栓，利用SIFT提取螺栓邊緣和紋理等特征。而傳統(tǒng)圖像處理方法提取的是淺層特征信息，存在定位不準(zhǔn)、誤漏率高的缺陷。有學(xué)者采用基于深度學(xué)習(xí)來建立目標(biāo)檢測模型，如文獻(xiàn)［2］提出利用Faster Rcnn級聯(lián)的輸電塔螺栓缺失檢測方法。文獻(xiàn)［3］利用SSD算法定位螺栓并切割，再利用YOLOv3檢測缺陷螺栓。深度學(xué)習(xí)方法雖較前述方法優(yōu)勢突出，但針對特定小目標(biāo)檢測仍存在不足。

目標(biāo)檢測算法按檢測策略分為2類。一類是檢測和定位分2次完成的兩階段檢測算法，例如Faster Rcnn、Mask Rcnn，此類算法精度高但檢測速度較慢。另一類是直接一次完成檢測定位的單階段檢測算法，例如SSD、YOLO系列，此類方法檢測速度快，但精準(zhǔn)度偏低。其中，YOLOv4對檢測精度與時效性較均衡，但實際工程檢測中需根據(jù)數(shù)據(jù)集具體特征進(jìn)行優(yōu)化。針對螺栓檢測的具體問題特征來改進(jìn)YOLOv4，采用自適應(yīng)空間特征融合（ASFF）技術(shù)對多尺度特征地圖進(jìn)行融合，改善各特征比例固定的性質(zhì)，提升檢測性能。將改進(jìn)YOLOv4算法在實驗數(shù)據(jù)集上訓(xùn)練，以期縮短訓(xùn)練時長，改進(jìn)檢測精度及速度，并在驗證集上驗證、對比檢測結(jié)果。

1 YOLOv4算法簡介

YOLOv4算法由Alexey等人提出，可分為主干網(wǎng)絡(luò)、尺寸變換模塊和檢測器預(yù)測模塊三部分，具體結(jié)構(gòu)及相應(yīng)模塊如圖1所示。

圖1 YOLOv4結(jié)構(gòu)圖Fig.1 YOLOv4 structure diagram

主干網(wǎng)絡(luò)的結(jié)構(gòu)部分融入CSPNet的設(shè)計思路，在ResNet殘差結(jié)構(gòu)基礎(chǔ)上添加CSP結(jié)構(gòu)構(gòu)成CSPX基本組件，并采用函數(shù)保證較好的信息流動性。整個網(wǎng)絡(luò)共52層，通過卷積、下采樣、特征合并、殘差的堆積復(fù)用，在DarkNet53基礎(chǔ)上構(gòu)成新主干網(wǎng)絡(luò)結(jié)構(gòu)。

尺寸變換模塊主要由SPPNet、FPN＋PANet構(gòu)成，如圖1所示。經(jīng)SPPNet并行池化再合并所產(chǎn)生的固定大小特征更有效地擴(kuò)張主干特征的提取范圍，見圖1中SPP模塊。FPN＋PANet結(jié)構(gòu)中，F(xiàn)PN輸出更多的強(qiáng)語義特征，PANet輸出更多的強(qiáng)定位特征，2種網(wǎng)絡(luò)將2種特征通過不同主干與檢測層實行參數(shù)合并達(dá)到融合目的，高底層間過長的信息傳輸路徑也因此縮短，減少信息衰減，見圖1中PANet模塊。

檢測器預(yù)測模塊是對輸出特征進(jìn)行解碼。首先使用網(wǎng)格劃分圖片，以網(wǎng)格為預(yù)測單位確認(rèn)網(wǎng)格中目標(biāo)，對存在目標(biāo)的網(wǎng)格生成先驗框，根據(jù)特征信息得出目標(biāo)中心點對網(wǎng)格左上角的偏移量，再加上對應(yīng)網(wǎng)格的位置信息，其中預(yù)測置信度和預(yù)測類別概率的乘積為預(yù)測結(jié)果的得分，通過NMS排除冗余預(yù)測框，設(shè)定預(yù)測閾值，在逐層篩選后，最終得到預(yù)測結(jié)果。

2 基于改進(jìn)YOLOv4的地鐵車輛螺栓狀態(tài)檢測方法

檢測模型的改進(jìn)分為2個方向：模型的檢測策略改進(jìn)和YOLOv4網(wǎng)絡(luò)改進(jìn)。整體的檢測策略使用二級級聯(lián)的方法，分2步實現(xiàn)螺栓目標(biāo)的定位與分類；YOLOv4網(wǎng)絡(luò)改進(jìn)是對算法和結(jié)構(gòu)的優(yōu)化，上述的二級級聯(lián)的2步檢測均采用此改進(jìn)后的YOLOv4作為檢測算法。

2.1 二級YOLOv4網(wǎng)絡(luò)的級聯(lián)

轉(zhuǎn)向架側(cè)梁螺栓的識別特征較為簡單，地鐵車身在日常運行過程中會產(chǎn)生臟污斑點，其外形和螺栓目標(biāo)相似，且車身圖像內(nèi)容復(fù)雜，更容易導(dǎo)致誤檢率增加的問題。觀察地鐵車輛側(cè)身圖像，可發(fā)現(xiàn)螺栓目標(biāo)所處位置較集中，構(gòu)成規(guī)則的矩形陣列，因此可將整體看作為一個目標(biāo)。本次研究中，就可以采用級聯(lián)結(jié)構(gòu)來檢測螺栓矩形陣列，對螺栓的目標(biāo)檢測由粗到細(xì)地進(jìn)行定位和分類。檢測系統(tǒng)的二級級聯(lián)示意如圖2所示。由圖2可知，Stage 1中首先使用下述改進(jìn)后的YOLOv4算法對整體圖像進(jìn)行粗定位，得到螺栓矩形陣列的目標(biāo)區(qū)域，輸入圖像調(diào)整為900×900，由于螺栓矩形陣列面積大且特征明顯，所以容易識別。該輸出作為Stage 2的輸入再次對螺栓目標(biāo)進(jìn)行定位和分類，因此在Stage 2中基于改進(jìn)YOLOv4的定位分類體系結(jié)構(gòu)被級聯(lián)。通過此級聯(lián)可降低螺栓目標(biāo)的誤檢率，提高檢測精度和召回率。

圖2 檢測系統(tǒng)的二級級聯(lián)示意圖Fig.2 Schematic diagram of two level cascade of detection system

2.2 YOLOv4網(wǎng)絡(luò)改進(jìn)

2.2.1 先驗框的聚類與設(shè)定

根據(jù)數(shù)據(jù)集的特征先將先驗框尺度聚類為2類，再按尺寸大小依次分配給3個特征層。由于本實驗的數(shù)據(jù)集目標(biāo)尺寸變化率極小，統(tǒng)計出螺栓所占像素為250×260左右，面積占原圖2000×4096的0.79%，可知螺栓尺寸單一且歸屬于小目標(biāo)。原算法聚類得到的先驗框是為了覆蓋各種尺寸目標(biāo)，不適用于本實驗數(shù)據(jù)集。改進(jìn)的算法先根據(jù)的畸變程度曲線，如圖3所示。由圖3可見，依據(jù)肘部法可得最佳值為2，經(jīng)K-means＋＋對基于輸入尺寸416×416的螺栓尺寸數(shù)據(jù)進(jìn)行聚類，得到尺寸為（30.4，3.1）和（34.7，42.4），為了計算簡便取整數(shù)值，將先驗框0～5設(shè)為（30，34），6～8設(shè)為（35，42）。先驗框的設(shè)定影響訓(xùn)練過程的速度，依據(jù)數(shù)據(jù)集的特點獲取尺寸可加快模型回歸速度。

圖3 SSE-k畸變程度曲線Fig.3 SSE-k distortion degree curve

2.2.2 先驗框的回歸改進(jìn)

自適應(yīng)生成先驗框位置如圖4所示。原算法是以每網(wǎng)格的左上角生成先驗框，目標(biāo)由其中心點所處的網(wǎng)格負(fù)責(zé)預(yù)測。而目標(biāo)中心點位置隨機(jī)，常會出現(xiàn)先驗框中心起點坐標(biāo)遠(yuǎn)離目標(biāo)中心點坐標(biāo)，這種情況下則需要網(wǎng)絡(luò)大量負(fù)反饋調(diào)整預(yù)測框位置降低值以提高交并比，因此影響了回歸效率。改進(jìn)網(wǎng)絡(luò)提出根據(jù)目標(biāo)中心點的具體坐標(biāo)，在算法中通過四舍五入函數(shù)（，），選取最靠近中心點的網(wǎng)格角點作為生成先驗框起點中心坐標(biāo)，再通過特征層的調(diào)整策略進(jìn)行網(wǎng)絡(luò)參數(shù)的回歸更新。此時網(wǎng)格的4個角點均可為先驗框的生成位置，邊界框的位置計算方式依據(jù)4種生成位置選擇其計算方式，以圖4為例先驗框生成位置為右下角，其對應(yīng)的預(yù)測框?qū)嶋H位置計算參見式（1）：

圖4 自適應(yīng)生成先驗框位置Fig.4 Adaptively generating priori box position

其中，c、c為網(wǎng)格單位長度；t、t為坐標(biāo)變換系數(shù)；b、b為預(yù)測框的實際位置。

該改進(jìn)智能選擇生成先驗框的初始位置，有效提高網(wǎng)絡(luò)的訓(xùn)練效率。

2.2.3 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)—多尺度特征融合模塊

對于處理特征融合方式，原YOLOv4網(wǎng)絡(luò)在FPN基礎(chǔ)上融入了PANet，縮短了高低層間特征傳遞路徑，保證強(qiáng)語義及強(qiáng)定位信息的融合。但單級檢測模型多直接使用或的方式融合特征，而各特征尺度是不一致的，上述方式并不能充分利用各尺度的不同特征，一定程度限制了特征融合的效能。改進(jìn)的算法在此基礎(chǔ)上將網(wǎng)絡(luò)的輸出特征進(jìn)行ASFF操作，通過學(xué)習(xí)不同尺度特征層之間的聯(lián)系參數(shù)來處理上述問題，在空間層面，沖突信息被限制傳遞，梯度反傳時使其不一致性得以抑制，各特征之間的比例問題得到改善，同時降低推理消耗，提高了網(wǎng)絡(luò)對螺栓檢測的精度。

圖5描述了由不同特征尺寸融合的方式，由13輸出，3層特征分別與權(quán)重參數(shù)相乘再求和，得到新的融合特征。其中，權(quán)重參數(shù)是通過網(wǎng)絡(luò)自適應(yīng)地學(xué)習(xí)獲得，只保留有用的信息進(jìn)行組合，可看作是代表每個位置上不同層次特征的導(dǎo)入程度，有效地避免不同尺度特征融合時出現(xiàn)的空間矛盾問題，從而增強(qiáng)了特征表示，此處需要用到的數(shù)學(xué)公式依次可寫為：

圖5 自適應(yīng)空間特征融合示意圖Fig.5 Schematic diagram of adaptive spatial feature fusion

3 實驗設(shè)置

3.1 數(shù)據(jù)集準(zhǔn)備

實驗使用圖像由上海地鐵九號線提供，正常及丟失螺栓這2個檢測目標(biāo)分別為正負(fù)樣本。先將數(shù)據(jù)集通過圖6流程實現(xiàn)擴(kuò)充，再使用黑色涂抹螺栓區(qū)域模擬丟失螺栓以解決負(fù)樣本稀少問題。圖像由定點相機(jī)拍攝，轉(zhuǎn)向架在圖像中位置不變且上下部位均是背景區(qū)域，在訓(xùn)練過程中將此區(qū)域裁剪，原圖的尺寸大小變?yōu)?000×1400，裁剪后可減少冗余計算。共采集圖像1269張，其中正常螺栓4155個，丟失螺栓311個；經(jīng)過數(shù)據(jù)處理后達(dá)3500張，其中正常螺栓14938個，丟失螺栓1526個。

圖6 數(shù)據(jù)集擴(kuò)增與預(yù)處理Fig.6 Dataset amplification and pretreatment

3.2 實驗環(huán)境與網(wǎng)絡(luò)訓(xùn)練

硬件配置：CPU為Core i7-8700，GPU為RTX 2080，RAM32 G；軟件環(huán)境為python3.6，訓(xùn)練框架為Keras2.1.5＋Tensorflow1.3.1，OS為Windows10，結(jié)合OpenCV等第三方庫，CUDA10.0加速。

輸入尺寸為416×416，設(shè)置150次，采用分階段遷移訓(xùn)練策略，先凍結(jié)前層參數(shù)完成70個訓(xùn)練，解凍再訓(xùn)練剩余，、初始學(xué)習(xí)率、動量分別設(shè)置為6、0.0001及0.9。采用批梯度下降策略調(diào)整學(xué)習(xí)率，權(quán)重衰減值為0.00001。數(shù)據(jù)集按9：1的比列劃分為訓(xùn)練集、測試集，另留589張圖像作后續(xù)測試集，包含正常螺栓1495個，丟失螺栓434個。

3.3 評價指標(biāo)

采用平均精確度、平均精度均值、召回率、預(yù)測時長、每秒傳輸幀數(shù)，即作為性能評價指標(biāo)，計算公式具體如下：

采用訓(xùn)練時長作為模型訓(xùn)練開銷的評價指標(biāo)，時長越短說明模型訓(xùn)練越高效。

4 實驗對比與分析

圖7為改進(jìn)YOLOv4算法訓(xùn)練過程中變化曲線。設(shè)置迭代150輪，第一輪訓(xùn)練結(jié)束損失值近680，隨后劇烈下降，在20～80世代緩慢下降。凍結(jié)前層網(wǎng)絡(luò)經(jīng)過70個后，解凍訓(xùn)練值再次下降，最終穩(wěn)定于10，觀察曲線可知訓(xùn)練收斂理想。

圖7 Loss值收斂情況Fig.7 Convergence of the Loss value

為剖析對比改進(jìn)措施對原算法的影響狀況，采用消融實驗方法將原算法結(jié)合不同改進(jìn)措施驗證性能，裁剪成4組算法分別進(jìn)行訓(xùn)練及測試，結(jié)果見表1。表1中，“√”表示相應(yīng)改進(jìn)措施被采用。

表1 不同算法改進(jìn)措施的對比Tab.1 Comparison of improvement measures of different algorithms

由表1可知，改進(jìn)算法1先根據(jù)確定值，再通過聚類算出尺寸，其訓(xùn)練時長和有明顯改善，時長縮短超0.5 h，從26幀加速到37幀，結(jié)果說明依據(jù)檢測目標(biāo)尺寸調(diào)整先驗框?qū)λ惴ㄋ俣扔刑嵘Ч８倪M(jìn)算法2改進(jìn)先驗框回歸策略，進(jìn)一步加快訓(xùn)練和預(yù)測速度，和值無明顯變化。算法3加入ASFF模塊，針對不同尺度特征的不一致性自適應(yīng)地學(xué)習(xí)獲取融合所需用的權(quán)重參數(shù)，以解決空間矛盾問題，提升了3.7%，值提升了1.1%，證明ASFF模塊的加入對檢測效果有重大影響，也有小幅提升，訓(xùn)練時長有小幅縮短，在算法體量增加的情況下速度仍有較好表現(xiàn)，有效提升檢測效果。算法4采用級聯(lián)的方法分2步檢測螺栓目標(biāo)，提升較小，值再次得到1的提升，誤檢率得以降低。

進(jìn)一步驗證改進(jìn)算法的性能，分別對原算法和改進(jìn)算法進(jìn)行不同輪數(shù)和不同數(shù)量訓(xùn)練集的訓(xùn)練及驗證，結(jié)果見圖8。圖8中，柱狀圖代表原算法YOLOv4，折線圖代表改進(jìn)YOLOv4，迭代輪數(shù)劃分為70、90、110、130、150，訓(xùn)練集劃分為700、1000、1750、3500。圖8（a）中，隨著迭代輪數(shù)遞增，2種算法值均在提高，總體上改進(jìn)的YOLOv4算法均高于原算法，且在早期第70輪時已達(dá)到90%以上的?？梢娝惴ǖ母倪M(jìn)能夠更高效地提取及融合特征，加快特征學(xué)習(xí)，即在較少迭代的情況下也能較快達(dá)到比原算法更高的檢測效果。圖8（b）與圖8（a）趨勢相似，隨著迭代輪數(shù)遞增，值皆隨之遞增，且改進(jìn)算法均高于原算法，對于小樣本訓(xùn)練集的學(xué)習(xí)，相較于原算法也具有更好的檢測結(jié)果，對700個圖像的學(xué)習(xí)已能達(dá)到87.6%，高出原算法7.9%，再次證明改進(jìn)算法對圖像特征學(xué)習(xí)的高效性及強(qiáng)大的泛化能力，綜上說明算法的改進(jìn)具有重要的性能影響。

圖8 原算法與改進(jìn)算法的檢測結(jié)果對比Fig.8 The detection results of the original algorithm and the improved algorithm

近年來存在的熱門目標(biāo)檢測模型較多，針對上述驗證集本文將改進(jìn)的YOLOv4算法與其他主流算法進(jìn)行了對比，結(jié)果詳見表2。由表2可知，算法Faster-RCNN和改進(jìn)YOLOv4的與值相較于其他檢測算法都表現(xiàn)出明顯優(yōu)勢，分別達(dá)到了99.6%和99.1%，但前者的檢測速度最慢，而改進(jìn)的算法對比原算法快出5幀／s，超出了Faster-RCNN的4倍，檢測速度表現(xiàn)突出，其訓(xùn)練時長及算法存儲量相較于其他算法也處于適中水平。SSD訓(xùn)練所需時長較短，但其算法存儲量與RetinaNet都相對較大，檢測性能分別低于改進(jìn)YOLOv4的6.5%、5.8%。觀察表2數(shù)據(jù)可知，改進(jìn)YOLOv4綜合水平在原算法的基礎(chǔ)上提升明顯，其檢測效果出色，性能水平較高，所以算法改進(jìn)的優(yōu)勢進(jìn)一步得以驗證。

表2 各主流算法檢測結(jié)果Tab.2 Detection results of various mainstream algorithms

圖9展示了各主流算法的實測對比圖，首列為人工手動圖像標(biāo)注。算法在訓(xùn)練時模型學(xué)習(xí)能力弱、對圖像特征提取不夠充分等性能問題都會導(dǎo)致目標(biāo)誤漏檢測情況。參見圖9（b）可以看到，SSD和RetinaNet存在丟失螺栓的漏檢問題，參見圖9（c）中可知，螺栓顯示不完整，這也分別表明YOLOv3和YOLOv4出現(xiàn)了漏檢問題。觀察改進(jìn)YOLOv4算法表現(xiàn)，其目標(biāo)檢測、且定位精準(zhǔn)，不完整目標(biāo)也可得到正常高置信度識別，整體檢測性能優(yōu)于其他檢測算法。

圖9 各主流算法實測效果對比Fig.9 Comparison of results of various mainstream algorithms

5 結(jié)束語

本研究針對地鐵車輛螺栓檢測問題提出一種基于改進(jìn)YOLOv4的算法，旨在解決地鐵螺栓圖像誤／漏檢率高的問題。研究中，對先驗框設(shè)置和回歸方式進(jìn)行改進(jìn)，將PANet網(wǎng)絡(luò)與ASFF技術(shù)進(jìn)行融合，抑制了梯度反傳的不一致，進(jìn)而改善特征的比例不變性，采取二級級聯(lián)分步檢測螺栓目標(biāo)的方法降低誤檢率。根據(jù)實驗結(jié)果可知，改進(jìn)算法值達(dá)到99.5%，達(dá)到99.8%，且檢測速度與原算法相當(dāng)，對比現(xiàn)存的主流目標(biāo)檢測算法綜合性能突出，可靠性和檢測精度均得到提升。此外，本文選用地鐵車輛轉(zhuǎn)向架螺栓作為研究對象，可進(jìn)一步開展對軸箱及車底等其他部位、類型的螺栓檢測研究工作。