摘要:目前處理探地雷達(GroundPenetrating Radar,GPR)數據主要依賴于人工,容易造成病害識別誤判、漏判率大、速度慢等問題,因此GPR智能目標識別已成為近幾年的研究熱點。本文提出基于卷積神經網絡中的YOLOX?MobileNetV3模型來實現路面病害自動識別,利用三維數據的高信息量和深度學習智能提取特征的優(yōu)勢,實現路面病害的智能化識別。首先對三維探地雷達得到的GPR圖片進行預處理,然后以3∶1的訓練集和測試集數量比例對數據進行3輪訓練和測試,并利用平均精確度、全類平均精確度、精確度、召回率、F1值、平均漏檢率等指標來評價3次訓練和測試的結果。結果表明:YOLOX?MobileNetV3模型的訓練損失權重平均為5.014,測試準確率平均為61.35%。該模型識別路面結構病害尤其是裂縫、層間黏結不良的準確率較高。同時隨著訓練與測試輪數的增加,其精確度也會隨之增加,召回率會隨之減小。由此可見,YOLOX?MobileNetV3模型能夠實現路面病害自動識別。
關鍵詞:道路檢測;三維探地雷達;YOLOX?MobileNetV3模型;精確度
中圖分類號:U416.2""""""""""""""""""""""""""""""" 文獻標識碼:A"""""""""""""""""""""""""""""""""" 文章編號:1673?6478(2023)03-0011-07
Automatic Pavement Disease Identification Research Based onYOLOX?MobileNetV3 Model
LI Yanqing ZHANG Guanfa CUI Zhimeng MA Zongli YANG Jiangang
(1. Guangzhou Road Research Institute Co., Ltd., Guangzhou Guangdong 510000, China; 2. Guangzhou Cheng'an Testing Ltd. of Highway amp; Bridge, Guangzhou Guangdong 510000, China; 3. School of Transportation Engineering, East China Jiaotong University, Nanchang Jiangxi 330013, China; 4. School of Civil Engineering and Architecture, East China Jiaotong University, Nanchang Jiangxi 330013, China; 5. Institute of Road Engineering, East China Jiaotong University, Nanchang Jiangxi 330013, China)
Abstract: At present, the processing of GPR data mainly relies on manual processing, and disease identification is easy to cause problems such as 1 positive, large missed detection rate and slow speed, so GPR intelligent target recognition has become a research hotspot in recent years. In this paper, it is proposed to realize the automatic identification of pavement diseases based on the YOLOX?MobileNetV3 model in convolutional neural networks, and use the high information of three?dimensional data and the advantages of deep learning to extract features intelligently, in order to realize the intelligent identification of pavement diseases. Firstly, the GPR pictures obtained by the 3D GPR are preprocessed, and then the data are trained and tested for three rounds with a ratio of 3∶1 in the number of training sets and test sets, and the results of the three training and tests are evaluated by using the average accuracy, the average accuracy of the whole class, the precision, the recall rate, the F1 value, and the average missed detection rate. The results show that the average training loss weight of the YOLOX?MobileNetV3 model is 5.014, and the average test accuracy is 61.35%. The model has high accuracy in identifying pavement structural diseases, especially cracks and poor adhesion between layers. At the same time, as the number of training and testing rounds increases, its accuracy will also increase, and the recall rate will decrease. It can be seen that the YOLOX?MobileNetV3 model can realize automatic identification of road surface diseases.
Key words: road detection; 3D ground penetrating radar; YOLOX?MobileNetV3 model; accuracy
0 引言
探地雷達(GroundPenetrating Radar,GPR)是一種利用電磁波探測道路結構內部病害與結構的地球物理無損探測方法,具有操作簡單、抗干擾能力較強、實時采樣、探測高效、路面探測成本低等優(yōu)勢[1]。Olhoeft G R等[2]利用SIR?8型空氣耦合探地雷達對路面結構進行探測,并自行開發(fā)算法,完成雷達數據自動校準、定位與處理,成功獲取路面結構相關信息。Vania Marecos等[3]利用GPR進行路基狀況的綜合分析,指出空氣耦合天線可以更好地識別路面各結構層的層間界面,地面耦合天線更適合對路面異常區(qū)域進行檢測,如路面內部的脫空和裂縫等。張龍[4]利用探地雷達針對水損害對瀝青路面的影響進行了研究,建立瀝青路面雷達波形與面層空隙率的關系以及瀝青路面空隙率與水損害的關系。鄭國梁等[5]運用探地雷達開展了舊水泥混凝土路面加鋪層設計前的檢測,研究結果表明,探地雷達可以很好地檢測水泥混凝土面板下的脫空情況,為加鋪設計提供良好的數據支撐。
基于三維探地雷達技術和深度學習的卷積神經網絡近年來已經開始廣泛應用于結構病害檢測。沙愛民等[6]針對路面結構病害的類型及其幾何特征,將探地雷達的探測圖像作為輸入層的原始樣本,完成了對裂縫等不同病害的識別與自動化計算,大幅提高了目標檢測的速率,驗證了卷積神經網絡模型的檢測速率和準確性。童崢[7]提出了基于神經網絡深度學習和三維探地雷達技術的瀝青路面目標病害自動化檢測方法,使用探地雷達圖像和卷積神經網絡深度學習模型針對不同雷達發(fā)射頻率和不同結構的高速公路路面進行病害的檢測、病害類型的識別、病害具體坐標的定位以及病害三維重建。孫朝云等[8]利用多目標SSD卷積神經網絡模型對路面裂縫進行分類檢測,準確得出了路面裂縫的實際位置坐標和尺寸大小等參數,提出未來能將該模型直接用于高速公路養(yǎng)護設計,尤其是路面交通與環(huán)境的狀況評價。鄒俊志等[9]為了提升復雜背景下混凝土橋梁表觀病害檢測精度,基于原有的YOLO v3模型加以開發(fā)與改善,檢測了大型橋梁的表面病害。我國大部分高速公路都是瀝青路面[10]。周潤翔[11]詳細介紹了高速公路的常見病害類型。Tong等[12]利用卷積神經網絡對瀝青路面的探地雷達圖像進行了反射裂縫的識別、定位、測量和三維重建。Yang等[13]利用卷積神經網絡對瀝青路面的三維探地雷達圖像進行了路面常見病害智能識別。
綜上,目前對三維探地雷達技術結合深度學習卷積神經網絡的研究較少,有必要研究運用深度學習的卷積神經網絡來對三維探地雷達的圖像進行處理。本次研究采用了YOLOX?Mobilenetv3的深度學習模型對三維探地雷達圖像進行了訓練和處理,驗證了YOLOX?MobileNetV3模型對雷達圖像處理的可行?性。
1 圖像采集與預處理
1.1 采集設備
探地雷達用于采集3D GPR數據,主要由GeoScopeTM MK IV主機、DXG1820地面耦合天線陣列、RT3D采集軟件和3dr Examiner數據處理軟件組成。
3D?Radar技術采用頻率步進技術和天線陣技術,將深層地下穿透與高分辨率相結合,實現了高密度、高速3D數據采集。每個探測深度的最佳信號帶寬和最佳分辨率可在不犧牲成像細節(jié)的前提下,以更快的速度獲得大范圍圖像。DXG天線陣列系列是測繪和探測淺層和深層地下物體的終極工具。它的三維、高精度、高分辨率和高清晰度地下數據被快速收集和分析。DXG是市場上最寬的天線陣列,頻率范圍在200MHz~3GHz之間,最大限度地提高了每個深度級別的分辨率。
1.2 圖像預處理
本文收集了3"200張原始路面結構病害探地雷達圖像,截取雷達圖像的縱斷面和水平面,其中縱斷面圖像長度每60m、深度每0.8m截取一張。
為了更好地方便后期卷積神經網絡模型的病害識別,本文將3"200張原始路面結構病害探地雷達圖像以每張20m的路面長度分割成6"919張512×512像素的圖像,具體操作流程如圖1所示。其中訓練圖像5"083張,測試圖像1"836張,訓練集和測試集的數量比例關系接近3∶1,較好地滿足了CNN訓練和測試數據集比例關系要求,具體數量如表1所示。
1.3 各病害圖像特征
本文將路面病害分成6種病害類型,分別是裂縫、脫空、層間黏結不良、混合料離析、異常和修補。根據電磁傳播理論,可知各病害類型雷達圖像特征。在裂縫部位,其介電常數小于正常修筑路面的介電常數;裂縫位置波形上凸,同相軸不連續(xù),雷達橫斷面圖能夠顯著地觀察到條形強反射區(qū)域;脫空是瀝青混凝土路面面層和半剛性基層之間由于車輛荷載的作用、結構設計和施工工藝不足、自然環(huán)境因素等影響存在薄脫空夾層或者層間致密孔隙聚集的現象。脫空雷達圖像特征主要有:縱斷面出現高亮拋物線圖像;水平面對應位置出現塊狀高亮圖像;橫斷面對應位置出現高亮同相軸或拋物線。層間黏結不良雷達圖像特征主要有:層間連接差的位置的介電常數小于層間連接良好位置的介電常數;同相軸連續(xù),但反射強度大于層間連接較好位置的反射強度,層間連接處振幅增大。混合料離析部位的介電常數要小于正常部位的介電常數;雷達波形極不規(guī)則,甚至呈雜亂狀態(tài),其波形的雜亂程度會隨離析程度加大而顯著加劇,同相軸不連續(xù);振幅增大是由于介電常數的變化;修補部位內部同相軸連續(xù)、平滑,修補部位與原路面連接部位同相軸彎曲,在水平面上能看到細縫;由于修補料與原路面材料的差異,其反射振幅會有差異,在雷達圖的縱斷面地面線處可見略微低于地面線的一條水平線;地面線以下層次結構明顯;雷達信號較附近信號高亮;把其他難以分辨的路面病害歸類為其他病害,病害代號見表2。
2 模型建立
2.1 深度學習理論
2006年Hinton等人正式提出深度學習概念。在利用機器學習處理數據時,為了滿足精確度和穩(wěn)定性的要求,其數據一般呈中小規(guī)模。而深度學習則無須對數據的先驗特征做大量實踐研究,該模型追求的是一種統(tǒng)一的端到端的設計方式。深度學習大多用于大、中型規(guī)模的數據集。簡單、通用、新穎是深度學習的主要特點。
目前,基于卷積神經網絡的目標檢測智能算法已經能夠解決社會、科學等領域各種復雜的實際任務,并且處理精度在不斷提高,例如深度學習可以為無聲視頻恢復聲音。近年來就利用該研究成果進行實際技術應用來看,以監(jiān)督學習方式的卷積神經網絡(Convolutional neural network,CNN)技術及其變形形式最為顯著,取得了較好的效果。
本研究工作環(huán)境為Intel(R) Xeon(R) Gold 6130H CPU,63GB內存和NVIDIA GeForce RTX 3090 24GB GPU。卷積神經網絡具體的檢測流程和結構見圖1。
2.2 數據集建立
使用云服務器進行數據集的載入,然后創(chuàng)建python文件訓練數據集。訓練結束,將訓練得到的權重文件導入logs文件夾,在yolo.py程序里,修改權重文件路徑。在predict.py程序里,修改圖像文件夾和預測的文件夾位置,右鍵run‘predict’運行文件,即可得到預測出的圖像,該圖像含有不同的數據標簽(報告裂縫、層間黏結不良、脫空、修補、混合料離析、異常),以及他們各自的置信度。
運行voc_get_map_test.py后,得到map_out文件夾,包括平均精確度圖、召回率圖、病害數量圖等。
3 結果與分析
本文通過使用YOLOX?MobileNetV3模型對已有的數據集進行訓練和測試,總共分為3輪。其中,后一輪都是在上一輪的基礎上進行的。為驗證在其他變量控制不變的前提下,隨著輪次的增加,精確度會如何變化,現將每輪的結果進行分析評價,評價指標主要有以下7個。
AP(Average Precision):平均精確度,也叫平均查準率。表征算法模擬測試集后所得到的路面結構病害數量、位置等信息與實際情況相比的準確?性。
mAP(mean Average Precision):全類平均精確度,也就是平均精確度的均值。將所有類別檢測的平均精確度(AP)進行綜合加權平均得到,表征各路面結構病害平均精確度的平均值。
Precision:精確度。表征每一次路面結構病害檢測之間,PyCharm軟件所得平均值與已有的數據之間的差距。
Recall(Recall Rate):召回率,也叫查全率。表征檢索出的相關數據和原有數據集中所有相關數據的比率。
F1(F1 Score):F1分數,是一種衡量二分類模型精確度的指標。
Score_Threhold:置信度分數閾值,在測試之前根據預測結果人為調整,用于在得到檢測框后進行初步篩選,去掉得分小于該閾值的框體。
Average Miss rate:平均漏檢率,該指標越小越好。MR?FPPI(FPPI指的是平均誤檢率)與本文提到的所用的Precious?Recall類似,都是兩個互斥的指標,一個性能的提升必然會帶來另一個性能的下降,可以反映檢測器的整體性能。
3.1 訓練與測試結果
本文利用YOLOX?MobileNetV3模型進行了3次訓練與測試,訓練與測試評價指標結果見圖2~圖4,3輪各評價指標平均值見表3。
在第一輪訓練與測試中,所選的Score_Threhold閾值為0.5。如圖2所示,第一輪訓練和測試所得到的AP值普遍低于70%,這是由于在訓練初始過程中,該模型的權重損失值過大,導致后期精確度難以大幅提高。我們可以明確地看到:在各種路面結構病害中,AP值最高的病害為修補,其AP值達到了61.82%;AP值最低的病害為混合料離析,其AP值只有23.56%。
第二輪訓練與測試中,所選的Score_Threhold閾值為0.4。相比于第一輪訓練與測試,平均AP值、平均召回率、平均F1值有所提高,平均Precision值變化較小。如圖3所示,第二輪訓練與測試的AP值仍然普遍低于70%,但相較于第一輪均有一定程度的提高。
第三輪訓練與測試中,所選的Score_Threhold閾值為0.3。第三輪訓練與測試的平均AP值、平均召回率、平均F1值均有所提高,同時平均Precision值有所下降,如圖4所示。
3.2 病害數量分析
根據YOLOX?MobileNetV3模型訓練和測試的結果(圖5),每輪所檢測的病害數量呈統(tǒng)一性,其中,層間黏結不良的數量最多,平均為6"858例;修補的數量最少,平均為422例。
3.3 病害數量與精度的關聯(lián)性
YOLOX?MobileNetV3模型經過三輪的測試和訓練后,各輪病害mPA和平均漏檢率如圖6~圖8所示,每輪所得到的mAP值各不相同。其中,第一輪的mAP值為49.44%,第二輪的mAP值為54.60%,第三輪的mAP值為56.04%。由此可見,隨著輪數的增加,該模型測試的mAP值(平均精確度)會逐漸提?高。
在每輪的測試結果中,各病害的平均精確度也各不相同。在三輪結果中,修補的平均精確度總是最高,平均達到了66%,相反混合料離析的平均精確度總是最低,平均只有27%。
此外,在每輪的測試結果中,各病害的平均漏檢率也各不相同。在三輪結果中,混合料離析的平均漏檢率總是最高,平均達到了83%,而修補的平均漏檢率總是最低,平均只有53%。
對比各類型病害的平均精確度與平均漏檢率的大小,可以清楚看到除異常之外,該兩項指標的大小普遍呈相反的態(tài)勢。例如在三輪測試結果中,修補病害的平均精確度的平均值最高,然而其平均漏檢率的平均值最低;混合料離析的則相反。
4 結論
參考文獻: