亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于Mask R-CNN和遷移學習的混凝土道路裂縫智能識別研究

        2021-08-25 12:25:28劉智勇
        廣東土木與建筑 2021年8期
        關(guān)鍵詞:卷積神經(jīng)網(wǎng)絡(luò)裂縫

        劉智勇

        (廣州地鐵集團有限公司 廣州510335)

        0 引言

        混凝土結(jié)構(gòu)在服役或施工過程中常會產(chǎn)生不同程度和大小的裂縫等表觀病害[1],如果混凝土表面裂縫沒有及時查明或進行修補,將會影響結(jié)構(gòu)的耐久性及使用壽命[2]。為滿足我國公路運輸發(fā)展的需求,我國建設(shè)了大量的混凝土道路,在長期服役過程中,受車輛的擠壓作用,混凝土的強度性能也會發(fā)生變化,從而出現(xiàn)大規(guī)模表觀裂縫,對公路運輸產(chǎn)生重大安全隱患[3-4]。因此,有必要對混凝土道路定期進行檢測維護[5]。通過裂縫的形態(tài)特征及表觀特征,可以推斷裂縫劣化的潛在原因,為我國公路結(jié)構(gòu)的健康檢測和診斷提供依據(jù)[6]。

        國內(nèi)大量學者在裂縫的識別及定位上提出了思路和方法[7-9],但目前為止,針對公路混凝土表面裂縫的有效識別方面仍沒有得出較好的結(jié)果。因此,本文在已有的研究基礎(chǔ)上,提開發(fā)一種基于Mask R-CNN的混凝土道路智能識別算法,首先對小樣本數(shù)據(jù)集進行增廣,然后用Mask R-CNN深度卷積神經(jīng)網(wǎng)絡(luò)對COCO數(shù)據(jù)集進行遷移學習,最終實現(xiàn)混凝土道路裂縫的智能識別。

        1 數(shù)據(jù)集制作

        1.1 數(shù)據(jù)增廣

        試驗數(shù)據(jù)來源于廣東省某混凝土路面的實地拍攝,通過無人機、高精度數(shù)碼相機等設(shè)備采集了710張復(fù)雜背景下的道路裂縫圖片,對其中環(huán)境干擾較大、影響深度學習結(jié)果的圖像進行剔除,最終選取330張作為數(shù)據(jù)集,所選樣本數(shù)據(jù)包含不同光照強度、不同拍攝角度、不同裂縫數(shù)量的圖像,部分裂縫樣本數(shù)據(jù)如圖1所示。

        圖1 裂縫樣本圖像Fig.1 Fracture Sample Image

        由于深度卷積神經(jīng)網(wǎng)絡(luò)的識別精度對樣本數(shù)據(jù)集有極高的要求,330張裂縫數(shù)據(jù)集圖像不能夠支撐網(wǎng)絡(luò)訓(xùn)練。因此本文通過對裂縫圖像進行垂直翻轉(zhuǎn)90°、水平翻轉(zhuǎn)90°、逆時針旋轉(zhuǎn)45°、順時針旋轉(zhuǎn)45°以及圖像擴大1.5倍的方法進行樣本數(shù)據(jù)增廣,如圖2所示,剔除環(huán)境影響較大的圖像,數(shù)據(jù)增廣后的裂縫數(shù)據(jù)集共1 960張。按照60%、20%、20%的比例對訓(xùn)練集、驗證集、測試集進行劃分,最終得到訓(xùn)練圖片1 176張,驗證圖片392張、測試圖片392張。

        圖2 數(shù)據(jù)擴展后的裂縫圖像Fig.2 Fracture Image after Data Expansion

        通過有監(jiān)督深度學習的方式對深度卷積神經(jīng)網(wǎng)絡(luò)進行學習,通過Labelling程序?qū)χ谱鞯牧芽p數(shù)據(jù)集進行標記,標記后按照裂縫圖像的輪廓創(chuàng)建目標區(qū)域,標注裂縫面積,由于本文只識別裂縫一個類別,因此統(tǒng)一采用裂縫的英文crack作為識別裂縫的標簽名稱。

        1.2 遷移學習

        由于目標區(qū)域有標簽及掩碼的真實樣本數(shù)量相對較少,對于單標簽數(shù)據(jù)集及小樣本數(shù)據(jù)集,在深度卷積神經(jīng)網(wǎng)絡(luò)計算過程中,容易出現(xiàn)模型的過度擬合問題,在本文的研究中,除對樣本進行數(shù)據(jù)增廣外,還使用了COCO數(shù)據(jù)集進行遷移學習,通過應(yīng)用COCO數(shù)據(jù)集的訓(xùn)練權(quán)重進行遷移學習,并凍結(jié)了1~4層骨干網(wǎng)絡(luò)的訓(xùn)練權(quán)重,如圖3所示。

        圖3 遷移學習過程中進行特征值融合Fig.3 Eigenvalue Fusion is Carried out in the Process of Transfer Learning

        在進行遷移學習后,首先可以使Mask R-CNN神經(jīng)網(wǎng)絡(luò)學習到新的特征信息,其次可以通過調(diào)節(jié)全連接層的權(quán)值文件,并剔除原始神經(jīng)網(wǎng)絡(luò)中的特征信息,可較好地解決模型的過度擬合問題,直到神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)束,模型的準確率仍處于穩(wěn)定狀態(tài),最終獲得可識別混凝土道路裂縫的權(quán)值文件。

        2 Mask R-CNN目標檢測原理

        Mask R-CNN是一種在Faster R-CNN基礎(chǔ)上改進而來的深度卷積神經(jīng)網(wǎng)絡(luò)(CNN),Mask R-CNN改進了Faster R-CNN的缺陷,取消了原始Faster R-CNN神經(jīng)網(wǎng)絡(luò)中感興趣區(qū)域池化技術(shù),創(chuàng)新了感興趣區(qū)域?qū)R技術(shù)(RoIAlign),并增加了掩碼預(yù)測技術(shù),如圖4所示,既可以對復(fù)雜環(huán)境下目標進行精準識別,并且可以對目標識別物體進行實例分割,在混凝土表面裂縫檢測中,有良好的應(yīng)用前景。

        圖4 Mask R-CNN深度卷積神經(jīng)網(wǎng)絡(luò)框架Fig.4 Mask R-CNN Deep Convolutional Neural Network Framework

        2.1 FPN

        傳統(tǒng)的Faster R-CNN對特征區(qū)域進行選取主要是通過深度卷積神經(jīng)網(wǎng)絡(luò)來實現(xiàn),通過提取最后一層圖片的特征信息,輸入到區(qū)域候選網(wǎng)絡(luò)中,但由于傳統(tǒng)的深度卷積神經(jīng)網(wǎng)絡(luò)會將小目標特征自動識別為隨機噪聲進行過濾,因此對裂縫的識別并效果并不理想。

        為解決傳統(tǒng)CNN網(wǎng)絡(luò)帶來的問題,本文選取Mask R-CNN神經(jīng)網(wǎng)絡(luò),并引入FPN算法,F(xiàn)PN使用自上而下的體系結(jié)構(gòu),如圖5所示,可對特征區(qū)域更好的提取語言信息及圖片信息,在準確率及計算速度上也可以得到很好地提升。基于此,本文通過使用ResNet與FPN相結(jié)合的主干網(wǎng)絡(luò)對裂縫圖像進行訓(xùn)練,可在保證計算精度的同時,大幅度提升計算速度。

        圖5 特征信息提取的FPN網(wǎng)絡(luò)結(jié)構(gòu)[10]Fig.5 FPN Network Structure for Feature Information Extraction[10]

        2.2 RPN

        區(qū)域候選網(wǎng)絡(luò)(RPN)通常在Faster R-CNN網(wǎng)絡(luò)中被用來提取目標檢測標記框,在Mask R-CNN中的RPN結(jié)構(gòu)與Faster R-CNN。區(qū)域候選網(wǎng)絡(luò)通過將圖片分割成若干個窗口,在每個候選框內(nèi)產(chǎn)生標記點,對檢測區(qū)域進行標定,在本文選用的Mask R-CNN神經(jīng)網(wǎng)絡(luò)中通過神經(jīng)元卷積,對得到的標記點機械能排除和過濾,最后通過NMS抑制算法,提取出建議候選區(qū),最終選取真實裂縫位置的區(qū)域,如圖6所示。

        圖6 RPN神經(jīng)網(wǎng)路結(jié)構(gòu)[11]Fig.6 RPN Neural Network Structure[11]

        2.3 RoIAlign

        感興趣區(qū)域?qū)R技術(shù)(RoI Align)改進了傳統(tǒng)CNN網(wǎng)絡(luò)中感興趣區(qū)域池化技術(shù)的不足,消除了量化操作,通過雙線性插值的方法計算像素值,可較好地解決邊界不匹配的問題(見圖7)。通過對特征圖上距離較近的像素得到整體像素值,最后的感興趣區(qū)域?qū)R結(jié)果就是對每個單元格內(nèi)的采樣點進行最大池化。在RoIAlign的過程中可以進行反向傳播計算,即可得到實例分割區(qū)域(即本文裂縫區(qū)域)的圖像。

        圖7 RoI Align算法雙線性插值[12]Fig.7 The Roi Align algorithm is Bilinear Interpolation[12]

        3 結(jié)果與分析

        3.1 實驗環(huán)境

        基于Mask R-CNN神經(jīng)網(wǎng)絡(luò)和遷移學習算法,本文將目前應(yīng)用較為普遍的SSD算法和Yolov3算法應(yīng)用在混凝土路面的識別檢測中,比較Mask R-CNN算法與SSD算法、Yolov3算法在裂縫識別檢測中方面的優(yōu)勢。本文試驗在64位Win10操作系統(tǒng)進行,集成開發(fā)環(huán)境選用spyder,具體計算機配置如下:Window 10操作系統(tǒng),32 G內(nèi)存,CPU為Inter Cor i7-7500u,6 GB顯存,GPU為NVIDA GeForce RTX 1660 Super。

        3.2 識別方法比較

        首先將訓(xùn)練測試機輸入到Mask R-CNN算法中,訓(xùn)練得到混凝土路面裂縫神經(jīng)網(wǎng)絡(luò)模型,目標檢測及實例分割效果如圖8所示,可以發(fā)現(xiàn),通過Mask RCNN神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練,可以準確地對混凝土表面的裂縫進行識別,并對裂縫面積通過實例分割進行表征,且整體識別率較高。

        圖8 Mask R-CNN神經(jīng)網(wǎng)絡(luò)識別效果Fig.8 Mask R-CNN Neural Network Recognition Renderings

        根據(jù)訓(xùn)練過程中得到的召回率(Recall)和精準度(Precision)計算不同神經(jīng)網(wǎng)絡(luò)得到的平均精度值(mAP),對深度卷積神經(jīng)網(wǎng)絡(luò)的性能進行評價,精準度、召回率以及平均精度值的計算公式分別為:

        式中:FP為裂縫被誤檢為其他對象的數(shù)量;TP為正確檢測出裂縫的數(shù)量;FN為其他對象被錯誤檢測成裂縫的數(shù)量;Precision為精確度;Nc為含有裂縫圖片的數(shù)量;N為數(shù)據(jù)集圖片的總數(shù)。

        為研究Mask R-CNN神經(jīng)網(wǎng)絡(luò)目標檢測模型與其他主流神經(jīng)網(wǎng)絡(luò)相比的優(yōu)勢,將SSD算法、Yolov3算法的檢測結(jié)果與Mask R-CNN的檢測效果進行對比,具體結(jié)果如表1所示。

        表1 不同神經(jīng)網(wǎng)絡(luò)模型的測試結(jié)果Tab.1 Test Results of Different Neural Network Models

        從表1中可以看出,本文提出的Mask R-CNN算法的召回率、準確率及mAP均好于傳統(tǒng)的SSD、Yolov3目標檢測算法,SSD算法在裂縫圖像檢測中的檢測效果很難讓人滿意,Yolov3算法雖然準確率較高,但mAP值較低,從圖8?中也可以看出,本文提出的Mask R-CNN算法在實例分割中也得到了較好的效果,可在檢測同時估算裂縫的面積,在其他傳統(tǒng)檢測模型中并不能做到實例分割的效果。

        3.3 圖像增廣方法比較

        本文在數(shù)據(jù)集制作中選用了圖像增廣,為驗證數(shù)據(jù)增廣對裂縫圖像減少模型過度擬合的效果,本文通過對比試驗進行研究,選取未進行數(shù)據(jù)增廣的圖像進行訓(xùn)練,對比試驗結(jié)果如表2所示。

        由表2可知,數(shù)據(jù)增廣對Mask R-CNN神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果有顯著影響,且未進行數(shù)據(jù)增廣的數(shù)據(jù)集在訓(xùn)練過程中有較高的過度擬合效應(yīng),使得模型在訓(xùn)練結(jié)果過程中表現(xiàn)較不穩(wěn)定,因此在混凝土表面裂縫數(shù)據(jù)集不足的情況下,可以使用本文提出數(shù)據(jù)增廣手段對數(shù)據(jù)集進行擴增,提高模型的檢測效果。

        表2 數(shù)據(jù)集增廣對比試驗結(jié)果Tab.2 Experimental Results of Augmented Data Set

        4 結(jié)論

        本文通過選取Mask R-CNN深度卷積神經(jīng)網(wǎng)絡(luò)并進行遷移學習對混凝土路面表觀裂縫進行檢測,得到以下結(jié)論:

        ⑴本文研究的Mask R-CNN算法應(yīng)用于混凝土表面裂縫檢測總體準確率和召回率均達到了98.12%和96.31%,取得了較好的檢測效果與分割效果,為混凝土裂縫智能檢測和識別提供了一種快速、高效的解決方案。

        ⑵使用數(shù)據(jù)增廣和COCO數(shù)據(jù)集進行遷移學習可以有效解決Mask R-CNN算法在識別裂縫過程中易出現(xiàn)的過度擬合問題,可得到較好的檢測效果。

        ⑶與傳統(tǒng)的Yolov3、SSD目標檢測算法相比,本文提出的Mask R-CNN目標檢測算法有較高的準確性,并可在目標檢測的同時對裂縫面積進行分割,更加高效地對公路路面混凝土裂縫進行檢測。

        猜你喜歡
        卷積神經(jīng)網(wǎng)絡(luò)裂縫
        基于3D-Winograd的快速卷積算法設(shè)計及FPGA實現(xiàn)
        碳酸鹽巖裂縫描述七大難點
        裂縫(組詩)
        鴨綠江(2021年35期)2021-04-19 12:23:56
        神經(jīng)網(wǎng)絡(luò)抑制無線通信干擾探究
        電子制作(2019年19期)2019-11-23 08:42:00
        從濾波器理解卷積
        電子制作(2019年11期)2019-07-04 00:34:38
        地球的裂縫
        基于傅里葉域卷積表示的目標跟蹤算法
        基于神經(jīng)網(wǎng)絡(luò)的拉矯機控制模型建立
        重型機械(2016年1期)2016-03-01 03:42:04
        復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)在基于WiFi的室內(nèi)LBS應(yīng)用
        基于支持向量機回歸和RBF神經(jīng)網(wǎng)絡(luò)的PID整定
        亚洲另类精品无码专区| 国产av一级黄一区二区三区| 综合五月激情二区视频| 久久国产热这里只有精品 | 色777狠狠狠综合| 亚洲欧美成人a∨| 91久久精品一二三区蜜桃| 少妇被爽到高潮喷水免费福利| 久久99国产精品久久99果冻传媒| 性欧美大战久久久久久久久| 92精品国产自产在线观看48页 | 国产精品又湿又黄九九九久久嫩草| 亚洲综合av永久无码精品一区二区| 狠狠色噜噜狠狠狠狠888奇禾| 亚洲精品国产综合久久一线| 男女上床免费视频网站| 国产精品三级av及在线观看| 久久国产精品无码一区二区三区| 亚洲av激情久久精品人| 国产草逼视频免费观看 | 老少交欧美另类| AV无码人妻一区二区三区牛牛| 一道之本加勒比热东京| 久久精品国产亚洲av无码娇色| 四虎影视亚洲精品| 国产一区二区三区涩涩| 国产精品亚洲а∨无码播放| 天堂一区人妻无码| 亚洲熟妇中文字幕日产无码| 自拍成人免费在线视频| 特级毛片a级毛片100免费播放 | 亚欧免费无码AⅤ在线观看| 国产剧情av麻豆香蕉精品| 男ji大巴进入女人的视频小说| 手机在线精品视频| 日韩精品一区二区在线视| 国产精品一区二区av麻豆| 亚洲精品无码国模| 国产精品一区二区三区色| 精品一区二区三区四区国产| 摸进她的内裤里疯狂揉她动视频|