亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于Mask RCNN的橋梁裂縫檢測(cè)方法設(shè)計(jì)及研究

        2022-02-28 12:25:52廖延娜豆丹陽(yáng)
        應(yīng)用光學(xué) 2022年1期
        關(guān)鍵詞:特征檢測(cè)

        廖延娜,豆丹陽(yáng)

        (西安郵電大學(xué) 電子工程學(xué)院,陜西 西安 710121)

        引言

        橋梁道路由于長(zhǎng)時(shí)間被外部力量破壞或道路基層質(zhì)變等影響,容易出現(xiàn)各種形態(tài)的裂縫病害,針對(duì)橋梁維護(hù)[1]工作,傳統(tǒng)圖像檢測(cè)方法對(duì)于復(fù)雜背景識(shí)別[2]、實(shí)驗(yàn)方法、檢測(cè)結(jié)果等方面難以達(dá)到有效且智能的效果。

        深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)算法的出現(xiàn)突破了傳統(tǒng)方法的局限性。文獻(xiàn)[3]提出了將AlexNet 卷積神經(jīng)網(wǎng)絡(luò)和局部閾值分割相結(jié)合的裂縫檢測(cè)和分割算法。文獻(xiàn)[4]采用UNet++和條件生成對(duì)抗網(wǎng)絡(luò)(convolution generative adversarial networks,CGAN)算法,兩者反復(fù)博弈訓(xùn)練,達(dá)到裂縫檢測(cè)分割的效果。文獻(xiàn)[5]利用網(wǎng)絡(luò)模型(fully convolutional network,F(xiàn)CN)解決裂縫分割中局部信息丟失和局部細(xì)化能力不足的問(wèn)題,采用多尺度結(jié)構(gòu)森林(multiscale structured forests,SFD)和反對(duì)稱(chēng)雙正交小波的半重構(gòu)方法,克服裂紋邊緣檢測(cè)的局限性。文獻(xiàn)[6]對(duì)道路坑洼做分類(lèi)與分割實(shí)驗(yàn),對(duì)比了Mask RCNN 和UNet 網(wǎng)絡(luò)的檢測(cè)結(jié)果,通過(guò)Validation set和Test set 的數(shù)據(jù)對(duì)比可知,Mask RCNN 檢測(cè)精確度為92.1%,而UNet 精確度為77.38%,兩者對(duì)比性能效果差異分明。UNet 網(wǎng)絡(luò)算法在醫(yī)學(xué)圖像[7]領(lǐng)域具有顯著的工作成果,但是在工程領(lǐng)域的檢測(cè)效果弱于其他卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)算法。

        結(jié)合以上典型文獻(xiàn)的研究成果,文中選用了Mask RCNN 算法[8]實(shí)現(xiàn)橋梁裂縫病害的檢測(cè)與分割,并在原算法的基礎(chǔ)上進(jìn)行了優(yōu)化改進(jìn)。

        1 Mask RCNN 網(wǎng)絡(luò)及方法設(shè)計(jì)

        Mask RCNN 主要結(jié)構(gòu)組成有:主干網(wǎng)絡(luò)(ResNet101+FPN)、區(qū)域選取網(wǎng)絡(luò)[9](region proposal network,RPN)、對(duì)齊操作(regional of interest align,ROI align)、分類(lèi)器和邊框回歸器以及掩膜分割(classification,box regression,mask)。網(wǎng)絡(luò)結(jié)構(gòu)框架如圖1所示。

        圖1 Mask RCNN 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of Mask RCNN

        Mask RCNN 是作為多任務(wù)工作網(wǎng)絡(luò),其損失計(jì)算為各分支損失的加權(quán)值。如下式所示:

        式中:Lcls和Lbbox分別為原Faster RCNN 中類(lèi)別損失和回歸框損失;Lmask是掩膜Mask 支路的損失,損失值的計(jì)算方式是對(duì)每一個(gè)像素[10]應(yīng)用Sigmoid,取ROI 上所有像素的交叉熵的平均值作為L(zhǎng)mask,k對(duì)應(yīng)Mask 的類(lèi)別,其表達(dá)式為

        1.1 Mask RCNN 網(wǎng)絡(luò)改進(jìn)

        為防止特征提取過(guò)程中特征信息丟失[11],在FPN 網(wǎng)絡(luò)結(jié)構(gòu)中設(shè)計(jì)了語(yǔ)義增強(qiáng)模塊SEM,如圖2所示。SEM 模塊與上采樣中得到的特征圖進(jìn)行融合[12],得到新的多尺度特征圖feature maps。

        圖2 改進(jìn)的FPN 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of improved FPN

        SEM 模塊的結(jié)構(gòu)如圖3所示。SEM 模塊基于空洞卷積算法[13]設(shè)計(jì)思想獲取不同感受野的特征圖并進(jìn)行融合。SEM 模塊的操作方式為:采用(D=3,D=5,D=7)3 個(gè)不同膨脹率的3×3 卷積核和1×1 卷積核,分別對(duì)下采樣的卷積層(C2,C3,C4,C5)進(jìn)行計(jì)算,每個(gè)卷積核限制64 個(gè)通道,每層得到的4 個(gè)不同感受野的特征圖,通過(guò)Concate 融合后輸出一個(gè)256 通道的特征圖。

        圖3 SEM 模塊結(jié)構(gòu)圖Fig.3 Structure diagram of SEM module

        Concate 融合是對(duì)特征通道直接拼接,此操作過(guò)程無(wú)信息損失影響[14],Add 操作將兩兩特征圖進(jìn)行像素相加,增加了特征信息量。Concate 融合后的特征圖與上采樣中的特征圖尺寸大小及通道相同,由此可以將他們的對(duì)應(yīng)層[15]進(jìn)行像素相加Add,得到新的多尺度特征圖feature maps。

        1.2 特征圖融合Add

        Add 特征融合的方法是,將兩兩相同尺寸的特征圖像素直接相加[16],公式如(3)所示。圖4(a)列出了裂縫圖片;該圖片的兩種特征圖如圖4(b)和4(c)所示;Add 融合后的圖像如圖4(d)所示。

        圖4 Add 特征融合Fig.4 Add feature fusion

        1.3 裂縫類(lèi)別劃分

        依據(jù)公共道路表層病害的劃分類(lèi)別[17],對(duì)裂縫病害進(jìn)行了兩類(lèi)劃分,分別是裂縫和破損,如圖5所示。劃分依據(jù)為,將分布清晰明確的裂縫依然視為裂縫,數(shù)據(jù)標(biāo)注時(shí)定義其標(biāo)簽為crack,將分布錯(cuò)綜復(fù)雜的裂縫視為破損,定義其標(biāo)簽為damage。

        圖5 裂縫病害類(lèi)別劃分圖Fig.5 Category classification diagram of crack diseases

        2 網(wǎng)絡(luò)模型訓(xùn)練

        2.1 準(zhǔn)備數(shù)據(jù)集

        目前沒(méi)有公開(kāi)的橋梁裂縫數(shù)據(jù)集及數(shù)據(jù)標(biāo)注文件可用,通過(guò)采集橋梁道路常見(jiàn)的裂縫病害,共2 566 張,圖片尺寸為600×600 pixel,并對(duì)采集到的圖片做像素變化[18]處理以進(jìn)行數(shù)據(jù)擴(kuò)充,最終得到共4 200 張的裂縫圖片。

        2.2 數(shù)據(jù)標(biāo)注可視化

        利用Labelme 軟件工具完成標(biāo)注,如圖6所示。針對(duì)類(lèi)別對(duì)比實(shí)驗(yàn)需要2 種標(biāo)注形式:未分類(lèi)的實(shí)驗(yàn),如圖6(a)和(b)所示;分類(lèi)實(shí)驗(yàn),如圖6(c)和(d)所示。

        圖6 數(shù)據(jù)集標(biāo)注可視化Fig.6 Data set annotation visualization

        2.3 數(shù)據(jù)訓(xùn)練

        算法基于TensorFlow1.12[19]和Keras1.0.8 的框架搭建Mask RCNN 卷積神經(jīng)網(wǎng)絡(luò),系統(tǒng)使用window 10,內(nèi)存為16 G,顯卡為NVIDIA GTX 1660,處理器為Intel(R)Core(TM)i5-9400F。

        圖7 是網(wǎng)絡(luò)訓(xùn)練損失曲線圖地改進(jìn)后網(wǎng)絡(luò)的損失曲線相比原網(wǎng)絡(luò)損失曲線有所降低,并且后期驗(yàn)證集損失曲線對(duì)訓(xùn)練結(jié)果已較好地?cái)M合,網(wǎng)絡(luò)的泛化性能得到提升。

        圖7 損失曲線Fig.7 Loss curves

        3 結(jié)果分析

        評(píng)估卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)算法性能指標(biāo)通常有:精確率Precision、召回率Recall、平均精度AP、平均精度均值mAP 等幾個(gè)指標(biāo)。

        3.1 對(duì)比實(shí)驗(yàn)

        為了驗(yàn)證改進(jìn)方法的有效性、創(chuàng)新性,基于2 種策略做對(duì)比實(shí)驗(yàn),對(duì)文章中設(shè)計(jì)的方法進(jìn)行性能測(cè)試。

        策略1:對(duì)裂縫不進(jìn)行類(lèi)別劃分,即將裂縫和破損依然視為裂縫crack,輸入改進(jìn)前網(wǎng)絡(luò)和改進(jìn)后網(wǎng)絡(luò),檢測(cè)結(jié)果如表1所示。改進(jìn)后網(wǎng)絡(luò)的mAP 比原網(wǎng)絡(luò)提高6.6%。

        表1 策略1 網(wǎng)絡(luò)改進(jìn)前后性能指標(biāo)對(duì)比Table 1 Comparison of performance indicators before and after network improvement of strategy 1

        策略2:對(duì)裂縫病害進(jìn)行類(lèi)別劃分,裂縫和破損分別作為crack 和damage,檢測(cè)結(jié)果如表2所示。改進(jìn)后網(wǎng)絡(luò)的mAP 比原網(wǎng)絡(luò)提高5.7%,并且裂縫的平均精度crack_AP 和破損的平均精度damage_AP 分別提高2.4%和9.0%。

        表2 策略2 網(wǎng)絡(luò)改進(jìn)前后性能指標(biāo)對(duì)比Table 2 Comparison of performance indicators before and after network improvement of strategy 2

        對(duì)比以上2 個(gè)策略的結(jié)果,可以驗(yàn)證網(wǎng)絡(luò)改進(jìn)和類(lèi)別劃分結(jié)合的方法設(shè)計(jì),改進(jìn)了網(wǎng)絡(luò)性能,相比原網(wǎng)絡(luò)無(wú)類(lèi)別劃分方法mAP 共提高了12.6%。

        另外,通過(guò)ResNet101 和ResNet50 的對(duì)比,衡量深度不同的主干網(wǎng)絡(luò)對(duì)預(yù)測(cè)結(jié)果的影響,結(jié)果發(fā)現(xiàn),深層主干網(wǎng)ResNet101 相比ResNet50 較淺層網(wǎng)絡(luò),其預(yù)測(cè)結(jié)果在時(shí)間上無(wú)較大差別,但預(yù)測(cè)準(zhǔn)確率Accuracy 和mAP 有明顯優(yōu)勢(shì),如表3所示。

        表3 網(wǎng)絡(luò)模型分別基于ResNet101 和ResNet50 的性能指標(biāo)對(duì)比Table 3 Comparison of performance indicators of network model based on ResNet101 and ResNet50 respectively

        3.2 其他指標(biāo)評(píng)估

        結(jié)合以上數(shù)據(jù),又與其他網(wǎng)絡(luò)模型進(jìn)行了性能對(duì)比。將結(jié)果繪制成柱狀圖直觀對(duì)比各網(wǎng)絡(luò)的性能差異,如圖8所示。

        圖8 各網(wǎng)絡(luò)模型性能對(duì)比圖Fig.8 Performance comparison diagram of each network model

        3.3 裂縫檢測(cè)結(jié)果

        根據(jù)以上2 個(gè)策略,列出了3 張不同圖片的檢測(cè)結(jié)果,如圖9、圖10 和圖11所示。圖9~圖11 中(a)和(b)均為策略1 檢測(cè)結(jié)果,(c)和(d)均為策略2 檢測(cè)結(jié)果,通過(guò)對(duì)比圖9~圖11 中(a)、(b)、(c)和(d)可知,(d)圖檢測(cè)結(jié)果掩膜分布清晰、無(wú)漏檢,無(wú)重疊等缺陷,具有較好的檢測(cè)結(jié)果。

        圖9 細(xì)小裂縫檢測(cè)結(jié)果Fig.9 Detection results of fine cracks

        圖10 較大裂縫檢測(cè)結(jié)果Fig.10 Detection results of larger cracks

        圖11 形態(tài)復(fù)雜裂縫檢測(cè)結(jié)果Fig.11 Detection results of complex cracks

        4 結(jié)論

        基于Mask RCNN 卷積神經(jīng)網(wǎng)絡(luò)算法,本文增加了語(yǔ)義增強(qiáng)模塊,使新的特征圖融合了淺層網(wǎng)絡(luò)和深層網(wǎng)絡(luò)的特征,對(duì)裂縫形態(tài)特征做到了較充分保留,提高了對(duì)道路裂縫病害檢測(cè)的精確度。同時(shí)對(duì)裂縫進(jìn)一步作類(lèi)別劃分,有益于為道路維護(hù)工作提供相應(yīng)裂縫修護(hù)措施。文中方法通過(guò)指標(biāo)數(shù)據(jù)和檢測(cè)結(jié)果顯示,算法的改進(jìn)一定程度上提高了裂縫檢測(cè)精度,但是對(duì)于復(fù)雜裂縫的檢測(cè)仍然需要提高算法的改進(jìn)水平。

        猜你喜歡
        特征檢測(cè)
        抓住特征巧觀察
        “不等式”檢測(cè)題
        “一元一次不等式”檢測(cè)題
        “一元一次不等式組”檢測(cè)題
        “幾何圖形”檢測(cè)題
        “角”檢測(cè)題
        新型冠狀病毒及其流行病學(xué)特征認(rèn)識(shí)
        如何表達(dá)“特征”
        不忠誠(chéng)的四個(gè)特征
        抓住特征巧觀察
        成年女人午夜特黄特色毛片免 | 日本妇女高清一区二区三区 | 久久久精品国产亚洲成人满18免费网站| 人妻无码中文专区久久AV| 亚洲国产一区二区av| 国产精品二区一区二区aⅴ污介绍 少妇伦子伦情品无吗 | 被灌醉的日本人妻中文字幕| 少妇粉嫩小泬喷水视频| 初尝黑人嗷嗷叫中文字幕| 久久久久久AV无码成人| 日本视频一区二区三区在线 | 无遮挡中文毛片免费观看| 久久久免费精品国产色夜| 性欧美丰满熟妇xxxx性久久久 | 人妻少妇无乱码中文字幕| 蜜臀av一区二区三区免费观看| 成人做受视频试看60秒| 五月天综合网站| 中文字幕中文字幕人妻黑丝| 亚洲啪啪视频一区二区| 男女一边摸一边做爽爽的免费阅读| 性做久久久久久久| 久久精品蜜桃美女av| 日韩精品专区av无码| 亚洲级αv无码毛片久久精品| 国产伪娘人妖在线观看| 日本护士口爆吞精视频| 欧美黑人xxxx又粗又长| 无码人妻AⅤ一区 二区 三区| 麻豆av毛片在线观看| 熟妇人妻无乱码中文字幕真矢织江| 真实国产乱啪福利露脸| AV无码专区亚洲AVL在线观看| 青青草原综合久久大伊人精品| 人妻无码一区二区不卡无码av| 伊人网视频在线观看| 国产精品久久婷婷六月| 无码人妻精品中文字幕| 久久亚洲中文字幕无码| 国产自产21区激情综合一区| 亚洲中文字幕精品乱码2021|