哈納提·吐爾森哈力，林杭

融合自注意力機(jī)制與深度學(xué)習(xí)的混凝土表面裂隙智能識(shí)別

哈納提·吐爾森哈力，林杭

(中南大學(xué) 資源與安全工程學(xué)院，湖南 長(zhǎng)沙 410083)

混凝土裂隙幾何信息識(shí)別的精確度，影響后期工程的安全。而傳統(tǒng)的檢測(cè)方法存在對(duì)裂隙識(shí)別不準(zhǔn)、不全、不即時(shí)的缺陷，無(wú)法滿足精度和實(shí)效性的現(xiàn)實(shí)需求。本文提出一種融合自注意力機(jī)制與全卷積神經(jīng)網(wǎng)絡(luò)的圖像分割算法，以混凝土裂隙圖像建立數(shù)據(jù)集，搭建深度學(xué)習(xí)網(wǎng)絡(luò)；以全卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型，使用空間自注意力模塊調(diào)整特征編碼，輸出基于自注意力機(jī)制模塊識(shí)別的高精度二值圖。經(jīng)精準(zhǔn)率、召回率、平均交并比和綜合評(píng)價(jià)指標(biāo)等維度同傳統(tǒng)圖像分割方法進(jìn)行對(duì)比，結(jié)果顯示，本文方法得到的混凝土裂隙二值圖與原圖最相近，在定量上精準(zhǔn)率、召回率、平均交并比和綜合評(píng)價(jià)指標(biāo)分別達(dá)到62.93%，88.08%，72.21%和83.86%，進(jìn)而驗(yàn)證本文提出的方法優(yōu)于傳統(tǒng)方法裂隙識(shí)別方法。

深度學(xué)習(xí)；全卷積神經(jīng)網(wǎng)絡(luò)；自注意力機(jī)制；裂隙識(shí)別

混凝土作為主要建筑材料，在路面建筑、地下隧道和道路施工中運(yùn)用廣泛。由于地面非均勻沉降、表面應(yīng)力、溫度和濕度耦合影響等原因，混凝土表面會(huì)有裂隙、滲水等病害產(chǎn)生，存在安全隱 患[1]。而傳統(tǒng)檢測(cè)方法以人工巡檢和手工記錄為主。耗時(shí)低效且人為主觀性強(qiáng)。近年來(lái)，具有多尺度、經(jīng)濟(jì)性、非接觸性等優(yōu)勢(shì)的基于數(shù)字照相量測(cè)的圖像識(shí)別技術(shù)開始興起。由數(shù)據(jù)采集和數(shù)據(jù)識(shí)別處理2部分組成，先將混凝土表面裂隙圖像由相機(jī)等數(shù)字化設(shè)備采集到計(jì)算機(jī)中，而后經(jīng)圖像增強(qiáng)、銳化等預(yù)處理轉(zhuǎn)化為二維信息矩陣。為了能夠準(zhǔn)確地獲取相應(yīng)的混凝土裂隙信息，再經(jīng)圖像分割等計(jì)算機(jī)算法處理才能得到需要研究的混凝土信息[2]。常用的圖像分割方法主要有基于閾值、區(qū)域和邊界的分割算法等[3]。房銘坤等[4]采用Otsu算法對(duì)混凝土表面裂隙圖像進(jìn)行了閾值分割，以計(jì)算方差選取最優(yōu)閾值，進(jìn)而較好地從圖像中提取裂隙信息，但裂隙圖像中仍存在大量的背景噪聲，且存在細(xì)裂縫缺失、斷裂等影響數(shù)據(jù)精度的情況。王世芳等[5]通過(guò)形態(tài)學(xué)、分形等方法改進(jìn)了閾值分割算法，提升了邊緣檢測(cè)的精度；但邊緣檢測(cè)對(duì)圖像對(duì)比度不敏感，易受偽邊緣干擾，仍無(wú)法全面提取細(xì)微裂隙。鄧兆鵬等[6]基于改進(jìn)的區(qū)域生長(zhǎng)法和Hough變換對(duì)鉆孔圖像水平裂隙識(shí)別，可以對(duì)不同的鉆孔孔壁圖像的水平裂隙和離層實(shí)現(xiàn)準(zhǔn)確的檢測(cè)識(shí)別，但對(duì)裂隙原圖像仍要進(jìn)行前期預(yù)處理，工作量大，過(guò)程繁瑣?；趥鹘y(tǒng)圖像分割的裂隙識(shí)別方法在人工接觸采集的基礎(chǔ)上一定程度節(jié)約了時(shí)間，但后期圖像處理過(guò)程復(fù)雜，存在對(duì)裂隙識(shí)別不準(zhǔn)、不全和不即時(shí)的缺陷，無(wú)法滿足精度和實(shí)效性的現(xiàn)實(shí)需求。采用圖像分割技術(shù)進(jìn)行裂隙識(shí)別，其過(guò)程自動(dòng)化是解決問(wèn)題的關(guān)鍵。Hubel等[7]以貓的視覺神經(jīng)細(xì)胞為研究切入點(diǎn)，推動(dòng)了卷積神經(jīng)網(wǎng)絡(luò)的(Convolutional Neural Network，CNN)誕生。Yann等[8]將卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了完善和優(yōu)化，在手寫數(shù)字的識(shí)別問(wèn)題中取得成功。Cha等[9]將傳統(tǒng)圖像分割方法與CNN相結(jié)合，對(duì)混凝土表面裂隙進(jìn)行識(shí)別。但因CNN無(wú)法對(duì)像素級(jí)的細(xì)微裂隙進(jìn)行識(shí)別分類的缺陷，當(dāng)時(shí)只能對(duì)人為指定的區(qū)域裂隙完成識(shí)別和參數(shù)表征。ZHANG等[10]單獨(dú)使用CNN對(duì)路面裂隙進(jìn)行了識(shí)別分類，但CNN中，全連接層(Fully connected layer)占用空間大，效率低，造成了識(shí)別速度較慢。在此基礎(chǔ)上，趙珊珊等[11]以CNN核心識(shí)別方法繼續(xù)對(duì)路面裂隙進(jìn)行識(shí)別，但是在圖像處理前期，仍要對(duì)輸入圖像進(jìn)行強(qiáng)度歸一化和像素飽和化等圖像預(yù)處理操作。薛亞?wèn)|等[12]通過(guò)CNN訓(xùn)練隧道襯砌混凝土圖像樣本，采用了優(yōu)化的卷積核，改進(jìn)inception模塊，使得新模型識(shí)別率超95%，但對(duì)于大尺度圖像，識(shí)別速度還有提升空間。隨著自然語(yǔ)言處理(NLP)技術(shù)的發(fā)展，自注意力(Self-Attention)機(jī)制逐漸被人們發(fā)現(xiàn)和應(yīng)用。Self-Attention機(jī)制起源于人類視覺系統(tǒng)(Human Visua System)，當(dāng)人眼看一幅圖片時(shí)，人眼對(duì)圖片的注意力集中在一處或幾處位置(形成所謂的saliency map)而非平均在整幅圖片上。因此通過(guò)訓(xùn)練圖像區(qū)域之間的權(quán)重關(guān)系，可以顯著優(yōu)化卷積過(guò)程中只對(duì)局部像素進(jìn)行處理的不足。綜上所述，傳統(tǒng)圖像分割方法在裂隙識(shí)別前期的圖像預(yù)處理過(guò)程較復(fù)雜，識(shí)別過(guò)程中也需要多次調(diào)整參數(shù)，造成結(jié)果準(zhǔn)確性降低和識(shí)別過(guò)程間斷性的局面。而基于神經(jīng)網(wǎng)絡(luò)的圖像分割方法通過(guò)訓(xùn)練數(shù)據(jù)集并學(xué)習(xí)圖像的高維圖像特征。不依賴于人為定義的特征參數(shù)，對(duì)不同特征的數(shù)據(jù)具有較高的泛化性和魯棒性。為此，本文擬采用融合自注意力機(jī)制與全卷積神經(jīng)網(wǎng)絡(luò)的新算法對(duì)混凝土表面裂隙進(jìn)行識(shí)別，從而有效提升識(shí)別速度和準(zhǔn)確性。

1 全卷積神經(jīng)網(wǎng)絡(luò)與自注意力機(jī)制

2015年，為了彌補(bǔ)CNN在圖像精細(xì)化(像素級(jí))分割識(shí)別方面的不足，提出全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Networks，F(xiàn)CN)[13]的深度學(xué)習(xí)框架，它是傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)(CNN)的擴(kuò)展。主要思想是利用反卷積層(Deconvolution layer)取代原有架構(gòu)的全連接層部分，實(shí)現(xiàn)了可以輸入任意大小分辨率圖像。FCN在原有CNN的網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上，引入反卷積層，通過(guò)反卷積恢復(fù)到輸入圖像的尺寸。需要注意的是，反卷積是卷積的逆操作，恢復(fù)的只是圖像大小，并不能恢復(fù)圖像像素值，因此需要訓(xùn)練反卷積的卷積參數(shù)，使其恢復(fù)正確的像素值。

如圖1所示，上圖中最后3層為CNN分類網(wǎng)絡(luò)的最后3層，下圖的最后3層為FCN的反卷積層。

圖1 全卷積結(jié)構(gòu)

FCN的核心是語(yǔ)義分割(Semantic- Segmentation)，是對(duì)原圖的所有像素點(diǎn)進(jìn)行逐個(gè)的預(yù)測(cè)，從而對(duì)圖像的每個(gè)像素完成一次“端”對(duì)“端”的預(yù)測(cè)[14]。

在卷積過(guò)程中，由于卷積核的大小較小且固定，所以在一次卷積過(guò)程中，距離較遠(yuǎn)的像素之間無(wú)法建立起關(guān)系。使用空洞卷積可以部分解決這個(gè)問(wèn)題。

圖2 空洞卷積過(guò)程示意圖

如圖2，空洞卷積通過(guò)一個(gè)稀疏的卷積核，將卷積的感受野相應(yīng)放大。但空洞卷積存在像素使用不完全、擴(kuò)大感受野的同時(shí)損失局部信息等問(wèn)題。

一個(gè)更好地解決此問(wèn)題的方法是引入自注意力機(jī)制(Self-Attention)。如圖3，網(wǎng)絡(luò)結(jié)構(gòu)為編碼器?編碼?解碼器的串聯(lián)系統(tǒng)。

圖3 編碼器?解碼器系統(tǒng)示意圖

通過(guò)在語(yǔ)義編碼過(guò)程中加入注意力機(jī)制，生成多種包含高層注意力特征的編碼，再輸入解碼器，即可訓(xùn)練網(wǎng)絡(luò)在遠(yuǎn)距離的像素之間的關(guān)聯(lián)能力。

2 基于AFCN的裂隙圖像分割方法 建立

2.1 數(shù)據(jù)集的建立

通過(guò)高分辨率智能手機(jī)采集建筑結(jié)構(gòu)面、墻面、路面等混凝土結(jié)構(gòu)裂隙圖像。最終得到1 000張完整的原始裂隙數(shù)據(jù)集，對(duì)于裂隙原圖的標(biāo)注采用描點(diǎn)標(biāo)注，將需要標(biāo)注的元素(裂隙)按照需求位置運(yùn)用Photoshop軟件進(jìn)行像素級(jí)標(biāo)識(shí)，并在開源平臺(tái)GitHub上進(jìn)行了數(shù)據(jù)集開源共享(https:// github.com/DebiaoMa/CSU-Crack)。

數(shù)據(jù)集裂隙主體統(tǒng)一裁剪為500P×500P的尺寸，在標(biāo)簽圖中，以不同顏色區(qū)分圖像中的裂隙和非裂隙，其中裂隙被R-G-B：0-0-0的黑色區(qū)域標(biāo)注，非裂隙被R-G-B：255-255-255的白色區(qū)域標(biāo)注(見圖4)。

因人工直接采集數(shù)據(jù)集數(shù)量有限，不能滿足模型訓(xùn)練需求，故進(jìn)行了數(shù)據(jù)增強(qiáng)。在扣除100張圖像作為測(cè)試集后，對(duì)剩余圖像進(jìn)行旋轉(zhuǎn)縮放處理，一方面是增加數(shù)據(jù)集數(shù)量，另一方面可以訓(xùn)練網(wǎng)絡(luò)獲得旋轉(zhuǎn)不變性。旋轉(zhuǎn)縮放后獲得20 700張圖像，按5:1的比例將圖像分割為訓(xùn)練集(17 250)和驗(yàn)證集(3 450)。

圖4 數(shù)據(jù)集中部分原圖和標(biāo)簽圖

2.2 網(wǎng)絡(luò)模型構(gòu)建

FCN與卷積神經(jīng)網(wǎng)絡(luò)的差異在于取消了全連接層，在網(wǎng)絡(luò)結(jié)構(gòu)最后反卷積過(guò)程中利用上采樣完成，從而使輸出結(jié)果恢復(fù)到與最初輸入圖像相同的尺寸，實(shí)現(xiàn)任意尺寸的輸入。與此同時(shí)，F(xiàn)CN結(jié)合和了不同維度的特征圖，反卷積層可以對(duì)每個(gè)像素產(chǎn)生一個(gè)預(yù)測(cè)分類，從而預(yù)測(cè)裂隙在圖中的位置。

以上是傳統(tǒng)的FCN網(wǎng)絡(luò)結(jié)構(gòu)，在此基礎(chǔ)上，本文加入了自注意力機(jī)制，在遠(yuǎn)距離像素中尋找特征間的聯(lián)系，并將此網(wǎng)絡(luò)命名為AFCN(Attention Fully Convolutional Network)。將注意力模塊命名為SAM(Spatial Attention Module)，SAM輸入的是原始特征圖，輸出的是經(jīng)過(guò)注意力操作的特征圖。SAM的結(jié)構(gòu)，圖5所示。

圖5 注意力模塊示意圖

將一個(gè)特征圖經(jīng)過(guò)一個(gè)MLP之后，通過(guò)全局最大池化層和全局平均池化層，之后將3個(gè)通道的值進(jìn)行一次卷積以降維到一個(gè)通道中，之后使用sigmoid函數(shù)激活一次，得到經(jīng)過(guò)注意力操作的特征圖。

輸出特征與輸入特征的關(guān)系如式(1)所示：

可以看出，注意力機(jī)制的操作主要體現(xiàn)在在全局上經(jīng)過(guò)了一個(gè)最大池化和平均池化操作，平均池化操作在反向傳播時(shí)對(duì)所有特征給定反饋，最大池化操作在反向傳播時(shí)只對(duì)特征最大的位置給定 反饋。

將FCN的編碼器結(jié)尾連接到SAM，并將SAM的輸出連接到反卷積網(wǎng)絡(luò)(解碼器)的輸入層。

被初始化操作的AFCN網(wǎng)絡(luò)結(jié)構(gòu)會(huì)對(duì)輸入裂隙圖像進(jìn)行卷積、池化等操作，過(guò)程中也會(huì)有圖像參數(shù)的隨機(jī)丟失。經(jīng)過(guò)空間注意力模塊得到編碼，再通過(guò)反卷積層將特征圖恢復(fù)到與原始圖像相同的尺寸，并對(duì)每個(gè)像素都產(chǎn)生一個(gè)分類。其中，網(wǎng)絡(luò)的最后一層為損失函數(shù)，作用是計(jì)算網(wǎng)絡(luò)輸出值與標(biāo)簽值間的誤差之和。此處使用的損失函數(shù)為交叉熵函數(shù)，如式(2)。

圖6 AFCN網(wǎng)絡(luò)結(jié)構(gòu)圖

本文采用深度學(xué)習(xí)框架TensorFlow實(shí)現(xiàn)，構(gòu)建(如圖6所示)AFCN網(wǎng)絡(luò)，采用VGGNet 16[15]對(duì)卷積層進(jìn)行微調(diào)。進(jìn)行網(wǎng)絡(luò)隨機(jī)初始化，然后輸入裂隙標(biāo)簽圖，經(jīng)過(guò)5層卷積、池化和隨機(jī)丟棄后圖像尺寸從500*500變?yōu)?6*16，之后將16*16*3的圖像輸入空間注意力模塊中，進(jìn)行注意力處理，最后將SAM輸出的特征向量輸入反卷積層進(jìn)行反卷積。原圖尺寸的輸出要經(jīng)歷4層輸出的2次融合，反卷積第1，第2層輸出分別與池化層第4，第3層輸出進(jìn)行融合。2次融合完成后再通過(guò)反卷積輸出。與標(biāo)簽圖進(jìn)行像素對(duì)比計(jì)算交叉熵?fù)p失并進(jìn)行反向傳播優(yōu)化卷積層、SAM和反卷積層參數(shù)，之后進(jìn)行下一個(gè)迭代。

trainingloss曲線(圖7)所示，在開始訓(xùn)練不久，損失函數(shù)誤差迅速降低，呈現(xiàn)緩慢降低趨勢(shì)。在經(jīng)過(guò)約5 000次迭代后，訓(xùn)練誤差趨于收斂，同時(shí)驗(yàn)證集誤差也較低，證明模型沒(méi)有出現(xiàn)過(guò)擬合現(xiàn)象。之后使用測(cè)試集數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行測(cè)試，得到高精度二值圖，見圖8。

圖7 Training loss曲線

圖8 AFCN輸入輸出圖像對(duì)比

2.3 模型評(píng)價(jià)標(biāo)準(zhǔn)

通過(guò)AFCN對(duì)模型訓(xùn)練完成后，需要進(jìn)行模型泛化能力驗(yàn)證，即對(duì)數(shù)據(jù)集以外的裂隙圖像的識(shí)別效果和準(zhǔn)確度。對(duì)裂隙圖像進(jìn)行語(yǔ)義分割，利用精確率(Precision)、召回率(Recall)、平均交并比(IoU)和綜合評(píng)價(jià)指標(biāo)(1)對(duì)識(shí)別模型進(jìn)行泛化能力評(píng)價(jià)。

裂隙圖像識(shí)別結(jié)果共有3種，第1種是識(shí)別正確的目標(biāo)，即將圖像中的裂隙識(shí)別為裂隙；第2種是識(shí)別錯(cuò)誤的目標(biāo)，將圖像中不是裂隙的識(shí)別為裂隙；第3種是識(shí)別遺漏的目標(biāo)，將圖像中本是裂隙的部分沒(méi)能識(shí)別出來(lái)。精確率()是針對(duì)預(yù)測(cè)二值圖的準(zhǔn)確性。它表示預(yù)測(cè)為裂隙的輸出圖像中有多少是正確的裂隙(TP+FP)。于是輸出為裂隙二值圖的情況就存在2種可能，一種是把本身是裂隙的圖像輸出標(biāo)定為裂隙(TP)，另一種是把不是裂隙的圖像錯(cuò)誤地輸出為裂隙圖像(FP)；而召回率()是針對(duì)我們?cè)瓉?lái)標(biāo)簽圖而言的，即標(biāo)簽圖中所有裂隙的點(diǎn)。它表示的是標(biāo)簽圖中有多少裂隙被輸出標(biāo)定正確(TP+FN)。也有2種可能，一種是把原來(lái)的裂隙正確輸出為裂隙(TP)，另一種是把原來(lái)的裂隙錯(cuò)誤的輸出為裂隙(FN)。平均交并比(IoU)是對(duì)每一類預(yù)測(cè)的結(jié)果和真實(shí)值的交集與并集的比值求和平均的結(jié)果。即：如圖9所示，僅僅針對(duì)某一類來(lái)說(shuō)，左邊圓形部分代表真實(shí)值，真實(shí)值由2部分組成TP,FN；右邊圓形部分代表預(yù)測(cè)值，預(yù)測(cè)值由2部分組成TP,FP；白色部分代表TN(真負(fù))；所以其交集就是TP+FP+FN，并集為TP。

圖9 平均交并比釋義圖

本文綜合考慮了召回率和精確率，選用綜合評(píng)價(jià)指標(biāo)F1。計(jì)算式見(3)，(4)，(5)和(6)所示。

3 不同算法識(shí)別效果對(duì)比

經(jīng)前文所示模型搭建和訓(xùn)練過(guò)程，本文所用算法模型對(duì)混凝土裂隙圖像已具備一定魯棒性，接下來(lái)將通過(guò)2組實(shí)驗(yàn)，在精準(zhǔn)率、召回率、算法用時(shí)、平均交并比、綜合評(píng)價(jià)指標(biāo)等維度同傳統(tǒng)圖像分割算法(Otsu算法、邊界檢測(cè)、區(qū)域生長(zhǎng)法)和傳統(tǒng)全卷積神經(jīng)網(wǎng)絡(luò)算法進(jìn)行對(duì)比實(shí)驗(yàn)，進(jìn)一步驗(yàn)證本文算法的適用性。

3.1 實(shí)驗(yàn)1：本文算法同傳統(tǒng)圖像分割算法對(duì)比

從驗(yàn)證集中有針對(duì)性的挑選4組環(huán)境因素干擾下的裂隙圖像，分別對(duì)其使用Otsu法、邊界檢測(cè)、區(qū)域生長(zhǎng)法等傳統(tǒng)圖像分割方法以及本文圖像分割方法進(jìn)行對(duì)比實(shí)驗(yàn)，圖像處理結(jié)果如圖10所示。

組別1，環(huán)境干擾因素為人為斑點(diǎn)等非裂隙影響，導(dǎo)致灰度變化劇烈。Otsu算法較好的識(shí)別出了明顯的裂隙，因此對(duì)背景灰度一致、光照均勻及對(duì)比度高的裂隙圖像能夠較好的完成裂隙識(shí)別。本文算法是通過(guò)模型訓(xùn)練，完成對(duì)裂隙高級(jí)幾何特征的學(xué)習(xí)，從而達(dá)到對(duì)原圖直接裂隙識(shí)別，能夠精準(zhǔn)地識(shí)別出裂隙，裂隙與非裂隙分割明顯，無(wú)其他噪點(diǎn)。

組別2，對(duì)識(shí)別裂隙的造成主要干擾主要因素為自然或人為光照造成的背景陰影。對(duì)于較復(fù)雜的裂隙圖像識(shí)別，具有多個(gè)識(shí)別機(jī)制的分割算法會(huì)相對(duì)完成較好的圖像二值化效果。區(qū)域生長(zhǎng)法分割圖像的實(shí)質(zhì)是裂隙與非裂隙區(qū)域在像素?cái)?shù)值的不同，不同像素值對(duì)應(yīng)不同亮度，進(jìn)而完成圖像分割，裂隙特征提取。因其閾值選擇合適，幾乎沒(méi)有受到陰影部分影響，本文算法同樣識(shí)別情況良好。

組別3，環(huán)境干擾為背景噪點(diǎn)。在裂隙圖像識(shí)別過(guò)程中，背景圖像的噪點(diǎn)也成為識(shí)別效果好壞的影響因素之一，傳統(tǒng)圖像方法一般在二值化之前會(huì)進(jìn)行諸如濾波降噪、圖像對(duì)比增強(qiáng)等前期預(yù)處理以達(dá)到降噪目的，本文算法是基于深度學(xué)習(xí)的圖像識(shí)別，可對(duì)原圖直接二值化，原圖背景噪點(diǎn)影響較小，裂隙預(yù)測(cè)基本正確。

組別4，干擾因素為混凝土表面小顆粒。裂隙識(shí)別過(guò)程中，圖像背景中也會(huì)夾雜混凝土自身表面小顆粒，如何降低這種非可控小顆粒對(duì)識(shí)別效果的影響，也是完成圖像分割的關(guān)鍵。本文算法在前期模型訓(xùn)練過(guò)程中進(jìn)行了大量裂隙的識(shí)別訓(xùn)練，因此對(duì)裂隙和非裂隙識(shí)別效果良好，像素預(yù)測(cè)正確。

為了更直觀地了解到每種算法的識(shí)別效果及算法時(shí)間，可看圖11。本文算法在定量上精準(zhǔn)率和召回率達(dá)到62.93%和88.08%，在用時(shí)方面，僅統(tǒng)計(jì)了從裂隙原圖輸入到二值圖輸出的數(shù)據(jù)處理時(shí)間，若考慮傳統(tǒng)算法在裂隙識(shí)別前對(duì)原始圖像亮度、對(duì)比度調(diào)消除圖像噪點(diǎn)、銳化等預(yù)處理，實(shí)際用時(shí)將更久，無(wú)法滿足實(shí)時(shí)定性識(shí)別和定量表征的現(xiàn)實(shí)需要。

圖10 各算法識(shí)別效果(輸出二值圖)比較

圖11 本文算法同傳統(tǒng)算法評(píng)價(jià)指標(biāo)對(duì)比

3.2 實(shí)驗(yàn)2：本文算法同傳統(tǒng)FCN對(duì)比

關(guān)于環(huán)境干擾已在實(shí)驗(yàn)一部分進(jìn)行了驗(yàn)證，本文算法有較好的適應(yīng)能力和綜合表現(xiàn)。接下來(lái)將從裂隙本身出發(fā)，即識(shí)別過(guò)程中對(duì)細(xì)小微裂隙不敏感、對(duì)交叉、環(huán)形等復(fù)雜裂隙識(shí)別能力低等問(wèn)題，對(duì)傳統(tǒng)FCN算法和本文算法進(jìn)行對(duì)比實(shí)驗(yàn)。圖像處理結(jié)果如圖12所示。

組別1，裂隙在Y型主裂隙的基礎(chǔ)上，引申出許多細(xì)小裂隙，交錯(cuò)分布。本文算法雖部分識(shí)別細(xì)小裂隙，但對(duì)主干裂隙的末端有漏檢情況，主要原因是訓(xùn)練集中相關(guān)裂隙所占比不大，導(dǎo)致訓(xùn)練分布不均勻所致。

組別2，在T型交叉裂隙的枝干上有細(xì)小裂隙的產(chǎn)生。傳統(tǒng)FCN算法僅識(shí)別出主干部分，對(duì)細(xì)小裂隙只有部分識(shí)別，不完整。本文算法識(shí)別效果相對(duì)較好。

組別3，以細(xì)小裂隙為主的X型交叉裂隙，傳統(tǒng)FCN算法識(shí)別不完整。X型交叉裂隙，在兩個(gè)交點(diǎn)出裂隙隙寬較大，相應(yīng)裂隙像素所占比也大，因此交點(diǎn)處裂隙較好識(shí)別，但隨著裂隙的延伸，末端裂隙寬度減小，裂隙像素所占比也較小，因此傳統(tǒng)FCN在識(shí)別過(guò)程中存在輸出像素不連續(xù)的情況，誤將末端裂隙部分當(dāng)做非裂隙背景。

組別4，在單裂隙的基礎(chǔ)上延伸出細(xì)小裂隙。傳統(tǒng)FCN算法只能做到對(duì)主干裂隙的識(shí)別，分支細(xì)小裂隙幾乎全部遺漏。

圖12 識(shí)別效果(輸出二值圖)比較

圖13 本文算法同傳統(tǒng)FCN評(píng)價(jià)指標(biāo)對(duì)比

結(jié)合量化評(píng)價(jià)指標(biāo)平均交并比和綜合評(píng)價(jià)指標(biāo)2個(gè)參數(shù)可以對(duì)識(shí)別效果的好壞有更直觀的感受。深層分析傳統(tǒng)FCN算法的不佳表現(xiàn)，一方面是訓(xùn)練集中細(xì)小裂隙圖像占比相對(duì)較少，訓(xùn)練樣本類別不均衡，導(dǎo)致傳統(tǒng)FCN算法模型對(duì)細(xì)小裂隙圖像的魯棒性不是很好；本文算法因在網(wǎng)絡(luò)結(jié)構(gòu)中融合了自注意機(jī)制，彌補(bǔ)了池化過(guò)程當(dāng)中丟失信息的缺陷，可以提升網(wǎng)絡(luò)精度，對(duì)細(xì)小裂隙的識(shí)別表現(xiàn)較為良好，平均交并比和綜合評(píng)價(jià)指標(biāo)達(dá)到了72.21%和83.86%(具體數(shù)據(jù)見圖13)。后期若提升訓(xùn)練集中細(xì)小裂隙、復(fù)雜微裂隙圖像所占比例，綜合表現(xiàn)仍會(huì)有提升。

4 結(jié)論

1) 提出一種名為AFCN的融合自注意力機(jī)制的全卷積神經(jīng)網(wǎng)絡(luò)混凝土裂隙識(shí)別算法，對(duì)比傳統(tǒng)的Otsu法、邊界檢測(cè)法和區(qū)域生長(zhǎng)法，其精準(zhǔn)率和召回率達(dá)到62.93%和88.08%，算法運(yùn)行時(shí)間也優(yōu)于傳統(tǒng)算法。

2) 利用平均交并比和綜合評(píng)價(jià)指標(biāo)對(duì)本文識(shí)別算法同傳統(tǒng)FCN進(jìn)一步定量評(píng)價(jià)，本文算法評(píng)價(jià)指標(biāo)好于傳統(tǒng)全卷積識(shí)別算法，平均交并比和綜合評(píng)價(jià)指標(biāo)分別是72.21%和83.86%，對(duì)細(xì)小裂隙，環(huán)形、交叉等復(fù)雜裂隙有更好的識(shí)別效果。

[1] 衛(wèi)軍, 曹龍飛, 曾艷霞, 等. 混凝土結(jié)構(gòu)裂縫特征提取研究[J]. 武漢理工大學(xué)學(xué)報(bào), 2011, 33(11): 72?75. WEI Jun, CAO Longfei, ZENG Yanxia, et al. Research on crack feature extraction of concrete structure[J]. Journal of Wuhan University of Technology, 2011, 33(11): 72?75.

[2] 陳從新, 劉秀敏, 劉才華. 數(shù)字圖像技術(shù)在巖石細(xì)觀力學(xué)研究中的應(yīng)用[J]. 巖土力學(xué), 2010, 31(增1): 53?61. CHEN Congxin, LIU Xiumin, LIU Caihua. Application of digital image technology in meso-mechanics of rocks [J]. Rock and Soil Mechanics, 2010, 31(Suppl 1): 53?61.

[3] 周莉莉, 姜楓. 圖像分割方法綜述研究[J]. 計(jì)算機(jī)應(yīng)用研究, 2017, 34(7): 1921?1928. ZHOU Lili, JIANG Feng. A review of image segmentation methods[J]. Application Research of Computers, 2017, 34(7): 1921?1928.

[4] 房銘坤, 付國(guó). 基于數(shù)字圖像處理的混凝土裂縫寬度檢測(cè)方法研究[J]. 建筑結(jié)構(gòu), 2019, 49(增2): 630?634. FANG Mingkun, FU Guo. Research on concrete crack width detection method based on digital image processing [J]. Building Structure, 2019, 49(Suppl 2): 630?634.

[5] 王世芳, 車艷麗, 李楠, 等. 一種基于多尺度脊邊緣的瀝青路面裂縫檢測(cè)算法[J]. 中國(guó)公路學(xué)報(bào), 2017, 30(4): 32?41. WANG Shifang, CHE Yanli, LI Nan, et al. An asphalt pavement crack detection algorithm based on multiscale ridge edges[J]. China Journal of Highway and Transport, 2017, 30(4): 32?41.

[6] 鄧兆鵬, 曹茂永, Laxmisha Rai. 基于改進(jìn)的區(qū)域生長(zhǎng)和Hough變換的鉆孔圖像水平裂隙識(shí)別[J]. 科學(xué)技術(shù)與工程, 2019, 19(31): 239?245. DENG Zhaopeng, CAO Maoyong, Laxmisha Rai. Recognition of horizontal fractures in borehole images based on improved region growth and Hough transform [J]. Science Technology and Engineering, 2019, 19(31): 239?245.

[7] Hubel D H , Wiesel T N . Receptive fields and functional architecture of monkey striate cortex[J]. The Journal of Physiology, 1968, 195(1): 215?243.

[8] Yann L, Yoshua B. Convolutional networks for images, speech, and time series[M]. The Handbook of Brain Theory and Neural Networks. London: MIT Press, 1998: 255? 258.

[9] Cha Y J, Choi W, Buyukozturk O. Deep learning-based crack damage detection using convolutional neural networks[J]. Computer Aided Civil & Infrastructure Engineering, 2017, 32(5): 361?378.

[10] ZHANG L, YANG F, ZHANG D, et al. Road crack detection using deep convolutional neural network[C]// IEEE International Conference on Image Processing (ICIP 2016). IEEE, 2016: 3708?3712.

[11] 趙珊珊, 何寧. 基于卷積神經(jīng)網(wǎng)絡(luò)的路面裂縫檢測(cè)[J].傳感器與微系統(tǒng), 2017, 36(11): 135?138. ZHAO Shanshan, HE Ning. Pavement crack detection based on convolutional neural network[J]. Transducer and Microsystem Technologies, 2017, 36(11): 135?138.

[12] 薛亞?wèn)|, 李宜城. 基于深度學(xué)習(xí)的盾構(gòu)隧道襯砌病害識(shí)別方法[J]. 湖南大學(xué)學(xué)報(bào)(自然科學(xué)版), 2018, 45(3): 100?109. XUE Yadong, LI Yicheng. Recognition method for shield tunnel lining diseases based on deep learning[J]. Journal of Hunan University (Natural Science), 2018, 45(3): 100? 109.

[13] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436?444.

[14] 宋青松, 張超, 陳禹, 等. 組合全卷積神經(jīng)網(wǎng)絡(luò)和條件隨機(jī)場(chǎng)的道路分割[J]. 清華大學(xué)學(xué)報(bào)(自然科學(xué)版), 2018, 58(8): 725?731. SONG Qingsong, ZHANG Chao, CHEN Yu, et al. Road segmentation combining a fully convolutional neural network and conditional random fields[J]. Journal of Tsinghua University (Science and Technology), 2018, 58(8): 725?731.

[15] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classifica-tion with deep convolutional neural networks [C]// Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe: Curran Associates Inc, 2012, 1: 1097?1105.

Intelligent identification of cracks on concrete surface combining self-attention mechanism and deep learning

Hanat tursenhali, LIN Hang

(School of Resources & Safety Engineering, Central South University, Changsha 410083, China)

The accuracy of the geometric information identification of concrete cracks will affect the safety of later projects. However, the traditional detection methods have the defects such as inaccurate, incomplete, and not instantaneous identification of cracks, which cannot meet the practical requirements of accuracy and effectiveness. This paper proposed an image segmentation algorithm that combines a self-attention mechanism with a fully convolutional neural network. A concrete crack was used to build a data set to construct a deep learning architecture; a fully convolutional neural network was used to train the model and a spatial self-attention module was used to adjust the characteristic encoding, output high-precision binary figure based on self-attention mechanism module recognition. The dimensions of precision rate, recall rate, average merge ratio and comprehensive evaluation index were compared with traditional image segmentation methods. The results show that the binary figure of concrete cracks obtained by this method is the closest to the original image. In terms of quantitative accuracy, recall rate, average crossover ratio and comprehensive evaluation index reached 62.93%, 88.08%, 72.21% and 83.86%, respectively, and then verified that the method proposed is superior to the traditional method of crack identification.

deep learning; fully convolutional networks; self-attention; crack identification

10.19713/j.cnki.43?1423/u. T20200575

TU455

A

1672 ? 7029(2021)04 ? 0844 ? 09

2020?06?23

國(guó)家自然科學(xué)基金資助項(xiàng)目(51774322)；湖南省自然科學(xué)基金資助項(xiàng)目(2018JJ2500)

林杭(1980?)，男，福建福州人，教授，博士，從事數(shù)值計(jì)算與巖土力學(xué)等方面研究；E?mail：linhangabc@126.com

(編輯 陽(yáng)麗霞)