彭 雄，鐘新谷，趙 超，陳安華，張?zhí)煊?/p>

〈紅外應(yīng)用〉

基于無人機(jī)熱成像的建筑飾面層脫粘缺陷識(shí)別

彭 雄1,2，鐘新谷1,2，趙 超1,2，陳安華1，張?zhí)煊?,2

（1. 湖南科技大學(xué)，湖南 湘潭 411201；2. 結(jié)構(gòu)抗風(fēng)與振動(dòng)控制湖南省重點(diǎn)實(shí)驗(yàn)室，湖南 湘潭 411201）

建筑外墻飾面層脫粘剝落廣泛存在，對(duì)居民生命財(cái)產(chǎn)安全帶來巨大威脅。本文以旋翼無人飛機(jī)為工作平臺(tái)，搭載紅外熱成像相機(jī)對(duì)建筑外墻飾面層脫粘缺陷進(jìn)行成像檢測(cè)，獲得脫粘缺陷熱成像溫度場(chǎng)分布規(guī)律；通過飾面層脫粘缺陷溫度場(chǎng)、形狀特征分析，提出基于熱源聚類的脫粘缺陷紅外圖像分割方法，構(gòu)建飾面層脫粘缺陷形狀特征向量集，建立基于支持向量機(jī)的無人飛機(jī)熱成像飾面層脫粘缺陷識(shí)別特征學(xué)習(xí)模型、脫粘缺陷實(shí)際面積計(jì)算方法；以曾出現(xiàn)數(shù)次飾面層剝落的教學(xué)樓為研究對(duì)象，對(duì)實(shí)際建筑進(jìn)行無人機(jī)機(jī)載紅外視頻成像檢測(cè)，識(shí)別脫粘缺陷面積，并與人工檢測(cè)進(jìn)行比較，表明基于先驗(yàn)特征規(guī)律提出的脫粘缺陷識(shí)別小樣本機(jī)器學(xué)習(xí)算法具有優(yōu)越性，機(jī)載熱成像識(shí)別飾面層脫粘缺陷滿足工程精度要求，能有效減少事故發(fā)生，具有可行性和廣泛應(yīng)用前景。

無人飛機(jī)；建筑飾面；脫粘缺陷；熱成像；特征學(xué)習(xí)

0 引言

飾面層（building decorative layers, BDLs）廣泛應(yīng)用于建筑外墻，但由于環(huán)境影響、施工質(zhì)量等原因，飾面層容易發(fā)生脫粘剝落，且隨著時(shí)間的推移，在雨水、冰凍、暴曬、強(qiáng)風(fēng)等的作用下，脫粘面積會(huì)逐漸增大，最終導(dǎo)致飾面層從主體結(jié)構(gòu)上剝離、脫落。近年來建筑外墻飾面層剝落事故時(shí)有發(fā)生，對(duì)居民生命財(cái)產(chǎn)安全帶來巨大威脅，尤其對(duì)于高層建筑，一旦出現(xiàn)飾面層脫落將導(dǎo)致嚴(yán)重后果，迫切需要采取有效的檢測(cè)手段來避免此類事故的發(fā)生。

傳統(tǒng)飾面層脫粘缺陷檢測(cè)手段主要有：目測(cè)法、錘擊法、拉拔法[1-2]，需要搭設(shè)支架依靠人工攀爬檢測(cè)，時(shí)間長、成本高且檢測(cè)人員安全存在風(fēng)險(xiǎn)，因此采用傳統(tǒng)人工檢測(cè)的方法識(shí)別飾面層脫粘缺陷無實(shí)際意義。近年來基于固定或手持紅外熱成像設(shè)備對(duì)外墻飾面磚脫粘缺陷檢測(cè)相關(guān)研究發(fā)展迅速[3-4]，相關(guān)學(xué)者研究了飾面層脫粘缺陷的溫度場(chǎng)分布規(guī)律，并利用紅外設(shè)備對(duì)外墻飾面層模型進(jìn)行熱成像，識(shí)別缺陷面積。但由于紅外熱成像與可見光成像相比具有成像范圍較小、分辨率低的特點(diǎn)[5]，固定或手持紅外熱成像設(shè)備對(duì)外墻飾面磚脫粘缺陷檢測(cè)尚沒有得到廣泛應(yīng)用。

近年來，旋翼無人飛機(jī)在航空拍照、測(cè)量、高壓輸電線路巡視、農(nóng)業(yè)等民用領(lǐng)域得到廣泛應(yīng)用[6-10]。在無人飛機(jī)搭載紅外熱像儀進(jìn)行結(jié)構(gòu)檢測(cè)方面，Omar利用無人機(jī)機(jī)載紅外熱像儀檢查混凝土橋面脫空[11]。Patel基于無人飛機(jī)紅外熱成像測(cè)量了建筑圍護(hù)構(gòu)件的傳熱系數(shù)[12]。Ellenberg使用無人機(jī)分別搭載紅外相機(jī)、普通相機(jī)對(duì)地面預(yù)制梁進(jìn)行檢測(cè)，分析混凝土結(jié)構(gòu)表面缺陷特征[13]。Dusik Kim利用無人飛機(jī)攜帶紅外熱像儀對(duì)光伏電站的太陽能面板進(jìn)行檢測(cè)，應(yīng)用閾值分割和形態(tài)學(xué)算法提出太陽面板的面積自動(dòng)提取算法，識(shí)別的正確率達(dá)到96.9%[14]。但由于飾面脫粘缺陷為隱蔽缺陷，其熱成像溫度場(chǎng)受太陽輻射角度影響隨時(shí)間變化。此外，不同顏色、規(guī)格的脫粘缺陷溫度場(chǎng)規(guī)律可能不一致。因此基于無人飛機(jī)平臺(tái)進(jìn)行飾面層脫粘缺陷熱成像檢測(cè)還需進(jìn)一步研究。

同時(shí)，由于紅外熱成像像素分辨率低，邊緣模糊，使得基于傳統(tǒng)圖像處理方法難以識(shí)別紅外熱成像缺陷面積。近年來機(jī)器學(xué)習(xí)、深度學(xué)習(xí)技術(shù)發(fā)展迅速[15-16]，適于大規(guī)模的機(jī)載熱成像圖像識(shí)別。Olivier利用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別紅外圖像自動(dòng)確定機(jī)器的狀態(tài)[17]。Gong將深度學(xué)習(xí)方法用于基于熱成像的電氣設(shè)備檢測(cè)[18]。Zhang結(jié)合壓縮感知與分類卷積神經(jīng)網(wǎng)絡(luò)，提出超分辨率紅外圖像處理方法[19]。Luo建立了適于紅外熱成像缺陷檢測(cè)的VGG-Unet網(wǎng)絡(luò)[20]。Saeed提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的缺陷自動(dòng)檢測(cè)方法[21]。但無人飛機(jī)熱成像的脫粘缺陷識(shí)別基于檢測(cè)飛行試驗(yàn)建立小規(guī)模樣本集，且基于文獻(xiàn)及試驗(yàn)已得到缺陷熱成像先驗(yàn)規(guī)律，利用深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)獲得高階特征進(jìn)行紅外圖像語義分割的方法人工標(biāo)記時(shí)間成本高，且特征冗余，造成識(shí)別精度和魯棒性較低。

因此，本文以六旋翼無人飛機(jī)為工作臺(tái)搭載紅外熱成像儀，在無人飛機(jī)加裝三點(diǎn)激光測(cè)距儀與熱像儀視頻同步測(cè)距[22-23]，基于無人飛機(jī)熱成像試驗(yàn)獲得飾面層脫粘缺陷熱成像敏感性規(guī)律；基于飾面層脫粘缺陷紅外圖像特點(diǎn)，提出熱源模糊聚類二值分割方法，和適于小樣本的機(jī)器學(xué)習(xí)算法，并與開源深度學(xué)習(xí)語義分割效果比較；基于空間分辨率換算識(shí)別缺陷面積，并與傳統(tǒng)人工檢測(cè)進(jìn)行比較，驗(yàn)證本文所提出方法的精度，系統(tǒng)架構(gòu)如圖1所示。

圖1 系統(tǒng)架構(gòu)圖

1 飾面層脫粘缺陷熱成像敏感性試驗(yàn)研究

近年來，有關(guān)學(xué)者研究了基于熱成像的飾面脫粘缺陷識(shí)別，但受拍攝仰角、分辨率的限制難以進(jìn)行大規(guī)模實(shí)際應(yīng)用[1-4]。旋翼無人飛機(jī)具有使用靈活的特點(diǎn)，以旋翼無人機(jī)為平臺(tái)，搭載紅外熱成像儀是否滿足飾面層脫粘缺陷識(shí)別要求，取決于機(jī)載熱成像對(duì)于溫度變化下飾面層缺陷的敏感程度，以及不同規(guī)格飾面層的脫粘缺陷熱成像溫度場(chǎng)特性是否具有一致性。為滿足建筑飾面層脫粘缺陷智能識(shí)別要求，利用無人飛機(jī)機(jī)載熱成像對(duì)基于人工檢測(cè)的脫粘缺陷進(jìn)行檢測(cè)，研究脫粘缺陷熱成像溫度特性，為基于機(jī)器學(xué)習(xí)圖像處理的飾面層脫粘缺陷識(shí)別提供先驗(yàn)特征。

1.1 飾面層缺陷識(shí)別熱成像原理

文獻(xiàn)[1-4]研究了建筑飾面層的熱傳遞規(guī)律，如圖2所示為建筑物外墻飾面層的能量輻射示意圖，當(dāng)飾面層與建筑外墻之間發(fā)生剝離、脫空時(shí)，在脫空位置將形成很薄的空氣層，由于氣體具有很好的隔熱性，使得飾面層與建筑結(jié)構(gòu)之間的熱傳遞減少。升溫時(shí)，在太陽照射下墻體的溫度迅速升高并向建筑內(nèi)部傳導(dǎo)熱量，由于脫粘缺陷位置有空氣層的存在熱量向內(nèi)傳遞相應(yīng)減少，導(dǎo)致脫粘缺陷表面的溫度異常高于正常位置；降溫時(shí)，由于脫粘缺陷阻擋了建筑內(nèi)部的熱量向表面?zhèn)鬟f，使缺陷表面的溫度異常低于正常位置。利用飾面層脫粘缺陷的熱傳遞規(guī)律，脫粘缺陷處的紅外熱成像圖像與正常位置應(yīng)具有明顯差異，為識(shí)別飾面層脫粘缺陷位置與面積提供了實(shí)驗(yàn)與理論依據(jù)。

圖2 太陽輻射下飾面層脫粘缺陷熱傳遞原理

1.2 溫度變化下飾面層缺陷熱成像試驗(yàn)

根據(jù)建筑飾面層的熱傳遞規(guī)律，利用如圖3所示六旋翼無人飛機(jī)平臺(tái)，搭載DY640紅外熱成像儀（溫度分辨率0.04℃，熱靈敏度0.035℃，圖像分辨率640×480，幀率25幀）和三點(diǎn)激光測(cè)距儀，對(duì)人工檢測(cè)的脫粘缺陷位置進(jìn)行成像檢測(cè)。將機(jī)載紅外熱成像視頻逐幀解壓，對(duì)缺陷區(qū)域紅外熱成像照片按典型時(shí)段排列，并計(jì)算其灰度分布圖，如圖4所示。表明在8:00 am～14:00 pm的升溫過程中，脫粘缺陷的灰度范圍與正常背景之間存在明顯的差異，顯著高于背景，其中在10:00 am左右由于劇烈升溫導(dǎo)致圖像灰度差異最為明顯，脫粘缺陷區(qū)域灰度差異值在40以上。在降溫過程中，脫粘缺陷處灰度值低于正常背景，在16:00 pm左右差異最為明顯。試驗(yàn)結(jié)果與建筑外墻飾面層能量傳遞規(guī)律一致，且升溫時(shí)熱成像圖像灰度特征變化更為明顯，表明利用快速升溫時(shí)缺陷區(qū)域機(jī)載熱成像結(jié)果的顯著灰度差異識(shí)別飾面層缺陷具有可行性。

圖3 飾面層缺陷機(jī)載熱成像檢測(cè)：(a) 機(jī)載熱成像測(cè)試原理；(b) 機(jī)載熱成像測(cè)試結(jié)果

圖4 飾面層脫粘缺陷溫度場(chǎng)時(shí)間變化規(guī)律

1.3 不同規(guī)格飾面層脫粘缺陷熱成像試驗(yàn)

利用前述無人飛機(jī)系統(tǒng)，在升溫最劇烈的時(shí)間段對(duì)多座曾出現(xiàn)過飾面層剝落的大樓進(jìn)行機(jī)載紅外熱成像實(shí)驗(yàn)，選取同一規(guī)格飾面建筑的不同面積脫粘缺陷熱成像圖像進(jìn)行對(duì)比，如圖5所示，表明不同面積的脫粘缺陷區(qū)域溫度場(chǎng)都有中心向邊緣的灰度梯度變化，具有普遍一致性，利用機(jī)載熱像儀無差別視頻錄像識(shí)別不同面積飾面層缺陷具有可行性。

如圖6所示，對(duì)比不同規(guī)格飾面層的缺陷熱成像圖像，表明脫粘缺陷溫度場(chǎng)變化與飾面種類、顏色、規(guī)格無關(guān)，缺陷溫度場(chǎng)特性具有普遍一致性，飾面層脫粘缺陷熱成像圖像邊緣模糊、由中心向邊緣溫度梯度變化明顯、區(qū)域形狀特征與其他干擾噪聲有明顯區(qū)別，表明通過建立飾面缺陷圖像數(shù)據(jù)集，利用無人飛機(jī)機(jī)載熱成像視頻無差別檢測(cè)飛行，利用機(jī)器學(xué)習(xí)方法快速識(shí)別缺陷病害具有可行性。

圖5 不同面積飾面層脫粘缺陷熱成像灰度分布規(guī)律

圖6 不同規(guī)格飾面層脫粘缺陷熱成像灰度分布規(guī)律

2 無人飛機(jī)熱成像飾面層脫粘缺陷識(shí)別算法

基于前述試驗(yàn)分析，表明設(shè)定無人飛機(jī)航跡進(jìn)行無差別機(jī)載紅外視頻成像識(shí)別飾面層脫粘缺陷具有可行性，但由于視頻成像數(shù)據(jù)量巨大，同時(shí)在飾面層熱成像圖像中，飾面磚勾縫、金屬窗、空調(diào)外機(jī)等物體大量存在，其比熱容小升溫迅速，與脫粘缺陷的溫度場(chǎng)具有類似的特點(diǎn)，引起脫粘缺陷的誤識(shí)別，因此如何利用圖像處理技術(shù)快速準(zhǔn)確識(shí)別脫粘缺陷面積尤為重要?；谇笆鎏攸c(diǎn)，本文提出基于熱源模糊聚類的二值分割方法，和基于支持向量機(jī)的缺陷形狀自動(dòng)篩選機(jī)器學(xué)習(xí)算法，自動(dòng)提取并識(shí)別飾面層脫粘缺陷面積。

2.1 基于熱源模糊聚類的紅外圖像分割

為準(zhǔn)確識(shí)別飾面層脫粘缺陷面積，需對(duì)缺陷圖像區(qū)域內(nèi)每一像素點(diǎn)進(jìn)行分類判斷，實(shí)現(xiàn)語義分割[24]。而聚類是把某些具有相同特征的樣本數(shù)據(jù)聚集在一起，從而實(shí)現(xiàn)對(duì)樣本數(shù)據(jù)進(jìn)行分類?；跓嵩茨：垲惖募t外圖像分割使用迭代搜索聚類中心即熱成像圖像中熱源中心，并通過區(qū)域內(nèi)像素與中心之間的隸屬度關(guān)系來計(jì)算目標(biāo)函數(shù)的最小值，實(shí)現(xiàn)紅外圖像模糊邊界的分離和缺陷區(qū)域圖像的像素級(jí)分割[25]。算法的目標(biāo)函數(shù)如式(1)所示：

式中：是像素?cái)?shù)目；表示聚類中心數(shù)；表示相對(duì)于類的隸屬度；表示模糊權(quán)重系數(shù)；表示像素灰度；表示聚類中心。隸屬度的約束條件為：

因此求解聚類問題變成了一個(gè)非線性優(yōu)化，求解在約束公式(2)下的目標(biāo)函數(shù)最小值，通過引入拉格朗日乘子，將方程變成如下：

基于升溫時(shí)段飾面脫粘缺陷和噪聲都具有異常高的溫度場(chǎng)特性，利用上述模糊聚類算法進(jìn)行熱成像圖像分割，其步驟的如下：①將圖7(a)所示原始圖片進(jìn)行灰度化，并計(jì)算其灰度直方圖，如圖7(c)所示；②根據(jù)灰度直方圖確定聚類類別數(shù)為2類；③計(jì)算目標(biāo)函數(shù)。如果目標(biāo)函數(shù)比某確定閾值小，或相對(duì)于某閾值e大于上次目標(biāo)函數(shù)值的改變量，則算法停止；④用公式(2)計(jì)算新的模糊矩陣U，然后返回步驟③。從而確定各類聚類的中心和各個(gè)樣本數(shù)據(jù)屬于各類的隸屬度矩陣，完成聚類分割，如圖7(d)所示。

2.2 基于支持向量機(jī)的飾面層缺陷識(shí)別

經(jīng)過模糊聚類分割后，紅外圖像中窗戶、空調(diào)外機(jī)、勾縫等具有集中溫度場(chǎng)特性的噪聲與飾面缺陷同時(shí)被聚類出來。為實(shí)現(xiàn)小樣本數(shù)據(jù)集下的脫粘缺陷面積精確識(shí)別，基于脫粘缺陷區(qū)域形狀特征參數(shù)構(gòu)造向量集，訓(xùn)練基于支持向量機(jī)的脫粘缺陷面積識(shí)別模型。

2.2.1 形狀特征向量集構(gòu)造

為快速區(qū)分二值圖像內(nèi)脫粘缺陷與其他噪聲，如圖7所示，利用區(qū)域提取函數(shù)對(duì)分割后區(qū)域進(jìn)行標(biāo)記。根據(jù)文獻(xiàn)，計(jì)算圖7標(biāo)記區(qū)域內(nèi)等主要形狀指標(biāo)面積、最小外接矩形長寬比、矩形度、圓形度、周長、伸長度、偏心率，結(jié)果表1所示，缺陷與噪聲區(qū)域形狀特征有明顯區(qū)別，表明利用形狀參數(shù)篩選缺陷區(qū)域具有可行性[26]。隨機(jī)選取20張含不同像素面積的脫粘缺陷圖像，統(tǒng)計(jì)其形狀特征參數(shù)值，并進(jìn)行歸一化處理，建立篩選曲線，以形狀特征面積和區(qū)域圓度為例，如圖8和圖9所示，其中缺陷區(qū)域像素面積與噪聲像素面積范圍互相重合，無法對(duì)缺陷區(qū)域和噪聲進(jìn)行篩選，而區(qū)域圓度則能有效區(qū)分缺陷與噪聲區(qū)域。統(tǒng)計(jì)上述區(qū)域形狀特征指標(biāo)對(duì)樣本區(qū)域的篩選率，選取篩選率高的圓度、最小外接矩形長寬比、偏心率、矩形度作為脫粘缺陷區(qū)域特征向量。構(gòu)建＝(,,,)的缺陷形狀特征向量。

2.2.2 支持向量機(jī)算法構(gòu)建

支持向量機(jī)（support vector machines, SVM）是基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化的一種機(jī)器學(xué)習(xí)算法，具有泛化能力強(qiáng)、適用于小樣本分類等優(yōu)點(diǎn)[27]。而基于機(jī)載熱成像的飾面層脫粘缺陷區(qū)域識(shí)別樣本數(shù)據(jù)集制作的時(shí)間成本較高，因此本文利用支持向量機(jī)算法，建立小樣本飾面缺陷識(shí)別數(shù)據(jù)集，訓(xùn)練脫粘缺陷自動(dòng)識(shí)別模型。選取具有強(qiáng)學(xué)習(xí)能力、適應(yīng)范圍寬的徑向基（radial basis function, RBF）核函數(shù)作為支持向量機(jī)的核函數(shù)。該核函數(shù)為：

表1 脫粘缺陷區(qū)域形狀特征參數(shù)計(jì)算

圖9 基于面積參數(shù)的篩選結(jié)果

對(duì)應(yīng)參數(shù)尋優(yōu)的二次規(guī)劃問題轉(zhuǎn)化為以下的最大值問題：

相應(yīng)的最優(yōu)函數(shù)為：

SVM即為構(gòu)造最優(yōu)分割平面，將基于篩選的脫粘缺陷區(qū)域形狀特征向量映射到高維空間，實(shí)現(xiàn)基于最優(yōu)分割平面的缺陷區(qū)域與噪聲區(qū)域分類，實(shí)現(xiàn)脫粘缺陷區(qū)域與非缺陷區(qū)域的自動(dòng)篩選濾除。

2.2.3 模型訓(xùn)練與驗(yàn)證

選取200張經(jīng)過聚類分割后的脫粘缺陷紅外圖像進(jìn)行區(qū)域標(biāo)記。隨機(jī)選取像素面積不同的個(gè)區(qū)域作為樣本集(,)，其中＝1, 2, 3,…,，?。?00為樣本數(shù)。為脫粘缺陷紅外圖像的特征向量，為缺陷特征向量的人工標(biāo)記。標(biāo)記圖像的大小為640pixel×480pixel，按照“訓(xùn)練集：驗(yàn)證集＝4:1”的比例，將圖像樣本數(shù)據(jù)集分成訓(xùn)練集和驗(yàn)證集，訓(xùn)練集圖像數(shù)量為160張，驗(yàn)證集圖像數(shù)量為40張。利用Python編寫程序完成樣本訓(xùn)練，將學(xué)習(xí)模型對(duì)驗(yàn)證集進(jìn)行交叉驗(yàn)證，測(cè)試結(jié)果顯示39個(gè)驗(yàn)證集樣本實(shí)現(xiàn)了正確分類，正確率為97.5%。

3 無人飛機(jī)建筑飾面層脫粘缺陷熱成像試驗(yàn)分析

為驗(yàn)證本文所提出系統(tǒng)方法的有效性，進(jìn)行無人飛機(jī)建筑飾面層脫粘缺陷熱成像試驗(yàn)，試驗(yàn)以作者單位某五層教學(xué)樓為依托工程，該教學(xué)樓于2005建成，其采用20cm×8cm規(guī)格瓷磚作為外墻飾面，近年來出現(xiàn)多次飾面層脫落事件。選擇出現(xiàn)剝落較多的東立面、南立面作為檢測(cè)飛行對(duì)象，在夏季升溫最快的上午10:00左右進(jìn)行機(jī)載熱成像試驗(yàn)，成像設(shè)備為六旋翼無人飛機(jī)平臺(tái)，搭載DY640紅外熱成像儀（溫度分辨率0.04℃，熱靈敏度0.035℃，圖像分辨率640×480，幀率25幀），配備與熱像儀同頻率三點(diǎn)激光測(cè)距儀，及高清圖傳系統(tǒng)，如圖10所示，飛行檢測(cè)過程如圖11所示。

3.1 飾面缺陷無人飛機(jī)成像試驗(yàn)

機(jī)載紅外攝像具有檢測(cè)速度快、檢測(cè)范圍全覆蓋的優(yōu)點(diǎn)，只需在低速平穩(wěn)狀態(tài)下進(jìn)行無差別掃描攝像。飾面層的脫粘缺陷識(shí)別要求對(duì)建筑物外墻立面進(jìn)行快速、全覆蓋檢測(cè)，因此選擇機(jī)載紅外攝像作為成像方式。在試驗(yàn)飛行過程中，利用三點(diǎn)激光測(cè)距儀實(shí)時(shí)測(cè)量并記錄無人飛機(jī)系統(tǒng)與建筑外墻之間物距，為保證機(jī)載紅外攝像具有足夠的分辨率，經(jīng)過現(xiàn)場(chǎng)反復(fù)飛行檢測(cè)驗(yàn)證，設(shè)定檢測(cè)飛行物距為4～6m。根據(jù)文獻(xiàn)[21-22]，在6m物距下像素解析度計(jì)算如式(7)所示：

圖11 無人飛機(jī)飛行檢測(cè)過程

式中：uav是待求的無人飛機(jī)飛行速度；pixel為保證視頻清晰的最小像移；為保證視頻清晰的最小像素?cái)?shù)；為像素解析度；為視頻中單幀拍攝時(shí)間。根據(jù)(7)、(8)式計(jì)算，設(shè)定飛行物距4～6m，飛行速度0.7m/s。對(duì)獲取的紅外視頻進(jìn)行解壓，得到飾面層缺陷紅外熱成像圖像如圖12所示，對(duì)圖12進(jìn)行人工分割識(shí)別如圖13所示。

3.2 飾面層缺陷圖像分割

對(duì)于無人飛機(jī)機(jī)載熱成像的飾面層脫粘缺陷圖12按前述方法進(jìn)行聚類分割，將紅外圖像中的熱源中心及其附近區(qū)域聚類，結(jié)果如圖14所示。聚類分割后的圖像上存在窗、空調(diào)外機(jī)、飾面勾縫等比熱容較低的物體區(qū)域。將圖14所示二值圖像進(jìn)行區(qū)域標(biāo)記，將形成的區(qū)域特征向量代入前述訓(xùn)練好的支持向量機(jī)模型，消除非缺陷區(qū)域，并重新進(jìn)行區(qū)域標(biāo)記得圖15所示缺陷區(qū)域圖像。結(jié)果顯示所提出的識(shí)別方法具有更好的分割效果，對(duì)金屬窗戶、勾縫等偽特征噪聲有較強(qiáng)的抑制能力，對(duì)邊緣的分割效果也更接近如圖13所示的飾面脫粘缺陷人工分割圖像。

圖12 機(jī)載熱成像飾面脫粘缺陷圖

圖13 飾面脫粘缺陷手動(dòng)分割圖

圖14 聚類分割結(jié)果

為了評(píng)估所提出熱源模糊聚類二值分割和支持向量機(jī)篩選預(yù)測(cè)模型的精確性，采用交互比進(jìn)行模型評(píng)估，其計(jì)算方法如式(9)[29]：

式中：TP是被模型預(yù)測(cè)為正的正樣本；FP是被模型預(yù)測(cè)為正的負(fù)樣本；FN是被模型預(yù)測(cè)為負(fù)的正樣本。計(jì)算圖15所示分割結(jié)果對(duì)比人工分割樣本的IoU值，對(duì)比圖16采用開源Deeplab V3+深度學(xué)習(xí)語義分割網(wǎng)絡(luò)[30]所分割圖像，本文算法的IoU值平均在0.9以上，分割的精度優(yōu)于訓(xùn)練好的語義分割模型。表明利用飾面層脫粘溫度場(chǎng)變化先驗(yàn)特征、基于支持向量機(jī)建立篩選分類模型，在小樣本數(shù)據(jù)集中對(duì)比開源深度學(xué)習(xí)網(wǎng)絡(luò)更具有優(yōu)越性和可解釋性，對(duì)于對(duì)比度較低、邊緣模糊、且有偽特征干擾的脫粘缺陷紅外圖像具有更好的分割精度。

圖16 基于Deeplab V3+的語義分割結(jié)果

3.3 缺陷面積計(jì)算與分析

圖12所示機(jī)載熱成像飾面缺陷同步激光測(cè)距如表2所示，對(duì)于圖15中提取的缺陷形狀，通過工具箱分別統(tǒng)計(jì)各脫粘缺陷區(qū)域內(nèi)總像素?cái)?shù)，根據(jù)文獻(xiàn)[21-22]，利用物距法計(jì)算單個(gè)像素對(duì)應(yīng)的實(shí)際面積，最后得到脫粘缺陷區(qū)域總的實(shí)際面積，計(jì)算結(jié)果如表2所示。

對(duì)比基于傳統(tǒng)人工敲擊檢測(cè)脫粘缺陷區(qū)域面積，如表2所示，基于無人飛機(jī)熱成像的建筑飾面脫粘缺陷識(shí)別結(jié)果，與人工檢測(cè)數(shù)據(jù)相比所得結(jié)果相差較小，機(jī)載熱成像系統(tǒng)達(dá)到90%以上精度，表明基于無人飛機(jī)熱成像飾面層脫粘缺陷識(shí)別具有可行性。

表2 機(jī)載熱成像飾面缺陷面積識(shí)別與比對(duì)

4 結(jié)論

①通過無人飛機(jī)飾面層脫粘缺陷熱成像敏感性試驗(yàn)，得到飾面層脫粘缺陷溫度場(chǎng)隨時(shí)間變化規(guī)律；比較在最佳檢測(cè)時(shí)間內(nèi)不同飾面層熱成像試驗(yàn)結(jié)果，表明不同面積和不同飾面規(guī)格的脫粘缺陷熱成像灰度分布具有一致性，利用無人飛機(jī)機(jī)載紅外無差別掃描錄像識(shí)別脫粘缺陷位置與面積大小具有可行性。

②本文提出了一種結(jié)合聚類和機(jī)器學(xué)習(xí)的小樣本脫粘缺陷面積識(shí)別方法?；诩t外圖像邊緣模糊、灰度梯度明顯、脫粘缺陷區(qū)域形狀與其他干擾噪聲有明顯區(qū)別的特點(diǎn)，提出熱源模糊聚類二值分割方法，并基于支持向量機(jī)建立缺陷形狀自動(dòng)篩選模型，達(dá)到90%以上面積識(shí)別精度。表明利用溫度場(chǎng)特性和形狀參數(shù)先驗(yàn)特征，在小樣本數(shù)據(jù)集上對(duì)比開源深度學(xué)習(xí)網(wǎng)絡(luò)更具有優(yōu)越性和可解釋性，具有更好的分割精度。利用無人飛機(jī)機(jī)載紅外熱成像系統(tǒng)可有效識(shí)別飾面層脫粘缺陷，為后續(xù)的維修和預(yù)警提供了有效檢測(cè)數(shù)據(jù)，具有良好的社會(huì)和工程應(yīng)用價(jià)值。

③根據(jù)本文試驗(yàn)及分析結(jié)果，建議無人飛機(jī)機(jī)載熱成像檢測(cè)時(shí)段應(yīng)該選擇在夏季、秋季的溫度迅速升高時(shí)段。

④本文對(duì)飾面層脫粘缺陷的識(shí)別為事后分析，制作專門分析軟件內(nèi)置入機(jī)載熱成像系統(tǒng)進(jìn)行實(shí)時(shí)檢測(cè)還需要進(jìn)一步研究。

[1] 馮力強(qiáng), 王歡祥, 晏大偉, 等. 建筑外墻飾面層內(nèi)部缺陷紅外熱像法檢測(cè)試驗(yàn)研究[J]. 土木建筑與環(huán)境工程, 2014, 36(2): 57-61

FENG Liqiang, WANG Huanxiang, YAN Dawei, et al. Experimental study on inside defects of building exterior wall decoration layer by infrared thermal imaging method[J]., 2014, 36(2): 57-61.

[2] 朱紅光, 易成, 胡玉琨, 等. 紅外熱像診斷外墻飾面層粘結(jié)缺陷的檢測(cè)條件研究[J]. 建筑技術(shù), 2016, 47(2): 172-175.

ZHU Hongguang, YI Cheng, HU Yukun, et al. Study on detection conditions for infrared thermography diagnosis of debonding defect of exterior wall decoration layer[J]., 2016, 47(2): 172-175.

[3] 朱雷, 房志明, 王卓琳, 等. 外墻飾面層粘結(jié)缺陷的檢測(cè)評(píng)估[J]. 無損檢測(cè), 2016, 38(6): 10-16.

ZHU Lei, FANG Zhiming, WANG Zhuolin, et al. Detection and evaluation of debonding defect of exterior wall decoration layer[J]., 2016, 38(6): 10-16.

[4] 馮力強(qiáng), 王歡祥, 晏大瑋, 等. 紅外熱像法檢測(cè)建筑外墻飾面層內(nèi)部缺陷試驗(yàn)研究[J]. 土木工程學(xué)報(bào), 2014, 47(6): 51-56.

FENG Liqiang, WANG Huanxiang, YAN Dawei, et al. Experimental study on internal defects detection of exterior wall finish coat by infrared thermography[J]., 2014, 47(6): 51-56.

[5] Gene S, Hojjat A. Infrared thermography for detecting defects in concrete structures[J]., 2018, 24: 508-515.

[6] WANG L, ZHANG Z. Automatic detection of wind turbine blade surface cracks based on UAV-taken images[J]., 2017, 64(9): 7293-7303.

[7] CHEN S, Laefer D F, Mangina E, et al. UAV bridge inspection through evaluated 3D reconstructions[J]., 2019, 24(4): 05019001.

[8] CHEN S, Laefer D F, Mangina E. State of technology review of civilian UAVs[J].2016, 10(3): 160-174.

[9] Rakha T, Gorodetsky A. Review of unmanned aerial system (UAS) applications in the built environment: towards automated building inspection procedures using drones[J]., 2018, 93: 252-264.

[10] Sattar D, Thomas R J, Marc M. Fatigue Crack Detection using unmanned aerial systems in fracture critical inspection of steel bridges[J]., 2018, 23(10): 04018078.

[11] Tarek O, Nehdi M L. Remote sensing of concrete bridge decks using unmanned aerial vehicle infrared thermography[J]., 2017, 83: 360-371.

[12] Patel D, Estevam Schmiedt J, R?ger M, et al. Approach for external measurements of the heat transfer coefficient (U-value) of building envelope components using UAV based infrared thermography [C]//14, 2018: 379-386.

[13] A Ellenberg,A Kontsos, F Moon, I Bartoli. Bridge deck delamination identification from unmanned aerial vehicle infrared thermography, automation in construction[J]., 2016, 72: 155-165

[14] Dusik K, Youn J. Automatic photovoltaic panel area extraction from UAV thermal infrared images[J]., 2016, 34(6): 559-568.

[15] 勾紅葉, 楊彪, 華輝, 等. 橋梁信息化及智能橋梁2019年度研究進(jìn)展[J]. 土木與環(huán)境工程學(xué)報(bào), 2020, 42(5): 14-27.

GOU Hongye, YANG Biao, HUA Hui, et al. Research progress of bridge informatization and intelligent bridge in 2019[J]., 2020, 42(5): 14-27.

[16] 鮑躍全, 李惠. 人工智能時(shí)代的土木工程[J]. 土木工程學(xué)報(bào), 2019, 52(5): 5-15.

BAO Yuequan, LI Hui. Artificial intelligence for civil engineering[J]., 2019, 52(5): 5-15.

[17] Janssens O, Walle R V D, Loccufier M. Deep learning for infrared thermal image based machine health monitoring[J]., 2018, 23(1): 151-159.

[18] GONG X, YAO Q, WANG M, et al. A deep learning approach for oriented electrical equipment detection in thermal images[J]., 2018(6): 41590-41597.

[19] ZHANG X, LI C, MENG Q, et al. Infrared image super resolution by combining compressive sensing and deep learning[J]., 2018, 18(8): 2587.

[20] LUO Q, GAO B, Woo W L, et al. Temporal and spatial deep learning network for infrared thermal defect detection[J]., 2019, 108: 102164.

[21] N Saeed, N King, Z Said, et al. Automatic defects detection in CFRP thermograms, using convolutional neural networks and transfer learning[J]., 2019, 102: 03048.

[22] 鐘新谷, 彭雄, 沈明燕. 基于無人飛機(jī)成像的橋梁裂縫寬度識(shí)別可行性研究[J]. 土木工程學(xué)報(bào), 2019, 52(4): 52-61.

ZHONG Xingu, PENG Xiong, SHEN Mingyan. Study on the feasibility of identifying bridge crack width with images acquired by unmanned aerial vehicles[J]., 2019, 52(4): 52-61.

[23] 鐘新谷, 彭雄. 基于無人飛機(jī)機(jī)載成像的混凝土裂縫寬度識(shí)別方法: 0845685.9, 中國[P]. 2019-02-19.

ZHONG Xingu, PENG Xiong. Concrete-crack-width identification system and method based on robot bomb airborne imaging:0845685.9 China[P].2019-02-19

[24] CHEN L C, Papandreou G, Kokkinos I, et al. Semantic image segmentation with deep convolutional nets and fully connected CRFs[J]., 2014(4): 357-361.

[25] 王曉飛, 胡凡奎, 黃碩. 基于分布信息直覺模糊c均值聚類的紅外圖像分割算法[J]. 通信學(xué)報(bào), 2020, 41(5): 120-129.

WANG Xiaofei, HU Fankui, HUANG Shuo, Infrared image segmentation algorithm based on distribution information intuitionistic fuzzy c-means clustering[J]., 2020, 41(5): 120-129.

[26] 李可心, 王鈞, 戚大偉. 基于G-S-G的混凝土結(jié)構(gòu)裂縫識(shí)別及監(jiān)測(cè)方法[J]. 振動(dòng)與沖擊, 2020, 39(11): 101-108.

LI Kexin, WANG Jun, QI Dawei. Research on crack identification and monitoring method of concrete structure based on G-S-G[J]., 2020, 39(11): 101-108.

[27] 王睿, 漆泰岳. 基于機(jī)器視覺檢測(cè)的裂縫特征研究[J]. 土木工程學(xué)報(bào), 2016, 49(7): 123-128

WANG Rui, QI Taiyue. Study on crack characteristics based on machine vision detection[J]., 2016, 49(7): 123-128 .

[28] HWANG Soonkyu, AN Yun Kyu, KIM Ji Min, et al. Monitoring and instantaneous evaluation of fatigue crack using integrated passive and active laser thermography[J]., 2019, 119: 9-17.

[29] Kang D, Benipal S S, Gopal D L, et al. Hybrid pixel-level concrete crack segmentation and quantification across complex backgrounds using deep learning[J]., 2020, 118: 103291.

[30] CHEN L C, Papandreou G, Kokkinos I, et al. DeepLab: semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs[J]., 2016, 40(4): 834-848.

Debonding Defect Recognition of Building Decoration Layers by UAV Thermography

PENG Xiong1,2，ZHONG Xingu1,2，ZHAO Chao1,2，CHEN Anhua1，ZHANG Tianyu1,2

(1.,411201,; 2.,411201,)

The phenomenon of building decorative layers (BDLs) falling off of exterior walls is quite common, and is of great concerns to human safety. In this study, a rotor unmanned aerial vehicle (UAV) equipped with an infrared thermal camera is used as the working platform to detect debonding BDL defects to obtain the change in law of its thermography imagery. Based on the analysis of the temperature field and shape characteristics of thermography images of BDLs, an image segmentation method for debonding defects based on fuzzy clustering is proposed, and a shape feature vector set of debonding BDL defects is constructed. Therefore, a feature learning model for debonding defect recognition and a calculation method for the actual area of debonding defects based on support vector machines are established. Finally, a case study of the teaching building inspection with several peeling veneers is carried out to demonstrate the effectiveness of the proposed method. Compared with the manual test, the results show that the small-sample machine-learning algorithm for debonding defect recognition based on prior feature law has advantages, and can effectively reduce the occurrence of accidents presenting potential practical applications.

unmanned aerial vehicle, building decoration layers, debonding defect, thermography imagery, feature learning

TU17

A

1001-8891(2022)02-0189-09

2020-11-02；

2021-04-23.

彭雄（1992-），男，博士研究生，主要從事結(jié)構(gòu)健康監(jiān)測(cè)技術(shù)與方法研究。E-mail：1021009@hnust.edu.cn。

鐘新谷（1962-），男，博士，教授，主要從事結(jié)構(gòu)工程科研與教學(xué)工作。

國家自然科學(xué)基金（基于無人飛機(jī)的橋梁結(jié)構(gòu)裂縫形狀與寬度非接觸識(shí)別研究51678235）。