姚志東, 盧佳祁, 熊夢雅, 盧 煒

(1 中冶建筑研究總院(深圳)有限公司，深圳 518055；2 深圳市建筑幕墻智能檢測工程技術(shù)研究中心，深圳 518055)

0 引言

鋼結(jié)構(gòu)在服役過程中由于施工不規(guī)范、溫度波動、鹽濕環(huán)境、反復荷載等多因素影響,會出現(xiàn)螺栓缺失、斷裂與松動[1]、鋼構(gòu)件銹蝕[2-3]、焊縫開裂[4]等問題,從而威脅到整個結(jié)構(gòu)的安全性和穩(wěn)定性,如果不及時發(fā)現(xiàn)并修復會嚴重影響到鋼結(jié)構(gòu)的服役壽命[1-4]。

針對鋼結(jié)構(gòu)缺陷,傳統(tǒng)的檢測方式主要靠人工檢查或接觸式傳感檢測及監(jiān)測[5-7]。其中人工檢查[8]的問題有:操作空間受限、人員觀察與記錄周期長、數(shù)據(jù)分析依賴檢測人員主觀判斷。接觸式傳感檢測及監(jiān)測的問題有:大量部署接觸式傳感器成本很高、容易受到溫濕度等外在環(huán)境影響并造成檢測結(jié)果的失真。

近年來,隨著人工智能技術(shù)的進步,基于計算機視覺的檢測方法得到了學術(shù)界與工業(yè)界的廣泛關(guān)注,該方法可以實現(xiàn)將圖像信號轉(zhuǎn)化為數(shù)字信號并處理離散數(shù)字信號[9],具有非接觸傳感、成本低、安裝和操作簡單等優(yōu)點,可以大幅提升檢測與監(jiān)測的效率。深度學習技術(shù)[10]在計算機視覺領(lǐng)域表現(xiàn)了優(yōu)異的性能,基于深度學習的圖像分類[11]、目標檢測[12]、數(shù)據(jù)增強[13]與語義分割[14]等技術(shù)在工業(yè)缺陷檢測中(如PCB[15]、玻璃[16]、電子[17]、金屬面板[18]、膠囊[19]等)有著深入的研究與應(yīng)用。

我國鋼結(jié)構(gòu)建筑與基礎(chǔ)設(shè)施保有量巨大,每年耗費大量的人力、物力成本用于工程運維,如何高效、安全、低成本地實現(xiàn)鋼結(jié)構(gòu)缺陷的工程診斷具有重要的意義。目前針對鋼結(jié)構(gòu)建筑與基礎(chǔ)設(shè)施表面缺陷的智能檢測與識別的相關(guān)研究已經(jīng)取得一定的進展,在對國內(nèi)外研究現(xiàn)狀系統(tǒng)總結(jié)的基礎(chǔ)上,本文研究旨在給出基于計算機視覺的表面缺陷識別技術(shù)流程,并結(jié)合我國實際情況系統(tǒng)地回顧和總結(jié)出常見的三種鋼結(jié)構(gòu)表面缺陷(高強螺栓缺失與松動、鋼構(gòu)件的表面銹蝕和表面裂縫),如圖1所示。

圖1 常見的三種鋼結(jié)構(gòu)表面缺陷

1 基于計算機視覺的缺陷識別流程

根據(jù)計算機視覺技術(shù)的特點以及不同缺陷的特征,給出了智能識別的技術(shù)流程,如圖2所示。由圖2可知,基于計算機視覺的缺陷識別流程由三步組成:圖像采集、目標提取和缺陷識別。

圖2 智能識別的技術(shù)流程圖

1.1 圖像采集

圖像獲取主要由高清相機進行采集,包括CCD攝像機、光學鏡頭、光源及其夾持裝置等[20],其功能是完成表面圖像的采集。工廠內(nèi)的工業(yè)缺陷檢測主要是將圖像采集設(shè)備放置于生產(chǎn)線上,而本文研究的對象為鋼結(jié)構(gòu)建筑與基礎(chǔ)設(shè)施,圖像可通過人工手持相機采集或在固定位置設(shè)置高清攝像頭的方式進行采集。

對于大型鋼結(jié)構(gòu)(比如大跨度結(jié)構(gòu)、橋梁結(jié)構(gòu)等),很多區(qū)域的圖像無法人工獲取,廣泛布置攝像頭成本較高,因此采用無人搭載平臺(無人機、無人車、無人船等)集成高清相機。

近年來,隨著無人機技術(shù)和RTK定位技術(shù)的長足進步,越來越多的工程巡檢中采用了無人機搭載高清相機進行圖像采集,如圖3所示,特別是電力行業(yè)輸電線路的巡檢[21-22]。但無人機在土木工程行業(yè)的應(yīng)用目前主要集中在攝影測量,進行以圖像采集為目的的工程巡檢還不普遍。

圖3 某款具備RTK定位與精準復拍功能的巡檢無人機

1.2 目標提取

這里的目標主要指缺陷,目標提取的過程包括感興趣圖像識別→圖像分割→缺陷目標檢測,均需采用基于神經(jīng)網(wǎng)絡(luò)的深度學習[10]方法進行深度學習模型訓練,其中為提高模型泛化能力,需進行數(shù)據(jù)增強,感興趣圖像識別采用了目標檢測技術(shù),圖像分割采用了語義分割技術(shù),缺陷目標檢測采用了目標檢測技術(shù)。

1.2.1 神經(jīng)網(wǎng)絡(luò)

目前計算機視覺領(lǐng)域最常用的深度學習網(wǎng)絡(luò)模型為卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN),其現(xiàn)代網(wǎng)絡(luò)結(jié)構(gòu)由Le Cun等[23]于20世紀90年代建立,他們設(shè)計了一種可以對手寫數(shù)字進行分類的LeNet-5網(wǎng)絡(luò)。該網(wǎng)絡(luò)處理復雜問題能力不足,Alex K等[24]于2012年提出了與LeNet-5網(wǎng)絡(luò)類似但層次結(jié)構(gòu)更深的AlexNet框架,如圖4所示。

圖4 AlexNet框架[24]

在AlexNet之后,多種CNN的改進方法被提出和應(yīng)用,比如ZFNet[25]、VGGNet[26]、GoogleNet[27]和ResNet[28]、EfficientNets[29],這些方法各自的內(nèi)容和特點[12]如表1所示。

表1 不同CNN改進方法的內(nèi)容和特點

1.2.2 數(shù)據(jù)增強

數(shù)據(jù)增強主要是為了減少過擬合現(xiàn)象,通過對訓練圖片進行變換(包括尺度變化、透視變換、隨機旋轉(zhuǎn)和翻轉(zhuǎn)、加高斯噪聲、HSV(色調(diào)hue、飽和度saturation和明度value)空間顏色變換、轉(zhuǎn)灰度等),提高模型泛化能力,而產(chǎn)生過擬合問題的根源是訓練樣本不足[13]。

以某橋梁工程螺栓檢測為例,在模型訓練的過程中使用在線數(shù)據(jù)增強的方式,如圖5所示,采用了YOLOv4[30]中的馬賽克數(shù)據(jù)增強方法。

圖5 螺栓數(shù)據(jù)增強最終效果示意

1.2.3 目標檢測

目標檢測是計算機視覺領(lǐng)域的核心問題之一,它的任務(wù)是找出圖像中的感興趣目標以及位置和大小。傳統(tǒng)的目標檢測的方法主要包括區(qū)域選擇、特征提取和分類三個階段,隨著深度學習技術(shù)的進步,其強大的表征能力以及豐富的特征表示使目標檢測的準確度獲得了很大提升。

仍以某橋梁工程螺栓檢測為例,在圖像中找出螺栓即是目標檢測,如圖6所示。

圖6 螺栓目標檢測示意

根據(jù)文獻[12]的總結(jié),當前常用的目標檢測算法主要包括兩種類型,一種是基于錨點的目標檢測(anchor-based),包括R-CNN[31]、Fast/Faster R-CNN[32]、SSD[33]、YOLO[34]等;另一種是基于關(guān)鍵點的目標檢測(anchor-free),包括CornerNet[35]、ExtremeNet[36]等,兩者區(qū)別在于有沒有利用anchor提取候選目標框。雖然anchor-based是目前主流的算法,但同時存在有限anchors的限制,檢測框容易受到anchors尺度的影響,anchor-free是目標檢測算法中很有前途的研究方向。

1.2.4 語義分割

圖像是由許多像素組成,而語義分割的目的是將像素(場景圖像)分割解析為與語義類別相關(guān)的不同圖像區(qū)域。傳統(tǒng)的圖像分割方法根據(jù)圖像的顏色、空間結(jié)構(gòu)和紋理信息等特征進行處理分析,深度學習技術(shù)的進步有效支撐了圖像分割技術(shù)的發(fā)展。

同樣以某橋梁工程螺栓檢測為例,采用圖像分割的方法得到語義分割掩碼圖,從而將感興趣的前景區(qū)域分割出來,如圖7所示。

圖7 橋梁鋼結(jié)構(gòu)語義分割示意

根據(jù)文獻[14]的總結(jié),將現(xiàn)有語義分割算法分為兩類:一類是使用人工高精度加工的像素級標注作為訓練樣本的全監(jiān)督學習圖像語義分割方法,包括DeepLab系列方法[37]、基于圖像金字塔方法[38]和基于循環(huán)神經(jīng)網(wǎng)絡(luò)方法[39]等;另一類是使用弱標注數(shù)據(jù)作為訓練樣本的弱監(jiān)督學習圖像語義分割方法,包括基于邊界框標注方法[40]、基于圖像級標注方法[41]和基于附加數(shù)據(jù)源方法[42]等。其中全監(jiān)督學習圖像語義分割方法的分割效果優(yōu)于弱監(jiān)督學習圖像語義分割方法。

1.3 缺陷識別

完成目標檢測獲取感興趣區(qū)域后,下一步是進行缺陷識別,其首要內(nèi)容是針對缺陷特征的提取,再針對缺陷特征同標準缺陷樣本進行比對,特征相匹配即表明存在缺陷。根據(jù)文獻[20]的總結(jié),缺陷圖像的特征提取可理解為從高維圖像空間到低維特征空間的映射,其有效性對后續(xù)缺陷的識別精度、計算復雜度、魯棒性等均有重大影響,目前常用的圖像特征主要有紋理特征、顏色特征、形狀特征等。

本節(jié)所提的缺陷識別流程為一般流程,具體的技術(shù)流程要根據(jù)不同缺陷的具體特點進行專門制定和研究。

2 鋼結(jié)構(gòu)表面缺陷的智能識別

2.1 高強螺栓缺失與松動

對于鋼結(jié)構(gòu)螺栓連接節(jié)點而言,主要的表面缺陷有兩種:螺栓缺失與螺栓松動。

2.1.1 螺栓缺失

結(jié)合文獻[43-50]發(fā)現(xiàn)目前對于螺栓缺失的缺陷檢測的方法較少,現(xiàn)有為數(shù)不多的方法主要是基于深度學習的目標檢測方法[43],該方法通過訓練螺栓缺失樣本,進而直接檢測螺栓缺失的缺陷。然而通過實際工程調(diào)研,發(fā)現(xiàn)螺栓缺失后的特征多種多樣,尤其一些螺栓延遲斷裂后,螺桿仍然保留在螺孔中,且?guī)缀跖c連接面齊平,缺陷特征不夠顯著,如圖8所示。

圖8 幾種螺栓缺失的情況示意

當前深度學習的算法如果想擁有優(yōu)良的性能,十分依賴訓練樣本的質(zhì)量和數(shù)量,但在實際工程中采集到大量的螺栓缺失樣本十分困難,因此直接檢測的方法很難達到滿意的效果。文獻[44]將缺陷異常檢測轉(zhuǎn)化為正常螺栓檢測的問題,檢查關(guān)鍵部件上的螺栓當前數(shù)量與原始數(shù)量是否一致,避免了缺陷樣本較少的問題。該方法的缺點在于,當螺栓目標較小或出現(xiàn)污漬與銹蝕時,其特征與螺栓缺失特征相近,容易造成螺栓的漏檢與誤檢,如圖9所示,因此該思路有較大的提升空間。

圖9 正常螺栓檢測方法的缺點示例

上述研究表明僅靠深度學習的目標檢測算法檢測螺栓缺失,其可靠性還有待提升。

2.1.2 螺栓松動

螺栓松動是由于螺栓擰緊后軸向預緊力的減小引起的。常見的螺栓松動可能是由于連接件反復相對滑動磨損或螺栓與連接件的塑性變形引起的。對于螺栓松動的檢測有三類方法。

第一類檢測方法是劃線標定檢測法,如圖10所示。根據(jù)文獻[45]的總結(jié),屬于現(xiàn)場檢測技術(shù)的一種,具體方法是在螺栓擰緊后,在螺母與連接結(jié)構(gòu)上畫一條特定顏色的直線,如果螺栓出現(xiàn)松動,則檢測螺母上的直線與連接結(jié)構(gòu)的直線會發(fā)生錯位,從而判斷出螺栓松動。該方法在軌道列車的螺栓檢測上應(yīng)用廣泛,然而鋼結(jié)構(gòu)工程由于螺栓數(shù)量較多,節(jié)點形態(tài)各異,若采用該方法會導致檢測成本較高,因而較少采用。

圖10 劃線標定檢測法

第二類方法是通過檢測螺栓與連接面是否出現(xiàn)分離來判斷螺栓松動情況。文獻[46]通過深度學習目標檢測的方法檢測螺紋暴露的狀態(tài)以判定螺栓是否松動,如圖11所示。該方法存在兩個缺點:一是在實際工程中螺紋暴露的圖像樣本難以采集,僅靠實驗室模擬的有限缺陷樣本難以代表既有鋼結(jié)構(gòu)工程的實際缺陷狀態(tài),即無法解決深度學習中跨域的問題,如圖12(a)所示;二是該類方法需要從側(cè)面拍攝才能采集到螺紋暴露的特征,而實際工程的螺栓連接節(jié)點上螺栓的排列數(shù)量較多且比較密集,所采集圖像中螺栓之間的遮擋比較嚴重,如圖12(b)所示。因此該類方法適用性較差。

圖11 螺栓與連接面的分離[46]

圖12 檢測螺栓與連接面分離方法的缺點示例

第三類方法是通過比對檢測到的歷史和當前的螺栓邊緣直線角度的差值判斷螺栓是否發(fā)生松動。文獻[47]首先對螺栓連接節(jié)點進行透視變換,將進行比對的兩張照片轉(zhuǎn)換成同一視角,然后對檢測到的螺栓區(qū)域進行Hough變換以檢測螺栓角度,通過比較對應(yīng)螺栓角度的差值以判斷螺栓是否松動,如圖13所示。該方法的缺點主要有兩點:一是在透視變換選取參考點時采用了人工選取的方式,自動化無法得到保證;二是在螺栓邊緣直線檢測上直接在原圖使用Hough變換,容易受到光線、污漬與銹蝕等其他邊緣的干擾,魯棒性較差,如圖14所示。

圖13 螺栓邊緣直線檢測[47]

圖14 對比螺栓邊緣直線角度差方法的缺點示例

文獻[48]在文獻[47]的基礎(chǔ)上進一步研究,采用了alpha-shape[49]算法對單元螺栓連接節(jié)點螺栓的外輪廓螺栓位置進行提取,進而找到角點螺栓作為透視變換的參考點,如圖15所示。然而該方法未考慮到螺栓缺失與螺栓目標誤檢或漏檢的情況,如圖16所示,當角點螺栓缺失時,無法檢測出與標準螺栓節(jié)點圖像對應(yīng)的參考點,因此適應(yīng)性有待提高。

圖15 螺栓參考點獲取方法[48]

圖16 螺栓角點定位提取方法的缺點示例

文獻[50]中,進行邊緣直線檢測的對象是螺栓所在的節(jié)點板,同樣采用Hough變換,然后通過提取各邊緣直線交點作為透視變換的參考點,然而此方法容易受到周圍其他邊緣的干擾,難以提取準確的節(jié)點板直線。如圖17所示,節(jié)點板邊緣直線檢測方法錯誤地提取了很多非連接板邊緣直線,此外,螺栓連接節(jié)點區(qū)域并非都固定在節(jié)點板上,因此此方法通用性不高。

圖17 節(jié)點板邊緣直線檢測方法的缺點示例

2.2 鋼結(jié)構(gòu)表面銹蝕

銹蝕是鋼結(jié)構(gòu)的常見缺陷,當鋼結(jié)構(gòu)表面防腐涂層破壞以后,鋼材直接接觸周圍大氣環(huán)境,很容易產(chǎn)生銹蝕問題,對鋼結(jié)構(gòu)的安全使用產(chǎn)生嚴重威脅。當鋼結(jié)構(gòu)發(fā)生銹蝕后,表面顏色會發(fā)生變化,因此適合用計算機視覺的方法進行檢測,目前這方面的研究方向主要有兩類。

第一類是基于銹蝕顏色特征的鋼結(jié)構(gòu)銹蝕區(qū)域檢測。文獻[51]采用在RGB 空間獲取材料腐蝕特征圖像信息,通過HSV 顏色空間描述該腐蝕特征區(qū)域的顏色值的方法,可滿足腐蝕特征顏色等級的評定要求。文獻[52]使用了一種結(jié)合粗糙度和顏色兩個視覺特征的算法,用于在給定的圖像中定位銹蝕區(qū)域,其中粗糙度分析考慮了由灰度共生矩陣計算的均勻度度量,顏色分析使用了從HSV顏色空間的數(shù)據(jù)集中提取銹蝕代表顏色直方圖,研究表明該方法是有效的。上述方法的優(yōu)點在于基本不會漏檢銹蝕區(qū)域,但缺點在于容易將背景中與銹蝕顏色特征相近的區(qū)域誤檢成銹蝕區(qū)域,如圖18所示(與銹蝕顏色相近的地面被誤檢為銹蝕)。

圖18 基于HSV顏色空間銹蝕檢測的缺點示例

第二類是采用基于深度學習的目標檢測或圖像分割方法進行鋼結(jié)構(gòu)銹蝕區(qū)域檢測。文獻[53]介紹了一種基于卷積神經(jīng)網(wǎng)絡(luò)的金屬表面銹蝕評估方法,對兩種預訓練的最新卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和兩種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的性能進行了評估,研究結(jié)果表明,卷積神經(jīng)網(wǎng)絡(luò)的性能優(yōu)于基于紋理和顏色分析的銹蝕檢測方法,且該研究所提出的卷積神經(jīng)網(wǎng)絡(luò)顯著提升了效率。文獻[54]提出了一種對銹蝕圖像進行語義分割來實現(xiàn)銹蝕區(qū)域的檢測與定量分析的方法,以蘇通大橋銹蝕數(shù)據(jù)集訓練網(wǎng)絡(luò)并對其進行了數(shù)據(jù)增強,最終正確率可以達到訓練集92.55%和驗證集90.56%。文獻[55]提出了一種改進的輕量化目標檢測網(wǎng)絡(luò),并將該方法用于檢測岸橋表面銹蝕,該網(wǎng)絡(luò)相對于其他輕量級網(wǎng)絡(luò)速度快、精度高,在嵌入式設(shè)備計算資源有限的情況下也能勝任圖像識別、目標檢測等視覺任務(wù),如圖19所示。上述方法均基于深度學習,其優(yōu)點在于魯棒性較高,但缺點在于有限的銹蝕缺陷樣本數(shù)量會影響檢測精度。

圖19 基于圖像分割方法的鋼結(jié)構(gòu)銹蝕檢測[55]

2.3 鋼結(jié)構(gòu)表面裂縫

鋼結(jié)構(gòu)表面裂縫的檢測可以歸類為裂縫檢測問題,相關(guān)研究中最常見的裂縫檢測對象是路面裂縫,對鋼結(jié)構(gòu)及焊縫的裂縫檢測研究較少?；谟嬎銠C視覺的裂縫檢測方法大致可分為兩類:圖像處理方法和深度學習方法。

圖像處理方法常見的方法有:閾值分割法[56]、邊緣檢測法[57]、直方圖分割法[58-59]等, 這些方法在圖像處于某些特定條件下能夠達到比較好的檢測效果,然而當圖像背景復雜,如存在光照不均、陰影、污漬等情況時則魯棒性較差。這些方法目前常用于對象單一的路面檢測。

基于深度學習的方法在裂縫檢測的性能上要優(yōu)于傳統(tǒng)的圖像處理法,主要分為兩類。

第一類是基于滑動窗口的方法[60],普遍采用卷積層結(jié)合全連接層的二分類神經(jīng)網(wǎng)絡(luò)判斷窗口內(nèi)是否含有裂縫,如圖20所示。由于使用了全連接層,輸入圖像尺寸只能是滑動窗口的尺寸,因此大量窗口區(qū)域圖像分批次循環(huán)輸入神經(jīng)網(wǎng)絡(luò)進行運算非常耗時。在提取裂縫時,大部分研究都采用了在窗口區(qū)域內(nèi)使用最大類間閾值分割法[61]對裂縫進行最終的提取,然而該方法計算的閾值比實際閾值略高,導致提取的裂縫寬度比實際裂縫要寬,當背景區(qū)域干擾噪聲較多時,這些干擾區(qū)域很難用形態(tài)學的開閉操作[62]去除掉。

圖20 使用滑動窗口法的鋼結(jié)構(gòu)表面裂縫檢測

第二類是圖像分割法(1.2.3節(jié)),即將整個裂縫圖像中不同類別的像素用不同顏色標注出來。深度學習的圖像分割模型[14]包含了多種全卷積網(wǎng)絡(luò)模型,包括FCN、U-Net、DeepLab等,這些模型魯棒性較高,可以準確地恢復裂縫的形態(tài)與細節(jié)特征。文獻[63-64]均采用深度卷積神經(jīng)網(wǎng)絡(luò)分別對鋼橋節(jié)點板焊接接頭裂縫和橋梁鋼箱梁表面疲勞裂縫進行了檢測及研究,獲得了良好的識別精度。然而對于裂縫本身的特征而言,狹長的裂縫區(qū)域在整個圖像中相對背景而言往往占比很低,這就意味著負樣本數(shù)量(背景區(qū)域)要遠遠大于正樣本數(shù)量(裂縫區(qū)域),這種樣本的嚴重不均衡會導致模型訓練時更關(guān)注負樣本的學習而忽略了正樣本的學習,影響裂縫識別效果。

文獻[65]對第一類方法中最大類間閾值分割法(OTSU)和第二類方法中采用U-Net網(wǎng)絡(luò)模型的方法之間的優(yōu)缺點進行了對比和舉例說明。如圖21所示,OTSU分割法容易將背景干擾區(qū)域誤識別為裂縫區(qū)域,當裂縫區(qū)域較細時,OTSU分割法和U-Net圖像分割法提取裂縫結(jié)果的連續(xù)性較差。

圖21 兩種方法檢測結(jié)果的對比[65]

3 未來研究方向

前文總結(jié)了基于計算機視覺的缺陷識別流程和目前國內(nèi)外鋼結(jié)構(gòu)表面缺陷智能識別的研究現(xiàn)狀,未來的研究方向主要是如何解決目前研究的缺點和不足。

3.1 目前研究的不足

根據(jù)對鋼結(jié)構(gòu)表面缺陷智能識別相關(guān)研究的總結(jié),現(xiàn)有研究還存在許多問題,難以形成產(chǎn)業(yè)化應(yīng)用,具體包括:

(1)鋼結(jié)構(gòu)缺陷待檢測圖像中的背景信息、光照與污跡等噪聲造成偽缺陷,導致誤檢率較高。

(2)現(xiàn)有缺陷識別方法單一地采用分類、目標檢測與語義分割等技術(shù),當正常樣本與缺陷樣本在某些維度特征相近時,容易造成缺陷的漏檢。

(3)缺陷樣本難以低成本搜集,少量缺陷樣本無法保證模型泛化性能,而基于小樣本的深度學習技術(shù)尚不成熟。

(4)鋼結(jié)構(gòu)表面裂縫這種細小缺陷在檢測時存在魯棒性差或者模型訓練時正負樣本數(shù)據(jù)不均衡的問題。

3.2 計算機視覺方法的改進

如前文所述,以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學習方法[10]在計算機視覺領(lǐng)域的基礎(chǔ)理論研究日益成熟,其魯棒性要遠遠優(yōu)于傳統(tǒng)的機器學習方法或圖像處理方法。但當前的深度學習算法在解決小樣本問題[66]、長尾問題[67]與非顯著目標識別[68]等問題上仍有待提高,未來的研究應(yīng)著眼于這些問題,給出系統(tǒng)性的解決方法。

本文認為可以在已有基于深度學習方法的研究良好效果的基礎(chǔ)上,嘗試開展基于已知多維先驗性深度特征交叉判斷的缺陷識別研究,從而實現(xiàn)目標特征的顯著化、檢測數(shù)據(jù)的均衡化與檢測任務(wù)的簡單化,最終提高深度學習方法的準確性。

3.3 鋼結(jié)構(gòu)表面缺陷的智能識別

通過總結(jié)已有鋼結(jié)構(gòu)表面缺陷智能識別方法的缺點,采用基于多維度深度特征與幾何特征交叉判斷的研究思路,未來的研究方向如下。

(1)目前螺栓缺失檢測的主要問題是:在通過檢測正常螺栓間接判斷螺栓缺失時,由于鋼結(jié)構(gòu)螺栓連接節(jié)點螺栓數(shù)量較多,又限于大部分服務(wù)器的計算性能,目標檢測模型在訓練和測試時圖像分辨率一般不會太高,造成單個螺栓目標不是很顯著,容易與背景的一些其他類似特征混淆,造成模型將螺栓缺失區(qū)域特征或污漬特征等誤檢成螺栓,間接造成缺陷的漏檢。針對上述問題,可在低分辨率螺栓目標檢測時將閾值降低,保證不漏檢正常螺栓,然后將所有單體螺栓區(qū)域在原始高清圖像提取出來,再經(jīng)過高精度二分類卷積神經(jīng)網(wǎng)絡(luò)模型剔除掉誤檢目標,從而提高螺栓辨識精度。

(2)螺栓松動檢測的前提是要將當前采集圖像的視角轉(zhuǎn)換成與標準螺栓連接節(jié)點圖像相同的視角后再進行比對,所采用的方法為圖像處理技術(shù)中常用的透視變換[69]方法,而如何自動準確地獲取透視變換四個參考點是本方案成功與否的關(guān)鍵。在未來的研究中,針對螺栓節(jié)點的特征,即無論是螺栓位置信息還是節(jié)點板信息都可以提供可靠的固定位置信息,也都可以作為透視變換的參考點。

(3)基于銹蝕顏色特征的鋼結(jié)構(gòu)表面銹蝕檢測,關(guān)鍵在于排除掉非檢測區(qū)域近似顏色信息的干擾。未來的研究工作中,可進行針對性的研究,即:在圖像采集階段確保采集的數(shù)據(jù)具備用于深度學習的數(shù)據(jù)數(shù)量與質(zhì)量,然后通過圖像分割的方法準確地檢測到鋼結(jié)構(gòu)區(qū)域,并排除非鋼結(jié)構(gòu)區(qū)域的干擾。

(4)對于使用圖像分割的裂縫提取方法而言,在裂縫檢測過程中背景區(qū)域遠大于裂縫區(qū)域,造成樣本的不均衡,是裂縫識別需要解決的一個主要問題。未來的研究可以通過預過濾非目標背景區(qū)域的方式平衡圖像分割前景與背景區(qū)域數(shù)據(jù),提高裂縫區(qū)域的顯著性,從而提升裂縫識別的準確性;此外,后期還可進一步基于分類算法實現(xiàn)高效的滑動窗口判別算法,用于進行感興趣區(qū)域篩選工作。

4 結(jié)語

本文涉及到計算機視覺、人工智能、鋼結(jié)構(gòu)工程及缺陷識別等多學科交叉研究和應(yīng)用,面向表面缺陷診斷的工程需求,從圖像處理、算法研究、智能診斷等多個方面對鋼結(jié)構(gòu)表面缺陷智能識別的關(guān)鍵技術(shù)問題進行系統(tǒng)性的總結(jié)研究。目前的研究工作證明將人工智能技術(shù)引入土木工程診斷領(lǐng)域是可行的,同時從整體而言,技術(shù)還不完全成熟,尚有可以進一步研究和發(fā)展的空間。隨著計算機技術(shù)的不斷進步和相關(guān)研究工作的陸續(xù)開展,智能診斷技術(shù)會發(fā)展成為工程診斷行業(yè)的新領(lǐng)域。