吳智深,侯士通,黃 璽,黃 璜
(1.東南大學(xué)土木工程學(xué)院,江蘇,南京 211189;2.東南大學(xué)城市工程科學(xué)技術(shù)研究院,江蘇,南京 211189;3.日本茨城大學(xué)工學(xué)部都市系統(tǒng)工程系,茨城,日立 316-8511)
20 世紀起,土木工程領(lǐng)域的無損檢測技術(shù)開始發(fā)展。1969 年,英國土木工程師學(xué)會和國家無損檢測委員會首次召開了關(guān)于混凝土和木材的無損檢測大會,基本確立了無損檢測的原理和背景理論,但大部分技術(shù)仍處于實驗室階段,在工業(yè)中的應(yīng)用有限[1]。80 年代-90 年代,頻發(fā)的橋梁和隧道事故開始引起公眾關(guān)注,并加大了對無損檢測技術(shù)的需求。1998 年,為改善國家公路基礎(chǔ)設(shè)施,美國聯(lián)邦公路管理局成立了無損檢測實驗室,致力于先進無損檢測技術(shù)及系統(tǒng)的研究、開發(fā)和實施,并發(fā)布了超聲波無損檢測技術(shù)標準[2]及基于無人機的橋梁檢測報告[3]。2014 年,日本國土交通省制定了針對道路老化的檢測對策,在法律法規(guī)中明確了對無損檢測技術(shù)的需求[4],并在2019 年發(fā)布了《新技術(shù)運用指南》和《檢測技術(shù)性能目錄》[5-6],持續(xù)鼓勵學(xué)術(shù)界和工業(yè)界對無損檢測技術(shù)的研發(fā)。至今,日本仍在積極地向社會公開征集無損檢測技術(shù),以期進一步推動無損檢測技術(shù)發(fā)展。
我國土木工程領(lǐng)域的無損檢測技術(shù)在過去30 年飛速發(fā)展。在1992 年出版的《混凝土結(jié)構(gòu)工程施工及驗收規(guī)范》[7]中,首次明確提出無損檢測可作為結(jié)構(gòu)檢測的依據(jù)。1996 年,國家建筑工程質(zhì)量監(jiān)督中心出版了《混凝土無損檢測技術(shù)》,為該領(lǐng)域的研究和實踐提供了重要參考[8]。近年來,隨著無損檢測技術(shù)在實踐中的應(yīng)用發(fā)展,我國工程標準的出臺也從結(jié)構(gòu)的質(zhì)量檢測,如混凝土的強度、彈性系數(shù)等[9-10],擴展到更為精細的結(jié)構(gòu)損傷檢測,如混凝土內(nèi)部損傷中的空洞、剝離等[11-14]。進一步完善了混凝土結(jié)構(gòu)無損檢測技術(shù)體系,迅速的發(fā)展預(yù)示著無損檢測即將成為土木工程維護管理中重要的組成部分。
在實際的檢測中,無損檢測的目標不僅在于發(fā)現(xiàn)各種類型的結(jié)構(gòu)損傷,更在于實現(xiàn)損傷的量化分析,如確定損傷的位置與尺寸,并收集關(guān)于其物理和化學(xué)性質(zhì)的信息。通過對這些信息的深入分析,可以獲取劣化的過程和原因,從而制定有針對性的修復(fù)和維護方案。此外,這些數(shù)據(jù)也能夠用于評估結(jié)構(gòu)的承載能力,預(yù)測建筑物的耐久性和剩余壽命等。無損檢測技術(shù)根據(jù)其基本原理可分為聲學(xué)/振動、電磁和光學(xué)三類。不同檢測技術(shù)能夠應(yīng)對不同檢測需求,需要根據(jù)環(huán)境條件、結(jié)構(gòu)類型、材料性能、負載需求等,確定最佳的檢測策略,兼顧各類檢測技術(shù)的優(yōu)缺點,并全面考慮精度、效率和成本等因素。
聲學(xué)/振動方法主要利用聲波/超聲波在材料中傳播的特性,通過分析反射、折射、散射、衰減、頻率、空間分辨率等信息,檢測材料或結(jié)構(gòu)性能及完整性,主要包括敲擊法(Hammering Test)、沖擊回波法(Impact Echo, IE)和超聲波檢測(Ultrasonic Testing, UT)等。敲擊法通過敲擊物體表面,依據(jù)人工判斷反饋的聲音來檢測物體內(nèi)部狀態(tài)。例如:如果反饋的聲音清脆,通常意味著結(jié)構(gòu)完整;如果聲音沉悶,可能意味著存在裂縫或空洞。敲擊法的優(yōu)點在于原理直觀、操作簡便,因此大量應(yīng)用于實際工程中,是一種理想的初步篩查工具。然而,敲擊法也有其局限性[15-16]。首先,這種方法對操作員的經(jīng)驗和技術(shù)要求很高,因為判斷聲音的差異需要豐富的經(jīng)驗和良好的聽力;其次,由于它主要依賴于人的感知,可能受到個體差異的影響,造成結(jié)果的不一致;最后,傳統(tǒng)的人工敲擊對于深層或隱藏損傷的檢測能力相對較弱。
電磁方法是基于電介質(zhì)(非金屬材料)中電磁波傳播特性的一種檢測方法,包括雷達、電阻率法等。然而,電磁波的傳播速度會受到濕度的顯著影響,并且隨著頻率帶寬的不同,這種影響程度會有所變化。雷達法是一種通過發(fā)射電磁波并接收反射波來分析和評估被檢測結(jié)構(gòu)的內(nèi)部性質(zhì)和條件的無損檢測技術(shù),與超聲波技術(shù)在反射和傳輸配置上有相似之處。雷達法能對深度從數(shù)厘米到幾十厘米的范圍進行探測,生成直觀的二維或三維圖像,且可以在不需要物理接觸的情況下進行檢測。然而,雷達法對個別材料的檢測效果不佳,對數(shù)據(jù)的解讀需要專業(yè)經(jīng)驗,并會受到環(huán)境中其它電磁源的干擾[17-18]。
光學(xué)方法包括用于地形測量、繪圖、尺寸和形變測量的方法,如激光掃描法、激光振動儀和散斑干涉法等;直接記錄表面圖像的方法,如圖像處理法、主動和被動熱成像技術(shù)等;光譜分析方法,如激光誘導(dǎo)擊穿光譜法(Laser-induced breakdown spectroscopy, LIBS)等。圖像檢測技術(shù)已應(yīng)用于隧道混凝土支護結(jié)構(gòu)沉降監(jiān)測[19]、橋梁結(jié)構(gòu)變形監(jiān)測[20-21]、鋼筋混凝土建筑物結(jié)構(gòu)振動監(jiān)測[22-23]、水下混凝土結(jié)構(gòu)表面病害圖像檢測[24-25]等多領(lǐng)域。圖像處理法通過圖像獲取、預(yù)處理、增強、分割以及特征提取等,實現(xiàn)對潛在裂縫和損傷的識別和定位,對結(jié)構(gòu)變形和振動的監(jiān)測。例如,圖像處理法通過圖像獲取、預(yù)處理、增強、分割以及特征提取等,實現(xiàn)對潛在裂縫和損傷的識別和定位。裂縫圖像檢測技術(shù)具有非接觸性、實時性和高精度的優(yōu)點,適用于對高空、危險或難以到達區(qū)域的檢測,且能夠?qū)崟r開展檢測、快速發(fā)現(xiàn)裂縫、提升預(yù)警效率。然而,該方法對環(huán)境、硬件設(shè)備、操作員的專業(yè)水平要求較高[26-27]。
對于上述技術(shù)在實際工程環(huán)境中的應(yīng)用以及當(dāng)前的需求現(xiàn)狀,日本預(yù)應(yīng)力混凝土學(xué)會在2014 年對819 名來自建設(shè)咨詢公司、政府機構(gòu)以及高等教育機構(gòu)的專業(yè)檢測人員進行了一項深度的問卷調(diào)查[28]。在調(diào)查中,業(yè)界對混凝土檢測的工作重心主要集中在混凝土質(zhì)量、混凝土裂縫以及混凝土內(nèi)部損傷這三大領(lǐng)域。在對混凝土的強度和彈性系數(shù)等質(zhì)量因素進行測量時,專業(yè)人員更傾向于使用回彈法,這是一種經(jīng)過時間考驗,得到廣泛認可的可靠技術(shù)。然而,對于裂縫的寬度和長度的檢測,圖像處理技術(shù)的快速進步吸引了大量的關(guān)注。這種技術(shù)有潛力結(jié)合機器人、無人機等自動化技術(shù),以減少實際工程檢測中的人力和物力消耗。再者,在對混凝土空洞和剝離等內(nèi)部損傷進行檢測時,傳統(tǒng)的敲擊法仍是專業(yè)技術(shù)人員的首選,其使用人數(shù)甚至超過了使用雷達法、沖擊回波法等其他檢測方法的總和。這種方法傳統(tǒng)由于操作簡單,適用性強,依然在檢測的第一線活躍。
不僅如此,美國混凝土協(xié)會(American Concrete Institute, ACI)在2018 年發(fā)布了一份關(guān)于大型結(jié)構(gòu)中混凝土使用評估的實踐報告[29],報告中指出聲波/振動類的檢測技術(shù)可以用作評估大型結(jié)構(gòu)時的損傷檢測技術(shù)。2019 年,由美國運輸部授權(quán)建立的快速橋梁施工技術(shù)—大學(xué)交通中心(Accelerated Bridge Construction University Transportation Center,ABC-UTC)發(fā)布了一部無損檢測技術(shù)方法的選擇指南[30]。該指南強調(diào)在選擇無損檢測技術(shù)時應(yīng)考慮的多個關(guān)鍵因素,如技術(shù)的可靠性和可重復(fù)性、結(jié)果的準確性和解讀的易用性、特定損傷的檢測方法的選擇、無損檢測技術(shù)的優(yōu)點和限制以及成本因素。
在無損檢測的技術(shù)發(fā)展過程中,一篇關(guān)于混凝土聲學(xué)無損檢測技術(shù)的回顧指出[31],盡管現(xiàn)有技術(shù)已取得了顯著的進步,大多技術(shù)在實驗室環(huán)境下的誤差已低于20%,但由于鋼筋混凝土結(jié)構(gòu)的復(fù)雜性,當(dāng)技術(shù)在現(xiàn)實環(huán)境中使用時,其精度可能會進一步降低,甚至低于原有準確率的80%。此外,一份關(guān)于混凝土覆蓋層檢測的技術(shù)評估提到[32],目前的檢測技術(shù)只能針對特定類型的損傷,即單一的檢測方法難以同時應(yīng)對多種損傷。這種局限性在一份混凝土橋面的無損評估報告中得到了進一步的證實[33]。報告指出,歐美、日本等先進國家的結(jié)構(gòu)檢測技術(shù)仍處于不成熟的階段,甚至出現(xiàn)接受評估的七種技術(shù)同時無法檢測到已知損傷的情況,技術(shù)上尚需大幅度提升。值得關(guān)注的是,我國在過去30 年里,基礎(chǔ)設(shè)施建設(shè)得到了快速發(fā)展,未來需要檢測的結(jié)構(gòu)數(shù)量將非常龐大。而混凝土的內(nèi)部損傷種類繁多,損傷深度從結(jié)構(gòu)表面到內(nèi)部都各不相同。在這種情況下,僅依賴人工方法來應(yīng)對這一挑戰(zhàn)顯然是難以滿足需求的。因此,我們亟需尋找新的解決方案,以應(yīng)對日益增長的無損檢測需求。
綜上所述,盡管無損檢測技術(shù)正逐步提升,大量的檢測技術(shù)在建筑、橋梁、隧道等結(jié)構(gòu)的檢測評估中獲得了應(yīng)用,但仍存在諸多挑戰(zhàn),具體包括:1)無損檢測儀器多為人工手持,尚未與機器人、無人機結(jié)合,實現(xiàn)移動檢測,檢測效率低;2)檢測過程需依賴人工操作和經(jīng)驗判斷,客觀性差;3)針對多種類型損傷需要多種檢測技術(shù),單一方法的泛用性低。為此,作者團隊開發(fā)了一種針對鋼筋混凝土結(jié)構(gòu)的移動式精準檢測技術(shù),它包括了圖像識別和智能聲波兩種損傷識別方法,并研發(fā)了與之相對的移動檢測裝備,以識別多種混凝土結(jié)構(gòu)損傷,自動化完成對結(jié)構(gòu)的初檢。
作者團隊以實現(xiàn)混凝土損傷的自動化、全面且高效的檢測為研究目標,設(shè)計了一種移動式精準檢測系統(tǒng)(圖1),該系統(tǒng)由視覺檢測與敲擊聲波檢測兩個部分組成,以滿足混凝土損傷檢測的多元化需求。該系統(tǒng)利用視覺檢測技術(shù),從宏觀角度出發(fā),對混凝土的表面進行全面檢測,以識別定位可能的表面裂縫、剝落等宏觀損傷。進一步地,視覺檢測也能深入到細觀層次,對混凝土的細小裂縫進行定量檢測。其次,系統(tǒng)融入了敲擊聲波檢測技術(shù),這一技術(shù)的引入使得系統(tǒng)能夠?qū)炷恋膬?nèi)部結(jié)構(gòu)進行定量探測。敲擊聲波檢測可以識別到混凝土內(nèi)部的損傷,如空洞、剝離等,從而實現(xiàn)由宏觀到細觀,再到內(nèi)部損傷的全面精準檢測。
圖1 移動式精準檢測系統(tǒng)設(shè)計示意圖Fig.1 Conceptual design of a mobile precision detection system
基于圖像的損傷識別技術(shù)主要由兩個部分構(gòu)成。首先,在第一部分中作者團隊開發(fā)了一種用于宏觀病害定位的全景圖像拼接方法;其次,為了提高病害識別的準確率,提出了一種基于多尺度特征融合深度學(xué)習(xí)模型的病害識別方法。在第二部分中,作者團隊設(shè)計了一種基于分形的細觀裂縫識別方法,以便為損傷評估提供精確的裂縫數(shù)據(jù)。此外,開發(fā)了一種多尺度裂縫同步識別方法,以提高細小裂縫的識別精度和效率。
基于智能聲波的損傷識別技術(shù)針對混凝土材料復(fù)雜性及其內(nèi)部損傷多樣性的難點,作者團隊在傳統(tǒng)敲擊法的基礎(chǔ)上首創(chuàng)了變頻敲擊聲波理論。如圖2 所示,傳統(tǒng)人工敲擊通過激勵混凝土檢測區(qū)域共振發(fā)聲,從而通過聲學(xué)特性判斷損傷,在這個過程中,人工通過聽覺選擇最佳的激勵頻率,從而獲得最佳的判斷依據(jù)。為了保持不同損傷的檢測都處在最佳激勵頻率,作者研究團隊通過模擬這一人工檢測的行為,提出了一種基于自適應(yīng)激勵頻率匹配的智能選頻方法,該方法能夠根據(jù)具體的損傷情況選擇最佳的激勵頻率進行損傷識別,從而提高識別的準確性和效率。為了定量識別裂縫,作者團隊基于聲波物理特征,并結(jié)合頻譜特征機器學(xué)習(xí)模型,實現(xiàn)了裂縫寬度和深度的定量精確識別。同時,為了定量混凝土內(nèi)部損傷的深度與廣度,提出了一種基于動態(tài)頻譜特征的多尺度剝離深度定量識別方法,實現(xiàn)了對內(nèi)部損傷剝離的深度與廣度的定量識別。
圖2 智能變頻敲擊系統(tǒng)設(shè)計Fig.2 Design of intelligent variable-frequency hammering system
在移動檢測裝備方面,作者團隊提出了一種創(chuàng)新的移動敲擊檢測系統(tǒng)[34],實現(xiàn)了移動式、自動化的敲擊檢測,其主要特性包括高穩(wěn)定性、高效率以及客觀的聲學(xué)數(shù)據(jù)。首先,設(shè)計了一個配備有變頻作動裝置的變頻敲擊控制系統(tǒng),該系統(tǒng)能夠以每秒1 次~15 次的頻率進行自動變頻敲擊,并保持其穩(wěn)定性。接著,這個變頻敲擊控制系統(tǒng)被安裝在經(jīng)過運動學(xué)設(shè)計的機器人手臂上,通過與系統(tǒng)動態(tài)結(jié)合,利用視覺相機傳輸運動坐標自動規(guī)劃敲擊路徑,從而實現(xiàn)高效的移動和敲擊。
為了能夠記錄移動檢測設(shè)備的檢測位置,移動設(shè)備使用了全球定位系統(tǒng)(Global Positioning System,GPS)定位模塊傳回位置坐標,然而GPS 有多種影響精度的誤差源,包括大氣條件變化、多路徑和時鐘差異等[35-36]。這些誤差源各自在不同的時間范圍內(nèi)產(chǎn)生影響。例如,多徑效應(yīng)本質(zhì)上是相對靜態(tài)的,只有在環(huán)境發(fā)生重大變化情況下才有可能會快速變化[37]。因此,作者團隊基于本移動系統(tǒng)開發(fā)了一種移動檢測位置校正方法(圖3)。首先利用裝備攜帶的深度相機對結(jié)構(gòu)工程控制點進行視覺定位(圖4),獲得檢測設(shè)備與已知(xm,ym)的工程控制點之間的相對距離L,然后通過計算得到設(shè)備的真實位置(x0,y0),按照式(1)、式(2)計算校正坐標。
圖3 檢測中的位置坐標校正流程Fig.3 Procedure for position coordinate calibration in detection
圖4 基于定位工程控制點和GPS 數(shù)據(jù)的檢測位置估計Fig.4 Estimation of detection location based on control points and GPS data
式中:xgps、ygps為定位工程控制點時的GPS 傳回坐標;xtgps、ytgps指當(dāng)前時間t接收到的GPS 坐標;xt、yt指當(dāng)前時間t的校正坐標。
3.1.1 基于多序列圖像的橋梁梁底全景圖像拼接方法
圖像拼接技術(shù)最早出現(xiàn)在遙感技術(shù)領(lǐng)域,隨著數(shù)字攝影技術(shù)和計算機技術(shù)的發(fā)展,圖像拼接技術(shù)被廣泛應(yīng)用于民用、醫(yī)療、航空等多個領(lǐng)域。圖像拼接技術(shù)主要包含圖像配準和圖像融合兩方面。在圖像配準領(lǐng)域中,匹配方法主要基于頻域、區(qū)域和特征三類?;谔卣鞯膱D像匹配具有魯棒性高、速度快的優(yōu)點,是研究的熱點。MORAVEC[38]首次提出了興趣點的概念。HARRIS 等[39]改進了MORAVEC 的算法,計算圖像的微分算子并構(gòu)造Harris 矩陣,進而通過圖像特征點檢測角點。Harris算子的優(yōu)點是具有良好的旋轉(zhuǎn)不變性和光照不變性。LOWE[40]提出尺度不變特征變換(Scale Invariant Feature Transform, SIFT)匹配算法,該算法解決了算子不具有尺度不變性的問題。RUBLEE 等[41]提出了ORB(Oriented FAST and Rotated BRIEF)算法,該算法將FAST 特征點和BRIEF 描述子相結(jié)合,速度比SURF 算法更快,但缺少尺度不變性。圖像融合主要包括圖像空間變換和重疊區(qū)域融合。ZARAGOZA 等[42]提出了APAP(As-projective-aspossible Image Stitching With Moving Dlt)的拼接方法。APAP 算法將圖像分割處理,每格對應(yīng)相應(yīng)的單應(yīng)性矩陣,使圖像局部基本一致,實現(xiàn)圖像的無縫拼接。經(jīng)過大量學(xué)者的深入研究,圖像拼接技術(shù)逐漸成熟,但對于在某些特定應(yīng)用的序列圖像全景圖像拼接來說,除了局部圖像的拼接質(zhì)量外,如何在不損失圖像拼接質(zhì)量的同時保證大量圖像拼接的速度也是圖像拼接技術(shù)應(yīng)用的關(guān)鍵問題。
圖像拼接整體處理流程如圖5 所示。以兩張圖像的拼接為例,采用中值濾波對圖像進行去噪處理,然后采用伽馬校正對圖像灰度分部進行調(diào)整獲得處理后的圖像。首先,采用Harris 角點識別算法對圖像進行特征識別,考慮到將要拼接的照片視野尺寸接近,故簡化此步驟,僅在原圖提取特征點并采用自適應(yīng)非極大值抑制算法對所有識別出來的特征點進行篩選。接著,對所有特征點進行描述,對圖像做適度的高斯模糊,以特征點為中心,取一定像素的區(qū)域?qū)⑵浣挡蓸由梢粋€高維歸一化向量,用該向量作為該特征點的特征描述子,完成兩幅圖像所有提取出來的特征點描述。然后,采用RANSAC(Random Sample Consensus)算法,在第1 幅圖像中,每次抽取一定數(shù)量特征點,通過特征描述子在第2 幅圖像中找出配對的相應(yīng)特征點,并計算第2 幅圖像相對于第1 幅圖像的單應(yīng)性矩陣,并統(tǒng)計配對點的個數(shù),重復(fù)此步驟N次,得到配對點對最多的單應(yīng)性矩陣將其作為最終的透視變換矩陣。最后,根據(jù)最佳透視變換矩陣,對齊重疊區(qū)域并采用線性融合完成重疊區(qū)域的自然過渡。
圖5 多序列圖像拼接技術(shù)路線及原理Fig.5 Principle of sequence image stitching
3.1.2 基于多尺度特征融合深度學(xué)習(xí)模型的病害識別方法
Deeplabv3+是一種常用的語義分割模型,由Google 于2018 年提出[43],是基于深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Network)的改進版本。近年來,語義分割模型在圖像分割任務(wù)中取得了顯著的進展,并且被廣泛應(yīng)用于各種領(lǐng)域,包括計算機視覺、自動駕駛、醫(yī)學(xué)圖像分析、地圖制作和解譯等。FU 等[44]在DeepLabv3+網(wǎng)絡(luò)結(jié)構(gòu)中引入了密集連接的空間金字塔池化模塊,使網(wǎng)絡(luò)能夠獲得更密集的像素采樣,從而增強了網(wǎng)絡(luò)提取細節(jié)特征的能力。DANG 等[45]利用計算機視覺技術(shù)和深度學(xué)習(xí)實現(xiàn)磚石墻的自動裂縫分割和真實裂縫長度測量。BIANCHI 等[46]對所收集到的多樣數(shù)據(jù)進行了提煉,開發(fā)了四個高質(zhì)量、易于擴展、可公開訪問的數(shù)據(jù)集,并使用最先進的模型進行了測試,可支持典型的橋梁檢查任務(wù)。KIM 等[47]對比了Pointnet、PointCNN 和動態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)(DGCNN)這3 種深度學(xué)習(xí)模型對橋梁組件進行分類,有助于識別橋梁的損傷是否影響到結(jié)構(gòu)上重要的主要構(gòu)件。丁威等[48]提出了基于殘差網(wǎng)絡(luò)和遷移學(xué)習(xí)的病害分類識別方法,通過構(gòu)建多屬性病害數(shù)據(jù)集,利用遷移學(xué)習(xí)優(yōu)化殘差網(wǎng)絡(luò)模型,提出混凝土結(jié)構(gòu)健康狀態(tài)識別的多個任務(wù),實現(xiàn)了對橋梁結(jié)構(gòu)墩柱剪切破壞、銹蝕、堿骨料反應(yīng)裂縫等大范圍宏觀病害類別檢測。倪有豪等[49]針對橋梁銹蝕數(shù)據(jù)難獲取、銹蝕病害數(shù)據(jù)集小的問題,基于生成對抗網(wǎng)絡(luò)(GAN)對橋梁銹蝕數(shù)據(jù)集進行擴增,并采用IS 和K 均值聚類算法驗證,實現(xiàn)了橋梁結(jié)構(gòu)表面大面積片狀銹蝕區(qū)域分割,為橋梁銹蝕精準識別與分割提供了技術(shù)支撐。阮小麗等[50]為對橋梁結(jié)構(gòu)表面混凝土掉塊、露筋進行定量分析,采用深度學(xué)習(xí)算法Deeplabv3+模型對橋梁結(jié)構(gòu)表面病害進行語義分割,將各病害圖像語義分割結(jié)果轉(zhuǎn)化為2 幅二值化圖像,然后統(tǒng)計二值化圖像中連通區(qū)域的數(shù)量、面積等參數(shù),最后根據(jù)像素標定值得出掉塊、露筋缺陷區(qū)域的實際物理尺寸,實現(xiàn)了大面積掉塊和露筋面積的準確識別和測量。
基于Deeplabv3+的混凝土表觀破損和銹蝕檢測量化整體技術(shù)由三個模塊組成,整體技術(shù)路徑流程如圖6 所示。分別是破損和銹蝕的分割檢測模塊、破損和銹蝕分割結(jié)果的后處理模塊以及破損和銹蝕的量化分析模塊[51]。待檢測圖片經(jīng)過破損和銹蝕的分割檢測模塊,得到了關(guān)于破損和銹蝕的三值化圖像;再經(jīng)過破損和銹蝕分割結(jié)果后處理模塊,消除噪點;經(jīng)過破損和銹蝕的量化分析,獲得破損或銹蝕的面積以及相對應(yīng)的外接矩形框。最后進行病害定位分析,并可視化病害空間分布。
圖6 破損和銹蝕量化技術(shù)路徑流程圖Fig.6 Technical route of damage and rust quantification
1)破損和銹蝕分割檢測:對原始圖片進行下采樣縮放,將該縮放后的圖片輸入到Deeplabv3+網(wǎng)絡(luò)中,得到相應(yīng)的分割結(jié)果。將分割結(jié)果上采樣至原始圖片大小,從而獲得橋梁梁底破損和銹蝕的分割結(jié)果。
2)破損和銹蝕分割結(jié)果后處理:識別模型誤報主要體現(xiàn)在背景亂石、黑色枝干、馬克筆、混凝土表面黑色斑點和銹蝕邊緣的破損等場景中,且其中以銹蝕誤報居多。針對小區(qū)域的黑色斑點誤報,利用形態(tài)學(xué)腐蝕膨脹算法進行處理[52];針對銹蝕邊緣的破損誤報,采用一種基于破損和銹蝕的統(tǒng)計特性的策略。具體來說,在同一塊病害區(qū)域內(nèi),如果銹蝕的面積大于破損面積的三倍,則當(dāng)前區(qū)域內(nèi)的破損預(yù)測結(jié)果將被視為誤報,從而剔除掉破損誤報。
3)破損和銹蝕量化分析:將破損和銹蝕病害嚴重程度的量化指標分為破損和銹蝕的面積和外接矩形框。在后處理模塊中對分割結(jié)果進行輪廓提取,以獲取外接矩形框和對應(yīng)的輪廓信息,根據(jù)輪廓信息計算破損或銹蝕的面積,獲得破損或銹蝕的量化結(jié)果。
4)病害定位分析:當(dāng)所有需要拼接的序列圖像總數(shù)為偶數(shù)時,所有圖像最終都轉(zhuǎn)換至第1 張圖像坐標系里,第2 張圖像相對于第1 張圖像的轉(zhuǎn)換矩陣為H21,第4 張圖像相對于第3 張圖像轉(zhuǎn)換矩陣為H43,以此類推,最終可以計算得到第8 張圖像相對于第1 張基準圖像的轉(zhuǎn)換矩陣H81。那么第8 張圖像上的病害在全景圖像上的位置即為像素坐標與該圖像相對于基準圖像的變換矩陣的乘積。在確定了病害在全景圖像中的相對位置后,即可定位出病害在實際橋梁梁底的大致位置。
基于深度學(xué)習(xí)的病害檢測方法可大幅提升圖像中病害的識別和輪廓分割準確率,該領(lǐng)域已受到國內(nèi)外大量學(xué)者關(guān)注。加拿大CHA 等[27]率先將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于混凝土裂縫檢測,其建立了5 層CNN 模型對裂縫進行識別,并利用滑窗檢測對裂縫進行粗略的定位,利用4 萬張裂縫照片訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò),從而表現(xiàn)出相較于傳統(tǒng)的CANNY[53]和SOBEL[54]邊緣檢測算法,卷積神經(jīng)網(wǎng)絡(luò)在裂縫識別方面擁有更高的準確率,對復(fù)雜環(huán)境有更好的適應(yīng)性。LI 等[55]提出多尺度的DBCC 裂縫分類模型,并采用圖像金字塔和感興趣區(qū)域(Region of Interest, ROI)對窗口滑動算法進行改進來對橋梁裂縫進行檢測,取得了較好的準確性和魯棒性。但這種先分類后滑窗檢測的方法是兩個獨立的流程,并不是端對端的,效率較低。后期,隨著目標檢測技術(shù)的發(fā)展,分類和區(qū)域定位被統(tǒng)一到一個流程,大大提高了檢測效率。吳賀賀等[56]使用Faster R-CNN網(wǎng)絡(luò)利用區(qū)域生成網(wǎng)絡(luò)(Region proposal network,RPN)代替滑動窗口法進行候選產(chǎn)生候選區(qū)域來對隧道圖像進行裂縫檢測;該方法能夠弱化隧道圖像質(zhì)量問題,實現(xiàn)了對隧道圖像裂縫的快速檢測和準確定位與標注。同時,在病害分割層次,嘗試將分類網(wǎng)絡(luò)的全連接層換成卷積層,對低分辨率的特征圖進行反卷積上采樣,生成與原圖像分辨率相同的概率圖,可達到像素級的分類效果。JI等[57]采用U-Net 卷積網(wǎng)絡(luò)實現(xiàn)了像素級、小樣本的裂縫檢測模型,該方法使用多層卷積自動提取裂縫特征,并利用淺層網(wǎng)絡(luò)與深層網(wǎng)絡(luò)疊加的方法實現(xiàn)裂縫局部特征與抽象特征的融合,從而保留裂縫細節(jié)特征,與CrackIT、MPS、CrackForest相比檢測準確性大大提升。
為了獲取更高精度的病害識別結(jié)果,作者團隊構(gòu)建了空間基準點自動追蹤融合和亞像素級病害分割的全景圖像快速拼接及表觀病害厘米級定位方法。亞像素級病害分割方法主要由像素級粗分割模塊及輪廓精細化處理模塊兩部分組成。像素級粗分割模塊設(shè)計了基于滑動窗口的圖像處理策略,并在顯著性檢測分割模型U2net 基礎(chǔ)上[58],融合了邊緣增強注意力機制,通過設(shè)計模型分支將病害邊緣特征和圖片全局特征進行融合,增加邊緣監(jiān)督信息,提高粗分割結(jié)果的檢出率和準確率。輪廓精細化處理模塊在粗分割結(jié)果的基礎(chǔ)上,利用雙線性插值法對圖像進行上采樣插值放大,構(gòu)建亞像素級的圖像尺度信息,并將粗分割結(jié)果和原始圖像進行前景信息融合,設(shè)計基于Kmeans 的像素聚類方法[59]對粗分割前景像素進行聚類和處理,進而獲取病害的亞像素級精細化邊緣信息。如圖7所示,本文結(jié)合多尺度特征融合的識別方法和無人機圖像采集技術(shù),采用無人機對梁底進行圖像采集。通過圖像切割、增強和多尺度特征融合,最終利用亞像素級邊緣提取和像素聚類的方法,識別梁底的病害信息,可快速、準確、有效地得到梁底測點的病害特征。
3.2.1 基于分形的三階段細小混凝土裂縫寬度自動識別方法
在初步完成宏觀損傷圖像的識別后,需要對裂縫進行更精細的細觀定量分析。雖然圖像語義分割在實際應(yīng)用中已廣泛用于自動檢測混凝土裂縫,但當(dāng)混凝土圖像中的細小裂縫(裂縫寬度<0.1 mm)的邊緣信息稀疏時,訓(xùn)練的模型往往難以進行有效識別。此外,復(fù)雜的混凝土圖像背景也會導(dǎo)致頻繁的誤檢。因此,為了提升檢測效率并減少誤檢率,作者團隊提出了一種分三階段進行的細小混凝土裂縫寬度自動識別方法。
在第1 階段,采用圖像分割技術(shù)實現(xiàn)了全裂縫骨架信息的識別。比較并分析了主要的圖像分割架構(gòu),如PSPNet、SegNet、U-Net 以及Res-U-Net的性能。結(jié)果表明:Res-U-Net 基礎(chǔ)上的裂縫骨架分割對解決細小混凝土裂縫在數(shù)據(jù)學(xué)習(xí)中的邊界損失問題非常適合,并且在細小裂縫檢測準確率(寬度<0.1 mm)方面表現(xiàn)最佳。在第2 階段,作者團隊結(jié)合了一種基于分形維數(shù)(FD)的誤檢剔除過程,以識別真正的裂縫并排除誤檢。實驗結(jié)果顯示:像線狀曲線、陰影和表面污漬等誤檢可以被有效剔除,經(jīng)過剔除誤檢后,匹配率從0.6476 提升至0.8351。最后,在第3 階段,計算了裂縫骨架最大寬度<0.1 mm、裂縫寬度在0.1 mm~0.2 mm 之間以及裂縫寬度>0.2 mm 的分形維數(shù)特征。實驗結(jié)果表明:這三個裂縫寬度范圍的分形維數(shù)特征的擬合值適用于裂縫的識別以及裂縫寬度的定量特征化。
3.2.2 基于目標檢測的多尺度裂縫同步識別方法
作者團隊在后續(xù)的研究中注意到,雖然語義分割的裂縫檢測可以從像素級別進行裂縫提取,但由于混凝土表面的裂縫形狀和分布復(fù)雜多變,檢測模型通常缺乏學(xué)習(xí)與位置信息相關(guān)的特征。因此,在全景圖像中存在多種寬度裂縫的情況下,識別速度可能下降,細小裂縫的誤檢率也可能增加。為了解決這個問題,作者團隊提出了一種結(jié)合目標檢測模型和語義分割的多尺度裂縫檢測方法,以提高多尺度裂縫同步檢測的效率和準確性。
首先,對目標檢測技術(shù)在裂縫識別中的適用性進行了深入的比較和分析,并通過優(yōu)化特征提取器的替換和邊界框的計算方法,為細小裂縫設(shè)計了適當(dāng)?shù)哪繕藱z測邊界框。提出了一種基于目標檢測的高分辨率圖像裂縫提取方法,這種方法極大地減少了檢測的漏洞(圖8)。其次,構(gòu)建了一個能在像素級別提取裂縫的語義分割模型。與現(xiàn)有的方法相比,這種方法在交并比準確率上平均提升了8%,并且將4000 px×4000 px 的大尺寸圖像的同步檢測時間縮短了75%以上。通過這種綜合的裂縫檢測方法,作者團隊不僅提高了裂縫檢測的準確性,同時也顯著提升了檢測的效率,為混凝土損傷的全方位自動化檢測提供了有力支持。
敲擊檢測的聲學(xué)判定方法研究通常集中在分析單頻敲擊的聲學(xué)特性,通過比較不同敲擊檢測區(qū)域產(chǎn)生的聲波差異來確定損傷情況。經(jīng)作者團隊研究發(fā)現(xiàn)當(dāng)檢測區(qū)域只包含一種類型的損傷時,單頻敲擊的激勵效果存在差異,但是當(dāng)檢測區(qū)域存在多種類型的損傷時,單頻的方法已不足以區(qū)分各種類型的損傷。
與傳統(tǒng)的敲擊法不同,變頻敲擊聲波法并不直接依賴聲學(xué)處理,而是通過對檢測區(qū)域進行不同頻率的敲擊激勵,從而顯著增強了對損傷識別的有效信息。如圖9 所示,展示了利用變頻敲擊方法獲取的聲學(xué)數(shù)據(jù)示意圖。為了更準確地識別復(fù)雜損傷,通過改變敲擊頻率產(chǎn)生的激勵效應(yīng),可以獲得最大面積的陰影部分,從而提供了最大量的對比信息。這種最佳激勵頻率,稱之為卓越頻率?;诖?,HUANG 等[60]提出了一種基于變頻敲擊聲波的識別方法。通過比較和分析不同激勵頻率下的頻率特性,確定最佳激勵條件。利用變頻敲擊成功識別混凝土結(jié)構(gòu)中的多種損傷類型,準確率達到97.8% ,高于單頻敲擊的識別結(jié)果。
圖9 不同頻率敲擊方式下激勵效果的區(qū)別示意圖Fig.9 Schematic diagram of the differences in excitation effects under different frequency hammering methods
針對結(jié)構(gòu)內(nèi)部的細小裂縫、內(nèi)部空洞、脫層等損傷,單一的檢測方法往往難以對所有損傷的保持同等的敏感度,導(dǎo)致誤檢的概率增加。在此背景下,HUANG 等[61]完善了變頻敲擊聲波法中對于最佳激勵條件的智能化選擇,開發(fā)了一種基于自適應(yīng)激勵頻率匹配法的內(nèi)部損傷檢測方法。
通過之前的研究發(fā)現(xiàn),不同的損傷識別對不同的激勵頻率有一定的傾向性,即不同的激勵條件會導(dǎo)致與聲學(xué)特征相對應(yīng)的不同激勵效果。因此,確定損傷類別與其對應(yīng)的最佳激勵頻率,即卓越頻率的相關(guān)性仍然是一個挑戰(zhàn)。為開發(fā)針對不同類型內(nèi)部損傷的自適應(yīng)調(diào)整激勵頻率的敲擊模式,作者團隊分析了已發(fā)表的研究中具有不同激勵頻率和損傷類型的聲音數(shù)據(jù),使用交叉相關(guān)模型揭示了不同激勵頻率范圍內(nèi)與損傷類型相關(guān)的因素。研究發(fā)現(xiàn)聲學(xué)特征,如不同頻段的峰值頻率、頻譜中心點和頻譜,具有通用的聲學(xué)相關(guān)性,可以作為激勵頻率和損傷類型之間相關(guān)性的訓(xùn)練數(shù)據(jù)。圖10 說明了根據(jù)可能的損傷類型對卓越頻率進行自適應(yīng)匹配的基本原理。基于此,作者團隊提出了一種自適應(yīng)激勵頻率匹配方法,以提高自動敲擊檢測在多類損傷識別中的準確性。提出的方法分為兩個階段(圖11):最佳激勵頻率的自適應(yīng)匹配和基于聲學(xué)特征的損傷識別。首先,通過從低到高三個典型激勵頻率進行預(yù)檢測;然后,根據(jù)三個激勵頻率的聲音特征與損傷之間的相關(guān)性進行匹配;最后,通過縮小激勵頻率范圍得到卓越頻率。該方法能夠在檢測過程中對每種損傷保持高敏感度的卓越頻率進行識別。
圖10 自適應(yīng)激勵頻率匹配原理Fig.10 Principle of adaptive excitation frequency matching
圖11 自適應(yīng)激勵頻率匹配方法的流程圖Fig.11 Flowchart of the adaptive excitation frequency matching method
在自動化識別裂縫的過程中,圖像處理法能有效地提取裂縫的形態(tài)特征。然而,由于環(huán)境因素的影響,此方法難以準確判斷裂縫的深度。因此,針對混凝土損傷中的細小裂縫問題,ALHEBRAWI等[62]提出了一種基于聲波物理特征的敲擊聲波裂縫識別方法。首先,通過對敲擊聲波進行快速傅里葉變換,獲取到頻譜的最大特定頻率,也就是主導(dǎo)頻率Df,分析了不同混凝土裂縫寬度和深度在敲擊下的主導(dǎo)頻率差異。實驗結(jié)果表明:盡管Df可以作為是否存在裂縫的判斷標準,但它卻無法對裂縫的寬度和深度進行分類。因此,CHENG 等[63]在此引入了頻率特征量Vf,與Df相比,Vf更能描述頻譜的整體分布,而不僅僅是單一的頻率特征值。使用Vf進行的檢測結(jié)果表明:該特征能夠用于分類深度小于20 mm 的裂縫,且裂縫的最小寬度可以達到0.2 mm。這種基于聲波物理特征的敲擊聲波裂縫識別方法,提供了一個裂縫深度和寬度的分類方法,進一步增強了混凝土裂縫識別的全面性。
如4.3 節(jié)所述,ALHEBRAWI 等[62]首先提出了一種基于物理的方法用于檢測裂縫的寬度和深度,但該方法的深度檢測精度僅為20 mm,無法滿足混凝土表層以下的裂縫檢測,在此基礎(chǔ)上,其提出了一種基于支持向量機的裂縫寬度和深度檢測模型,以提高對裂縫深度的識別能力。
在模型的構(gòu)建過程中,我們首先采用了梅爾頻率倒譜系數(shù)作為特征向量輸入支持向量機。梅爾頻譜系數(shù)是一種有效的敲擊聲波特征,已經(jīng)被廣泛應(yīng)用于管道、橋面等的敲擊法檢測中[37]。然后,我們建立了一個基于傳統(tǒng)機器學(xué)習(xí)的識別模型,并將其與模糊規(guī)則、梯度提升樹等其他機器學(xué)習(xí)方法進行了對比分析。最后,實驗結(jié)果顯示,提出的方法能夠有效地檢測出深度達40 mm 的裂縫,并能區(qū)分0.05 mm、0.1 mm 以及0.2 mm 寬的裂縫。這種基于支持向量機的裂縫寬度深度檢測模型,不僅提升了裂縫深度的識別范圍,同時也增加了裂縫寬度的識別精度,為混凝土裂縫的更精確識別提供了有效的方法。
在對混凝土內(nèi)部損傷定性檢測以及表面損傷定量檢測進行研究的同時,作者團隊還深入研究了內(nèi)部損傷剝離的定量檢測所面臨的挑戰(zhàn)。實際上,不同形態(tài)的損傷在敲擊激勵下產(chǎn)生的聲波存在差異。然而,同一類型的損傷在敲擊激勵下產(chǎn)生的聲波大致相同。因此,依賴單一頻率敲擊得到的聲波數(shù)據(jù)進行混凝土內(nèi)部剝離的定量分析是有挑戰(zhàn)性的。
針對這一問題,作者團隊以變頻敲擊聲波法為基礎(chǔ),提出了一種混凝土內(nèi)部損傷深度檢測方法。該方法依賴于通過變頻敲擊聲波法獲取的聲學(xué)信號變化與內(nèi)部剝離深度之間的關(guān)聯(lián)性,通過聲波的基頻分布分析了內(nèi)部剝離損傷在單頻敲擊與變頻敲擊下的不同。如圖12 所示,深度100 mm與200 mm 的剝離損傷在單頻與變頻敲擊下的激勵對比,可以看到單頻敲擊下,兩種損傷的基音分布高度重合,而變頻敲擊得到的基音分布更能區(qū)分兩種深度的剝離,因此變頻敲擊所激勵得到的聲波數(shù)據(jù)能夠通過有效組合成功區(qū)分開不同深度的剝離損傷(圖13)。然后,利用基于VGG-16 的簡單深度學(xué)習(xí)架構(gòu),構(gòu)建了一個剝離深度檢測模型(圖14),其特征訓(xùn)練數(shù)據(jù)包含描述變頻敲擊過程中不同深度內(nèi)部損傷的動態(tài)聲譜圖像。如圖15所示,作者團隊制作了一種包含四種深度的混凝土試件,同時比較了在不同敲擊方式下的檢測正確率。如表1 所示,所提出方法,即基于變頻敲擊的動態(tài)梅爾頻譜圖像的檢測模型準確率高達100%,在單次檢測范圍由100 mm×150 mm 縮小至50 mm×150 mm,需要分類的種類增加的情況下,其準確率(98.15%)依舊高于單頻敲擊的檢測結(jié)果(83.87%)。經(jīng)過實驗驗證,所提出的方法能夠?qū)炷羷冸x的深度與范圍進行定量檢測,剝離檢測最小識別范圍為0.05 m,最大檢測深度達到0.4 m,深度分辨率為0.1 m。
表1 不同敲擊方式下的正確率比較Table 1 Comparison of accuracy under different hammering methods
圖12 深度100 mm 與200 mm 的剝離損傷在單頻敲擊與變頻敲擊下的激勵對比Fig.12 Comparison of excitation in delamination at depths of 100mm and 200mm under single-frequency impact and variable-frequency hammering
圖13 不同剝離深度在變頻敲擊下的動態(tài)頻譜變化率Fig.13 Dynamics spectrum variation rate under variablefrequency hammering for different delamination depths
圖14 基于變頻敲擊聲波法的深度定量檢測方法Fig.14 Depth detection method based on variable-frequency hammering test
圖15 包含多尺度剝離損傷的混凝土試件示意圖與實物圖Fig.15 Schematic diagram of concrete specimens containing multi-scale delamination and physical image
本文旨在結(jié)合國內(nèi)外的研究成果,對無損檢測技術(shù)的發(fā)展、分類和挑戰(zhàn)進行梳理和分析,介紹作者研究團隊在無損檢測方面的研究成果,主要結(jié)論如下:
(1)針對現(xiàn)有技術(shù)的不足,作者團隊設(shè)計了一種基于視覺檢測與敲擊聲波檢測的移動式精準檢測系統(tǒng)。該系統(tǒng)實現(xiàn)了宏觀病害的識別和定位—細觀裂縫的定量識別—內(nèi)部損傷的定性定量識別的鋼筋混凝土結(jié)構(gòu)全面檢測。并在此基礎(chǔ)上研發(fā)了一套包含定位功能的移動式精準檢測裝備。
(2)作者團隊針對鋼筋混凝土結(jié)構(gòu)表面的宏觀病害,構(gòu)建了空間基準點自動追蹤融合和亞像素級病害分割的全景圖像快速拼接及表觀病害厘米級定位方法。對于進一步的細觀裂縫定量識別,提出了全景圖像中0.05 mm~0.2 mm 多尺寸微細裂縫同步識別及真?zhèn)闻袆e的人工智能算法,相較于傳統(tǒng)語義分割裂縫識別技術(shù)效率提升75%。
(3)作者團隊針對混凝土內(nèi)部損傷檢測中人工和敲擊聲波損傷檢測技術(shù)需要全面精準-可移動-智能等多方面提升需求,首創(chuàng)了變頻敲擊聲波理論與基于自適應(yīng)激勵頻率匹配的智能選頻方法,發(fā)明建立了聲波及聲紋圖像特征人工智能算法,針對裂縫檢測,寬度為0.05 mm 時檢測最大深度可達40 mm,針對剝離檢測,最大深度可達400 mm,最小識別范圍為50 mm。