舒江鵬 李俊 馬亥波 段元鋒 趙唯堅

摘 要：基于圖像分析的裂縫自動檢測識別一直是橋梁結(jié)構(gòu)健康檢測的熱點問題之一。深度學(xué)習(xí)作為裂縫檢測的重要解決方法，需要大量數(shù)據(jù)支持。公開數(shù)據(jù)集提供的小尺寸裂縫圖像不足以解決超大尺寸細長裂縫圖像的檢測問題。提出一個基于特征金字塔深度學(xué)習(xí)網(wǎng)絡(luò)的超大尺寸圖像中細長裂縫的檢測方法。通過對編碼器提取的4個不同層次的特征圖分別進行預(yù)測，網(wǎng)絡(luò)能夠?qū)崿F(xiàn)對細小裂縫的高精度分割。試驗使用120張大小為3 264×4 928像素的橋鋼箱梁表面裂縫圖像對特征金字塔網(wǎng)絡(luò)進行訓(xùn)練、測試;并將獲得的訓(xùn)練模型與通過雙線性插值方法縮放圖像至1 600×2 400像素和2 112×3 168像素兩種規(guī)格生成的數(shù)據(jù)集訓(xùn)練后的模型進行對比。結(jié)果表明：該方法在對比測試中能夠獲得最高的裂縫檢測交并比（IoU）為0.78，最低的Dice Loss為0.12。測試中，裂縫檢測圖像顯示，縮放圖像會導(dǎo)致部分裂縫信息的丟失，該方法能穩(wěn)定地保留裂縫信息，并實現(xiàn)復(fù)雜背景下超大尺寸圖像中細長裂縫的高精度自動檢測。

關(guān)鍵詞：裂縫檢測;深度學(xué)習(xí);超大尺寸圖像;特征金字塔網(wǎng)絡(luò)

中圖分類號：U446.2?? 文獻標志碼：A?? 文章編號：2096-6717（2022）03-0029-08

收稿日期：2021-04-28

基金項目：國家自然科學(xué)基金（U1709216）;國家重點研發(fā)計劃（2018YFE0125400）

作者簡介：舒江鵬（1987- ），男，博士，研究員，主要從事結(jié)構(gòu)智能檢測和評估，E-mail：jpeshu@zju.edu.cn。

Received：2021-04-28

Foundation items：National Natural Science Foundation of China （No. U1709216）; The National Key Research and Development Program of China （No. 2018YFE0125400）

Author brief：SHU Jiangpeng（1987- ）， PhD， professor， main research interests： inspection and assessment of structures， E-mail： jpeshu@zju.edu.cn.

Crack detection method based on feature pyramid network for super large-scale images

SHU Jiangpenga，b， LI Juna，c， MA Haiboa， DUAN Yuanfenga， ZHAO Weijiana

（a. College of Civil Engineering and Architecture; b. Center for Balance Architecture; c. The Architectural Design & Research Institute of Zhejiang University Co.， Ltd.， Zhejiang University， Hangzhou 310058， P. R. China）

Abstract： Automatic crack detection based on image analysis is a hot issue in bridge structure health inspection. Crack segmentation based on deep learning is a significant solution， which needs lots of database. The small-scale crack images of open datasets are not sufficient for detection of long and thin cracks of super large-scale image. The study proposes an automatic crack detection method for super large-scale images， based on feature pyramid network. Through four different feature maps in various sizes， the proposed network yields predictions， respectively， which means a highly precise crack segmentation. Experiments are carried on 120 steel box girder crack images in a resolution of 3 264 pixels×4 928 pixels. These images are used to train and test the network. The comparison study is conducted between the proposed method and the models trained with crack images resized into 1 600 pixels×2 400 pixels and 2 112 pixels×3 168 pixels with bilinear interpolation algorithm. The results show that our method can achieve the highest crack Intersection over Union （IoU） of 0.78， and the lowest Dice Loss of 0.12 in the comparison study. The predictions of crack images in testing indicate that resizing images sometimes result in the loss of crack information， and our method can maintain the detail of cracks and detect cracks of super large-scale images automatically and precisely.

Keywords： crack detection; deep learning; super large-scale images; feature pyramid network

裂縫作為橋梁早期損傷破壞的重要表征之一，及時發(fā)現(xiàn)并對其進行檢測是橋梁維護工作中的重點[1]。常規(guī)的人工勘測不僅存在檢查盲區(qū)，同時也需要耗費大量的人力物力，有時還存在安全隱患。隨著攝影、遙感、無人機等圖像采集技術(shù)的快速發(fā)展，基于數(shù)字圖像處理技術(shù)的裂縫檢測方法得到廣泛關(guān)注[2]。通過使用模糊多級中值濾波[3]、灰度矯正[4]、非下采樣輪廓波變換[5]等數(shù)字圖像處理技術(shù)去除裂縫圖像上的噪聲并優(yōu)化圖像質(zhì)量，裂縫的幾何特征和尺寸信息能夠被提取出來。在面對復(fù)雜光照、背景等外界因素時，傳統(tǒng)的數(shù)字圖像處理技術(shù)不能很好地消除干擾。張維峰等[6]綜合應(yīng)用了不同圖像處理算法開發(fā)的適用于橋梁缺陷較遠距離圖像的檢測分析軟件，在面對細小裂縫的檢測時也遇到了瓶頸。

隨著計算機領(lǐng)域深度學(xué)習(xí)的興起，橋梁裂縫圖像處理迎來了新的機遇和挑戰(zhàn)。眾多學(xué)者從實際情況出發(fā)，對數(shù)據(jù)方法、智能算法進行改進，提高了模型的分析能力，推動了人工智能在橋梁檢測應(yīng)用中的提高[7]。比如，Zhang等[8]將深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Network，DCNN）應(yīng)用到裂縫信息提取研究中，該算法展現(xiàn)出了比傳統(tǒng)方法更高的準確度。Zhang等[9]提出網(wǎng)絡(luò)CrackNet，能夠?qū)崿F(xiàn)裂縫的自動檢測提取。數(shù)據(jù)集作為數(shù)據(jù)驅(qū)動型深度學(xué)習(xí)算法的核心組成部分，也得到了廣泛的關(guān)注。服務(wù)于像素級別下橋梁裂縫檢測任務(wù)的公開數(shù)據(jù)集[10]包含了超過一萬張的裂縫圖像樣本，但這些圖像的尺寸都只有256×256像素。包括其他的公開數(shù)據(jù)集[11]，服務(wù)于裂縫檢測任務(wù)的裂縫圖像尺寸不超過500×500像素。在工程應(yīng)用中，使用高清相機或者無人機拍攝的圖像一般都會超過1 920×1 080（1 080 p）。一般認為，4k UHD（3 840×2 160）作為新的工業(yè)標準，視為高分辨率（High-Resolution）;而超過這一尺寸則為超大尺寸，或者是超高分辨率（Very High-Resolution）[12]。一些超大尺寸的裂縫圖像甚至?xí)^4 096×3 112[13]。另外，這些公開數(shù)據(jù)集中的圖像一般都是經(jīng)過挑選的小尺寸、裂縫特征明顯的圖像。在實際工程應(yīng)用中，高清相機拍攝獲取的裂縫圖像中的裂縫尺寸遠小于公開數(shù)據(jù)集或者試驗條件下拍攝的裂縫。

由Lin等[14]首次提出的金字塔型深度學(xué)習(xí)網(wǎng)絡(luò)（FPN）表現(xiàn)出了強大的圖像分割能力，并贏得了COCO 2016挑戰(zhàn)。其網(wǎng)絡(luò)結(jié)構(gòu)突出體現(xiàn)了對小目標檢測的優(yōu)勢。受Lin等工作的啟發(fā)，筆者提出一個基于特征金字塔深度學(xué)習(xí)網(wǎng)絡(luò)針對超大尺寸裂縫圖像的細長裂縫檢測方法。在金字塔型的網(wǎng)絡(luò)架構(gòu)下，采用特征提取效率更高的Se_resnext50_32×4d[15]編碼器，區(qū)別于傳統(tǒng)的圖像分割網(wǎng)絡(luò)，將編碼器提取的不同層次（共4個）特征圖分別進行預(yù)測，不同分辨率的特征圖得以保留。對于細小裂縫，更大分辨率的特征圖能夠提供更精確的裂縫幾何特征，同時，較小分辨率的特征圖提供了更深層的語義信息，能夠優(yōu)化細小目標的預(yù)測。不同尺寸裂縫特征圖最后通過一包含3×3卷積層的W運算進行疊加輸出統(tǒng)一尺寸的預(yù)測，避免產(chǎn)生混疊效應(yīng)。

該方法包括使用超大尺寸圖像的數(shù)據(jù)集構(gòu)建方法。針對細長裂縫的檢測特征，創(chuàng)新性利用特征金字塔深度學(xué)習(xí)網(wǎng)絡(luò)具備的多層識別能力以及識別小目標的優(yōu)勢，通過充分利用裂縫長細幾何特征，實現(xiàn)了對超大尺寸裂縫圖像進行像素級的裂縫檢測。

1 數(shù)據(jù)集構(gòu)建方法

數(shù)據(jù)集是基于深度學(xué)習(xí)的裂縫自動檢測方法的核心之一。為了充分獲取裂縫細長的幾何特征以及發(fā)揮深度學(xué)習(xí)網(wǎng)絡(luò)的特征提取能力，提出針對超大尺寸細長裂縫圖像的數(shù)據(jù)集構(gòu)建方法。該數(shù)據(jù)集的構(gòu)建方法包括兩個關(guān)鍵部分：訓(xùn)練集與測試集。下文中將分別對訓(xùn)練集和測試集的處理、生成和構(gòu)建方法做詳細介紹。同時，來自International Project Competition for SHM （IPC-SHM 2020） ANCRiSST[13]的鋼箱梁數(shù)據(jù)集將按提出的數(shù)據(jù)集構(gòu)建方法進行處理，以生成后續(xù)試驗用的數(shù)據(jù)集。

該鋼箱梁數(shù)據(jù)集中包含120張高清相機拍攝的鋼箱梁表面細長裂縫圖像，這些圖像為三通道RGB圖像，像素為3 264×4 928大小。除這些裂縫圖像外，數(shù)據(jù)集內(nèi)還包含每張裂縫圖像相對應(yīng)的標記圖（label）。標記圖由土木工程領(lǐng)域內(nèi)專家對裂縫圖像中的每一像素點進行標注分類生成，例如將裂縫像素標注為1，背景像素標注為0進行像素級別的區(qū)分。

在進行處理前，鋼箱梁數(shù)據(jù)集中的120張圖像首先被隨機分出100張作為初始訓(xùn)練集，其余20張為初始測試集，命名為DS0。

將超大尺寸的圖像直接放入網(wǎng)絡(luò)中通常需要超大的計算機GPU運算空間?？紤]到計算機性能的限制，較為簡單直接的方法便是縮小圖像尺寸，減小運算空間。傳統(tǒng)是使用方法的雙線性插值方法是在保證一定質(zhì)量條件下對圖像進行縮放。

為了與數(shù)據(jù)集構(gòu)建方法相對比，試驗中通過傳統(tǒng)的雙線性插值對圖像進行縮放處理，構(gòu)建了兩個數(shù)據(jù)集。將原來的高分辨率圖像降采樣為1 600×2 400像素和2 112×3 168像素兩種規(guī)格。為討論方便，將圖像大小調(diào)整為1 600×2 400像素的訓(xùn)練集命名為DS1，將圖像大小調(diào)整為2 112×3 168像素的訓(xùn)練集命名為DS2，其具體參數(shù)見表1。對于驗證及測試過程，仍然以原規(guī)格圖像作為驗證和測試對象，但為了和訓(xùn)練過程相匹配，測試的裂縫圖像均根據(jù)雙線性插值方法調(diào)整為1 600×2 400像素和2 112×3 168像素大小。模型輸出預(yù)測結(jié)果（1 600×2 400像素和2 112×3 168像素）后，再利用雙線性插值恢復(fù)為3 264×4 928像素，與標注圖像進行比較。

由于細小裂縫占裂縫背景極少，雙線性插值縮放之后，圖像中裂縫像素急劇減小，預(yù)測難度增加，預(yù)測準確度降低?？紤]到部分裂縫即可提供足夠信息進行識別，即可以拆分的幾何特性與特征金字塔網(wǎng)絡(luò)對小目標識別的優(yōu)勢，相應(yīng)地提出了針對超大尺寸裂縫圖像通用的訓(xùn)練集和測試集處理方法。

1.1 訓(xùn)練集

針對實際工程拍攝中裂縫在圖像中分布不確定、長細比例較大、裂縫像素占整體像素比例較低的特點，采用多個步驟對超大尺寸圖像進行處理，以構(gòu)建訓(xùn)練集。

步驟1：獲得一張初始的超大尺寸裂縫圖像（假設(shè)其大小為h×w，其中，h為圖像的高、w為圖像的寬），選取一大小為32m×32n（m、n為大于1的整數(shù)）的固定拆分尺寸。該拆分尺寸的取值主要取決于計算資源。將初始圖像以數(shù)值0進行邊緣擴增（Padding），將圖像統(tǒng)一為尺寸32m×32n的倍數(shù)。擴增后的圖像大小為H×W。H、W的計算式為

H=h32m+132m（1）

W=w32n+132n（2）

步驟2：使用一個大小為32m×32n的滑窗，以行、列步長為16m、16n像素大小對擴充后的圖像進行拆分。

步驟3：保留所有k張帶裂縫的拆分圖像，同時，為保證深度學(xué)習(xí)能夠充分獲得背景特征，學(xué)習(xí)背景信息;k張只包含背景的圖像也被隨機選取，進入最終的訓(xùn)練集。最后，一張初始的超大尺寸裂縫圖像經(jīng)過上述操作共可生成2k張的32m×32n拆分子圖進入深度學(xué)習(xí)訓(xùn)練集。對多張超大尺寸裂縫圖像進行該構(gòu)建操作便可構(gòu)建出相應(yīng)的訓(xùn)練集。

對于試驗用鋼箱梁數(shù)據(jù)集，考慮計算機的計算性能，選取m=15、n=20。首先將尺寸為3 264×4 928的圖像（如圖 1（a））填充為3 360×5 120，并置零，保證后續(xù)拆分時能夠覆蓋到圖像的邊緣，見圖1（b），根據(jù)重疊分割的步驟2，設(shè)定滑窗大小為480×640對圖像以行/列240、320像素的步長，得到拆分子圖，如圖1（c）所示。一些將子圖像包含0填充部分。利用所有的子圖像作為輸入需要大量的訓(xùn)練時間。因此，根據(jù)對應(yīng)的子標簽，自動篩選出包含裂紋損傷像素的1 923個子圖像，如圖2（a）所示，即k=1 923。這1 923張裂縫子圖像組成了一個訓(xùn)練集，命名為DS3，作為缺少背景圖像信息的數(shù)據(jù)集，與本方法進行對比。其余的13 939個子圖像不包含屬于裂紋損傷的像素，

只表示背景信息，如圖2（b）所示。在13 939個子圖像中隨機選取1 923張子圖像。1 923張裂縫子圖像和1 923張背景子圖像構(gòu)成一個訓(xùn)練集，命名為DS4，見表1，即為本方法提出的數(shù)據(jù)集構(gòu)建方法的最終結(jié)果。

1.2 測試集

在圖像測試方法上，同樣針對細長裂縫的位置和幾何特征提出了新的超大尺寸細長裂縫圖像的測試處理方法。該方法包含3個步驟：

1）輸入測試圖像（假設(shè)為h×w），將圖像以0進行擴增，不同于訓(xùn)練集，為了保證邊緣像素能夠被后續(xù)拆分覆蓋，擴增后尺寸H×W的計算式為

H=h32m+232m（3）

W=w32n+232n（4）

式中：m、n的取值同訓(xùn)練集中的取值。

2）使用32m×32n的滑窗以行、列步長為32m、32n對測試圖像進行第1次拆分，隨后將分割起點定位于圖內(nèi)的第16m行、第16n列像素，進行第2次拆分。通過此方法，第1次拆分的4張相鄰圖像交點將成為第2次分割圖像的中心。針對裂縫的位置不確定性對分割圖像邊緣進行多次覆蓋。將步驟2生成的一系列拆分圖一同輸入經(jīng)訓(xùn)練集訓(xùn)練后的特征金字塔深度學(xué)習(xí)網(wǎng)絡(luò)，獲得預(yù)測結(jié)果。

3）最后將該預(yù)測結(jié)果按照滑窗順序重新拼裝成為帶0增的圖像。去除0增區(qū)域后，便獲得與原測試圖像大小相同的裂縫預(yù)測圖。同時，由于預(yù)測圖中的每一個像素經(jīng)過二次分割擁有兩個預(yù)測值。本方法從較為安全的角度設(shè)定其中只要有一個預(yù)測判斷該像素為裂縫，該像素即可認為為裂縫像素，保證盡可能多的裂縫像素被檢測識別。

在測試試驗中，m、n的取值同訓(xùn)練中的取值，分別為15、20。其余處理按上述3個步驟進行，與訓(xùn)練集雖然稍有差別，但較為相似。

2 特征金字塔深度學(xué)習(xí)網(wǎng)絡(luò)

特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network）的結(jié)構(gòu)大致可以分為編碼器（Encoder）、解碼器（Decoder）和組裝（Assembling）3個部分，如圖3所示。編碼器是卷積神經(jīng)網(wǎng)絡(luò)的前饋過程，用來提取不同階段的特征，并不斷降低特征圖分辨率。解碼器是自下而上的特征圖放大過程。通過上采樣，頂層特征圖和底層特征圖實現(xiàn)合并，豐富網(wǎng)絡(luò)獲取的語義信息。在融合完成后，網(wǎng)絡(luò)使用了3×3的卷積核對每一個融合結(jié)果并進行卷積，目的是消除上采樣中的混疊效應(yīng)（Aliasing Effect）。最后，在組裝部分添加各個階段的特征圖獲取各層信息，這使得特征金字塔網(wǎng)絡(luò)擁有較強的語義信息獲取能力，同時也能夠滿足速度和內(nèi)存的要求。特征金字塔網(wǎng)絡(luò)的特別之處在于預(yù)測是在不同的特征層中獨立進行的，有助于檢測不同尺寸的裂縫目標，契合工程獲取裂縫圖像中裂縫大小不確定性的特點。

2.1 編碼器

編碼器是一個特征提取網(wǎng)絡(luò)，一般采用VGG[16]和ResNet[17]作為骨干。在本方法中，為了提高對裂縫的特征提取效果，采用Se_ResNeXt50_32×4d[15]為編碼器。它包括3個部分：ResNet，SE（Squeeze-and-Excitation）模塊和X模塊，使網(wǎng)絡(luò)更加深入、更快收斂和更易優(yōu)化。同時，該模型的參數(shù)少，復(fù)雜度低，適合裂縫檢測任務(wù)。SE模塊采用的是SENet[15]的一個計算單元。

壓縮（Squeeze）采用了一個全局平均池化層，獲取具有全局視野的特征圖。激勵（Excitation）利用了一個全連接的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對壓縮后的結(jié)果進行非線性變換，然后將其作為一個權(quán)重乘以輸入特征。SENet主要對通道之間的相關(guān)性進行學(xué)習(xí)，減弱了對通道本身的關(guān)注，雖然稍微增加了計算量，但能夠?qū)崿F(xiàn)更好的分割效果。X模塊來自ResNeXt[18]，一個更優(yōu)版本的ResNet。ResNeXt的核心創(chuàng)新在于采用了聚合轉(zhuǎn)換（Aggregated Transformations），用相同拓撲結(jié)構(gòu)的并行堆疊取代原始的ResNet的3層卷積塊，提高了模型的準確度，而不顯著增加參數(shù)量。同時，由于拓撲結(jié)構(gòu)相同，超參數(shù)減少，模型也較原始的ResNet更易移植。ResNeXt50_32×4d從有50層網(wǎng)絡(luò)深度的ResNet50改進而來。其中，32×4d代表的是32條路徑，每條路徑的通道數(shù)為4個。SE模塊嵌入到ReNext50_32×4d中，最終獲得Se_resnext50_32×4d。其預(yù)訓(xùn)練參數(shù)通過imagenet1000得到。

總的來說，編碼器是一個以Se_resnext50_32×4d為骨干的自下而上裂縫特征提取網(wǎng)絡(luò)。在編碼器入口，將大小為裂縫圖像輸入（32m×32n）。后續(xù)中，每一個階段便是特征金字塔的一個層次。選取conv2、conv3、conv4和conv5層提取的特征為{C2， C3， C4， C5}，這是FPN網(wǎng)絡(luò)的4個層次。N是batch size，特征向量則分別為F2=（N， 256， 8m， 8n），F(xiàn)3=（N， 512， 4m， 4n），F(xiàn)4=（N，1 024， 2m， 2n），F(xiàn)5=（N， 2048， m， n）。需要注意的是，由于F5是原圖的1/32大小，所以，拆分滑窗的長度和寬度應(yīng)是32的倍數(shù)。

2.2 解碼器

解碼器是一個自上而下的放大裂縫特征圖的過程。P5=（N，256，m，n）是通過1×1卷積層直接從F5得到的。在接下來的操作中，通過插值算法將P5放大兩倍為（N，256，2m，2n）。F4經(jīng)過1×1卷積層，變成（N，256，2m，2n）。將上述兩個特征向量相加，得到P4=（N，256，2m，2n）。這些操作被稱為跳躍連接（Skip Connection），如圖4所示，繼續(xù)使用這些操作來獲取P4、P3和P2。跳躍連接的優(yōu)勢在于它既可以利用頂層的高級語義特征（有助于裂縫特征分類），又可以利用底層的高分辨率信息（有助于裂縫特征定位）。

2.3 組裝

組裝部分要求金字塔每一層輸出的特征圖具有相同尺寸大小，為了實現(xiàn)該目的，首先選擇包含3×3卷積層的W運算，采用雙線性插值放大，如圖5所示。

P5執(zhí)行3次W操作后，H5=（N，128，8m，8n）。以此類推，H4和H3分別進行兩次和一次W操作。此外，H2不需要放大。然后直接將Hi（i=2～5）相加，得到一個向量（N，256，8m，8n）。該向量經(jīng)過3×3的卷積層和雙線性插值放大到原始裂紋圖像尺寸（N，1，32m，32n）。為了便于預(yù)測過程，通過將激活函數(shù)sigmoid的值改為0～1得到掩碼（N，1，480，640）。如果某點的值大于某一固定閾值，則預(yù)測該點為裂紋。在試驗中，選擇0.5作為閾值。

3 試驗

3.1 試驗細節(jié)

所有試驗均在Intel（R） Xeon（R） E5-2678 v3 @ 2.50 GHz、64.0 GB RAM和NVIDIA RTX2080TI、11.0 GB RAM的計算平臺上進行?；?個不同的訓(xùn)練集訓(xùn)練了4個基于特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)的預(yù)測模型。為了討論方便，用DS1和DS2訓(xùn)練獲得的特征金字塔網(wǎng)絡(luò)稱為Model1和Model2，用DS3和DS4訓(xùn)練獲得的網(wǎng)絡(luò)稱為Model3和Model4。

3.2 試驗指標

假設(shè)在標簽和預(yù)測中均屬于裂縫的像素數(shù)為I，在標簽或預(yù)測中表示裂縫的像素數(shù)為U，交并比（Intersection over Union IoU）是圖像分割任務(wù)常用的評價指標，通過式（5）計算。

IoU=IU（5）

另一評價指標Dice Loss不僅可以作為深度學(xué)習(xí)訓(xùn)練中的損失函數(shù)，也可以在一定程度上評價圖像分割的準確度。假設(shè)在裂紋分割任務(wù)中X為圖像對應(yīng)的標記，Y是裂縫預(yù)測，Dice Loss通過式（6）計算。

Dice Loss=1-2|X∩Y||X|+|Y|（6）

4 結(jié)果和討論

圖6為4個模型在一些典型測試圖像上的裂縫檢測結(jié)果，圖7為基于4個不同訓(xùn)練集測試中的評價指標IoU和Dice Loss的對比。圖6中展示的IoU值通過單張預(yù)測圖片與對應(yīng)標記計算得到，圖7中展示的IoU和Dice Loss測試指標值為測試中所有圖片的預(yù)測同對應(yīng)標記計算獲得的平均IoU和Dice Loss的值。從圖7可以看出，在IoU和Dice Loss方面，在測試圖像上，Model2比Model1出性能更好，Model2的IoU高于Model1，同時Model2的Dice Loss小于Model1。在分析了Model1和Model2的預(yù)測之后，發(fā)現(xiàn)一個值得注意的現(xiàn)象，如圖6所示，Model1和Model2的預(yù)測都忽略了測試圖像中的部分裂紋，導(dǎo)致預(yù)測中的裂紋長度比標簽中的短，在預(yù)測中丟失了部分裂紋。造成這種現(xiàn)象的原因之一是用于調(diào)整圖像形狀大小的雙線性插值算法，雙線性插值考慮已知像素值圍繞未知像素計算位置的最接近的2×2鄰域，然后取這4個像素的加權(quán)平均值來得到最終的插值值。調(diào)整大小的方法

不是對測試圖像中的每個像素進行預(yù)測，而是對像素的統(tǒng)計值進行預(yù)測。一方面，Model1和Model2的預(yù)測不能在像素級上進行精確預(yù)測，但另一方面，模型仍然可以指出裂縫的位置。根據(jù)Model1和Model2預(yù)測的裂紋位置，可以采用一些方法改進裂紋預(yù)測，如利用擴展閾值算法可以擴展裂縫長度。從圖7（a）可以看出，Model1的IoU僅比Model2的IoU小0.02，但DS1中的圖像大小幾乎是DS2的1/3。這表明，更大的圖像尺寸并不能在很大程度上改善預(yù)測，而作為輸入的大尺寸圖像卻需要大量的存儲和計算空間。當需要縮放圖像以獲得一個新的訓(xùn)練集時，建議首先考慮計算效率，而不是圖像大小。

使用該方法構(gòu)建數(shù)據(jù)集時，測試中評價指標IoU和Dice Loss都有了明顯提升。Model3和Model4的IoU分別為0.70和0.78。由于Model3只在裂紋子圖像（DS3）上進行訓(xùn)練，因此忽略了一些背景信息。

從圖6第3、第4行的預(yù)測結(jié)果可以看出，Model3錯誤地將邊緣上的一些像素點預(yù)測為裂紋，鋼結(jié)構(gòu)的一些凹槽特征也被預(yù)測為裂紋。盡管Model3的預(yù)測不如Model4準確，但Model3在結(jié)構(gòu)健康監(jiān)測中可以視為提供了較為安全的估計。從圖6第5行可以看出，使用Model3對結(jié)構(gòu)的主裂紋進行了預(yù)測，并將一些可疑特征視為裂紋，保證不遺漏裂紋損傷。Model3的IoU雖然不是最好的，但在工程上具有理想的特性。經(jīng)過DS4的訓(xùn)練，Model4變得比Model3更加優(yōu)秀和準確。Model4同時學(xué)習(xí)了背景信息和裂紋信息。在圖6中的預(yù)測4，Model4的性能最好，很好地處理了背景和溝槽的干擾。較高的精度意味著Model4可以為下一步的研究或測量提供精確的裂紋信息。在裂紋分割任務(wù)中，Model3和Model4的性能優(yōu)于Model1和Model2。對于基本訓(xùn)練集的圖像，該方法被證明是比直接調(diào)整超大尺寸圖像大小方法更好的解決方案。部分裂縫便可以提供足夠的檢測信息。因此，該方法是一種合適的針對超大尺寸細長裂縫的處理方法。此外，該方法對圖像的分辨率沒有任何要求，適用于任意的高分辨率和低分辨率圖像。

5 結(jié)論

針對鋼箱梁內(nèi)部包含復(fù)雜背景和裂縫的超大尺寸圖像，提出了一種基于特征金字塔深度學(xué)習(xí)網(wǎng)絡(luò)的裂縫自動檢測方法，并進行了一系列對比試驗。主要結(jié)論如下：

1）基于本方法構(gòu)建的訓(xùn)練集，特征金字塔網(wǎng)絡(luò)能夠在測試中對3 264×4 928像素的橋鋼箱梁表面裂縫圖像實現(xiàn)最大交并比（IoU）為0.78，最小Dice Loss為0.12，表現(xiàn)優(yōu)于將圖像進行簡單縮放構(gòu)建數(shù)據(jù)集訓(xùn)練的模型。

2）采用雙線性插值方法將超大尺寸圖像（3 264×4 928）縮放至1 600×2 400像素或2 112×3 168像素，將會導(dǎo)致部分裂縫信息丟失，降低裂縫檢測準確度。建議采用本方法對超大尺寸裂縫圖像進行拆分，拆分尺寸大小可設(shè)定為480×640。

3）部分裂縫可以為深度學(xué)習(xí)網(wǎng)絡(luò)提供足夠的特征信息。該方法適合于裂縫檢測任務(wù)，并且該方法對于裂縫圖像的具體分辨率沒有嚴格的要求，為今后的裂縫自動檢測提供了一個較有潛力的解決方案。參考文獻：

[1] 李艷霞. 基于深度學(xué)習(xí)的橋梁裂縫圖像信息自動提取方法研究[D]. 北京： 北京交通大學(xué)， 2020.

LI Y X. Research on automatic bridge crack extraction based on image deep learning [D]. Beijing： Beijing Jiaotong University， 2020. （in Chinese）

[2] 彭玲麗， 黃少旭， 張申申， 等. 淺談無人機在橋梁檢測中的應(yīng)用與發(fā)展[J]. 交通科技， 2015（6）： 42-44.

PENG L L， HUANG S X， ZHANG S S， et al. Discussion on UAV application and development in bridge inspection [J]. Transportation Science & Technology， 2015（6）： 42-44. （in Chinese）

[3] 陳艷君. 基于特征空間的路面裂縫檢測與識別算法研究[D]. 武漢： 武漢工程大學(xué)， 2012.

CHEN Y J. Research on detection and recognition method for pavement crack based on feature space [D]. Wuhan： Wuhan Institute of Technology， 2012. （in Chinese）

[4] 孫朝云， 褚燕利， 樊瑤， 等. 基于VC++路面裂縫圖像處理系統(tǒng)研究[J]. 計算機應(yīng)用與軟件， 2009， 26（8）： 82-85.

SUN Z Y， CHU Y L， FAN Y， et al. Pavement crack image processing system research based on VC++ [J]. Computer Applications and Software， 2009， 26（8）： 82-85. （in Chinese）

[5] 馬常霞， 趙春霞， 胡勇， 等. 結(jié)合NSCT和圖像形態(tài)學(xué)的路面裂縫檢測[J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報， 2009， 21（12）： 1761-1767.

MA C X， ZHAO C X， HU Y， et al. Pavement cracks detection based on NSCT and morphology [J]. Journal of Computer-Aided Design & Computer Graphics， 2009， 21（12）： 1761-1767. （in Chinese）

[6] 張維峰， 劉萌， 楊明慧. 基于數(shù)字圖像處理的橋梁裂縫檢測技術(shù)[J]. 現(xiàn)代交通技術(shù)， 2008， 5（5）： 34-36.

ZHANG W F， LIU M， YANG M H. Bridge crack detection technology based on digital image processing [J]. Modern Transportation Technology， 2008， 5（5）： 34-36. （in Chinese）

[7] 勾紅葉， 楊彪， 華輝， 等. 橋梁信息化及智能橋梁2019年度研究進展[J]. 土木與環(huán)境工程學(xué)報（中英文）， 2020， 42（5）： 14-27.

GOU H Y， YANG B， HUA H， et al. State-of-the-art review of bridge informatization and intelligent bridge in 2019 [J].Journal of Civil and Environmental Engineering， 2020， 42（5）： 14-27. （in Chinese）

[8] ZHANG L， YANG F， ZHANG Y D， et al. Road crack detection using deep convolutional neural network [C]//2016 IEEE International Conference on Image Processing （ICIP）. September 25-28， 2016， Phoenix， AZ， USA. IEEE， 2016： 3708-3712.

[9] ZHANG A， WANG K C P， LI B X， et al. Automated pixel-level pavement crack detection on 3D asphalt surfaces using a deep-learning network [J]. Computer-Aided Civil and Infrastructure Engineering， 2017， 32（10）： 805-819.

[10] DORAFSHAN S， THOMAS R J， MAGUIRE M. Comparison of deep convolutional neural networks and edge detectors for image-based crack detection in concrete [J]. Construction and Building Materials， 2018， 186： 1031-1045.

[11] AZIMI M， ESLAMLOU A D， PEKCAN G. Data-driven structural health monitoring and damage detection through deep learning： State-of-the-art review [J]. Sensors （Basel， Switzerland）， 2020， 20（10）： 2778.

[12] CHENG H K， CHUNG J， TAI Y W， et al. CascadePSP： Toward class-agnostic and very high-resolution segmentation via global and local refinement [C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. June 13-19， 2020， Seattle， WA， USA. IEEE， 2020： 8887-8896.

[13] BAO Y Q， LI H. Machine learning paradigm for structural health monitoring [J]. Structural Health Monitoring， 2020： 147592172097241.

[14] LIN T Y， DOLLR P， GIRSHICK R， et al. Feature pyramid networks for object detection [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. July 21-26， 2017， Honolulu， HI， USA. IEEE， 2017： 936-944.

[15] HU J， SHEN L， SUN G. Squeeze-and-excitation networks [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. June 18-23， 2018， Salt Lake City， UT， USA. IEEE， 2018： 7132-7141.

[16] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [EB/OL]. 2014. https：//arxiv.org/abs/1409.1556.

[17] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. June 27-30， 2016， Las Vegas， NV， USA. IEEE， 2016： 770-778.

[18] XIE S N， GIRSHICK R， DOLLR P， et al. Aggregated residual transformations for deep neural networks [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. July 21-26， 2017， Honolulu， HI， USA. IEEE， 2017： 5987-5995.

（編輯 胡玲）