馮春成，張 華，，汪 雙，李永龍，王皓冉

（1.西南科技大學(xué) 信息工程學(xué)院，綿陽(yáng)621000；2.清華大學(xué) 四川能源互聯(lián)網(wǎng)研究院，成都610000）

溢流壩是水電站重要的泄洪基礎(chǔ)設(shè)施，受地震、洪澇、氣候變化以及長(zhǎng)期服役的影響，壩面易于形成裂縫損傷。定期的壩面結(jié)構(gòu)安全檢測(cè)是保障水電樞紐工程健康穩(wěn)定運(yùn)行的重要任務(wù)。根據(jù)裂縫的形態(tài)和表觀特征，可以推斷出裂縫演變的潛在原因，為結(jié)構(gòu)健康診斷提供合理的指導(dǎo)。實(shí)際工程應(yīng)用中，人工搭設(shè)腳手架、高空吊籃等方式仍然是壩面結(jié)構(gòu)安全巡檢常用方法，但這些傳統(tǒng)方法存在高風(fēng)險(xiǎn)、耗時(shí)長(zhǎng)、成本高的問(wèn)題，且根據(jù)人眼來(lái)判斷裂縫損傷的方法存在主觀性強(qiáng)、準(zhǔn)確率低的問(wèn)題。近年來(lái)，隨著智能化、信息化以及人工智能技術(shù)的發(fā)展，在學(xué)術(shù)界涌現(xiàn)了大量的多學(xué)科交叉與融合的裂縫檢測(cè)方法[1-5]。文獻(xiàn)[6]研究了使用小型無(wú)人機(jī)采集混凝土建筑物裂縫圖像，并驗(yàn)證了使用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行裂縫分類的可行性。不可否認(rèn)，這些方法實(shí)現(xiàn)了具有競(jìng)爭(zhēng)優(yōu)勢(shì)的裂縫分類準(zhǔn)確率，但對(duì)于裂縫檢測(cè)而言，獲得裂縫定位是必要的。基于目標(biāo)區(qū)域選擇的深度學(xué)習(xí)方法也被用于裂縫檢測(cè)；文獻(xiàn)[7]同樣采用無(wú)人機(jī)系統(tǒng)檢測(cè)橋梁表面裂縫，通過(guò)基于區(qū)域卷積遷移網(wǎng)絡(luò)實(shí)現(xiàn)裂縫的目標(biāo)框定位；文獻(xiàn)[8]提出了基于Fast-RCNN[9]框架的區(qū)域選擇多類別損傷檢測(cè)方法，該方法實(shí)現(xiàn)了多類別損失目標(biāo)實(shí)時(shí)定位。盡管基于區(qū)域選擇的深度卷積檢測(cè)方法能夠?qū)崿F(xiàn)較高的裂縫定位精度，但是這些方法僅能實(shí)現(xiàn)大范圍目標(biāo)定位，無(wú)法實(shí)現(xiàn)精細(xì)化定位。為了獲得更精準(zhǔn)的裂縫像素定位，基于全卷積網(wǎng)絡(luò)的語(yǔ)義分割檢測(cè)方法被用于裂縫分割[10]；文獻(xiàn)[11]提出了一種基于深度卷積編解碼網(wǎng)絡(luò)的道路裂縫像素檢測(cè)方法，該方法的編碼器由殘差卷積層組成以提取裂縫語(yǔ)義特征，解碼器由反卷積層組成用于輸出裂縫像素位置。

綜上所述，各類改進(jìn)的深度學(xué)習(xí)方法已應(yīng)用于不同基礎(chǔ)設(shè)施的裂縫檢測(cè)，但用于檢測(cè)水電樞紐溢流壩表觀裂縫的研究相對(duì)較少。壩面裂縫圖像存在背景紋理復(fù)雜、非結(jié)構(gòu)化等挑戰(zhàn)，人工獲取壩面圖像的方法存在風(fēng)險(xiǎn)高、效率低以及傳統(tǒng)裂縫檢測(cè)方法的檢測(cè)精度偏低和實(shí)時(shí)性差等問(wèn)題。

本文搭建了具備長(zhǎng)續(xù)航能力的系留無(wú)人機(jī)感知系統(tǒng)，并在嘉陵江流域某水電站溢流壩采集了圖像數(shù)據(jù)。同時(shí)基于語(yǔ)義損傷檢測(cè)網(wǎng)絡(luò)（SDDNet）[12]提出了改進(jìn)的壩面裂縫損傷檢測(cè)方法。改進(jìn)的核心之處為在編碼器與解碼器之間引入空間注意力和通道注意力模塊以提升模型對(duì)感興趣區(qū)域的關(guān)注度；同時(shí)采用非對(duì)稱卷積代替?zhèn)鹘y(tǒng)卷積操作以減小模型參數(shù)量，從而提升模型的實(shí)時(shí)推理能力。最后通過(guò)實(shí)驗(yàn)分析驗(yàn)證了本文提出方法的可行性。

1 系留無(wú)人機(jī)感知系統(tǒng)

1.1 無(wú)人機(jī)系統(tǒng)

大壩等水電樞紐的作業(yè)環(huán)境復(fù)雜，處于半封閉的狹窄空間，人工巡檢的風(fēng)險(xiǎn)系數(shù)大等特點(diǎn)，該場(chǎng)景中的GPS 信號(hào)弱，無(wú)法為無(wú)人機(jī)提供穩(wěn)定可靠的定位信息。同時(shí)當(dāng)前現(xiàn)有無(wú)人機(jī)的續(xù)航能力不足，無(wú)法在復(fù)雜因素多、作業(yè)范圍廣的壩面上采集壩面圖像。因此本文研發(fā)了系留無(wú)人機(jī)感知系統(tǒng)。該感知系統(tǒng)上配置了多種傳感器，如IMU，Real Sense T265 雙目定位攝像頭等設(shè)備用于實(shí)現(xiàn)無(wú)人機(jī)穩(wěn)定飛行，全方位云臺(tái)高清相機(jī)用于采集壩面圖像并獲得環(huán)境視野，采用PIXHAWK 作為飛行控制的核心模塊。充分考慮到了壩面作業(yè)環(huán)境的特殊性，該系統(tǒng)的無(wú)人機(jī)本體采用了四軸八旋翼結(jié)構(gòu)。為保障無(wú)人機(jī)具有較高的安全性，設(shè)計(jì)了圓形雙層的保護(hù)罩，同時(shí)在結(jié)構(gòu)設(shè)計(jì)上確保系留供電接口以防止飛行過(guò)程中槳葉纏繞到系留線纜。無(wú)人機(jī)系統(tǒng)組成如圖1所示。

圖1 無(wú)人機(jī)系統(tǒng)組成框圖Fig.1 Block diagram of UAV system composition

無(wú)人機(jī)本體的結(jié)構(gòu)參數(shù)如下：軸距為1000 mm；長(zhǎng)寬均為80 cm；高度為50 cm；重量為3.7 kg；負(fù)載能力為2 kg；懸停精度為0.3 m；工作電壓為24 VDC；抗風(fēng)能力為8 m/s。

1.2 系留線纜機(jī)構(gòu)

系留線纜機(jī)構(gòu)由繞線機(jī)及系留線纜組成，其主要作用是為無(wú)人機(jī)提供持續(xù)的電能，提升無(wú)人機(jī)的巡航能力，確保能夠長(zhǎng)時(shí)間的懸停和飛行作業(yè)，并高效地完成圖像采集任務(wù)。

繞線機(jī)是系留線纜機(jī)構(gòu)的關(guān)鍵組成部分，用于系留線纜的有效釋放和回收排線，確保線纜均勻的分布在繞線機(jī)線盤上且不相互纏繞。通過(guò)研究分析，為實(shí)現(xiàn)穩(wěn)定可靠的且具有一定控制精度的張力控制，采用磁粉離合控制方式進(jìn)行線纜張力控制。當(dāng)電機(jī)保持轉(zhuǎn)動(dòng)時(shí)，通過(guò)調(diào)節(jié)激磁電流的大小控制輸出張力大小。為覆蓋整個(gè)溢流壩的縱向深度設(shè)計(jì)系留線纜的長(zhǎng)度為100 m，工作電流為2 A。

1.3 采集裝置

采集裝置的作用為獲取壩面圖像，該裝置由高清云臺(tái)相機(jī)、無(wú)線圖傳、便攜式控制臺(tái)組成。云臺(tái)相機(jī)和圖傳發(fā)射機(jī)裝配在無(wú)人機(jī)底部中心位置，地面端便攜式控制臺(tái)通過(guò)接收機(jī)獲取圖像。為獲取高清圖像，實(shí)現(xiàn)毫米級(jí)精度裂縫檢測(cè)，根據(jù)無(wú)人機(jī)距離溢流壩壩面的安全距離及采集圖像的精度需求，分析了相機(jī)的需求參數(shù)，最終搭載的AJ-12014X 云臺(tái)相機(jī)，詳細(xì)的參數(shù)如表1所示。

表1 采集裝置指標(biāo)參數(shù)Tab.1 Parameters of collecting device

1.4 溢流壩現(xiàn)場(chǎng)采集

本文的壩面圖像采集于嘉陵江流域某水電站溢流壩。由過(guò)流面和寬尾墩組成的半封閉空間較為復(fù)雜，因此需要預(yù)設(shè)無(wú)人機(jī)巡航路徑以完成重點(diǎn)區(qū)域的圖像采集。為確保無(wú)人機(jī)的安全飛行，采用自上而下的懸吊巡航方式完成圖像采集。從溢流壩壩頂廊道中間位置吊放無(wú)人機(jī)至對(duì)應(yīng)過(guò)流面底部中間位置，無(wú)人機(jī)初始化后與過(guò)流面保持預(yù)設(shè)的物距，控制系留線纜機(jī)構(gòu)根據(jù)無(wú)人機(jī)的飛行高度收放線纜。采集時(shí)的風(fēng)速、光照會(huì)導(dǎo)致采集效率受到影響，最終獲得800 多幅分辨率為1920×1080 的圖像。溢流壩現(xiàn)場(chǎng)采集場(chǎng)景如圖2所示。

圖2 溢流壩采集場(chǎng)景Fig.2 Overflow dam collection scene

2 裂縫檢測(cè)算法

2.1 傳統(tǒng)SDDNet 模型

傳統(tǒng)SDDNet 是一種實(shí)時(shí)的裂縫語(yǔ)義分割模型，整個(gè)模型包含編碼器和解碼器兩大部分，其編碼器由標(biāo)準(zhǔn)卷積塊、稠密深度可分離卷積模塊（DenSep）及空洞空間金字塔池化模塊（ASPP）組成。DenSep 模塊是該模型的核心，由多個(gè)深度可分離卷積堆疊而成，每個(gè)深度可分離卷積包含了一系列的逐點(diǎn)卷積（PW）和深度卷積（DW）。所有PW 操作的卷積核尺寸為1×1 或3×3，DW 操作的卷積核通常為3×3，核通道數(shù)為1，因此結(jié)合PW 和DW 相比傳統(tǒng)卷積操作的參數(shù)量明顯降低，從而減小了模型的大小，提升了實(shí)時(shí)檢測(cè)能力。以尺寸為k×k×din特征圖為例，分別采用3×3 的標(biāo)準(zhǔn)卷積和深度可分離卷積推算出相應(yīng)的參數(shù)量。

式（1）表示標(biāo)準(zhǔn)卷積操作的參數(shù)量；式（2）表示由PW 和DW 組成的DenSep 操作的參數(shù)量，由式（1）和式（2）相比較可知，明顯采用深度可分離卷積的參數(shù)量更少，模型的實(shí)時(shí)推理性能更好。雖然傳統(tǒng)SDDNet 模型在常規(guī)裂縫數(shù)據(jù)集上取得了有效的成果，實(shí)現(xiàn)了實(shí)時(shí)裂縫語(yǔ)義分割。但在溢流壩面裂縫數(shù)據(jù)集上的語(yǔ)義分割精度及泛化能力仍然需要提升。傳統(tǒng)SDDNet 在部分壩面裂縫數(shù)據(jù)集上的測(cè)試結(jié)果如圖3所示。圖中兩幅裂縫圖像的檢測(cè)指標(biāo)交并比分別為63.98%和54.2%，由圖可知傳統(tǒng)SDDNet 在背景噪聲強(qiáng)、細(xì)節(jié)紋理特征不明顯的壩面裂縫圖像存在漏檢、分割精度較低，其檢測(cè)精度和泛化性仍需提升。

圖3 傳統(tǒng)SDDNet 壩面裂縫檢測(cè)結(jié)果示例Fig.3 Example of traditional SDDNet dam surface crack detection results

2.2 改進(jìn)LDCSDDNet 網(wǎng)絡(luò)模型

本文在SDDNet 模型的基礎(chǔ)上搭建了輕量型的壩面裂縫語(yǔ)義損傷分割網(wǎng)絡(luò)模型（LDCSDDNet）。該模型參考了編碼-解碼器架構(gòu)，其中編碼器網(wǎng)絡(luò)充分借鑒了深度可分離卷積操作以降低計(jì)算成本。具體改進(jìn)措施為：修改SDDNet 標(biāo)準(zhǔn)卷積為3 層卷積，并在池化層后增加隨機(jī)亂序操作以增加泛化性，將前2 個(gè)DenSep 模塊中卷積層減半；剔除掉剩余DenSep 和ASPP 模塊，并在DenSep 模塊中設(shè)計(jì)了雙通路非對(duì)稱可分離卷積模塊；在編碼器與解碼器之間引入空間注意力和通道注意力模塊以提升模型對(duì)感興趣區(qū)域的關(guān)注度，從而提升前景目標(biāo)檢測(cè)精度。LDCSDDNet 的整體結(jié)構(gòu)如圖4所示。

圖4 LDCSDDNet 模型結(jié)構(gòu)示意圖Fig.4 Schematic diagram of LDCSDDNet model structure

圖5 為圖4 中的非對(duì)稱可分離卷積結(jié)構(gòu)框圖，輸入特征圖被分成2 個(gè)分支通道分別進(jìn)行深度可分離操作，即PW 和DW 操作。DW 采用了非對(duì)稱型卷積操作以進(jìn)一步減小卷積參數(shù)量。2 個(gè)分支輸出特征進(jìn)行級(jí)聯(lián)操作，最后通過(guò)池化和隨機(jī)亂序操作連接到注意力模塊。

圖5 非對(duì)稱可分離卷積模塊結(jié)構(gòu)Fig.5 Asymmetric separable convolution module structure

空間與通道混合的注意力模塊示意圖如圖6所示，該模塊是受CBAM 網(wǎng)絡(luò)[13]模型的啟發(fā)搭建而成。通過(guò)在編碼器與解碼器之間引入通道注意力機(jī)制和空間注意力機(jī)制，使得模型可以同時(shí)從空間域和通道域獲取感興趣區(qū)域以提升前景目標(biāo)的分割精度。

圖6 空間與通道注意力模塊Fig.6 Space and channel attention module

空間注意力模塊是考慮沿通道方向，保持特征圖分辨率不變的情況下同時(shí)進(jìn)行最大池化和平均池化，將級(jí)聯(lián)后的特征輸入卷積操作提取感興趣特征，通過(guò)sigmiod 函數(shù)獲得輸入特征的注意力權(quán)重參數(shù)矩陣；而通道注意力模塊則是考慮從特征圖空間維度方向，保持特征圖通道數(shù)不變的情況下同時(shí)進(jìn)行最大池化和平均池化操作，再輸入1×1 卷積層提取特征，也等同于全連接層MLP 操作，最后同樣使用sigmoid 函數(shù)獲取注意力權(quán)重參數(shù)矩陣。

2.3 裂縫檢測(cè)評(píng)估指標(biāo)

本文提出的LDCSDDNet 模型最終是實(shí)現(xiàn)裂縫的語(yǔ)義分割，即對(duì)每個(gè)像素的類別進(jìn)行預(yù)測(cè)。為準(zhǔn)確評(píng)估模型檢測(cè)精度的性能，采用平均像素準(zhǔn)確率（mPA）和平均交并比（mIoU）進(jìn)行評(píng)估，計(jì)算表達(dá)式如下：

其中：式（3）和式（4）中的k表示目標(biāo)的類別數(shù)；TP表示預(yù)測(cè)為正樣本，標(biāo)簽也為正樣本；FN表示預(yù)測(cè)為負(fù)樣本，標(biāo)簽為正樣本；FP表示預(yù)測(cè)為正樣本，標(biāo)簽為負(fù)樣本；TN表示預(yù)測(cè)為負(fù)樣本，標(biāo)簽也為負(fù)樣本。為進(jìn)行模型實(shí)時(shí)推理能力的評(píng)估，采用模型參數(shù)量（Parameters）和每秒處理的幀數(shù)（FPS）。模型參數(shù)量的計(jì)算考慮卷積核參數(shù)的總和，F(xiàn)PS則通過(guò)計(jì)算測(cè)試集上的平均測(cè)試時(shí)間的倒數(shù)。

式中：l表示卷積層數(shù)；分別表示第i層卷積運(yùn)算的卷積核高和寬；分別表示第i層卷積運(yùn)算的輸入和輸出通道數(shù)。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集創(chuàng)建

根據(jù)前文描述可知，系留無(wú)人機(jī)總共采集了800 余幅分辨率為1920×1080 圖像數(shù)據(jù)。為創(chuàng)建高質(zhì)量數(shù)據(jù)集，并充分利用有限的硬件算力資源開展實(shí)驗(yàn)，首先對(duì)原始圖像進(jìn)行篩選剔除包含無(wú)效目標(biāo)的圖像數(shù)據(jù)，其次把圖像裁剪為608×608 大小的圖像塊以減輕訓(xùn)練的計(jì)算成本，然后采用專業(yè)標(biāo)注軟件LEAR 標(biāo)注裂縫像素獲得標(biāo)簽圖像，隨后通過(guò)隨機(jī)縮放、翻轉(zhuǎn)擴(kuò)充數(shù)據(jù)集獲得1000 幅608×608 且包含裂縫的圖像塊。最后，按照8∶1∶1 的比例將1000幅圖像隨機(jī)分為800 幅訓(xùn)練集、100 幅驗(yàn)證集及100 幅測(cè)試集。

3.2 實(shí)驗(yàn)環(huán)境配置

本文所有的實(shí)驗(yàn)均在一臺(tái)圖像工作站上完成，該工作站的硬件配置如下：CPU 為Inter?Xeon（R）CPU E5-2650 v4 @ 2.20 GHz；GPU 為8 G 顯存的Quadro P4000/PCIe/SSE2；RAM 大小為62.8 GB。軟件配置如下：訓(xùn)練加速庫(kù)CUDA 的版本為9.1；輔助加速庫(kù)CUDNN 的版本為7.1.5，采用pytorch1.1 深度學(xué)習(xí)框架搭建裂縫檢測(cè)模型，使用anaconda3 建立了python3.5 虛擬環(huán)境完成網(wǎng)絡(luò)模型的訓(xùn)練與測(cè)試。模型訓(xùn)練前，需設(shè)定超參數(shù)，其中學(xué)習(xí)率初始值設(shè)置為0.0001；批量尺寸（batchsize）設(shè)置為2；訓(xùn)練輪數(shù)（epoch）設(shè)置為100，每間隔30 輪將學(xué)習(xí)率衰減為當(dāng)前值的0.1 倍。為確保模型穩(wěn)定快速收斂，采用模型輸出概率的交叉熵作為損失函數(shù)，同時(shí)采用Adam 優(yōu)化器進(jìn)行梯度優(yōu)化。

3.3 實(shí)驗(yàn)結(jié)果與對(duì)比分析

經(jīng)過(guò)反復(fù)訓(xùn)練與微調(diào)模型參數(shù)與結(jié)構(gòu)，獲得了本文所提LDCSDDNet 的最佳模型參數(shù)。為充分地與傳統(tǒng)SDDNet 進(jìn)行實(shí)驗(yàn)對(duì)比，在同一個(gè)訓(xùn)練集、驗(yàn)證集和測(cè)試集上進(jìn)行實(shí)驗(yàn)，同時(shí)保留SDDNet 原始的超參數(shù)、損失函數(shù)及優(yōu)化器配置。訓(xùn)練期間LDCSDDNet 和SDDNet 的模型評(píng)估指標(biāo)變化趨勢(shì)如圖7所示。

圖7 訓(xùn)練期間模型評(píng)估指標(biāo)對(duì)比Fig.7 Comparison of model evaluation indicators during training

由圖7 可知，在前20 個(gè)訓(xùn)練輪數(shù)，所提方法的mPA變化幅值較大，在第40 個(gè)訓(xùn)練輪數(shù)后mIoU指標(biāo)逐漸趨于平穩(wěn)。為驗(yàn)證模型的泛化能力，采用訓(xùn)練并保存的模型結(jié)構(gòu)及參數(shù)在測(cè)試集上測(cè)試裂縫分割性能，測(cè)試集上部分測(cè)試結(jié)果如圖8所示。

圖8 測(cè)試集上預(yù)測(cè)結(jié)果對(duì)比Fig.8 Comparison of prediction results on test dataset

模型在測(cè)試集上的指標(biāo)對(duì)比如表2所示，分別對(duì)比了平均交并比（mIoU）、平均像素準(zhǔn)確率（mPA）、參數(shù)量（Para）及浮點(diǎn)運(yùn)算次數(shù)（FLOPs）。由表2 明顯可知，提出的LDCSDDNet 的mIoU指標(biāo)高于SDDNet，且模型參數(shù)量和浮點(diǎn)計(jì)算次數(shù)也顯著減低，F(xiàn)PS明顯提升，表明了所提出方法緩解了計(jì)算成本，提升了實(shí)時(shí)推理能力。

表2 LDCSDDNet 與SDDNet 指標(biāo)比較Tab.2 Comparison of LDCSDDNet and SDDNet

4 結(jié)語(yǔ)

定期對(duì)大壩進(jìn)行裂縫損傷檢測(cè)是保障水電站安全運(yùn)行的必要手段，常規(guī)的人工巡檢存在風(fēng)險(xiǎn)高、耗時(shí)長(zhǎng)及精度低等問(wèn)題，同時(shí)傳統(tǒng)SDDNet 在壩面裂縫數(shù)據(jù)集上的泛化性、實(shí)時(shí)性和檢測(cè)準(zhǔn)確率均有待提升。因此，本文搭建了系留無(wú)人機(jī)系統(tǒng)，同時(shí)基于SDDNet 提出了改進(jìn)的LDCSDDNet 模型，提升了壩面裂縫檢測(cè)準(zhǔn)確率和實(shí)時(shí)推理能力，同時(shí)也為壩面風(fēng)險(xiǎn)評(píng)估提供可靠的指導(dǎo)。