吳 煉，錢國明，韓曉健

（1.南京郵電大學電子與光學工程學院、柔性電子學院，江蘇南京 210023；2.南京工業(yè)大學 土木工程學院，江蘇 南京 211800）

目前，中國已經(jīng)成為在國際上有著巨大影響力的水運強國，截至2020 年底，國內(nèi)內(nèi)河航道通行里程達到了12.77 萬千米，排名全球首位。航道安全不僅關系到我國綜合運輸體系的平穩(wěn)運轉，也與周邊群眾的安全有著密切的關系。然而，一些航道常常由于水流侵蝕或河道周邊地段開發(fā)等原因導致河道邊坡產(chǎn)生裂縫、碎落、滑坡等病害。

目前，國內(nèi)外對于航道邊坡監(jiān)測的主要研究點集中在航道的變化監(jiān)測以及邊坡穩(wěn)定性的評估方法。文獻[1]研究了基于無人機遙感圖像的卷積神經(jīng)網(wǎng)絡（CNN）方法在邊坡破壞檢測中的有效性。文獻[2]以北京市石景山永定河為例，設計了一種河道自動提取與變化監(jiān)測方法。文獻[3]提出了一種算法將無人機拍攝的邊坡圖像進行校正，通過邊緣檢測表獲取滑坡的邊界并進行拼接，最后實現(xiàn)對病害的識別及定位。

近年來，有監(jiān)督的卷積神經(jīng)網(wǎng)絡[4]通過良好的空間數(shù)據(jù)結構特征分析能力在圖像處理研究中得到了普遍應用，為相關人員提供了一種可以快速分析數(shù)據(jù)的有效工具。因此，文中嘗試設計一種航道邊坡病害特征提取算法，基于該算法實現(xiàn)一種航道邊坡病害分類識別系統(tǒng)。

1 數(shù)據(jù)集的采集及制作

1.1 樣本分類

常見邊坡病害主要包含凹陷、碎落、裂縫、滑坡、坍塌等[5]?？紤]到數(shù)據(jù)集實際采集環(huán)境的局限性，文中最終選擇了航道邊坡病害中較為常見的三種類型：裂縫、缺損、碎落進行研究，如圖1 所示。

圖1 典型航道邊坡病害圖

1.2 圖像裁剪

航道邊坡病害圖像均由課題組人員使用手持設備及無人機拍攝，圖像分辨率高但數(shù)量較少，不利于模型訓練。因此將高分辨率圖片按指定大小裁剪為多張低分辨率的圖片，并挑選其中滿足要求的部分。經(jīng)過對結果的多次比對，最終選擇將原圖像剪裁成長寬均為300 像素的子圖像。如果為了獲得更多的訓練圖像而將圖像裁剪成更小的尺寸，圖像特征會被切割得過于分散，不利于后期處理時的分類標記。多次試驗后確定300×300 為最佳的尺寸。因為過小的樣本不能捕捉到足夠的數(shù)據(jù)模式，因此文中還對樣本數(shù)據(jù)進行了數(shù)據(jù)擴充以改善模型的泛化能力，同時降低網(wǎng)絡的過擬合現(xiàn)象。數(shù)據(jù)增強[6]是指在數(shù)據(jù)集中樣本數(shù)量不足的情形下，通過對其部分圖片進行轉換再添加到數(shù)據(jù)集使數(shù)據(jù)集更加健壯。文中采用隨機剪切、旋轉/反射/翻轉變換、顏色變換（亮度、對比度的隨機變化）以及噪聲擾動方式進行擴充。經(jīng)過篩選后最終得到裂縫圖像1 834 張，缺損圖像2 031 張，碎落圖像1 922 張，背景圖像5 000 張。

2 航道邊坡病害識別方案

2.1 基本架構

文中基于改進后的ResNet18 網(wǎng)絡，使用采集的航道邊坡病害圖像進行訓練，對比改進前后的識別性能，選擇最優(yōu)模型。系統(tǒng)結構如圖2 所示。

圖2 系統(tǒng)流程圖

2.2 圖像預處理

由于航道邊坡處于城市水體的兩側，水面的位置高低不定，近水一側的邊坡會由于水體的波動在邊坡面形成明顯的亮暗差，導致位于暗處的病害特征不明顯，會影響到訓練的效果。這里選取Retinex[7]作為增強算法，Retinex 算法將圖像S(x,y)分解為亮度圖L(x,y)與反射圖R(x,y)，如式（1）所示。

通過減少亮度的影響，以對各種圖片進行自適應增強[8]。對反射圖像還原方法的不同也衍生出了很多的算法，從單尺度到改進的色彩恢復算法（MSRCR)[9]和色度保持算法（MSRCP）。

文中選定并對比了MSRCR、Automated MSRCR、MSRCP 三種算法的效果，如圖3 所示，MSRCP 相較于其他兩種方法明顯提升了圖片的總體亮度，并且原先隱藏于暗處的病害也得到了一定程度的凸顯，最終選定MSRCP 作為圖像增強算法。

圖3 Retinex各算法效果對比圖

2.3 改進的深度學習網(wǎng)絡模型

深度學習通過提高網(wǎng)絡模型中的層數(shù)得到更高維度的圖像特征，不過在單純地提高網(wǎng)絡深度時，效果不僅不會變好，反而會出現(xiàn)梯度爆炸等現(xiàn)象使效果越來越差。ResNet 很好地改善了這一情況，殘差學習單元如圖4所示。這是一種和電路中的“短路”[10]相似的連接。通過殘差單元，網(wǎng)絡只會學習每層的殘差，確保了即使在沒有學習到新特性的情形下，網(wǎng)絡也僅實現(xiàn)了恒等映射的功能。

圖4 殘差學習單元

ResNet18 模型由17 個卷積層與全連接層構成。當圖像塊進入模型后，卷積層會對圖像的高層特征進行抽取，其中特殊的短路結構來減小卷積層堆疊引起的問題；最后對全連接層輸出用Softmax[11]分類，如式（2）所示：

其中，k代表網(wǎng)絡中的輸出節(jié)點數(shù)，vj為v中第j個輸出的數(shù)值，計算結果范圍在0 至1 之間，且每個類型的數(shù)值求和為1。

ResNet18 模型優(yōu)勢十分突出，但同時面臨著底層與卷積層參數(shù)的獲取工作量巨大、模型訓練速度緩慢的問題。為此，改進ResNet18 模型殘差塊結構和平均池化層。

2.3.1 殘差塊結構優(yōu)化

為了降低原模型的參數(shù)量，將原結構更換為兩個1×1 和一個3×3 卷積的結構串聯(lián)，如圖5 所示。

圖5 殘差塊修改前后結構

以256 維的數(shù)據(jù)為例，替換后的殘差塊結構的參數(shù)量僅為7×104，約為改進前參數(shù)量1.18×106的6%。優(yōu)化后的結構計算工作量明顯減少，可以增加一定時間內(nèi)的訓練數(shù)量，減少模型問題并改善模型的泛化性。

2.3.2 平均池化層改進

在主結構殘差塊的末端連接一個1×1 的卷積層和批標準化[12]層的串聯(lián)結構，使用ReLu 函數(shù)進行激活，再使用最大池化層替換原網(wǎng)絡中的平均池化層，從而凸顯特征圖的細節(jié)和紋理，使其更具有分辨性。

1×1 卷積和ReLu 激活可以在不丟失功能的情況下起到關鍵作用，使網(wǎng)絡可以更好地鑒別信息的特征，而最大池化層[13]可以有效防止過擬合，并提高模型對新樣本的適應能力[14]。改進后的模型如圖6所示。

圖6 改進的模型示意圖

3 實驗環(huán)境及結果分析

3.1 模型訓練與評價指標

實驗環(huán)境硬件平臺為AMD 5800X @4.60GHz CPU，32 GB RAM，NVIDIA Geforce RTX 3070 GPU，軟件平臺為Windows 10 21H1 和Pytorch 1.7.1，設置訓練epoch 為100，學習率為0.000 1，批處理大小為32，并采用了AdamOptimizer[15]更新模型參數(shù)。

實驗選用精確率P，召回率R來定量評價文中算法[16]，如式（3）、（4）所示。

式中，Tp表示成功識別為正例的個數(shù)；Fp表示錯誤識別為正例的個數(shù)；FN表示錯誤識別為負例的個數(shù)。

3.2 結果和分析

為確定對模型的殘差塊結構、平均池化層改進對ResNet 網(wǎng)絡模型的具體提升效果，該實驗一共設計了四種不同網(wǎng)絡進行測試。模型一：未優(yōu)化的ResNet18 網(wǎng)絡；模型二：僅改進了殘差塊結構后的網(wǎng)絡；模型二：僅改進了平均池化層后的網(wǎng)絡；模型四：兩處結構都改進后的網(wǎng)絡。各模型方案表現(xiàn)效果如表1 所示。模型一與模型四精確率對比如圖7 所示。

表1 各模型方案表現(xiàn)效果

圖7 模型一與模型四精確率對比圖

由表1 和圖7 數(shù)據(jù)可得，經(jīng)過優(yōu)化的模型精確率、召回率較原模型分別提升了3.86%、5.1%，表明改進后的網(wǎng)絡模型性能有了一定程度的提升。

4 結論

文中設計了一種基于深度學習的航道邊坡病害分類識別系統(tǒng)，系統(tǒng)基于ResNet18 網(wǎng)絡，對網(wǎng)絡的殘差塊以及平均池化層進行了優(yōu)化。結果表明，經(jīng)過改良后的神經(jīng)網(wǎng)絡在原網(wǎng)絡模式的基礎上精確率和召回率均有提高，結果證明了設計的有效性。