李寧，張彥輝，尚英強，周弋，高金秋

(國網(wǎng)北京電力公司電纜分公司，北京 100010)

0 引言

近些年來，隨著國家對風電政策支持力度的不斷加大，風電產(chǎn)業(yè)獲得了長足的發(fā)展，我國已經(jīng)成為世界上最大的風電產(chǎn)業(yè)大國。隨著大量風電機組的出保，風電運維管理問題也受到業(yè)內(nèi)人士的廣泛關(guān)注。由于風電場環(huán)境較復雜，風力發(fā)電機組葉片全天候在高空運行，容易出現(xiàn)缺陷影響葉片壽命，嚴重的甚至造成停機事故。因此，對風機葉片進行定期檢查具有重要意義。

隨著無人機技術(shù)、人工智能及無損檢測技術(shù)的發(fā)展，基于無人機平臺采集高清風機葉片圖像，通過計算機視覺技術(shù)自動識別缺陷的自動巡檢技術(shù)已成為風電機組定期巡檢的新模式。由于無人機航拍采集的葉片圖像背景為大地，背景復雜，干擾因素較多，利用圖像分割技術(shù)實現(xiàn)對風機葉片區(qū)域的分割，實現(xiàn)背景的去除，能夠排除環(huán)境干擾，有效提高缺陷識別的準確率。傳統(tǒng)的圖像分割方法根據(jù)圖像的顏色、空間結(jié)構(gòu)和紋理信息等特征進行處理分析，如：基于閾值的圖像分割方法、基于邊緣的圖像分割方法、基于區(qū)域的圖像分割方法、基于特定理論的分割方法等[1-4]。傳統(tǒng)的圖像分割方法在分割精度和分割效率上難以達到實際應用的要求，需要通過人工設計的特征與其他方法的結(jié)合實現(xiàn)，具有很大的局限性[5-6]。而深度學習能夠從數(shù)據(jù)中有效地自主學習特征，具有很強的自學習能力。隨著2015 年全卷積網(wǎng)絡FCN[7]的提出，利用深度學習進行語義分割逐漸發(fā)展起來。

DeepLab 是深度學習語義分割領域影響較大的一支，其中DeepLabv3+[8]是DeepLab 語義分割系列網(wǎng)絡的最新作，其前作有DeepLabv1[9]、DeepLabv2[10]、DeepLabv3[11]，在DeepLabv3+中通過Encoder-Decoder 結(jié)構(gòu)進行多尺度信息的融合，其骨干網(wǎng)絡使用了ResNet-101 和Xception 模型，提高了語義分割的健壯性和運行速率。DeepLabv3+提出了采用擴張卷積代替池化層來產(chǎn)生密集的預測的策略，在Pascal VOC 和Cityscape 數(shù)據(jù)集取得了不錯的成績，但其編碼輸出的特征圖相較于輸入圖像分辨率減小了16 倍，有很多的細節(jié)信息被丟失，導致現(xiàn)有算法在物體邊緣和細節(jié)部分分割效果不佳[12-13]。

由于無人機采集的風機葉片圖像具有背景復雜和葉片占比差異較大的問題，本文以DeepLabv3+網(wǎng)絡為基礎，在DeepLabv3+網(wǎng)絡的基礎上改進了空間金字塔結(jié)構(gòu)(Atrous Spatial Pyramid Pooling，ASPP)和Decoder 模塊。DSAPP 通過級聯(lián)多個空洞卷積層，使用密集連接的方式將每個空洞卷積層的輸出傳遞給后續(xù)的空洞卷積層，獲得了更大范圍的感受野。在Decoder 階段添加多層特征融合，以恢復在降采樣過程中丟失的細節(jié)信息和低級特征。

1 圖像采集及基礎網(wǎng)絡簡介

1.1 圖像采集

本文所用的圖像是選擇抗風性能較強的六旋翼無人機搭載可見光相機通過自主規(guī)劃航線，沿著葉片的4個面(迎風面、背風面、前緣、后緣)飛行采集的。相機距離葉片的距離約為6 m，約每隔2 m 采集一張圖像。每幅圖像的尺寸為5 280×3 956，為了降低分割難度，提升分割效率，本文將圖像中出現(xiàn)的機頭及塔筒部分也視為葉片處理。

1.2 DeepLabv3+網(wǎng)絡結(jié)構(gòu)簡介

DeepLabv3+屬于Encoder-Decoder模型，Encoder -Decoder 結(jié)構(gòu)常用于自然語言處理中，在分割任務中就是將圖片通過卷積得到小尺寸的特征圖再通過上采樣將尺寸還原的過程。DeepLabv3+網(wǎng)絡是以DeepLabv3 模型為基礎，利用其作為編碼模塊輸出特征圖，并添加解碼模塊實現(xiàn)語義分割。編碼器部分首先利用不同通道的可分離卷積層提取圖像特征，再通過ASPP 模塊中不同擴張率的空洞卷積捕獲到該特征空間信息，并通過1×1 卷積進行通道壓縮。在解碼器部分，首先對提取到的多尺度特征信息進行4 倍雙線性插值上采樣，再與基礎網(wǎng)絡中提取到的原始特征進行結(jié)合，然后利用3×3 卷積對合并后總的特征信息做簡單特征融合，最后對特征采用4 倍雙線性插值上采樣得到分割結(jié)果。圖1 展示了DeepLabv3+的基本結(jié)構(gòu)。

圖1 DeepLabv3+的網(wǎng)絡結(jié)構(gòu)

2 基于改進DeepLabv3+網(wǎng)絡的葉片分割方法

DeepLabv3+網(wǎng)絡通過Encoder-Decoder 結(jié)構(gòu)實現(xiàn)像素的有效分割，但ASPP 選擇的擴張率6、12、18 可以獲取的感受野有限，且Decoder 階段引入Encoder 的低層特征圖進行特征融合，丟失了部分中高層特征，在物體邊緣處的語義分割效果不夠理想。針對DeepLabv3+網(wǎng)絡的不足，本文從兩個方面進行改進，通過建立DASPP 模塊獲取更大的感受野和更密集的采樣點，將Encoder 階段的多層特征圖拼接到Decoder 階段，通過特征融合增加網(wǎng)絡的細節(jié)信息。整體網(wǎng)絡結(jié)構(gòu)如圖2 所示。

圖2 改進DeepLabv3+的網(wǎng)絡結(jié)構(gòu)

2.1 DASPP 模塊

DeepLabv3+采用ASPP 模型進行級聯(lián)的空洞卷積，通過疊加不同擴張率的空洞卷積特征，使得輸出的特征映射級聯(lián)到一起逐步獲得更多的感受野尺寸。ASPP 模塊使用空洞卷積解決分辨率和感受野的矛盾，在不增加卷積核參數(shù)量的前提下獲得較大的感受野尺寸，編碼高級的語義信息?？斩淳矸e的主要作用就是在保持分辨率的條件下增大感受野，一維的空洞卷積如下：

其中，y[i]表示輸出信號，x[i]表示輸入信號，d 表示擴張率，w[k]表示卷積核的第k 個參數(shù)，K 是卷積核大小，* 表示卷積。空洞卷積相當于在卷積核兩個連續(xù)值中間插入了d-1 個0，使得卷積時的感受范圍增大。ASPP 通過并聯(lián)3 個不同擴張率的空洞卷積層處理同一輸入特征，并將結(jié)果融合在一起，此時輸出的特征是輸入的多尺度采樣特征，如式(2)所示：

其中，Hk，d(x)用來表示一個空洞卷積，y 表示融合特征。DeepLabv3+采用的ASPP 模塊將3 個不同擴張率(6、12、18)的卷積層進行連接，增加了卷積核的感受野，例如一個擴張率為d，卷積核大小為K，通過空洞卷積后的感受野尺度可以表示為：

ASPP 模塊的3 個空洞卷積層分別產(chǎn)生的感受野范圍如式(4)所示：

語義分割任務需要像素的高級特征表示，對于高分辨率的葉片圖像需要網(wǎng)絡具有更大的感受野。ASPP 為了獲取足夠大的感受野，需要足夠大的擴張率，但隨著擴張率增加，會使得像素采樣率比傳統(tǒng)卷積更加稀疏，造成更多的細節(jié)信息丟失，因此原有的ASPP 模塊對擴張卷積的效果產(chǎn)生衰減，空洞卷積會變得越來越無效并逐漸失去模型能力。在風機槳葉分割中，存在不同尺度的風機葉片，葉片占幅比過大和過小的情況均存在，這更加需要捕獲不同尺度的葉片感受野。因此本文設計了DASPP 模塊來解決風機槳葉分割中的感受野問題，通過級聯(lián)多個空洞卷積層，使用密集連接的方式將每個空洞卷積層的輸出輸送給后續(xù)的空洞卷積層。在DSAPP 模塊中，空洞卷積層充分利用了合理的擴張率，通過一系列的特征連接編碼不同尺度的中間特征，因此DASPP 模塊的輸出特征覆蓋了多尺度范圍的信息，同時也避免了使用過大擴張率的卷積導致的細節(jié)特征丟失問題。為避免因空洞卷積密集連接出現(xiàn)的特征通道數(shù)激增問題，本文使用了1×1 卷積進行通道壓縮，用于降低參數(shù)，限制計算量。

DASPP 結(jié)合了空洞卷積層串聯(lián)和并聯(lián)的優(yōu)點，可以產(chǎn)生具有更多尺度的特征表示，多尺度特征融合與增大感受野交替進行。空洞卷積層通過級聯(lián)的方式組織到了一起，擴張率逐層增加，每層空洞卷積層的輸出都會與其輸入及其他層的輸出進行組合，最終產(chǎn)生具有更多更大尺度的感受野。本文設計的DASPP 模塊使用5 個不同擴張率(3、6、12、18、24)的空洞卷積層進行級聯(lián)，并與另外兩層特征層進行組合后共同編碼，生成更密集的特征金字塔。DASPP 模塊級聯(lián)的空洞卷積如式(5)所示：

其中，dl表示第l層的擴張率；yl-1，yl-2，…，y0表示對前面所有層的輸出進行組合之后生成的特征。級聯(lián)兩個空洞卷積層可以產(chǎn)生更大的感受野，假設兩個空洞卷積的感受野尺寸分別為K1、K2，級聯(lián)后的感受野為：

可以看到DSAPP 使用密集連接集成幾個不同擴張率的卷積層特征，相當于集成多個尺度和感受野的卷積核特征，由于存在串聯(lián)和并聯(lián)結(jié)構(gòu)，擴張率層層遞增，后面的層使用前面的層的特征，進行信息的共享，像素的使用更加密集，小的擴張率使得像素采集更加密集，大的擴張率使得感受野更大。ASPP 與DASPP 的感受野對比如下：

ASPP 的最大與最小感受野：

因此，本文提出的DASPP 模塊對于高像素中的小目標和大目標分割提供了充分的上下文信息,能夠產(chǎn)生更好的分割細節(jié)。

2.2 Decoder 模塊

DeepLabv3+網(wǎng)絡通過Decoder 模塊來重構(gòu)物體的邊界信息，首先對提取到的多尺度特征信息進行4 倍雙線性插值上采樣，再與基礎網(wǎng)絡特征提取部分提取的原始特征進行結(jié)合，然后利用3×3 卷積對合并后的特征信息做簡單的特征融合，最后對特征采用4 倍雙線性插值上采樣得到分割結(jié)果，避免了原始結(jié)構(gòu)中直接對編碼器輸出進行16 倍的上采樣操作，具有更好的細節(jié)信息。但DeepLabv3+網(wǎng)絡的Encoder 階段仍然采用了一個4 倍的上采樣，大尺度的上采樣會對邊緣分割產(chǎn)生不利影響，且只與基礎網(wǎng)絡的低層特征進行了融合，丟失了部分信息會造成分割結(jié)果的損失。因此在Decoder 階段添加多層特征融合，以恢復在降采樣過程中丟失的細節(jié)信息和低級特征。優(yōu)化后的Decoder 模塊融合基礎網(wǎng)絡的多層特征圖，編碼器輸出特征進行4 倍上采樣后與將基礎網(wǎng)絡提取的1/2、1/4 和1/8 大小的特征圖進行充分的特征融合，減少上采樣過程的信息丟失問題，獲得更好的分割效果。

本文在Decoder 模塊采用了1×1 卷積和深度可分離卷積，1×1 卷積將基礎網(wǎng)絡提取的特征圖進行通道壓縮，保持特征所占的比重均衡，利于模型學習。將編碼和解碼的特征進行融合后，再經(jīng)過一個3×3 的深度可分離卷積，將每個通道獨立進行卷積計算，逐點卷積將得到的多個特征圖在深度上加權(quán)組合，能夠?qū)崿F(xiàn)對空間信息和深度信息的去耦合，有效提高分割精度。優(yōu)化后的網(wǎng)絡模型通過端到端的學習和訓練，能夠在葉片邊緣等細節(jié)部分有更好的表現(xiàn)。

3 實驗及結(jié)果分析

3.1 數(shù)據(jù)集準備

本實驗采用的數(shù)據(jù)集來自無人機采集的風機可見光圖像數(shù)據(jù)集，共918 張，包括風機不同角度不同距離的可見光圖像。利用開源圖像標注工具VIA 對可見光圖像的風機葉片輪廓區(qū)域進行精準標注，得到包含標注信息的JSON 文件。對標注文件進行解析，區(qū)分像素點是在葉片外還是葉片內(nèi)，對不同對象賦予不同的數(shù)值，把背景像素設為0，葉片像素設為1，保存為與原圖名稱一樣的單通道m(xù)ask 標簽圖，用于網(wǎng)絡的訓練。

圖像增廣技術(shù)通過對訓練圖像做一系列的隨機改變，來產(chǎn)生相似但又不同的訓練樣本，擴大數(shù)據(jù)集的規(guī)模，降低模型對某些屬性的依賴，從而提高模型的泛化能力[14]。在分割任務中需要對原圖和mask 標簽圖同步增廣，選擇數(shù)據(jù)增廣工具Augmentor 實現(xiàn)。將可見光原圖與mask 圖進行旋轉(zhuǎn)、水平翻轉(zhuǎn)、噪聲、裁剪、顏色空間變換等操作對應變換，使得數(shù)據(jù)集更加豐富和多樣性，顏色空間變換效果如圖3 所示。最終形成訓練集圖像2 000張，驗證集圖像400 張，測試集圖像200 張。

圖3 顏色空間變換效果圖

3.2 模型訓練

本文實驗基于Ubuntu16.04 操作系統(tǒng)，GPU 為GeForce RTX2080Ti，CPU 為Inter Core i9-9900，使用TensorFlow 深度學習框架來訓練和測試模型。

本文在基礎網(wǎng)絡部分使用ResNet-101 作為預訓練模型，使用Adam 優(yōu)化算法迭代的更新網(wǎng)絡權(quán)重，使用poly 學習策略，設置初始化學習率為0.007，power 設置為0.9，訓練尺寸設置為1 025×1 025，batch size 為2，迭代次數(shù)為3 萬次，每訓練一個epoch 在驗證集上測試一次。

3.3 模型評價

本文使用像素平均交并比(Mean Intersection over Union，MIoU)和像素精度(Pixel Accuracy，PA)作為分割效果評價指標。語義分割屬于像素級別的分類任務，預測的結(jié)果存在真正(True Positive，TP)、假正(False Positive，F(xiàn)P)、假負(False Negative，F(xiàn)N)和真負(True Negative，TN)4 種情況。

MIoU 為語義分割的標準度量，其計算兩個集合的交并比。這個比例可以變形為TP 比上TP、FP、FN 之和。在語義分割的問題中，這兩個集合為真實值(Ground Truth)和預測值(Predicted Segmentation)。計算公式如下：

其中，i 表示真實值，j 表示預測值，pij表示將i 預測為j，k+1 是類別個數(shù)。等價于：

MIoU 一般都是基于類進行計算的，將每一類的IoU計算之后累加，再進行平均，得到的就是基于全局的評價[15]。理想情況下比例為1。

PA 即標記正確的像素占總像素的比例，公式如下：

通過圖4 和圖5 可以發(fā)現(xiàn)，通過訓練，模型的MIoU達到了99.234%，像素精度達到了0.997，已經(jīng)達到相當高的精度，完全符合使用要求。

圖4 MIoU 曲線

圖5 PA 曲線

3.4 實驗結(jié)果與分析

為驗證網(wǎng)絡改進對分割結(jié)果產(chǎn)生的影響，本文進行了對比實驗，本文算法與DeepLabv3+網(wǎng)絡的風機槳葉分割結(jié)果如圖6 所示，第1 列為風機葉片圖像，第2 列為標簽圖像，第3 列為DeepLabv3+網(wǎng)絡分割結(jié)果，第4 列為本文算法分割結(jié)果。

圖6 分割結(jié)果對比

由圖6 可以看出，相較于原DeepLabv3+網(wǎng)絡分割效果，本文算法在添加了多尺度感受野和特征融合后，在葉片的邊緣和細節(jié)方面具有更好的分割效果。

通過對比測試，利用本文算法與DeepLabv3+網(wǎng)絡對風機槳葉分割得到了多組實驗結(jié)果，如表1 所示，經(jīng)過優(yōu)化后的網(wǎng)絡達到了最高的MIoU 和PA值。

表1 測試結(jié)果對比

實驗結(jié)果表明，本文采取的兩種改進方法均對分割結(jié)果有不同程度的提升，與直接采用DeepLabv3+網(wǎng)絡進行風機葉片分割相比，本文設計的網(wǎng)絡在MIoU 上提升了9.3%，在PA 上提升了3.9%，驗證了本文所提方法的有效性。

4 結(jié)論

針對無人機采集的風機葉片圖像的質(zhì)量及DeepLabv3+算法對物體邊緣和細節(jié)部分分割效果不佳的現(xiàn)狀，本文提出了一種基于改進DeepLabv3+網(wǎng)絡的風機葉片分割算法。使用密集連接的DASPP 來獲取多尺度的感受野信息，同時改進Decoder 模塊，進行多尺度特征圖融合，減少上采樣過程的信息丟失問題。本文提出的算法像素準確率達到了99.68%，平均交并比達到了99.13%，相比改進之前分別提高了3.9%與9.3%。通過大量測試，本文算法在背景復雜、占幅比懸殊的圖像上葉片邊緣和細節(jié)上都具有較好的分割表現(xiàn)，但是如何有效地分割純凈的風機葉片去除風機機頭及塔筒，需要進一步深入研究。