董 禮，韓則胤，王 寧，王恩路，蘇寶定

(中國廣核新能源控股有限公司，北京 100000)

0 引言

我國可供開發(fā)的風(fēng)能資源大約在10億千瓦，為加強對風(fēng)能資源的開發(fā)利用，截止到2020年底，全年新增風(fēng)電裝機超過7 100萬千瓦，成為目前應(yīng)用最廣泛和發(fā)展最快的新能源發(fā)電技術(shù)[1]。由于風(fēng)電設(shè)備大多數(shù)安裝在偏遠(yuǎn)地區(qū)，風(fēng)電機組的工作環(huán)境惡劣并且氣候環(huán)境復(fù)雜，經(jīng)常受到大風(fēng)、雷電、雨雪等天氣的影響，導(dǎo)致風(fēng)電機組故障頻發(fā)，對機組葉片造成損傷[2]。

在對風(fēng)電機組葉片缺陷檢測中，文獻[3]系統(tǒng)利用聲發(fā)射技術(shù)，基于能量的等高線圖判斷風(fēng)機葉片的損傷程度，并應(yīng)用新的源定位方法對缺陷部分定位。文獻[4]系統(tǒng)通過部署大量傳感器組成傳感器網(wǎng)絡(luò)，實時采集機組葉片的聲信號，對葉片的實時結(jié)構(gòu)健康進行監(jiān)測。文獻[5]系統(tǒng)結(jié)合有限元法和反卷積分離法，利用葉片的振動信號檢測風(fēng)機的損傷狀態(tài)，確定葉片的損傷位置。文獻[6]系統(tǒng)通過應(yīng)變感應(yīng)器來檢測風(fēng)機葉片在外界作用下產(chǎn)生的形變，安裝在葉片表面或葉片層，間接檢測風(fēng)電機組的結(jié)構(gòu)損傷。當(dāng)前的研究中需要借助大量多種類型的傳感器設(shè)備，對葉片狀態(tài)進行監(jiān)測，提高了系統(tǒng)的檢測成本和復(fù)雜程度，同時傳感器獲得的信號容易受到環(huán)境噪聲的影響，進一步影響了系統(tǒng)對風(fēng)機葉片缺陷的分析和識別的精度。

1 基于無人機圖像采集的風(fēng)電機組葉片缺陷檢測系統(tǒng)

該研究將無人機技術(shù)和圖像視覺技術(shù)應(yīng)用在對風(fēng)機葉片的缺陷檢測上，采用高分辨率的相機和無人機對風(fēng)電機組葉片圖像進行采集，獲取到清晰且完整的葉片信息，比人工巡檢的方式更具安全性和效率。采集到風(fēng)機葉片的圖像越清晰，包含的葉片缺陷信息更加豐富，該研究系統(tǒng)使用深度學(xué)習(xí)模型能夠更好地提取出葉片表面開裂的缺陷特征，更加精確的定位缺陷位置[7]。該研究系統(tǒng)使用基于ONESTAGE的YOLOv5目標(biāo)檢測算法，能夠直接產(chǎn)生目標(biāo)葉片缺陷的類別概率和位置坐標(biāo)值，提高了對風(fēng)機葉片的目標(biāo)檢測速度[8]?；跓o人機圖像采集的風(fēng)電機組葉片缺陷檢測系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 風(fēng)電機組葉片缺陷檢測系統(tǒng)結(jié)構(gòu)

該研究設(shè)計時，在結(jié)構(gòu)上可分為采集層、數(shù)據(jù)層、服務(wù)層和應(yīng)用層。通過不同層次結(jié)構(gòu)實現(xiàn)風(fēng)電機組葉片數(shù)據(jù)信息的采集、傳遞、計算、分析與計算。滿足用戶從底層風(fēng)電機組葉片的運行狀態(tài)開始，進行遠(yuǎn)程數(shù)據(jù)信息監(jiān)控，有效地將風(fēng)電機組葉片的運行狀態(tài)的宏觀數(shù)據(jù)信息，轉(zhuǎn)換為直觀的數(shù)據(jù)顯示，提高了風(fēng)電機組葉片缺陷檢測效率。

采集層利用全自主巡檢模式的無人機完成風(fēng)電機組葉片表面的全面覆蓋圖像的采集，采用低速、定點航拍的方式，在巡檢過程中通過無線傳輸網(wǎng)絡(luò)將采集到的葉片缺陷圖像傳輸?shù)较到y(tǒng)的數(shù)據(jù)層。為防止無人機與葉片距離過近發(fā)生碰撞事故，在無人機上安裝有紅外激光傳感器，用來探測無人機前方水平60°，距離30 m之內(nèi)的所有物體，通過設(shè)定距離閾值保證無人機在圖像采集過程中的飛行安全，當(dāng)小于閾值距離時發(fā)生報警信號自動向相反方向飛行并恢復(fù)安全飛行距離[9]。在具體設(shè)計時，通過無人機攜帶不同的電子設(shè)備信息實現(xiàn)風(fēng)電機組葉片缺陷的巡檢采集，無人機體積小，重量輕，能夠?qū)崿F(xiàn)人力無法企及的高空場合或者高危區(qū)域。通常包括飛機平臺系統(tǒng)、信息采集系統(tǒng)和地面控制系統(tǒng)等，能夠?qū)⒏呖栈蛘吒呶^(qū)域數(shù)據(jù)信息帶回地面，實現(xiàn)數(shù)據(jù)遠(yuǎn)距離交互，提高了作業(yè)工作效率。

數(shù)據(jù)層完成葉片缺陷圖像的存儲和預(yù)處理，并向應(yīng)用層提供數(shù)據(jù)訪問接口，數(shù)據(jù)層使用具有多個計算引擎的分布式數(shù)據(jù)庫HIVE，能夠兼容多種數(shù)據(jù)存儲格式，并支持時間復(fù)雜程度較高的數(shù)據(jù)結(jié)構(gòu)[10]。數(shù)據(jù)層可以設(shè)置外設(shè)接口，比如遠(yuǎn)程無線通信接口、USB數(shù)據(jù)接口、CAN數(shù)據(jù)總線等，通過這種方式，能夠?qū)崿F(xiàn)無人機采集數(shù)據(jù)與外設(shè)設(shè)備多種數(shù)據(jù)交互與共享，必要時，在數(shù)據(jù)局層可以設(shè)置數(shù)據(jù)管理軟件，以提高風(fēng)電機組葉片缺陷檢測數(shù)據(jù)管理效率。

應(yīng)用層使用支持可視化操作的LABELIMG工具來標(biāo)注圖像中的缺陷信息，LABELIMG工具并且支持源碼編譯安裝，可以直接下載系統(tǒng)對應(yīng)打包好的文件，在DATA_CLASSES路徑文件下定義訓(xùn)練好的使用類的列表，使用OPENDIR選擇葉風(fēng)電機組葉片圖像的目錄，在CHANGE SAVEDIR中自定義生成標(biāo)注文件的保存位置。對圖像中葉片開裂缺陷的位置進行選擇，并標(biāo)注損傷程度完成后對標(biāo)注就信息進行保存，輸出XML格式的標(biāo)注文件。標(biāo)注文件的標(biāo)注信息包括圖像路徑、名稱、圖像分辨率、通道數(shù)量、缺陷坐標(biāo)和損傷程度等信息。

本研究設(shè)計中，可以將服務(wù)層與應(yīng)用層結(jié)合起來應(yīng)用，或者將應(yīng)用層劃分為不同的數(shù)據(jù)模塊，比如具有服務(wù)功能的多種數(shù)據(jù)管理模塊。比如可視化管理模塊、分類管理模塊、交互模塊、故障處理模塊等。

2 葉片開裂缺陷圖像的高精度檢測方法

在無人機自動巡檢過程中，大規(guī)模風(fēng)機葉片圖像和視頻的數(shù)據(jù)傳輸可能會造成網(wǎng)絡(luò)擁堵，并且上傳到系統(tǒng)數(shù)據(jù)層的圖像或視頻數(shù)據(jù)并不是完全有用的，圖像過于模糊、葉片圖像的有效面積過小影響系統(tǒng)對葉片缺陷的分析效果，同時增加了系統(tǒng)數(shù)據(jù)庫的存儲資源。該研究設(shè)計出風(fēng)機葉片開裂缺陷的檢測模型，對采集到的圖像質(zhì)量進行檢測，過濾掉運動模糊和低質(zhì)量的不適合作為訓(xùn)練數(shù)據(jù)的葉片圖像[11]。

2.1 清晰度檢測

通常，從無人機輸出的數(shù)據(jù)信息由于外界噪聲的干擾，數(shù)據(jù)信息不純凈，容易使采集到的數(shù)據(jù)信息在后續(xù)計算過程中誤差大，不準(zhǔn)確程度高。針對該方法，該研究使用圖像邊緣銳度評價無人機采集到的葉片圖像，通過sobel算子計算圖像梯度，采用Tenegrad梯度函數(shù)衡量圖像的清晰度，通過這種方式，能夠?qū)@取的數(shù)據(jù)信息特征提取出來，在對提取的數(shù)據(jù)特征進行分析，以提高數(shù)據(jù)分析精度。為了量化采集到的宏觀數(shù)據(jù)量，該研究采用了數(shù)據(jù)思維的方式，以具體化通過無人機技術(shù)采集到的葉片開裂缺陷圖像數(shù)據(jù)信息。梯度計算可表示為：

(1)

式中，Gx表示圖像像素橫向梯度，Gy表示圖像像素縱向梯度，I表示圖像的灰度值。

通過該公式，能夠計算出葉片開裂缺陷圖像信息的灰度值，基于灰度值的計算結(jié)果，能夠評判采集到葉片開裂缺陷圖像的精度。通過上述計算后，再計算葉片開裂缺陷圖像的清晰度。計算圖像的清晰度可表示為：

(2)

式(2)中，F(xiàn)T表示清晰度評價算子，m表示葉片缺陷圖像的長度，n表示葉片缺陷圖像的寬度，(x,y)表示圖像的像素點坐標(biāo)[12]。

通過該公式，清晰度評價算子、葉片缺陷圖像的長度、葉片缺陷圖像的寬度等因素是影響葉片開裂缺陷圖像清晰度的關(guān)鍵性因素，當(dāng)然，在實際應(yīng)用中，還會存在其他因素，出于篇幅的限制，本研究不再考慮一些非關(guān)鍵因素，將清晰度計算融入上述清晰度評價算子、葉片缺陷圖像的長度、葉片缺陷圖像的寬度等因素能夠從本質(zhì)上分析影響清晰度評價算子、葉片缺陷圖像的長度、葉片缺陷圖像精度的能力。系統(tǒng)通過設(shè)置合理的閾值，計算出的清晰度算子高于系統(tǒng)閾值時被認(rèn)定為為滿足葉片開裂缺陷分析的圖像要求，低于閾值的圖像不會保存在系統(tǒng)數(shù)據(jù)庫。

2.2 缺陷圖像有效面積檢測

無人機采集到風(fēng)電機組葉片圖像的有效面積是指葉片上開裂缺陷的面積，葉片像素點在整個圖像總像素點的比例大小影響缺陷檢測的精度。兩種不同葉片面積占比的圖像如圖2所示。

圖2 不同葉片面積占比的圖像

圖像1中的葉片占比面積超過80%，能夠清晰地觀察到葉片上的開裂缺陷，圖像2的葉片占比面積不足20%，包含的缺陷信息較少，需要進行圖像分割和去噪處理。圖像轉(zhuǎn)換可表示為：

F(i,j)=0.30R(i,j)+0.59G(i,j)+0.11B(i,j)

(3)

其中:F(i,j)表示轉(zhuǎn)換后的灰色圖像，R表示圖像的紅色通道，G表示圖像的綠色通道，B表示圖像的藍(lán)色通道[13]。

通過上述分析，將采集到的圖像數(shù)據(jù)信息切割成小模塊結(jié)構(gòu)，將圖像信息轉(zhuǎn)換為可以矢量數(shù)據(jù)信息，提高了計算能力。通過式(3)能夠?qū)⑻崛〉降娜~片開裂缺陷圖像數(shù)據(jù)信息，清晰地展示葉片上的開裂缺陷。

由于圖像像素具有不連續(xù)的特性，因此根據(jù)像素的灰度值進行閾值分割，將葉片圖像和背景分隔開，使用最大類間方差法進行閾值分割，計算初始閾值分割兩組像素點的灰度值的方差，可表示為：

σ2=w0w1(μ0-μ1)2

(4)

式中,w0表示葉片像素占比，w1表示背景像素占比，μ0表示葉片像素的平均灰度值，μ1表示背景像素的平均灰度值[14]。

通過式(4)能夠?qū)⒉杉降娜~片開裂缺陷圖像數(shù)據(jù)信息中信息與背景信息分離出來，這種方法能夠分析雨、雪、霧、雨等惡劣天氣下的圖像信息，這就提高了該研究技術(shù)應(yīng)用的范圍，任意惡劣天氣下所采集到的圖像信息都能夠清楚地將采集到的重要信息分離出來。該研究在分離時，還使用方差最大的閾值進行圖像分割，經(jīng)過閾值分割后的風(fēng)機葉片圖像如圖3所示。

圖3 閾值分割后的風(fēng)機葉片圖像

再通過形態(tài)學(xué)圖像處理去除圖像中的噪點，膨脹計算和腐蝕計算可表示為：

A⊕B={x,y|(B)xy∩A=φ}

A?B={x,y|(B)xy?A}

(5)

其中：A表示進行運算的圖像元，B表示結(jié)構(gòu)元。開運算通過先腐蝕計算再膨脹計算的方式，閉運算通過先膨脹計算再腐蝕計算的方式，去除葉片圖像中的黑色噪點，將完整的葉片圖像進行分離并去噪[15]，圖像的有效面積可表示為：

(6)

式(6)中，R為有效面積的比例，M×N表示圖像大小，K表示葉片像素點數(shù)。當(dāng)R大于50%時，無人機采集到的風(fēng)機葉片圖像才能夠保存到系統(tǒng)數(shù)據(jù)庫中，上傳到深度學(xué)習(xí)模型中進行計算。

3 基于深度學(xué)習(xí)算法的葉片缺陷圖像檢測

在對處理后的風(fēng)電機組葉片圖像的缺陷部分進行識別和檢測時，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型在面對大量數(shù)據(jù)時無法及時提取圖像信息。本研究采用深度學(xué)習(xí)算法能夠獲取更深層次的數(shù)據(jù)信息，在具體計算時，該研究將處理后的風(fēng)電機組葉片圖像建立為原始數(shù)據(jù)集，利用深度學(xué)習(xí)模型自動提取圖像缺陷的特征信息，對圖像中開裂缺陷進行識別和檢測。葉片缺陷圖像檢測過程如圖4所示。

圖4 葉片缺陷圖像檢測過程

為了增加深度學(xué)習(xí)網(wǎng)絡(luò)模型的輸入數(shù)據(jù)尺度，加入了SPP-Net，SPP-Net是一種可以不用考慮圖像大小，輸出圖像固定長度網(wǎng)絡(luò)結(jié)構(gòu)，并且可以做到在圖像變形情況下表現(xiàn)穩(wěn)定。SPP-net的效果已經(jīng)在不同的數(shù)據(jù)集上面得到驗證，速度上比R-CNN快24～102倍。通過這種方法改進了網(wǎng)絡(luò)模型能夠直接進行卷積操作，對輸入特征圖的每個通道分別使用一個卷積核，將所有卷積核的輸出再進行拼接，最終輸出特征圖[16]。正常的深度網(wǎng)絡(luò)由兩部分組成，卷積部分和全連接部分，要求輸入圖像需要固定size的原因并不是卷積部分而是全連接部分。所以SPP層就作用在最后一層卷積之后，SPP層的輸出就是固定大小。

首先將風(fēng)機葉片圖像輸出到深度學(xué)習(xí)網(wǎng)絡(luò)模型，通過對圖像的五層卷積操作得到特征圖后在利用PRN網(wǎng)絡(luò)篩選特征圖，該方法專門用來提取候選框，在RCNN和Fast RCNN等物體檢測架構(gòu)中，用來提取候選框的方法通常是Selective Search。然后利用特征圖進行矩形框回歸。網(wǎng)絡(luò)模型的分割損失具體表示為：

(7)

CCD=Dk×Dk×M×Df×Df+M×N×Df×Df

(8)

式中，Dk表示單個卷積核尺寸，M表示卷積核數(shù)量，M×Df×Df表示輸入特征圖的尺寸，N×Df×Df表示輸出特征圖的尺寸。模型中卷積層輸入向量為X={x1,x2,x3,…,xi}，輸入向量xi的高度為hi、寬度為wi、通道數(shù)為ni，卷積層由N個三維濾波器ξi組成[18]，卷積層的運算量高達nini+1k2hiwi。卷積層輸入的向量為Y={y1,y2,y3,…,yi}，輸出向量的的高度為hi+1、寬度為wi+1、通道數(shù)為ni+1。經(jīng)過多層卷積后輸出結(jié)果，圖像中的開裂缺陷能夠精準(zhǔn)被檢測到，優(yōu)化了的葉片損傷檢測錯檢、相鄰損傷遮擋檢測效果不佳的問題，并且取得了較好的檢測效果[19-21]。

4 應(yīng)用測試

4.1 搭建實驗環(huán)境

該研究在Windows 10操作系統(tǒng)上搭建實驗仿真環(huán)境，采用KERAS和TensorFlow實驗框架，系統(tǒng)客戶端使用的處理器為Intel(R)Core(TM)i7-8750H，顯卡為NVIDIA GeForce GTX 1080。在實驗平臺中安裝ANACONDA環(huán)境管理器，集成了常用的Python、Conda、Numpy等函數(shù)庫，能夠更好地管理開發(fā)環(huán)境，搭建深度學(xué)習(xí)網(wǎng)絡(luò)模型[21-22]。

4.2 實驗數(shù)據(jù)準(zhǔn)備

該研究實驗的數(shù)據(jù)來源為某風(fēng)力發(fā)電廠無人機巡檢拍攝到的部分風(fēng)機葉片圖像，風(fēng)機葉片表面具有常見的開裂、腐蝕、涂層脫落等缺陷類型，總共有31 526張圖像。由于采集到的部分圖像的背景信息較為復(fù)雜，有些圖像中不包含缺陷部分，需要對圖像進行篩選并刪去無關(guān)信息，從大量圖像中挑選出2 000張缺陷特征明顯，有效面積超過30%的圖像作為實驗的原始數(shù)據(jù)集。原始數(shù)據(jù)集參數(shù)如表1所示。

表1 原始數(shù)據(jù)集參數(shù)

通過CreatePolygons對葉片圖像繪制標(biāo)注框，標(biāo)注對應(yīng)的缺陷類型，將圖像和標(biāo)準(zhǔn)信息共同保存未json文件，將所有的樣本圖像存儲在實驗文件夾下。葉片圖像缺陷標(biāo)注界面如圖5所示。

圖5 葉片圖像缺陷標(biāo)注界面

4.3 實驗測試

為驗證該研究系統(tǒng)的性能，分別使用文獻[3]系統(tǒng)、文獻[4]系統(tǒng)和該研究系統(tǒng)進行實驗。從原始數(shù)據(jù)集中隨機選取一張風(fēng)電機組葉片圖像，經(jīng)過缺陷標(biāo)注后作為實驗測試圖像，實驗測試圖像如圖6所示。

圖6 實驗測試圖像

實驗測試圖像中存在較多的背景信息，為增強模型對圖像的識別精度，使用3種系統(tǒng)對實驗測試圖像進行處理，得到圖像增強后的實驗圖像如圖7所示。

圖7 處理后的實驗圖像

文獻[3]系統(tǒng)處理后的實驗測試圖像去除了大部分背景信息，通過明暗反轉(zhuǎn)的方式增強了風(fēng)電機組葉片上開裂缺陷的特征，但圖像增強后的畫面對比度過高，失去了葉片表面其他部分的細(xì)節(jié)信息，仍可能存在較小的缺陷尚未被發(fā)現(xiàn)。文獻[4]系統(tǒng)處理后的圖像保留了葉片的全部信息，葉片畫面的對比度明顯增加，但黑色背景圖像和白色葉片圖像中可能存在噪點，圖像的亮度過高導(dǎo)致部分缺陷特征細(xì)節(jié)丟失[22-23]。

該研究系統(tǒng)去除了葉片圖像的全部背景信息，并對圖像進行閾值分割和校正，得到了更加明顯的開裂缺陷特征，并保證了葉片圖像的明暗變化，根據(jù)圖像的像素灰度值變化獲取葉片輪廓，并過濾掉了大部分噪聲，對圖像的處理效果更好，提高了后續(xù)缺陷檢測的精度[24-25]。

對原始數(shù)據(jù)集中的葉片圖像標(biāo)記完成后，Imagesets文件夾中有200張葉片缺陷圖像，其中包含開裂缺陷、磨損缺陷、脫落缺陷、雷擊缺陷和多類別損失缺陷，將數(shù)據(jù)分為訓(xùn)練集、測試集和驗證集，使用訓(xùn)練集中的數(shù)據(jù)對深度學(xué)習(xí)網(wǎng)絡(luò)模型進行訓(xùn)練。使用訓(xùn)練好的模型進行開裂缺陷識別測試，文獻[3]系統(tǒng)和文獻[3]系統(tǒng)進行對比，將驗證集中的圖像分為6組，識別驗證集中的開裂缺陷圖像數(shù)量如圖8所示。

圖8 識別到開裂缺陷圖像數(shù)量

對驗證集中每一組實驗圖像進行測試后，該研究系統(tǒng)識別出開裂缺陷圖像的數(shù)量最多，深度學(xué)習(xí)網(wǎng)絡(luò)模型的缺陷檢測效果最好，其中識別到第四組的開裂缺陷數(shù)量高達50個，第六組的開裂缺陷數(shù)為24個。

文獻[3]系統(tǒng)檢測到第一組的圖像的葉片開裂缺陷數(shù)最多，最高達到40個，第二組和第六組識別到的缺陷數(shù)量低至20個。文獻[4]系統(tǒng)檢測到開裂缺陷數(shù)量最高為35個，識別到第六組圖像的缺陷數(shù)量最少為18個。文獻[3]系統(tǒng)和文獻[4]系統(tǒng)的對葉片圖像中缺陷的識別精度較低，不能較好地提取出圖像的缺陷特征，受到圖像質(zhì)量、亮度和對比度的影響較大，圖像過亮或過暗導(dǎo)致葉片缺陷處的信息較少，造成系統(tǒng)對葉片缺陷識別效果不好。

5 結(jié)束語

該研究設(shè)計出風(fēng)電機組葉片缺陷檢測系統(tǒng)，使用無人機完成風(fēng)電機組葉片圖像的采集任務(wù)，采用深度學(xué)習(xí)算法對葉片圖像進行缺陷檢測分析，并在圖像上標(biāo)注開裂缺陷位置。該研究的創(chuàng)新點在于：

1)對無人機采集到的葉片缺陷圖像進行高精度檢測，采用Tenegrad梯度函數(shù)計算圖像的清晰度評價算子，對葉片占比較小的圖像進行灰度化處理，使用最大類間差法進行閾值分割再計算有效面積。

2)建立深度學(xué)習(xí)網(wǎng)絡(luò)模型，使系統(tǒng)自動提取圖像的缺陷特征，引入了SPP-Net網(wǎng)絡(luò)直接進行卷積再進行特征映射，加快了圖像數(shù)據(jù)處理速度，提高了模型的檢測效率。

該研究仍存在一些不足之處還需進一步改進，系統(tǒng)僅對風(fēng)機葉片的開裂缺陷進行檢測，在后續(xù)研究中考慮增加系統(tǒng)的風(fēng)機葉片缺陷數(shù)據(jù)集，對葉片上的更多類型的缺陷進行檢測。