焦曉峰，蔣興群，劉 波，宋 力，3，陳永艷，3，張憲琦

（1.內(nèi)蒙古電力科學(xué)研究院，呼和浩特 010020；2.內(nèi)蒙古工業(yè)大學(xué)，呼和浩特 010051；3.內(nèi)蒙古自治區(qū)可再生能源重點(diǎn)實(shí)驗(yàn)室，呼和浩特 010051；4.哈爾濱工業(yè)大學(xué)計(jì)算學(xué)部，哈爾濱 150001）

0 引言

葉片是風(fēng)力發(fā)電機(jī)組將風(fēng)能轉(zhuǎn)變?yōu)殡娔艿年P(guān)鍵部件，在工作過(guò)程中易受風(fēng)沙、雷擊和海水等因素的破壞與腐蝕[1-4]，出現(xiàn)表面漆皮脫落、裂紋和雷擊損傷等情況，影響機(jī)組性能并帶來(lái)安全隱患[5]。

目前國(guó)內(nèi)對(duì)葉片損傷的檢測(cè)方法主要依賴于人工檢測(cè)，如使用高分辨率相機(jī)從風(fēng)力發(fā)電機(jī)組底部多角度拍攝靜止的葉片，根據(jù)圖像人工分析判定葉片健康狀況；或使用高空吊籃的方式對(duì)風(fēng)力機(jī)組葉片進(jìn)行人工檢測(cè)等。人工檢測(cè)效率低，且受人為因素影響嚴(yán)重，無(wú)法保證檢測(cè)精度，且高空作業(yè)的危險(xiǎn)性和檢測(cè)成本高，不適合日常巡檢[6-8]。

針對(duì)上述不足，本文利用風(fēng)電場(chǎng)大數(shù)據(jù)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)的方法[9-10]，用大量風(fēng)力機(jī)葉片圖像構(gòu)建損傷葉片圖像數(shù)據(jù)集，選取CenterNet算法[11]作為基礎(chǔ)檢測(cè)網(wǎng)絡(luò)，構(gòu)建風(fēng)機(jī)葉片損傷檢測(cè)識(shí)別模型，實(shí)現(xiàn)對(duì)葉片損傷的快速準(zhǔn)確檢測(cè)識(shí)別。骨干網(wǎng)絡(luò)采用DLA-60網(wǎng)絡(luò)[12]，并在DLA-60中引入弱監(jiān)督數(shù)據(jù)增強(qiáng)網(wǎng)絡(luò)（Weakly Supervised Data Augmentation Network，WS-DAN）算法[13]中的注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制（Attention Guided Data Augmentation），提升風(fēng)機(jī)葉片損傷檢測(cè)識(shí)別模型的精度，并通過(guò)實(shí)驗(yàn)驗(yàn)證該算法的實(shí)時(shí)性和精確性。

1 CenterNet與注意力機(jī)制相結(jié)合的風(fēng)力機(jī)葉片損傷檢測(cè)識(shí)別網(wǎng)絡(luò)

1.1 CenterNet和注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制

CenterNet算法由ZHOU等人于2019年提出[11]，將目標(biāo)檢測(cè)問(wèn)題看作一個(gè)關(guān)鍵點(diǎn)估計(jì)問(wèn)題。Center?Net算法大致流程如下：

（1）由主干網(wǎng)絡(luò)輸出特征圖（Feature Map）；

（2）將特征圖送入3個(gè)處理分支，分別得到熱力圖（Heat Map）、物體寬高的預(yù)測(cè)情況和物體中心距離熱力點(diǎn)偏移情況（Offset）；

（3）通過(guò)后處理過(guò)程，得到目標(biāo)物體邊界框（Bounding Boxes）。

WS-DAN算法中的注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制，可使網(wǎng)絡(luò)更加關(guān)注圖像中的有效特征區(qū)域。注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制主要包含兩個(gè)操作：一是注意力剪裁（Attention Cropping），裁剪并放大其中一個(gè)注意力區(qū)域（Attention Region），增強(qiáng)局部特征呈現(xiàn)；二是注意力刪除（Attention Drop?ping），隨機(jī)從圖像中刪除一個(gè)注意力區(qū)域，以激勵(lì)網(wǎng)絡(luò)模型提取其他有識(shí)別力的部分。

1.2 DLA-60網(wǎng)絡(luò)中添加注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制

借鑒WS-DAN算法中的注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制，在主干網(wǎng)絡(luò)DLA-60后添加注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制，其結(jié)構(gòu)示意圖如圖1所示。添加注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制前，需添加注意力分支，用于提取注意力圖并作為后續(xù)的輸入。改進(jìn)后的網(wǎng)絡(luò)命名為DLATT，由主干網(wǎng)絡(luò)、注意力分支和注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制三個(gè)模塊構(gòu)成。DLATT網(wǎng)絡(luò)工作流程如下。

圖1 CenterNet主干網(wǎng)絡(luò)DLA?60添加注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制示意圖Fig.1 Diagram of DLA?60 backbone network with attention?guided data enhancement mechanism

（1）獲取特征圖。預(yù)處理后的圖片經(jīng)過(guò)主干網(wǎng)絡(luò)得到特征圖。

（2）提取注意力圖。步驟（1）中特征圖進(jìn)入注意力分支，提取出包含更多目標(biāo)物的注意力圖，為后續(xù)圖像增強(qiáng)提供基礎(chǔ)。

（3）注意力引導(dǎo)數(shù)據(jù)增強(qiáng)。依據(jù)步驟（2）中的注意力圖對(duì)原圖進(jìn)行注意力引導(dǎo)數(shù)據(jù)增強(qiáng)，主要包含兩個(gè)操作：注意力剪裁和注意力刪除。經(jīng)過(guò)注意力剪裁和刪除后，將兩次操作獲得的數(shù)據(jù)傳入后續(xù)網(wǎng)絡(luò)并進(jìn)行計(jì)算，對(duì)輸出結(jié)果計(jì)算損失并與原始損失相加，以此約束主干網(wǎng)絡(luò)，使其更加關(guān)注圖片中檢測(cè)框區(qū)域。引入注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制，將原圖和增強(qiáng)后的數(shù)據(jù)都作為輸入數(shù)據(jù)進(jìn)行訓(xùn)練，使得網(wǎng)絡(luò)在不需要額外標(biāo)注信息的情況下更加關(guān)注圖像中的有效特征區(qū)域，提升了網(wǎng)絡(luò)性能。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 風(fēng)機(jī)損傷葉片圖像數(shù)據(jù)集的構(gòu)建

搜集整理內(nèi)蒙古西部多個(gè)風(fēng)電場(chǎng)的損傷葉片圖像共計(jì)691張，將風(fēng)機(jī)葉片表面損傷分為漆皮脫落、裂紋、雷擊、鼓包和劃痕5種類型[14-17]，各類損傷示例如圖2所示。為防止訓(xùn)練模型時(shí)出現(xiàn)過(guò)擬合現(xiàn)象，對(duì)圖像采取亮度變換、水平鏡像和圖像旋轉(zhuǎn)等方法將圖像總量擴(kuò)充為2288張，使用LabelImg圖像標(biāo)注工具，并且按照PASCAL-VOC2007數(shù)據(jù)集格式進(jìn)行標(biāo)注。訓(xùn)練集、驗(yàn)證集和測(cè)試集采用8∶1∶1比例劃分，具體數(shù)據(jù)量為訓(xùn)練集1830張，驗(yàn)證集229張，測(cè)試集229張，至此完成了風(fēng)力機(jī)損傷葉片圖像數(shù)據(jù)集的構(gòu)建。

圖2 損傷葉片圖像示例Fig.2 Sample image of damaged leaf

2.2 實(shí)驗(yàn)平臺(tái)及參數(shù)

基于Pytorch深度學(xué)習(xí)框架對(duì)構(gòu)建好的風(fēng)機(jī)葉片損傷檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試。主干網(wǎng)絡(luò)的初始學(xué)習(xí)率設(shè)置為1.25e-4，共訓(xùn)練500個(gè)迭代輪次，批量大?。˙atch Size）設(shè)置為4，至300個(gè)迭代輪次和400個(gè)迭代輪次時(shí)，學(xué)習(xí)率均下降90%。

在CenterNet算法中，采用損失值選取最優(yōu)模型，即當(dāng)損失值達(dá)到最低時(shí)選取此時(shí)的模型，但更低的損失值并不代表該模型準(zhǔn)確度一定最優(yōu)。為實(shí)現(xiàn)模型的最優(yōu)選取，在CenterNet算法檢測(cè)模型訓(xùn)練時(shí)，每訓(xùn)練一定量迭代輪次后再用驗(yàn)證集進(jìn)行測(cè)試，采用平均準(zhǔn)確率作為衡量模型優(yōu)劣的指標(biāo)，選取平均準(zhǔn)確率最大的模型作為最優(yōu)模型。

2.3 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

采用準(zhǔn)確率、召回率和平均準(zhǔn)確率來(lái)綜合衡量檢測(cè)算法的效果。實(shí)驗(yàn)中，設(shè)定交并比（Intersec?tion Over Union，IOU）閾值大于0.5時(shí)目標(biāo)檢測(cè)正確，式（1）和（2）分別為準(zhǔn)確率P與召回率R的計(jì)算方法。在目標(biāo)檢測(cè)中，主要通過(guò)平均準(zhǔn)確率PA來(lái)衡量分類器的性能，如式（3）所示。對(duì)于目標(biāo)檢測(cè)而言，每個(gè)類別都會(huì)計(jì)算出其P、R值，得到一條P-R曲線。PA越大，代表檢測(cè)器的檢測(cè)效果越好。平均準(zhǔn)確率均值PMA是對(duì)所有類別的平均準(zhǔn)確率值求平均，更能反映檢測(cè)器的整體性能。

式中：P—準(zhǔn)確率，即符合要求的正確識(shí)別物體的個(gè)數(shù)占總識(shí)別物體個(gè)數(shù)的百分比；

R—召回率，即符合要求的正確識(shí)別物體個(gè)數(shù)占總正確物體個(gè)數(shù)的百分比；

NTP—模型正確檢測(cè)到的目標(biāo)數(shù)量；

NFP—模型錯(cuò)誤檢測(cè)到的目標(biāo)數(shù)量；

NFN—模型漏檢的目標(biāo)數(shù)量；

PA—平均準(zhǔn)確率，不同P和R點(diǎn)的組合繪出的曲線下面的面積。

2.4 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證本文提出算法的有效性，對(duì)CenterNet算法、YOLOv3算法和基于CenterNet的改進(jìn)算法在229張測(cè)試圖像上的識(shí)別結(jié)果進(jìn)行統(tǒng)計(jì)對(duì)比，結(jié)果如表1所示。

從表1可看出，CenterNet算法與YOLOv3算法平均準(zhǔn)確率均值基本相同，達(dá)到85%。CenterNet與注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制結(jié)合的風(fēng)機(jī)葉片損傷檢測(cè)識(shí)別算法平均準(zhǔn)確率均值為88.0%，比其他兩種算法整體值提升了2.6%。通過(guò)注意力機(jī)制約束主干網(wǎng)絡(luò)使其更加關(guān)注圖片中檢測(cè)框區(qū)域，實(shí)現(xiàn)對(duì)風(fēng)機(jī)葉片損傷檢測(cè)模型精度的提升，且檢測(cè)時(shí)間基本與原網(wǎng)絡(luò)持平，檢測(cè)時(shí)間具體數(shù)值見(jiàn)表2。采用CenterNet與注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制結(jié)合的風(fēng)機(jī)葉片損傷檢測(cè)算法的檢測(cè)效果如圖3所示。

表1 不同算法識(shí)別的平均準(zhǔn)確率Tab.1 Average accuracy of recognition by different algorithms %

表2 各模型的檢測(cè)時(shí)間對(duì)比Tab.2 Detection rate of different models

采用CenterNet與注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制結(jié)合的風(fēng)力機(jī)葉片損傷檢測(cè)算法對(duì)裂紋、雷擊、劃傷和鼓包四種損傷類型均有較好的檢測(cè)效果，其中對(duì)表面漆皮脫落損傷的檢測(cè)識(shí)別精度提高了6.1個(gè)百分點(diǎn)。由于表面漆皮脫落存在損傷特征多樣性、微小性和損傷區(qū)域雜亂性等特點(diǎn)，給檢測(cè)識(shí)別帶來(lái)了大量的干擾，導(dǎo)致檢測(cè)精度較低。本文通過(guò)算法改進(jìn)，對(duì)于損傷特征明顯的表面漆皮脫落有很好的檢測(cè)識(shí)別效果，如圖3（a）和圖3（b）所示。表1中數(shù)據(jù)顯示，雷擊損傷的檢測(cè)精度較初始下降了0.9個(gè)百分點(diǎn)，考慮到雷擊損傷的圖像數(shù)據(jù)量較少，使得注意力引導(dǎo)增強(qiáng)機(jī)制沒(méi)有得到充分的訓(xùn)練學(xué)習(xí)，從而沒(méi)有發(fā)揮出應(yīng)有的效果，后期對(duì)雷擊損傷圖像數(shù)據(jù)積累后，可對(duì)網(wǎng)絡(luò)進(jìn)行進(jìn)一步的訓(xùn)練學(xué)習(xí)來(lái)提升雷擊損傷的檢測(cè)準(zhǔn)確率。

圖3 風(fēng)力機(jī)損傷葉片檢測(cè)識(shí)別模型效果圖Fig.3 Effect diagram of wind turbine damaged blade detection and recognition model

3 結(jié)語(yǔ)

針對(duì)目前風(fēng)電場(chǎng)中對(duì)于風(fēng)力機(jī)葉片損傷檢測(cè)效率低、成本高等問(wèn)題，本文利用風(fēng)電場(chǎng)大數(shù)據(jù)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)的方法，選取CenterNet算法作為基礎(chǔ)的檢測(cè)網(wǎng)絡(luò)構(gòu)建風(fēng)機(jī)葉片損傷檢測(cè)識(shí)別模型，并對(duì)其骨干網(wǎng)絡(luò)DLA-60進(jìn)行改進(jìn)，加入注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制，使平均準(zhǔn)確率均值由85.4%增至88.0%，整體檢測(cè)識(shí)別精度提升了2.6個(gè)百分點(diǎn)。在保證檢測(cè)識(shí)別精度的同時(shí)提升了安全系數(shù)和工作效率、節(jié)約了大量經(jīng)濟(jì)成本，也為風(fēng)機(jī)葉片的故障檢測(cè)與維修提供參考依據(jù)，保障了風(fēng)電機(jī)組的安全穩(wěn)定運(yùn)行。