福建國電風(fēng)力發(fā)電有限公司 鄭啟山 朱少紅 陳長紅 晏錫忠 廈門理工學(xué)院 常海青
隨著經(jīng)濟(jì)的發(fā)展,國家對于能源的需求不斷增加。然而,傳統(tǒng)的化石能源已經(jīng)出現(xiàn)了供應(yīng)不足的情況。為了減少能源損耗、減少廢氣排放和減少環(huán)境污染,開發(fā)新能源是必不可少的。風(fēng)能作為一種潔凈的能量來源,其設(shè)施日趨進(jìn)步,大量生產(chǎn)已經(jīng)降低了成本。隨著風(fēng)力發(fā)電技術(shù)的發(fā)展,風(fēng)力渦輪機(jī)也在我國得到了大量應(yīng)用。但是,由于風(fēng)力渦輪機(jī)所處位置的環(huán)境惡劣,常常會受到風(fēng)沙、雨水等因素的侵蝕。長此以往,這將對風(fēng)力渦輪機(jī)的葉片造成極大的損害,因?yàn)轱L(fēng)機(jī)是可再生能源的重要組成部分,其缺陷導(dǎo)致能源損失和設(shè)備維護(hù)成本的增加,甚至可能危及人員安全[1]。因此,需要在風(fēng)機(jī)葉片受損的早期進(jìn)行葉片修復(fù)。
傳統(tǒng)的葉片缺陷主要是人工通過望遠(yuǎn)鏡進(jìn)行檢測。但是這種方法存在檢測效率低和漏檢數(shù)量大的問題。隨著人工智能的發(fā)展,結(jié)合視覺檢測將大大提高風(fēng)機(jī)缺陷檢測的效率[2]。目前,通過無人機(jī)搭載攝像頭進(jìn)行風(fēng)機(jī)巡檢已成為風(fēng)機(jī)缺陷檢測的主流方式。無人機(jī)結(jié)合深度學(xué)習(xí)算法,可以實(shí)時(shí)檢測到風(fēng)機(jī)葉片的缺陷,從而大大提高了檢測的效率。近年來,深度學(xué)習(xí)在目標(biāo)檢測領(lǐng)域快速發(fā)展。目標(biāo)檢測算法主要分為一階段和二階段算法。二階段算法主要以Fast-RCNN 和Faster-RCNN 為主,精度較高,但檢測實(shí)時(shí)性差。一階段算法的實(shí)時(shí)性高,更符合風(fēng)機(jī)缺陷檢測的需求,其算法包括YOLO 系列算法和SSD 等。為了兼顧檢測精度和速度,本文選擇了YOLOv5算法進(jìn)行風(fēng)機(jī)缺陷檢測,并加入了CBAM 注意力機(jī)制,以降低誤檢率和漏檢率。
YOLOv5是一種基于深度學(xué)習(xí)的目標(biāo)檢測算法,根據(jù)網(wǎng)絡(luò)深度和寬度的大小可以分為四種模型:YOLOv5s、YOLOv5m、YOLOv5l 和YOLOv5x。YOLOv5的Backbone、Neck 和Detect 部分保持一致,唯一的區(qū)別在于模型的深度和寬度設(shè)置。隨著模型深度和寬度的增加,模型的特征提取能力增強(qiáng),但是參數(shù)量也隨之增加,導(dǎo)致檢測速度下降。因此,為了滿足實(shí)時(shí)檢測的效果,本文使用了YOLOv5s 模型進(jìn)行風(fēng)機(jī)缺陷檢測。
數(shù)據(jù)增強(qiáng)是一種提高模型泛化能力的有效方法,常見的數(shù)據(jù)增強(qiáng)方法包括Cutmix[3]、Cutout[4]、Mixout[5]等。本文使用Mosaic 數(shù)據(jù)增強(qiáng)方法,這是一種創(chuàng)新的數(shù)據(jù)增強(qiáng)方法,與CutMix 數(shù)據(jù)增強(qiáng)方法有一定相似性,Mosaic 數(shù)據(jù)增強(qiáng)方法利用四張圖片進(jìn)行拼接,與CutMix 數(shù)據(jù)增強(qiáng)方法的兩張圖片進(jìn)行拼接相比,Mosaic 方法具有更好的背景豐富性,并且在batch normalization 計(jì)算時(shí)同時(shí)計(jì)算了四張圖片的數(shù)據(jù)。具體實(shí)現(xiàn)方法為,首先選擇四張圖片,對其進(jìn)行旋轉(zhuǎn)、縮放和色域變化,然后按照四個方向位置擺放好,最后進(jìn)行圖片組合。Moasic 數(shù)據(jù)增強(qiáng)效果如圖1所示。
圖1 Moasic 數(shù)據(jù)增強(qiáng)效果
使用YOLOv5算法進(jìn)行風(fēng)機(jī)缺陷檢測的時(shí)候,會存在一些缺陷較小,存在誤檢和漏檢的情況。因此本文添加在Backbone 后添加了CBAM 注意力機(jī)制,以此來更好地定位風(fēng)機(jī)的缺陷。YOLOv5改進(jìn)算法結(jié)構(gòu)如圖2所示。
圖2 YOLOv5改進(jìn)算法結(jié)構(gòu)
CBAM 模塊由兩個部分組成:通道注意力模塊(Channel Attention Module,CAM)和空間注意力模塊(Spatial Attention Module,SAM)。
如圖2中的紅色框所示,CAM 模塊通過對每個通道的重要性進(jìn)行自適應(yīng)加權(quán),首先將輸入的特征經(jīng)過基于高和寬的全局平均池化和全局最大池化,突出特征向量中的重要信息,將然后將通過兩層卷積來更新每個通道的權(quán)重參數(shù),MLP 表示兩層卷積計(jì)算,傳統(tǒng)的注意力機(jī)制使用全連接層進(jìn)行計(jì)算,這里將全連接層計(jì)算替換為卷積操作實(shí)現(xiàn)更加高效地計(jì)算,最后得到的輸出特征與原始特征進(jìn)行相乘,從而增強(qiáng)了特征圖中有用的信息,其中表示激活函數(shù)和分別表示兩層卷積各自的權(quán)重。
如圖2黑色框所示,SAM 模塊通過自適應(yīng)加權(quán)對每個空間位置的重要性進(jìn)行加權(quán)。首先,對輸入特征進(jìn)行基于通道維度的全局最大池化(MaxPool(F))和平均池化(AvgPool(F))。然后,使用7×7卷積(f7×7)來更新空間維度上的權(quán)重參數(shù),并將輸出特征與原始特征相乘,從而增強(qiáng)特征圖中的有用信息。
本文使用無人機(jī)拍攝的風(fēng)機(jī)缺陷數(shù)據(jù)集,包括風(fēng)機(jī)葉片的污垢和損傷共2995張圖片,使用了labelImg 對檢測目標(biāo)進(jìn)行標(biāo)注,將數(shù)據(jù)集按照9:1劃分為訓(xùn)練集和驗(yàn)證集,數(shù)據(jù)集可視化效果如圖3所示。
圖3 數(shù)據(jù)集可視化效果
本文使用召回率(Recall, R)、 精確率(precision, P)、均值平均精度(mean Average Precision, mAP)作為深度學(xué)習(xí)模型的評價(jià)指標(biāo)。mAP@0.5表示在IOU(交并比)為0.5時(shí),計(jì)算每一類別的所有圖片的平均精度AP,然后對所有類別的AP 求平均,即為mAP。mAP@0.5:0.95表示在不同IOU 閾值(從0.5~0.95, 步長為0.05)上的平均mAP。評估指標(biāo)的計(jì)算公式(3)~(6)所示。 其中,TP(true positives)表示正確識別出的風(fēng)機(jī)缺陷數(shù)量,F(xiàn)N(negatives)表示未識別出的風(fēng)機(jī)缺陷數(shù)量, FP(positives)表示將其他物體誤檢為風(fēng)機(jī)缺陷的數(shù)量。P(precision)為精確率,表示預(yù)測的風(fēng)機(jī)缺陷中,預(yù)測正確的數(shù)量占比。R(recall)為召回率,表示所有的風(fēng)機(jī)缺陷中,模型能夠識別出來數(shù)量占比。其中,n 為總類別數(shù),i 為當(dāng)前類別的序號。
本研究采用了基于pytorch 深度學(xué)習(xí)框架的YOLOv5算法,設(shè)置批量大小為64,學(xué)習(xí)率為0.01,通過50個訓(xùn)練周期進(jìn)行模型的訓(xùn)練和驗(yàn)證。試驗(yàn)結(jié)果顯示,改進(jìn)模型的訓(xùn)練和驗(yàn)證損失持續(xù)下降,模型的精度逐漸提高,直到約50個訓(xùn)練周期后穩(wěn)定。改進(jìn)模型檢測效果如圖4所示。改進(jìn)前后模型性能對比詳見表1。
表1 改進(jìn)前后模型性能對比
圖4 改進(jìn)模型檢測效果
由表1可知,本文改進(jìn)的模型在相同的風(fēng)機(jī)缺陷檢測數(shù)據(jù)集上,取得了優(yōu)秀的表現(xiàn)。準(zhǔn)確率、召回率和mAP 分別達(dá)到了83.3%、74.7%和79.7%,比YOLOv5s 原模型分別提高了6.9%、1.3%和2%,這表明CBAM 注意力機(jī)制的應(yīng)用對模型性能的提升是有效的。為了進(jìn)一步驗(yàn)證模型的優(yōu)越性,對測試數(shù)據(jù)進(jìn)行了檢測,檢測效果對比如圖5所示。
圖5 檢測效果對比
圖5(a)為改進(jìn)模型檢測圖,圖5(b)為YOLOv5原模型檢測圖,與YOLOv5原模型相比,改進(jìn)模型在檢測過程中漏檢情況更少,同時(shí)檢測置信度也更高。
為了提高風(fēng)機(jī)缺陷檢測的準(zhǔn)確性,本文對YOLOv5算法進(jìn)行了改進(jìn),將CBAM 注意力機(jī)制加入YOLOv5的主干網(wǎng)絡(luò)中。這一改進(jìn)能夠幫助模型更好地學(xué)習(xí)風(fēng)機(jī)缺陷的特征,提高特征提取的能力,從而減少誤檢和漏檢的情況。這項(xiàng)改進(jìn)對于工業(yè)缺陷檢測具有重要的實(shí)際應(yīng)用價(jià)值。