摘要:針對光伏板檢測提取精度問題,提出一種改進的SSD和ResNet的光伏板檢測與分類算法。為了提升SSD算法檢測精度,在其主干網(wǎng)絡(luò)VGG16中融合CBAM注意力機制,從而增強算法的多尺度特征提取能力,針對光伏板的形狀特征,重新設(shè)計了網(wǎng)絡(luò)中默認框的長寬比;在ResNet算法每個殘差結(jié)構(gòu)中嵌入SENet(Squeeze and Excitation)通道注意力模塊,提升模型特征提取能力。結(jié)果表明,改進后SSD算法檢測精度更高,模型訓(xùn)練速度更快;改進后ResNet模型在光伏表面缺陷數(shù)據(jù)集上分類準確率較原算法有了很大提升。
關(guān)鍵詞:光伏組件;目標檢測;ResNet網(wǎng)絡(luò);精度;分類
中圖分類號:TM615文獻標識碼:A文章編號:1001-5922(2025)02-0141-05
An improved defect identification algorithm for photovoltaic modules based on SSD and ResNet
MA Jianbao1,LI Xiaofei2,BI Jiang1,JIA Shikai 1
(1.National Energy Group Ningxia Electric Power Co.,Ltd.,New Energy Branch Ningxia,Yinchuan 750001,China;
2.Shangtejie Electric Power Technology Co.,Ltd.,Hefei 230088,China)
Abstract:In order to solve the problem of photovoltaic panel detection and extraction accuracy,an improved detec?tion and classification algorithm for photovoltaic panels based on SSD and ResNet was proposed.In order to im?prove the detection accuracy of the SSD algorithm,the CBAM attention mechanism was integrated into the back?bone network VGG16 to enhance the multi-scale feature extraction ability of the algorithm,and the aspect ratio of the default box in the network was redesigned for the shape features of photovoltaic panels.The SENet(Squeeze and Excitation)channel attention module is embedded in each residual structure of the ResNet algorithm to im?prove the feature extraction ability of the model.The results showed that the improved SSD algorithm had higher de?tection accuracy and faster model training speed.After the improvement,the classification accuracy of the ResNet model on the PV surface defect dataset had been greatly improved compared with the original algorithm.
Key words:photovoltaic module;target detection;ResNet network;precision;classification
近年來,隨著深度學(xué)習(xí)在圖像檢測識別領(lǐng)域的漸發(fā)展為基于深度學(xué)習(xí)的檢測與識別,如提出一種廣泛應(yīng)用,針對光伏組件缺陷檢測識別的方法也逐基于U-Net網(wǎng)絡(luò)的光伏組件缺陷檢測方法對圖像進行檢測識別[1];提出一種基于改進的多尺度卷積神經(jīng)網(wǎng)絡(luò)的光伏組件缺陷識別模型,實現(xiàn)了光伏組件的缺陷識別[2];提出一種在原有SSD算法中嵌入注意力機制的改進SSD光伏組件缺陷檢測算法,實現(xiàn)了光伏組件玻璃破碎、灰塵等自動識別[3]。通過上述研究可以發(fā)現(xiàn),SSD算法取得了良好的應(yīng)用效果,具有較高的檢測速度和檢測準確率[4]。因此,研究選用SSD作為基礎(chǔ)算法,并通過在其主干網(wǎng)絡(luò)VGG16中融合CBAM注意力機制,增強算法的多尺度特征提取能力,以更精確地提取單張光伏板圖像。然后利用嵌入SENet的ResNet網(wǎng)絡(luò)對單張光伏板圖像進行識別,實現(xiàn)光伏組件缺陷識別。
1基本算法
1.1光伏板識別提取算法
1.1.1 SSD算法
SSD算法是一種基于全卷積網(wǎng)絡(luò)的單階段檢測算法,其基本結(jié)構(gòu)如圖1所示[5]。
由圖1可知,SSD算法使用VGG16提取輸入圖像特征,而VGG16網(wǎng)絡(luò)對所有通道維度和空間維度的特征信息處理權(quán)重均設(shè)置為1,這導(dǎo)致了SSD網(wǎng)絡(luò)存在計算量大和特征提取能力有限的問題,影響算法整體檢測識別性能[6]。因此,研究通過引入CBAM注意力機制模型,對通道維度和空間維度的特征權(quán)重進行重新標定,來保留重要特征信息,提升算法性能。
1.1.2 SSD算法改進
(1)特征提取網(wǎng)絡(luò)改進。CBAM注意力機制模型是結(jié)合通道注意力和空間注意力的輕量級卷積塊注意力模型,同時兼顧了圖像通道和圖像空間特征[7]。因此,在SSD算法中引入CBAM注意力機制模型,有助于提取更精確的圖像特征。
引入CBAM注意力機制的SSD算法網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。
由圖2可知,引入CBAM注意力機制后,SSD網(wǎng)絡(luò)在訓(xùn)練過程中會增加目標所在位置映射到特征圖上占有的權(quán)重,進而提高了算法對重要特征的提取效率,有利于目標精確定位。
(2)默認框設(shè)計。考慮到引入CBAM注意力機制的SSD網(wǎng)絡(luò)產(chǎn)生的特征圖不同,導(dǎo)致默認框尺度隨之發(fā)生變化。因此有必要對默認框進行重新設(shè)計。默認框尺度Sk可通過式(1)計算;默認框?qū)挾葁k(a)和高度hk(a)可通過式(2)和式(3)計算[8-9]。
式中:m為特征圖數(shù)量;Smax、Smin分別為最大和最小縮放比例;ar?{1 2 3 1/2 1/3}。
1.2光伏組件缺陷識別分析算法
1.2.1 ResNet網(wǎng)絡(luò)
ResNet網(wǎng)絡(luò)是一種深度殘差網(wǎng)絡(luò),有效解決了深度卷積神經(jīng)網(wǎng)絡(luò)出現(xiàn)的退化問題,常用于目標分類識別應(yīng)用中,具有良好的圖像分類性能[10]。因此,研究選用ResNet網(wǎng)絡(luò)模型作為光伏組件缺陷分類識別模型。ResNet網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖3所示,其由輸入模塊、殘差模塊、輸出模塊3部分組成[11]。
由圖3可知,ResNet網(wǎng)絡(luò)對每個通道進行計算時,使用權(quán)重抑制導(dǎo)致ResNet網(wǎng)絡(luò)同樣存在計算量大和特征提取能力有限的問題[12-13]。因此,研究通過在ResNet網(wǎng)絡(luò)中引入SENet注意力機制,以解決該問題。
1.2.2 ResNet網(wǎng)絡(luò)改進
ResNet網(wǎng)絡(luò)的改進是在ResNet網(wǎng)絡(luò)的每個殘差塊輸出卷積層后,添加SENet注意力機制,形成新的殘差結(jié)構(gòu),如圖4所示。
由圖4可知,新的殘差結(jié)構(gòu)先后通過全局池化、2個全連接層、sigmoid激活,有效控制了引入?yún)?shù)的數(shù)量,強化了特征含量多的通道,并對特征含量少的通道進行了抑制,提高了網(wǎng)絡(luò)的特征提取能力。
2基于改進SSD和ResNet的光伏組件缺陷識別方法
(1)數(shù)據(jù)采集與預(yù)處理。收集整理光伏板圖像,并對圖像進行亮度和對比度調(diào)整、旋轉(zhuǎn)、鏡像等數(shù)據(jù)增強處理;
(2)數(shù)據(jù)集劃分。按一定比例將預(yù)處理后的數(shù)據(jù)集劃分為訓(xùn)練集和測試集,以構(gòu)建較為完善的光伏組件缺陷識別數(shù)據(jù)集;
(3)光伏板識別提取?;赥ensorflow深度學(xué)習(xí)框架搭建改進SSD算法模型,利用訓(xùn)練集對模型進行訓(xùn)練,并保留最佳模型。將測試集輸入最佳模型中,識別提取單張光伏板;
(4)光伏組件缺陷識別分析。基于Pytorch深度學(xué)習(xí)框架搭建改進的ResNet網(wǎng)絡(luò)模型,利用訓(xùn)練集對模型進行訓(xùn)練,保留最佳ResNet網(wǎng)絡(luò)模型。將改進SSD識別提取的單張光伏板輸入最佳ResNet網(wǎng)絡(luò)模型,輸出結(jié)果即為光伏組件缺陷識別結(jié)果。
3仿真實驗
3.1實驗環(huán)境搭建
實驗基于Windows10操作系統(tǒng)進行,利用py?thon3.7進行編程。系統(tǒng)配置為if-9400F CPU,gtx2060 GPU,內(nèi)存16 GB,CUDA10.1,并基于tensorflow深度學(xué)習(xí)框架搭建改進SSD算法模型,基于pytorch深度學(xué)習(xí)框架搭建改進ResNet網(wǎng)絡(luò)模型[14]。
3.2數(shù)據(jù)來源及預(yù)處理
實驗數(shù)據(jù)來自自主搭建采集的光伏陣列數(shù)據(jù),包括斷柵、隱裂、陰影3類光伏組件缺陷,共2 000張圖像數(shù)據(jù)。
考慮到光伏板識別提取和光伏組件缺陷識別過程中,圖像的數(shù)量對改進SSD和改進ResNet網(wǎng)絡(luò)的特征提取和識別分類性能具有重要影響。因此,為增加圖像數(shù)量,實驗前研究對所采集的數(shù)據(jù)進行了亮度和對比度調(diào)整、旋轉(zhuǎn)、鏡像數(shù)據(jù)增強處理,最終共獲取8 000張實驗圖像數(shù)據(jù)[15-17]。
采用Labelme軟件對所有圖像進行人工標注,框選出光伏板目標,并按4∶1比例將圖像劃分為訓(xùn)練集和測試集。
考慮到圖像中真實框數(shù)量遠低于背景框數(shù)量,會降低模型識別速度和準確率。因此,在模型訓(xùn)練時,研究設(shè)置默認框選取標準為真實框∶背景框=1∶3[18-19]。
3.3評價指標
本次實驗選用準確率(acc)、每秒幀率(FPS)作為評估模型性能的指標。其中,準確率的計算方法如下[20]:
式中:TP、TN分別表示真正例和真負例;FP、FN分別表示假正例和假負例。
3.4結(jié)果與分析
3.4.1光伏板識別提取算法驗證
(1)SSD算法改進效果驗證。為驗證對SSD算法改進的效果,實驗對比了改進前后SSD算法在迭代過程中的準確率變化,結(jié)果如圖5所示。
由圖5可知,標準SSD算法迭代到500輪次后,算法的準確率趨于穩(wěn)定,約為80%;改進SSD算法迭代到300次后,算法的準確率趨于穩(wěn)定,約為95%。由此說明,相較于改進前的標準SSD算法,引入CBAM注意力機制改進的SSD算法收斂速度更快,且準確率更高。
圖6為改進前后SSD算法在實驗數(shù)據(jù)集上對光伏板位置和尺寸的識別提取效果對比。
由圖6(a)可知,標準SSD算法出現(xiàn)了誤識別的情況,且默認框與光伏板尺寸差異明顯;由圖6(b)可知,引入CBAM注意力機制的改進SSD算法避免了誤識別情況,同時默認框大小與光伏板尺寸較為貼合。
(2)改進SSD算法性能驗證。為進一步驗證融入CBAM注意力機制的改進SSD算法對光伏板位置和尺寸的識別提取性能,研究對比了改進SSD算法與常用目標檢測算法Faster R-CNN、RetinaNet、YOLOv3算法模型,在實驗數(shù)據(jù)集上對光伏板識別提取的效果,結(jié)果如表1所示。
由表1可知,在準確率指標上,改進SSD算法在實驗數(shù)據(jù)集上對光伏板識別提取效果更好,準確率最高為97.23%;在檢測速度指標上,除Faster R-CNN算法外,改進SSD算法明顯優(yōu)于RetinaNet算法和YOLOv3算法,每秒幀率達到21幀/s。
3.4.2光伏組件缺陷識別分析算法驗證
(1)ResNet網(wǎng)絡(luò)改進效果驗證。為驗證對ResNet網(wǎng)絡(luò)的改進效果,實驗對比了改進前標準ResNet網(wǎng)絡(luò)和添加SENet通道注意力模塊后改進的ResNet網(wǎng)絡(luò)在訓(xùn)練集上的訓(xùn)練過程,結(jié)果如圖7所示。
由圖7可知,相較于標準ResNet網(wǎng)絡(luò),添加SENet通道注意力模塊后改進的ResNet網(wǎng)絡(luò)準確率更高,約為95%,提高了8%左右。由此說明,本研究對ResNet網(wǎng)絡(luò)的改進有效。
(2)改進ResNet網(wǎng)絡(luò)性能驗證。研究對比了網(wǎng)絡(luò)與標準ResNet網(wǎng)絡(luò)以及常用分類識別網(wǎng)絡(luò)SVM、VGG16在實驗數(shù)據(jù)集上的各項性能指標,結(jié)果如表2所示。對不同光伏組件缺陷的分類識別效果最好,準確率明顯高于對比網(wǎng)絡(luò),均達到95%以上,具有明顯的優(yōu)勢;在每秒浮點運算量上,改進ResNet網(wǎng)絡(luò)可滿足運算需求。
圖8為改進ResNet網(wǎng)絡(luò)在測試集上對光伏組件缺陷識別示例。
由圖8可知,改進ResNet網(wǎng)絡(luò)可有效檢測識別光伏組件缺陷,并能準確識別缺陷的類型及定位,具有較高的精度,可用于實際光伏組件缺陷識別應(yīng)用中。
4結(jié)語
綜上所述,所提的基于改進SSD和ResNet的光伏組件缺陷識別方法,通過在SSD中引入CBAM注意力機制,并重新設(shè)計了網(wǎng)絡(luò)中默認框的長寬比,有效提升了算法的多尺度特征提取能力和識別精度,實現(xiàn)了單張光伏板準確識別與提取。通過在ResNet網(wǎng)絡(luò)的每個殘差結(jié)構(gòu)中嵌入SENet通道注意力模塊,提高了網(wǎng)絡(luò)的特征提取能力,增強了網(wǎng)絡(luò)的分類識別精度,實現(xiàn)了光伏組件缺陷的準確識別與定位。相較于Faster R-CNN、RetinaNet、YOLOv3算法,改進SSD算法對光伏板的識別提取準確率最高,為97.23%,每秒幀率達到21幀/s;相較于SVM、VGG16,改進ResNet網(wǎng)絡(luò)可更好地識別定位光伏組件斷柵、隱裂、陰影不同缺陷,且識別準確率達到95%以上,具有明顯優(yōu)勢,可用于實際光伏組件缺陷識別中。
【參考文獻】
[1]郭清華,曾禮麗.基于U-Net網(wǎng)絡(luò)的光伏組件缺陷檢測方法[J].光源與照明,2021(5):49-50.
[2]周穎,葉紅,王彤,等.基于多尺度CNN的光伏組件缺陷識別[J].太陽能學(xué)報,2022,43(2):211-216.
[3]鐘泳松,徐凌樺,周克.基于改進SSD算法的光伏組件缺陷檢測研究[J].微處理機,2022,43(1):22-25.
[4]趙洋,沈文忠.人工智能在光伏組件缺陷檢測中的應(yīng)用[J].科學(xué),2021,73(6):50-54.
[5]王振亞,伍星,劉韜,等.奇異譜分解聯(lián)合互信息的主軸軸承故障特征提取研究[J].振動與沖擊,2023,42(15):23-30.
[6]楊嘉妮,黃巧妍,肖喬莎,等.基于改進SSD模型的無人機失效自啟動尋找[J].電工技術(shù),2023(12):56-59.
[7]馬祥祥,王琨,羊波,等.基于改進SSD算法的物流物品檢測[J].自動化與儀器儀表,2023(7):63-68.
[8]周雅,栗心怡,武喜艷,等.基于DT-LIF神經(jīng)元與SSD的脈沖神經(jīng)網(wǎng)絡(luò)目標檢測方法[J].電子與信息學(xué)報,2023,45(8):2722-2730.
[9]閻馨,楊月川,屠乃威.基于改進SSD的鋼材表面缺陷檢測[J].現(xiàn)代制造工程,2023(5):112-120.
[10]李冬睿,邱尚明,藍新波,等.基于改進的ResNet在甘蔗病害識別中的研究[J].農(nóng)業(yè)科技與信息,2023(8):27-30.
[11]曾飛,陶玉衡,蘇俊彬,等.融合ResNet18和Deconvolu-tion的輸送帶橫向跑偏檢測方法[J].現(xiàn)代制造工程,2023(8):121-126.
[12]蔣尚俊,易輝,李紅濤,等.基于遷移學(xué)習(xí)與ResNet的太陽電池缺陷檢測方法[J].太陽能學(xué)報,2023,44(7):116-121.
[13]陳祥宇,林東,王家昌.改進ResNet的電能質(zhì)量分類算法[J].福建電腦,2023,39(8):1-4.
[14]游小榮,李淑芳,鄧豐.基于ResNet和遷移學(xué)習(xí)的服裝圖像檢索方法[J].北京服裝學(xué)院學(xué)報(自然科學(xué)版),2023,43(2):78-84.
[15]賈永樂,周李涌,劉月峰,等.基于改進雙流ResNet網(wǎng)絡(luò)的人體行為識別算法研究[J].內(nèi)蒙古科技大學(xué)學(xué)報,2023,42(2):145-148.
[16]朱世元,方世鵬.基于深度學(xué)習(xí)的橡膠制品缺陷檢測技術(shù)創(chuàng)新[J].粘接,2023,50(7):26-29.
[17]喻朝新,郭松濤,郭佳哲.基于工業(yè)互聯(lián)技術(shù)的膠料質(zhì)量缺陷檢測模型構(gòu)建分析[J].粘接,2023,50(6):19-22.
[18]劉揚,金培權(quán).ZB~+-tree:一種ZNS SSD感知的新型索引結(jié)構(gòu)[J].計算機研究與發(fā)展,2023,60(3):509-524.
[19]亢潔,田野,楊剛.基于改進SSD的人群異常行為檢測算法研究[J].紅外技術(shù),2022,44(12):1316-1323.
[20]胡凱,駱潤玫,劉澤乾,等.基于改進SSD的廣佛手病蟲害檢測方法[J].南京農(nóng)業(yè)大學(xué)學(xué)報,2023,46(4):813-821.
(責(zé)任編輯:平海,蘇幔)