汪方斌,王海霞,龔 雪

(安徽建筑大學(xué)機(jī)械與電氣工程學(xué)院,安徽 合肥 230601)

0 引言

當(dāng)光伏組件中部分電池片被長時(shí)間遮擋或發(fā)生故障時(shí),充當(dāng)負(fù)載而消耗周圍正常工作電池片產(chǎn)生的電能并持續(xù)發(fā)熱的現(xiàn)象被稱為熱斑效應(yīng)[1]。熱斑效應(yīng)影響太陽能電池板發(fā)電性能和使用壽命,導(dǎo)致光伏板早期退化、永久損壞,甚至?xí)驗(yàn)檫^熱而產(chǎn)生火災(zāi),從而造成光伏電站重大損失[2]。因此,及時(shí)有效地識別熱斑在光伏電站日常運(yùn)維中具有重要意義。

現(xiàn)有的熱斑識別方法包括并聯(lián)旁路二極管法、電壓電流法、紅外熱成像法和深度學(xué)習(xí)方法。其中,并聯(lián)旁路二極管法[3]是光伏組件預(yù)防熱斑常用的方法,能使正常工作的光伏電池片不受其他缺陷電池片的影響,從而減小有缺陷或遮擋電池片的反向電壓和電流[4],但二極管的工作情況對溫度有一定要求,所以容易失效。電流電壓熱斑故障診斷方法是通過光伏陣列在故障狀態(tài)下的電壓電流變化實(shí)現(xiàn)故障檢測[5],但該方法無法精確定位出熱斑缺陷位置。紅外熱成像方法[6]是通過不同工作狀態(tài)的光伏組件的溫差來判斷是否為熱斑,但光伏組件出現(xiàn)遮擋會產(chǎn)生一定的假性熱斑誤檢問題。

隨著深度學(xué)習(xí)的發(fā)展,基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)檢測方法成為研究熱點(diǎn)[7-8]。CIPRIANI等[9]通過系統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)對熱紅外圖像進(jìn)行處理,實(shí)現(xiàn)了光伏熱斑的自動分類,分類精度達(dá)到97%,但該方法使用較為簡單的二分類數(shù)據(jù)集,且需要大量熱斑圖像,給熱斑的多分類判別與圖像采集帶來較大困難。孫海蓉等[10]基于Inception-v3模型構(gòu)建了小樣本熱斑深度學(xué)習(xí)方法,但該方法需要迭代約5 000次,網(wǎng)絡(luò)訓(xùn)練時(shí)間很長,效率較低。上述研究表明,深度學(xué)習(xí)在熱斑分類與識別方面展現(xiàn)了良好的性能,但在熱斑樣本分布不均衡的情況下,仍存在一定局限性。

針對上述問題,本文提出一種改進(jìn)ResNet50網(wǎng)絡(luò)的光伏熱斑識別算法,利用分組卷積結(jié)構(gòu)捕獲不同組別熱斑圖像的細(xì)化信息,注意力模塊提高通道間的信息傳輸能力,提取紅外圖像的微觀特征,緩解光伏組件檢測中熱斑缺陷特征隨著網(wǎng)絡(luò)深度消失的問題,并開展光伏電池?zé)岚叱上駥?shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,該方法針對信噪比低、樣本數(shù)據(jù)集有限的紅外熱斑圖像,可以實(shí)現(xiàn)光伏組件熱斑有效識別與定位。

1 ResNet50網(wǎng)絡(luò)改進(jìn)

1.1 ResNet50模型

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)隨著層數(shù)的增加,會產(chǎn)生較大的訓(xùn)練誤差,影響模型的訓(xùn)練精度。ResNet[11]提供了一個(gè)殘差框架,利用殘差框架可以訓(xùn)練更深層次的網(wǎng)絡(luò),生成通常性能更好的模型,從而簡單且有效地解決傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的問題。所以在實(shí)驗(yàn)中本研究將使用ResNet50作為網(wǎng)絡(luò)的基礎(chǔ)構(gòu)建塊,網(wǎng)絡(luò)體系結(jié)構(gòu)如表1所示。但在應(yīng)用于熱紅外圖像實(shí)現(xiàn)熱斑識別時(shí),由于需要提取低層次空間信息和淺層特征信息,殘差卷積塊通常會使輸入的3/4特征丟失[12],造成目標(biāo)識別所需的信息丟失的問題,使模型輸出識別精度不高。

表1 ResNet50網(wǎng)絡(luò)體系結(jié)構(gòu)

1.2 頭部分組特征提取模塊

傳統(tǒng)殘差模塊的訓(xùn)練特征獲取,是將特征圖中對應(yīng)元素?cái)?shù)值進(jìn)行相加?？紤]到紅外成像目標(biāo)識別常用紅外圖像特征匹配來實(shí)現(xiàn),而太陽能電池板的紅外熱斑圖像局部不變特征更多地體現(xiàn)在目標(biāo)表面的像素點(diǎn)信息,比如圖像紋理、邊緣等,而此圖像區(qū)域通常具有較低的分辨率以及由熱交叉引起的模糊邊界,這是由于不同物體的熱輻射無法區(qū)分造成的必然現(xiàn)象。因此,本文在卷積殘差模塊中引入分組卷積[13]。

與常規(guī)卷積層相比,分組卷積將數(shù)據(jù)并行化轉(zhuǎn)換為模型并行化,構(gòu)建頭部分組特征提取模塊,如圖1所示。頭部分組特征提取模塊在網(wǎng)絡(luò)特征提取之前,能夠拓展網(wǎng)絡(luò)的寬度,增加紅外信息的維度,獲得更多紅外圖像淺層紋理、邊緣特征信息流入后續(xù)卷積層,在跳躍連接中加入最大池化層以減少輸入信息丟失,增強(qiáng)識別性能。在圖1中,模塊的輸入與主干部分首先把原卷積殘差模塊特征圖平均分為32組,對每組特征圖依次進(jìn)行兩次卷積操作;然后將32組卷積結(jié)果順次通過拼接與卷積操作,得到完整特征圖;最后將模塊輸入部分經(jīng)過跳躍連接中的最大池化以及卷積操作的特征圖與主干部分的特征圖相加,得到該模塊的輸出。

圖1 頭部分組特征提取模塊

1.3 壓縮和激勵網(wǎng)絡(luò)SE模塊

使用注意力機(jī)制對于紋理細(xì)節(jié)弱熱斑紅外圖像,可以較好地改善模型的提取能力,緩解因?yàn)闊峒t外方法引起的圖片信息較少的問題[14],提高模型的性能和判別準(zhǔn)確率。

如圖2所示,本文在模型構(gòu)建時(shí)借助SE(Sequeeze and Exicitation)模塊[15]的建模思想,先采用全局平均池化將每個(gè)通道上的空間特征編碼壓縮為一個(gè)全局特征,激勵操作中包含兩個(gè)全連接層和一個(gè)Relu層;同時(shí)利用SE網(wǎng)絡(luò)塊加大利于識別熱斑特征信息的權(quán)重,減小無關(guān)信息的干擾。在實(shí)際應(yīng)用過程中,通過對SE模塊進(jìn)行優(yōu)化,使用Mish激活函數(shù)[16],能夠解決Relu函數(shù)的強(qiáng)硬邊界轉(zhuǎn)折的問題,增加信息滲透進(jìn)模型訓(xùn)練中[17],從而提高模型的準(zhǔn)確性和泛化能力。

圖2 SE-Group恒等殘差結(jié)構(gòu)

1.4 改進(jìn)的ResNet50

ResNet50網(wǎng)絡(luò)結(jié)構(gòu)主要包含5個(gè)STAGE,分別標(biāo)記為STAGE1、STAGE2、STAGE3、STAGE4和STAGE5。本文主要對各STAGE中包含的恒等殘差塊和卷積殘差塊進(jìn)行改進(jìn),改進(jìn)后的ResNet50網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

(a)改進(jìn)的ResNet50網(wǎng)絡(luò)整體框圖

(b)框圖中模塊結(jié)構(gòu)

首先,網(wǎng)絡(luò)對原始紅外圖像進(jìn)行特征縮放,生成尺寸為224×224的RGB圖像。然后,依次通過STAGE1中的卷積層和最大池化層;STAGE2中的1個(gè)卷積殘差塊和2個(gè)恒等殘差塊;STAGE3中的1個(gè)頭部分組特征提取模塊和3個(gè)恒等殘差塊;STAGE4中的1個(gè)卷積殘差塊和5個(gè)恒等殘差塊;STAGE5中的1個(gè)卷積殘差塊和2個(gè)恒等殘差塊。最后,經(jīng)過平均池化層和全連接層,使用softmax進(jìn)行分類輸出。

在特征提取階段中,將熱斑圖片作為通道的輸入,后經(jīng)卷積運(yùn)算進(jìn)行特征提取:

P=W(F*x),

(1)

其中,P表示提取的特征;W(·)表示ReLU和BN操作;F表示卷積核;*表示卷積操作:x表示輸入。

通道所提取的特征矩陣隨后進(jìn)入下一輪的特征提取階段。

將在每個(gè)分組卷積中提取的特征向量化,再把特征向量實(shí)行特征連接,得到高層特征的呈現(xiàn):

K=C(T1,…,T32),

(2)

其中,K表示融合后的特征;C(·)表示特征融合操作。

熱斑紅外圖片會同時(shí)輸入到跳躍連接的通道中,經(jīng)歷特征提取:

Q=W[F*f(x)],

(3)

其中,Q表示跳躍連接輸出;f(·)表示最大池化;x表示輸入。

將主干網(wǎng)絡(luò)提取的特征與跳躍連接支路提取的特征矩陣相加:

J=(F*K)+Q,

(4)

其中,J表示相加后的特征。

隨后,經(jīng)過一層全連接層后得到最終的特征向量E為:

E=R(J×M1),

(5)

其中,M1表示權(quán)重矩陣,R表示ReLU函數(shù)。

最后,對熱斑紅外圖片特征用SoftMax分類器進(jìn)行操作,得到樣本ai屬于類別為j的概率為:

(6)

其中,M2=[m1,m2,…,mc],mj表示權(quán)重,M2表示權(quán)重向量;c表示類別的數(shù)量。

2 數(shù)據(jù)集

2.1 數(shù)據(jù)準(zhǔn)備

以單晶硅及多晶硅光伏組件作為實(shí)驗(yàn)采集對象,用FLUKE Ti200紅外熱像儀搭建圖像信息采集平臺,共拍攝圖像84張。

2.2 圖像預(yù)處理

由于拍攝現(xiàn)場光照強(qiáng)度、風(fēng)速和外部溫度的原因,導(dǎo)致采集到的紅外圖像多數(shù)存在峰值信噪比低的問題。為此,先對采集到的紅外圖像進(jìn)行濾波降噪等處理,提高熱斑識別的準(zhǔn)確度和效率;然后以光伏組件規(guī)模為依據(jù)進(jìn)行分割,可得到36個(gè)獨(dú)立光伏電池片;并將電池片圖片分成兩個(gè)類別,即正常和熱斑,如圖4所示。

圖4 圖像預(yù)處理結(jié)果

經(jīng)圖像預(yù)處理之后,正常圖像和熱斑圖像數(shù)量分別為182張和56張,熱斑圖像用于網(wǎng)絡(luò)訓(xùn)練的數(shù)量較少,所以通過傳統(tǒng)的圖像數(shù)據(jù)擴(kuò)充的方法,將熱斑樣本數(shù)量擴(kuò)充到239張,正常紅外圖像樣本擴(kuò)充到720張,如圖5所示。

圖5 數(shù)據(jù)增強(qiáng)部分效果圖

2.3 負(fù)樣本分類方法

數(shù)據(jù)集正負(fù)樣本比例約為1∶3,存在正負(fù)樣本不均衡的現(xiàn)象,會使少數(shù)類樣本的分類性能下降。目前數(shù)據(jù)層面的處理樣本不平衡的方法較為簡單,主要為修改各類別的分布。1)欠采樣:從正常工作狀態(tài)的太陽能電池板紅外圖像中刪除與熱斑紅外圖像數(shù)量相同的樣本數(shù)量。但在數(shù)據(jù)量本就不多的情況下,減少數(shù)據(jù)量會造成模型的特征學(xué)習(xí)能力下降[18]。2)過采樣:將熱斑紅外圖像進(jìn)行復(fù)制,這樣操作無數(shù)據(jù)信息損失,雖擴(kuò)大了數(shù)據(jù)集規(guī)模,但容易造成過擬合[19]。

針對目前構(gòu)建的數(shù)據(jù)集,提出一種根據(jù)負(fù)樣本在HSV空間下H分量平均直方圖峰值分布情況再分類的方法。在保證負(fù)樣本圖片數(shù)量不變的情況下,增加其分類種類。首先,將負(fù)樣本圖像從RGB顏色空間轉(zhuǎn)到HSV顏色空間,對3個(gè)顏色通道進(jìn)行分離。由于該數(shù)據(jù)集紅外圖像均為同一批次采集,采集過程中溫度、照射光強(qiáng)度變化不大,為了降低其他特征參雜,放棄飽和度S和亮度V的顏色通道信息。其次,繪制單張圖片的H通道直方圖,觀察H顏色通道信息的數(shù)據(jù)分布情況,提取直方圖峰值,再取平均值,用來對負(fù)樣本進(jìn)行分類劃分。觀察圖4發(fā)現(xiàn),當(dāng)電池片在正常工作情況下,其光伏電池表面各點(diǎn)輻射出的波普基本一致,紅外圖像顏色較為單一。根據(jù)H分量直方圖可知,H顏色通道像素分布顯露出H分量值在較小的區(qū)間內(nèi)集中的特點(diǎn)。所以,根據(jù)該特點(diǎn),本文通過平均H分量直方圖峰值的方法來減少數(shù)據(jù)維度,單個(gè)圖像的H分量矩陣可用式(7)表示。

H=(hij)M×N,

(7)

其中,M,N分別表示圖像像素點(diǎn)縱坐標(biāo)和橫坐標(biāo)的最大值;H表示像素點(diǎn)的H分量。

將圖片中像素點(diǎn)的H分量數(shù)值提取出來后,單張圖像特征信息用H分量平均直方圖峰值表述,簡化了對整個(gè)負(fù)樣本H分量分布統(tǒng)計(jì)的計(jì)算量,獲得全部負(fù)樣本的H分量平均直方圖峰值分布統(tǒng)計(jì)圖(圖6)。

(8)

圖6 分布統(tǒng)計(jì)圖

其中,y1,…,y5表示最大的直方圖數(shù)值到第五大的直方圖數(shù)值,hi=argyi表示直方圖數(shù)值所對應(yīng)的H分量值。

在圖6中,負(fù)樣本H分量平均值在區(qū)間內(nèi)分布較為均勻。為使負(fù)樣本各類別樣本數(shù)盡量平均且與正樣本相近,本文用式(9)給出的劃分和量化方法:

(9)

經(jīng)負(fù)樣本分類后的類型1和類型2電池片紅外圖片數(shù)量分別為404和316。

3 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)運(yùn)行環(huán)境為64位Ubuntu系統(tǒng),CPU 2.50 GHz,GPU RTX 2080Ti,使用Python語言編寫,Pytorch框架實(shí)現(xiàn)。

3.1 評估指標(biāo)

本文采用準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)以及Kappa系數(shù)等指標(biāo)來對模型的分類效果進(jìn)行評價(jià)和分析。對于正負(fù)樣本數(shù)量不平衡的樣本,模型很容易偏向大類別而放棄小類別,僅通過準(zhǔn)確率無法全面評價(jià)模型性能,故而加入精確率、召回率、Kappa系數(shù)等指標(biāo),具體可表示為:

(10)

(11)

(12)

(13)

其中,Acc表示準(zhǔn)確率;Prec表示精確率;Re表示召回率;κ表示Kappa系數(shù);TP表示正確識別為熱斑的樣本數(shù)量;TN表示正確識別為正常的樣本數(shù)量;FN表示錯誤識別為正常的樣本數(shù)量;FP表示錯誤識別為熱斑缺陷的樣本數(shù)量;po表示每一類正確分類的熱斑樣本數(shù)量之和與總紅外樣本數(shù)的比值;pe表示所有類別分別對應(yīng)的“實(shí)際與預(yù)測數(shù)量的乘積”之總和與“紅外樣本總數(shù)的平方”的比值。

3.2 模型分類性能測試

為了驗(yàn)證改進(jìn)后的ResNet50算法的有效性,實(shí)驗(yàn)采用包含50層卷積的傳統(tǒng)殘差網(wǎng)絡(luò)(ResNet50)、AlexNet、DenseNet121和VGG16模型進(jìn)行對比實(shí)驗(yàn),數(shù)據(jù)集由大小224×224為輸入的三通道圖像構(gòu)成,模型訓(xùn)練過程準(zhǔn)確率曲線如圖7所示。

圖7 模型訓(xùn)練過程準(zhǔn)確率曲線

不同網(wǎng)絡(luò)模型的測試結(jié)果見表2。DenseNet 121和VGG16模型網(wǎng)絡(luò)結(jié)構(gòu)較為復(fù)雜,有相同的迭代次數(shù),耗費(fèi)訓(xùn)練時(shí)間較長。AlexNet網(wǎng)絡(luò)雖然訓(xùn)練時(shí)間較短,但是準(zhǔn)確率也相對較低。改進(jìn)后的ResNet50與原始ResNet50相比,雖然訓(xùn)練時(shí)間增加了,但是訓(xùn)練集準(zhǔn)確率提高5.63%,測試集準(zhǔn)確率提高6.13%,Kappa系數(shù)提升0.026 8。可見,在網(wǎng)絡(luò)模型中加入頭部分組特征提取模塊,嵌入通道注意力機(jī)制能有效提升網(wǎng)絡(luò)的準(zhǔn)確率與識別性能。

表2 不同網(wǎng)絡(luò)模型的結(jié)果對比

3.3 負(fù)樣本多分類效果測試

采用H分量平均直方圖峰值的方法,將樣本二分類數(shù)據(jù)集劃分為樣本三分類數(shù)據(jù)集。為了驗(yàn)證這種方法對模型分類效果的提升作用,選擇改進(jìn)后的ResNet50模型分別在這兩類數(shù)據(jù)集上進(jìn)行訓(xùn)練。實(shí)驗(yàn)一針對的是二分類數(shù)據(jù)集,而實(shí)驗(yàn)二針對的是三分類數(shù)據(jù)集。

經(jīng)過500次迭代的數(shù)據(jù)見表3。通過將負(fù)樣本多分類,實(shí)驗(yàn)二被誤分為熱斑的樣本數(shù)量小于實(shí)驗(yàn)一,精確率比實(shí)驗(yàn)一高0.59%,召回率比實(shí)驗(yàn)一高9.85%。實(shí)驗(yàn)一的準(zhǔn)確率比實(shí)驗(yàn)二的準(zhǔn)確率高0.71%,但實(shí)驗(yàn)二的Kappa系數(shù)比實(shí)驗(yàn)一高4.89%?？梢?由于類別樣本數(shù)量的不平衡,模型易偏向大類別而放棄小類別。這說明用樣本三分類數(shù)據(jù)集訓(xùn)練,能夠提高模型的綜合分類效果。

表3 不同分類方法實(shí)驗(yàn)評價(jià)

3.4 識別結(jié)果可視化

在經(jīng)過識別之后卷積神經(jīng)網(wǎng)絡(luò)僅能輸出概率矩陣,為將結(jié)果更加直觀地展現(xiàn)出來,繪制熱斑缺陷圖片,并將故障區(qū)域進(jìn)行標(biāo)注。在制作測試數(shù)據(jù)集時(shí),將所有圖片重命名,使得每張圖片的名稱包含該光伏電池片單元所在光伏組件的名稱以及在其光伏組件上的位置。因此在識別出存在熱板故障的電池片之后可直接繪制光伏組件圖片并直接顯示出來。

以1號電池板為例,在經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)的識別之后,判斷出該電池板中的[3_12_14]位置處存在熱斑故障,顯示的熱斑圖像結(jié)果如圖8所示。

圖8 識別結(jié)果可視化

4 結(jié)論

本文通過對ResNet50網(wǎng)絡(luò)提出頭部分組特征提取模塊、嵌入通道注意力機(jī)制等方法,增加模型淺層信息的提取能力;使用通道注意力機(jī)制增大目標(biāo)的特征信息;使用H分量平均直方圖峰值方法對熱斑負(fù)樣本數(shù)據(jù)集進(jìn)行分類,提高模型識別的一致均衡性,從而提出了一種基于改進(jìn)ResNet50的目標(biāo)識別方法,實(shí)現(xiàn)了小樣本光伏組件紅外熱斑高效、精確識別。試驗(yàn)結(jié)果表明,該方法的準(zhǔn)確率較改進(jìn)前提高了約6.13%,可對熱斑缺陷進(jìn)行精準(zhǔn)定位和缺陷位置可視化。