孫海蓉， 李 帥,2

(1. 華北電力大學(xué)控制與計(jì)算機(jī)工程學(xué)院，河北 保定 071003; 2. 華北電力大學(xué)河北省發(fā)電過程仿真與優(yōu)化控制工程技術(shù)研究中心，河北 保定 071003)

0 引 言

隨著“碳達(dá)峰”、“碳中和”目標(biāo)的提出，預(yù)示著以太陽能光伏發(fā)電為主要?jiǎng)恿Φ男履茉磿r(shí)代已經(jīng)來臨。但光伏組件的熱斑故障問題一直影響光伏系統(tǒng)的穩(wěn)定運(yùn)行，在所有故障中熱斑故障發(fā)生的概率大且危害大[1]。發(fā)生熱斑效應(yīng)嚴(yán)重的組件局部溫度有可能超過150 ℃，其產(chǎn)生的熱量很可能燒毀整個(gè)組件。據(jù)國內(nèi)外學(xué)者統(tǒng)計(jì)，熱斑效應(yīng)可能使光伏組件的實(shí)際使用壽命減少10%。

目前常見的熱斑檢測方法有兩種：一種是檢測光伏陣列的電氣性能進(jìn)行判別；另一種利用圖像處理算法對(duì)熱斑進(jìn)行識(shí)別[2]。第一種方法檢測效率較低，而且對(duì)于規(guī)模較大的光伏發(fā)電廠來說代價(jià)較高，并不適用。近年來，隨著深度學(xué)習(xí)的發(fā)展，許多分類問題已經(jīng)以極高的精確度被解決。文獻(xiàn)[3]采用深度循環(huán)神經(jīng)網(wǎng)絡(luò)檢測是否存在竊電行為，該檢測方法具有較好的準(zhǔn)確性和魯棒性。文獻(xiàn)[4]采用復(fù)數(shù)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別軸承故障，分類性能較好。這些高精度分類大多是在大數(shù)據(jù)的基礎(chǔ)下進(jìn)行的，但在實(shí)際應(yīng)用中，在各行業(yè)存在數(shù)據(jù)收集、清洗困難、噪音過多的問題，使得多數(shù)行業(yè)只能提供少量有效的圖像數(shù)據(jù)[5]。文獻(xiàn)[6]基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行電力設(shè)備圖像的識(shí)別，借助遷移學(xué)習(xí)的思想，一定程度上緩解了對(duì)大數(shù)據(jù)的依賴。后來Hinon等人于2017年提出了膠囊網(wǎng)絡(luò)，該網(wǎng)絡(luò)將所有的特征用向量來表示，考慮了特征之間的空間相關(guān)性，使得訓(xùn)練所使用的數(shù)據(jù)量也大幅減少。

膠囊網(wǎng)絡(luò)來源于分組神經(jīng)元思想[7]，它真正進(jìn)入應(yīng)用階段是Sabour等[8]提出使用動(dòng)態(tài)路由算法在向量神經(jīng)元之間進(jìn)行特征傳遞后。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)一般是利用CNN的池化操作實(shí)現(xiàn)了空間不變性，而膠囊網(wǎng)絡(luò)基于網(wǎng)絡(luò)內(nèi)的動(dòng)態(tài)路由算法實(shí)現(xiàn)了目標(biāo)屬性間的“等變性”，它與空間不變性相比保留了圖像各部分信息間的關(guān)聯(lián)。鑒于膠囊網(wǎng)絡(luò)的這種優(yōu)勢，對(duì)其研究及優(yōu)化也逐漸增多?；谀z囊網(wǎng)絡(luò)的優(yōu)化主要涉及網(wǎng)絡(luò)間路由算法和網(wǎng)絡(luò)結(jié)構(gòu)兩方面。

文獻(xiàn)[9]主要針對(duì)動(dòng)態(tài)路由算法的優(yōu)化，它是通過引入耦合分布KL散度來實(shí)現(xiàn)的，使膠囊網(wǎng)絡(luò)的性能得到一定的提升。文獻(xiàn)[10]將動(dòng)態(tài)路由算法替換為EM算法，在計(jì)算期望步的過程中進(jìn)行了改進(jìn)，使膠囊之間的迭代過程得到了優(yōu)化，模型的收斂速度明顯加快。文獻(xiàn)[5]對(duì)膠囊網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了優(yōu)化，它將Darknet進(jìn)行改進(jìn)融入膠囊網(wǎng)絡(luò)的分類模型，緩解了模型訓(xùn)練過程中常見的過擬合問題。但傳統(tǒng)膠囊網(wǎng)絡(luò)的特征提取部分，應(yīng)用了單層卷積層，沒有從原始圖像數(shù)據(jù)中進(jìn)一步提取特征，細(xì)節(jié)特征仍存在丟失?；谝陨涎芯?，本文提出了基于遷移學(xué)習(xí)的注意力膠囊網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有以下優(yōu)點(diǎn)：

1）首先是特征提取部分，用VGG-19網(wǎng)絡(luò)訓(xùn)練ImageNet，將部分網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)進(jìn)行遷移，用以提取光伏紅外圖像的特征。降低了對(duì)數(shù)據(jù)和硬件條件的依賴，并且對(duì)光伏圖像進(jìn)行深層次的特征提取。

2）特征提取網(wǎng)絡(luò)之后加入注意力機(jī)制模塊，對(duì)已提取特征進(jìn)行關(guān)鍵信息的識(shí)別。

最后，分別采用傳統(tǒng)卷積網(wǎng)絡(luò)、膠囊網(wǎng)絡(luò)和本文網(wǎng)絡(luò)模型對(duì)預(yù)處理后的數(shù)據(jù)集進(jìn)行識(shí)別。通過對(duì)比分析可知，在電池片紅外圖像數(shù)據(jù)量不充足的情況下，本文提出的網(wǎng)絡(luò)模型具有更好的分類精度，同時(shí)模型的泛化能力和收斂速度都優(yōu)于其余兩種方法。

1 基本理論

1.1 深度卷積神經(jīng)網(wǎng)絡(luò)基本原理

VGG-19是卷積神經(jīng)網(wǎng)絡(luò)代表結(jié)構(gòu)，其綜合考慮網(wǎng)絡(luò)深度與計(jì)算復(fù)雜度的關(guān)系，且特征提取能力強(qiáng)[11]。VGG-19結(jié)構(gòu)簡潔明了，由1個(gè)輸入層、16個(gè)卷積層、5個(gè)池化層、3個(gè)全連接層及1個(gè)輸出層構(gòu)成，其結(jié)構(gòu)示意圖如圖1所示。

圖1 VGG-19網(wǎng)絡(luò)結(jié)構(gòu)示意圖

VGG-19網(wǎng)絡(luò)輸入層圖像為224×224的RGB圖像；卷積層為了在減少參數(shù)的同時(shí)保證特征的豐富性，使用的都是3×3的卷積核，并且連續(xù)多個(gè)卷積層疊加在一起。池化層在進(jìn)行特征壓縮時(shí)采用了最大池化方式，核大小均為2×2；前兩個(gè)全連接層的節(jié)點(diǎn)數(shù)都是4 096，最后一個(gè)全連接層的節(jié)點(diǎn)數(shù)是1 000。輸出層采用Softmax，根據(jù)實(shí)際分類情況進(jìn)行設(shè)置。

1.2 卷積注意力機(jī)制

卷積注意力機(jī)制是一種注意力模塊，這種注意力模塊用于前向卷積神經(jīng)網(wǎng)絡(luò)[12]。該模塊中包含2個(gè)獨(dú)立的子模塊，分別是通道注意力模塊和空間注意力模塊，主要作用是關(guān)注圖像信息中重要的特征，對(duì)不必要的特征進(jìn)行抑制，實(shí)現(xiàn)特征的優(yōu)化，減少參數(shù)，節(jié)約計(jì)算力。CBAM可以集成到任意的卷積神經(jīng)網(wǎng)絡(luò)中，其結(jié)構(gòu)如圖2所示。

圖2 卷積注意力模型結(jié)構(gòu)

通道注意力模塊的結(jié)構(gòu)圖如圖3所示，它是對(duì)輸入的特征圖進(jìn)行空間維度壓縮，聚合圖像的空間特征信息。首先通過最大池化和全局池化對(duì)輸入特征進(jìn)行壓縮，得到最大池化特征和平均池化特征，然后將這兩種特征作為多層感知器（multilayer perceptron, MLP）的輸入，最終對(duì)MLP的輸出進(jìn)行求和，再使用Sigmoid激活后得到最終的通道注意力特征。表達(dá)式如下：

圖3 通道注意力模塊

其中 σ表示Sigmoid函數(shù)。

空間注意力模塊如圖4所示。該模塊是從眾多特征中找出最具有信息量的一部分特征。首先進(jìn)行最大池化和平均池化，這兩種池化都是基于通道維度上進(jìn)行的，將得到的兩個(gè)不同特征拼接成一個(gè)特征描述符。然后將這兩個(gè)結(jié)果連接成一個(gè)特征描述符，使用一個(gè)卷積對(duì)其進(jìn)行降維，再使用Sigmoid激活后得到最終的空間注意力特征。最后將該特征與空間注意力模塊的輸入特征相乘生成最佳特征。表達(dá)式如下：

圖4 空間注意力模塊

式中：σ——Sigmoid函數(shù)；

f——卷積操作。

1.3 膠囊網(wǎng)絡(luò)

膠囊網(wǎng)絡(luò)是一種新型向量神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)如圖5所示。卷積神經(jīng)網(wǎng)絡(luò)在進(jìn)行池化時(shí)會(huì)導(dǎo)致信息丟失，輸入輸出均是標(biāo)量，要想獲得較好的泛化能力，必須通過訓(xùn)練大量的樣本數(shù)據(jù)，所以在處理小樣本情況下其性能不理想?；诖耍z囊網(wǎng)絡(luò)輸入輸出結(jié)構(gòu)形式由標(biāo)量變?yōu)橄蛄?，向量中包含的圖像特征更全面，可以在樣本數(shù)據(jù)較少的情況下保證分類精度。膠囊網(wǎng)絡(luò)將特征用向量表示后，最后向量的模長就是物體存在的概率。神經(jīng)元之間采用動(dòng)態(tài)路由的方式進(jìn)行特征傳遞。算法過程如下：

圖5 膠囊網(wǎng)絡(luò)結(jié)構(gòu)

1）將l層膠囊的第i個(gè)膠囊和l+1層第j個(gè)膠囊間的特征傳遞參數(shù)bij初始化為0。

2）計(jì)算耦合系數(shù)cij，表達(dá)式為

3）低級(jí)特征Ui通過轉(zhuǎn)換矩陣Wij對(duì)高級(jí)特征進(jìn)行預(yù)測，然后對(duì)其進(jìn)一步加權(quán)求和，這樣就得到了高層膠囊特征Sj。表達(dá)式為

2 基于遷移學(xué)習(xí)的注意力膠囊網(wǎng)絡(luò)

2.1 特征提取網(wǎng)絡(luò)

VGG-19網(wǎng)絡(luò)可對(duì)圖像進(jìn)行深度特征提取，它提取到的特征信息也更加全面豐富，從而使得模型最終的分類準(zhǔn)確率能夠更理想。但研究表明，基于VGG-19網(wǎng)絡(luò)分類實(shí)驗(yàn)中，要想取得較好的特征提取效果，需要大量的帶標(biāo)簽數(shù)據(jù)來對(duì)模型進(jìn)行訓(xùn)練，這就會(huì)導(dǎo)致硬件設(shè)備超負(fù)荷運(yùn)行，效率降低。為此，本文在特征提取部分應(yīng)用了遷移學(xué)習(xí)思想。

遷移學(xué)習(xí)是一種深度學(xué)習(xí)策略，它是將在源域內(nèi)學(xué)習(xí)獲得的知識(shí)遷移到目標(biāo)域，解決了目標(biāo)域樣本數(shù)量上不足導(dǎo)致的模型訓(xùn)練效果差的問題，最終使得在目標(biāo)域上能有較好的分類效果。遷移學(xué)習(xí)的原理如圖6所示。本文選取ImageNet數(shù)據(jù)集作為源域，該數(shù)據(jù)包含1 000類數(shù)據(jù)標(biāo)簽，樣本質(zhì)量較高且豐富，使用VGG-19網(wǎng)絡(luò)對(duì)其進(jìn)行預(yù)訓(xùn)練，然后將部分網(wǎng)絡(luò)和其參數(shù)遷移至電池片紅外圖像的特征提取網(wǎng)絡(luò)中。經(jīng)過分析，本文特征提取網(wǎng)絡(luò)有以下優(yōu)點(diǎn)：1）VGG-19網(wǎng)絡(luò)具有較深的網(wǎng)絡(luò)深度，采用same填充方式，因此在執(zhí)行卷積操作的時(shí)候不會(huì)導(dǎo)致圖像尺寸的減小，采用較小的池化核去減小圖像尺寸。通道數(shù)更多，特征度更寬，使得提取到的特征種類更豐富。2）ImageNet數(shù)據(jù)樣本豐富，可供卷積層和池化層訓(xùn)練的信息充足，有效提高網(wǎng)絡(luò)的泛化能力。

圖6 遷移學(xué)習(xí)原理示意圖

本文特征提取過程如下：

首先對(duì)ImageNet數(shù)據(jù)集使用VGG-19網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練得到模型A，步驟如下：

1）前向傳播。其表達(dá)式為

式中：xl——網(wǎng)絡(luò)第l層的輸出；

Wl——l層網(wǎng)絡(luò)權(quán)值；

bl——偏置；

f——ReLU激活函數(shù)。

2）反向傳播。該階段主要是對(duì)各層網(wǎng)絡(luò)參數(shù)進(jìn)行修正，采用基于有監(jiān)督訓(xùn)練下的梯度下降法實(shí)現(xiàn)，其表達(dá)式為

式中：W——權(quán)值；

b——偏置；

α——學(xué)習(xí)率；

J(W,b)——損失函數(shù)，本文采用交叉熵?fù)p失函數(shù)。

重復(fù)上面兩步，達(dá)到精度要求后，提取網(wǎng)絡(luò)參數(shù)得到模型A。然后基于電池片紅外圖像和遷移學(xué)習(xí)構(gòu)建模型B，步驟如下：

1）遷移VGG-19全連接層之前的網(wǎng)絡(luò)及對(duì)應(yīng)的網(wǎng)絡(luò)參數(shù)。

2）將電池片紅外圖像作為遷移網(wǎng)絡(luò)的輸入，構(gòu)建完整的特征提取網(wǎng)絡(luò)，如圖7所示。

圖7 特征提取模型網(wǎng)絡(luò)結(jié)構(gòu)示意圖

2.2 模型結(jié)構(gòu)

利用遷移學(xué)習(xí)對(duì)電池片紅外圖像進(jìn)行特征提取之后，再利用注意力機(jī)制模塊提取關(guān)鍵特征，實(shí)現(xiàn)高精度的分類。網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示。

圖8 基于遷移學(xué)習(xí)的注意力膠囊網(wǎng)絡(luò)

該模型主要由VGG-19網(wǎng)絡(luò)、卷積注意力模塊和膠囊網(wǎng)絡(luò)組合構(gòu)成。輸入圖像通過VGG-19網(wǎng)絡(luò)配合注意力模塊進(jìn)行特征提取，使提取到的特征更加豐富，關(guān)鍵特征更加突出。初級(jí)膠囊層的卷積核為 3 ×3，步長為1，填充方式為same，輸出是32個(gè)7×7×16膠囊；最后是數(shù)字膠囊層，由5個(gè)16維的數(shù)字膠囊組成，使用動(dòng)態(tài)路由進(jìn)行分類，每個(gè)16維膠囊代表一個(gè)特定的圖像類別。

2.3 代價(jià)函數(shù)

式中：c——分類類別，vc的模即輸出的5個(gè)概率值；

Tc——分類的指示函數(shù)，當(dāng)c存在時(shí)Tc為1，不存在時(shí)Tc為0；

m+、m-——上、下邊界；

λ——比例系數(shù)。

3 實(shí)驗(yàn)與分析

3.1 圖像預(yù)處理

采集到的原始圖像中包括目標(biāo)光伏組件和背景區(qū)域，需要將其分割成規(guī)則的光伏組件圖像。本文通過對(duì)圖像進(jìn)行邊緣檢測、輪廓提取等分割出目標(biāo)組件，分割效果如圖9所示。再通過透視變換對(duì)圖像進(jìn)行角度矯正，如圖10所示。此外，圖像在采集時(shí)受到光照強(qiáng)度、空氣密度、氣候及采集儀器自身的影響，導(dǎo)致采集到的紅外圖像分辨率較差、低對(duì)比、高噪聲、輪廓模糊。為了提高模型的識(shí)別精度，對(duì)原始圖像需要進(jìn)行預(yù)處理。首先，使用直方圖均衡化，用以獲得合適對(duì)比度的紅外圖像；然后對(duì)圖像進(jìn)行方形結(jié)構(gòu)閉運(yùn)算和開運(yùn)算，用來濾除圖像的微小斑點(diǎn)和椒鹽噪聲；最后再對(duì)圖像進(jìn)行高斯濾波抑制噪聲，完成圖像預(yù)處理[14]。之后再按照光伏組件規(guī)格進(jìn)行等距分割，分為60個(gè)電池片。根據(jù)溫度不同，其在紅熱途中表現(xiàn)的顏色特征不同，將電池片分為5類。分類結(jié)果如圖11所示。

圖9 分割效果圖

圖10 透視變換效果圖

圖11 分類結(jié)果

原始紅外圖像經(jīng)預(yù)處理后熱斑樣本集較少，為了提高模型準(zhǔn)確率和泛化能力，本文采用圖像翻轉(zhuǎn)、顏色增強(qiáng)、亮度增強(qiáng)、對(duì)比度增強(qiáng)和高斯噪聲模糊處理對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)增，采用上述方式擴(kuò)增數(shù)據(jù)集后的效果圖如圖12所示。最終將數(shù)據(jù)集按7∶3劃分為訓(xùn)練集2 450張，測試集1 050張。

圖12 數(shù)據(jù)擴(kuò)增效果圖

3.2 訓(xùn)練驗(yàn)證

本次實(shí)驗(yàn)軟件與硬件環(huán)境如表1所示。本文使用Python作為編程語言，TensorFlow搭建模型框架。

表1 硬件與軟件環(huán)境

分別采用傳統(tǒng)卷積網(wǎng)絡(luò)、膠囊網(wǎng)絡(luò)和基于遷移學(xué)習(xí)的注意力膠囊網(wǎng)絡(luò)對(duì)預(yù)處理后的數(shù)據(jù)集進(jìn)行識(shí)別。通過準(zhǔn)確率Accuracy和損失率loss隨Epochs的變化曲線，直觀地看出模型分類效果。實(shí)驗(yàn)樣本訓(xùn)練中Epochs設(shè)為300次，基于遷移學(xué)習(xí)的注意力膠囊網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果如圖13和圖14所示。各模型最終分類準(zhǔn)確率如圖15所示。

圖13 模型分類準(zhǔn)確率結(jié)果

圖14 模型損失率結(jié)果

圖15 各模型判別結(jié)果

通過對(duì)比分析可知，小樣本條件下，針對(duì)電池片紅外圖像的熱斑識(shí)別，在訓(xùn)練集上的準(zhǔn)確率，本文所提模型分別高于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)和膠囊網(wǎng)絡(luò)9.01%、4.92%，在測試集上的準(zhǔn)確率，分別高于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)和膠囊網(wǎng)絡(luò)13.15%、7.91%，具有較好的識(shí)別效果。而且訓(xùn)練集與測試集的準(zhǔn)確率相差較少，表明模型泛化能力更好。

4 結(jié)束語

本文對(duì)傳統(tǒng)膠囊網(wǎng)絡(luò)做了改進(jìn)，該網(wǎng)絡(luò)能夠更充分地提取電池片紅外圖像特征，并進(jìn)一步篩選出關(guān)鍵特征。在特征提取部分應(yīng)用遷移學(xué)習(xí)的思想，將在大型數(shù)據(jù)集ImageNet訓(xùn)練得到的參數(shù)和部分網(wǎng)絡(luò)遷移到電池片紅外圖像識(shí)別中，有效降低了模型訓(xùn)練過程中對(duì)樣本集和硬件條件的依賴，提高了識(shí)別效率。通過對(duì)比實(shí)驗(yàn)分析可知，針對(duì)小樣本條件下的電池片紅外圖像識(shí)別，本文模型識(shí)別準(zhǔn)確率明顯高于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)和膠囊網(wǎng)絡(luò)，模型泛化能力更理想。