高強(qiáng)，孟格格

（華北電力大學(xué)電氣與電子工程學(xué)院，河北保定071003）

0 引 言

絕緣子是高壓架空輸電線(xiàn)路的關(guān)鍵部件之一，由于長(zhǎng)期處于運(yùn)行電壓的作用下，加上露天環(huán)境腐蝕，絕緣子可能會(huì)出現(xiàn)掉串、斷裂、污穢等故障，對(duì)電力系統(tǒng)影響很大，因此，對(duì)故障絕緣子的識(shí)別具有重要意義。目前國(guó)內(nèi)外識(shí)別絕緣子主要是依據(jù)輪廓、顏色和紋理［1-3］等特征來(lái)進(jìn)行，對(duì)故障絕緣子的檢測(cè)方法主要有紫外成像法，紅外成像法和電場(chǎng)法。紫外成像法可以有效檢測(cè)絕緣子放電的故障缺陷，紅外成像法可以檢測(cè)發(fā)熱故障，電場(chǎng)法僅適合檢測(cè)存在于絕緣子上較嚴(yán)重的短路性故障，但這樣特征提取方式和故障檢測(cè)方法并不能完全代表絕緣子的情況。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）作為深度學(xué)習(xí)（Deep Learning）的一種，避免了特征提取的過(guò)程，而隱藏地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)，這樣提取的特征更能全面地代表圖像。加上其提出局部感知野、參數(shù)共享以及降采樣，使其對(duì)平移、比例縮放、傾斜等其他形式的變形具有高度不變性。因此，被廣泛的應(yīng)用于如手寫(xiě)體識(shí)別［4］、字符識(shí)別［5］、人臉識(shí)別［6］、交通信號(hào)識(shí)別［7］、手勢(shì)識(shí)別［8］等領(lǐng)域。

隨著CNN的廣泛應(yīng)用，各種問(wèn)題也被深入研究，很多優(yōu)化的結(jié)構(gòu)和算法被提出。文獻(xiàn)［9］通過(guò)重復(fù)使用較小卷積核，設(shè)計(jì)并實(shí)現(xiàn)一種新的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，有效減少訓(xùn)練參數(shù)的數(shù)量并提高識(shí)別的準(zhǔn)確率；文獻(xiàn)［10］提出深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Network，DCNN）結(jié)構(gòu)解決識(shí)別中計(jì)算量大，特征提取復(fù)雜等問(wèn)題；另外，文獻(xiàn)［11］指出，引入ReLU激活函數(shù)代替?zhèn)鹘y(tǒng)的Sigmoid函數(shù)和tanh函數(shù)，也能夠提高網(wǎng)絡(luò)的識(shí)別性能。文獻(xiàn)［12］利用主成分分析網(wǎng)絡(luò)（Principal Component Analysis Network，PCANet）對(duì)圖像進(jìn)行預(yù)處理，去除圖像之間的相關(guān)性進(jìn)而降低對(duì)調(diào)參的要求，提高識(shí)別效果。

目前，關(guān)于提升CNN性能和識(shí)別率的研究非常多，但很少有從卷積核之間相關(guān)性角度研究的。在CNN網(wǎng)絡(luò)結(jié)構(gòu)中，卷積層的作用是通過(guò)不同的卷積核來(lái)進(jìn)行卷積運(yùn)算提取圖像的特征信息，但不同卷積核之間的相關(guān)性表明核函數(shù)可能提取到相同的特征，會(huì)影響提取信息的獨(dú)立性，而提取相同的信息對(duì)識(shí)別率的提高并沒(méi)有幫助。本課題從核函數(shù)去相關(guān)性的角度出發(fā)，改進(jìn)BP算法，使在不增加核函數(shù)數(shù)量和網(wǎng)絡(luò)計(jì)算量的基礎(chǔ)上，獨(dú)立且全面地提取絕緣子樣本的特征，進(jìn)而有效的提升絕緣子樣本的分類(lèi)性能。

1 核函數(shù)相關(guān)性分析

1.1 卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖1所示，它是一個(gè)多層的神經(jīng)網(wǎng)絡(luò)，每層由多個(gè)二維平面組成，每個(gè)平面是由多個(gè)獨(dú)立的神經(jīng)元構(gòu)成。

圖1 卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)Fig.1 Basic structure of convolutional neural network

輸入圖像經(jīng)過(guò)卷積層C1的卷積運(yùn)算后，加偏置，加激活進(jìn)入到降采樣層S1，降采樣層可以通過(guò)多種池化方法得到特征映射圖，這些圖再進(jìn)行卷積運(yùn)算得到C2層，再經(jīng)降采樣得到S2層，S2層經(jīng)過(guò)單層感知機(jī)得到Fc并進(jìn)行全連接得到最終的輸出。

1.2 BP算法誤差傳播分析

圖2 CNN第一層與第二層運(yùn)算關(guān)系Fig.2 Operational relationship between first and second layers of CNN

在反向傳播中，權(quán)值誤差的更新公式如下：

式中γ是學(xué)習(xí)率；J（w，b）是損失誤差函數(shù)。誤差對(duì)權(quán)值的導(dǎo)數(shù)為：

對(duì)l=nl-1，nl-2，……，2的各個(gè)層，殘差的表達(dá)式為：

因此，權(quán)值誤差的修正量可表示為：

因此，得第二層特征圖之間的相關(guān)性為：

根據(jù)信號(hào)檢測(cè)與估值［13］理論，對(duì)確知信號(hào)進(jìn)行檢測(cè)的問(wèn)題與神經(jīng)網(wǎng)絡(luò)的模式分類(lèi)是一致的。按照一定的準(zhǔn)則判定哪個(gè)信號(hào)的存在，給出了誤碼率公式為：

式中ρ是信號(hào)間的互相關(guān)系數(shù)?？梢?jiàn)，互相關(guān)系數(shù)越小，誤碼率越低。因此，降低第一層輸出信號(hào)的互相關(guān)系數(shù)應(yīng)能提高識(shí)別率。根據(jù)式（2）可知，第一層輸出信號(hào)與核函數(shù)有關(guān)。

1.3 基于向量空間理論的相關(guān)性影響的分析

對(duì)一幅M×N的圖像，可以被看成是M×N維向量空間T中的一個(gè)向量a。核函數(shù)L×L（L＜min（M，N））維是H空間的向量h，由于L＜min（M，N），因此，H是T的子空間。CNN卷積運(yùn)算提取特征信息，就是用子空間H表達(dá)T的過(guò)程，或者，可以認(rèn)為是用子空間H近似空間T。其近似程度可以用距離來(lái)表示。

首先擴(kuò)展H子空間的維數(shù)，使H與T同維，即L+L1=M，L+L2=N，在擴(kuò)展出來(lái)的L1和L2維度上，都填充上0。因此，L空間與T空間的距離可以表達(dá)為：

從H空間中任意選擇k個(gè)核函數(shù)向量hi，k個(gè)無(wú)關(guān)向量組可表達(dá)的最大維度是k維。假定每一維度用1表示，則k維向量與a的距離為：

如果k個(gè)向量是線(xiàn)性相關(guān)的，則k個(gè)向量中至少有一個(gè)是不獨(dú)立的，如果k個(gè)向量中獨(dú)立向量個(gè)數(shù)為k-r（r≥1）個(gè)，只能組成一個(gè) k-r維基底，所表達(dá)的最大維度是k-r維，與a的距離為：

因此，由k個(gè)線(xiàn)性相關(guān)向量組成的基底，在表達(dá)T空間的向量（圖像）時(shí)，其誤差要大于k個(gè)線(xiàn)性無(wú)關(guān)組向量的誤差。

CNN卷積運(yùn)算的過(guò)程，其核函數(shù)向量的維度（如3×3核、5×5的核）保持不變，而移動(dòng)核函數(shù)的過(guò)程相當(dāng)于其維度范圍在改變，即用不同核函數(shù)向量組來(lái)表達(dá)圖像，也就是特征提取的過(guò)程。按照BP算法進(jìn)行訓(xùn)練，誤差在前向傳播時(shí)，如果不控制卷積核之間的相關(guān)性，核函數(shù)向量即可能是線(xiàn)性相關(guān)的，也可能是無(wú)關(guān)的。其結(jié)果表現(xiàn)出收斂誤差的不同。

尋找具有獨(dú)立向量的核函數(shù)組是減小收斂誤差的途徑。如何去掉核函數(shù)的相關(guān)性，需要借助其他數(shù)學(xué)工具。本文采用小波分解來(lái)構(gòu)造核函數(shù)，以保持核函數(shù)之間的無(wú)關(guān)性。

1.4 基于小波分解算法構(gòu)造

從圖像處理角度來(lái)看，小波分解不僅可以覆蓋整個(gè)頻域且小波分解通過(guò)選取合適的濾波器可以極大的減小或去除所提取的不同特征之間的相關(guān)性。本文對(duì)核函數(shù)進(jìn)行小波分解，通過(guò)去除核函數(shù)之間的相關(guān)性來(lái)保證提取特征之間的獨(dú)立性進(jìn)而提高卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別率。

小波分解后的圖像是對(duì)原圖像“不同分辨率”的表達(dá)［14］。即一個(gè)圖像作小波分解后，可得到一系列不同分辨率的子圖像。具體步驟如下：

（1）初始化網(wǎng)絡(luò)結(jié)構(gòu)以及各連接參數(shù)，在第一層卷積核初始化時(shí)使用小波分解方法，去除核之間的相關(guān)性；

（2）假定選擇4個(gè)核函數(shù)。用訓(xùn)練樣本進(jìn)行BP算法傳播，并在誤差反向傳播到第一層時(shí)，用小波分解法對(duì)卷積核誤差的修改量進(jìn)行處理。

分成獨(dú)立塊：即將4個(gè)核函數(shù)的誤差修正量加在一起進(jìn)行小波分解，生成4個(gè)完全獨(dú)立的子塊（低頻部分分解系數(shù)、垂直方向分解系數(shù)、水平方向分解系數(shù)、對(duì)角線(xiàn)方向分解系數(shù)），每個(gè)核函數(shù)分別選取其中一個(gè)子塊作為修正量；

分成組合塊：每個(gè)核函數(shù)的誤差修正量分別進(jìn)行小波分解，核1的修正量不做處理，核2的修正量去除垂直方向分解系數(shù)，核3的修正量去除水平方向分解系數(shù)，核4的修正量去除對(duì)角線(xiàn)方向分解系數(shù)；

（3）把每一次訓(xùn)練的誤差給核函數(shù)更新時(shí)，都按照（2）進(jìn)行修正。

2 去相關(guān)算法的實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)選用MNIST、CIFAR-10和CK三個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集，并與傳統(tǒng)CNN算法比較，驗(yàn)證核函數(shù)去相關(guān)算法的有效性。

2.1 MNIST庫(kù)上的實(shí)驗(yàn)

MNIST手寫(xiě)體數(shù)據(jù)庫(kù)包含70 000張0～9的圖片，每類(lèi)7 000張。其中60 000張訓(xùn)練樣本，10 000張測(cè)試樣本。每個(gè)樣本均為28×28的灰度圖像并直接作為網(wǎng)絡(luò)的輸入。在測(cè)試中，采用的網(wǎng)絡(luò)結(jié)構(gòu)為：4C-（2×2）S-12C-（2×2）S-100F，核函數(shù)誤差修正方式為組合塊。不同尺寸卷積核去相關(guān)算法與傳統(tǒng)BP算法對(duì)應(yīng)的識(shí)別率如表1所示。其中，識(shí)別率絕對(duì)提升量=本文算法識(shí)別率-傳統(tǒng)算法識(shí)別率，識(shí)別率相對(duì)提升量=（本文算法識(shí)別率-傳統(tǒng)算法識(shí)別率）/（1-傳統(tǒng)算法識(shí)別率）。

表1 不同尺寸卷積核的網(wǎng)絡(luò)識(shí)別率（MNIST庫(kù)）Tab.1 Identification rate of different sizes of Kernels（MNIST database）

從表1可以看出，對(duì)應(yīng)不同尺寸的卷積核，本文算法的識(shí)別率總是優(yōu)于傳統(tǒng)算法。在3×3和5×5核函數(shù)尺寸下，識(shí)別率的相對(duì)提升量分別為10.61%和13.14%，說(shuō)明核函數(shù)去相關(guān)算法通過(guò)去除核函數(shù)之間的相關(guān)性，提取到了樣本更加獨(dú)立的特征，也說(shuō)明該方法在MNIST庫(kù)上取得了一定的效果。

2.2 CIFAR-10庫(kù)上的實(shí)驗(yàn)

CIFAR-10數(shù)據(jù)庫(kù)包含10類(lèi)共60 000張32×32的彩色圖像，每類(lèi)6 000張，其中50 000張訓(xùn)練集，10 000張測(cè)試集。在網(wǎng)絡(luò)結(jié)構(gòu)為：4C-（2×2）S-16C-（2×2）S-240F，卷積核尺寸為5×5，核函數(shù)誤差修正采用組合塊的前提下，傳統(tǒng)算法與本文算法的網(wǎng)絡(luò)識(shí)別率隨著訓(xùn)練次數(shù)的變化曲線(xiàn)如圖3所示。

圖3 傳統(tǒng)BP算法與去相關(guān)算法識(shí)別率隨訓(xùn)練次數(shù)變化曲線(xiàn)Fig.3 Curve of recognition rate of traditional BP algorithm and decorrelation algorithm with the change of training times

從圖3可以看出，在CIFAR-10數(shù)據(jù)庫(kù)上，本文算法收斂速度快于傳統(tǒng)算法，且最高識(shí)別率60.85%大于傳統(tǒng)算法下的最高識(shí)別率59.41%，尤其在訓(xùn)練次數(shù)比較少時(shí)這種優(yōu)勢(shì)更加明顯，比如在訓(xùn)練次數(shù)為5時(shí)，傳統(tǒng)算法識(shí)別率為51.8%，而本文算法可以達(dá)到55.69%。

2.3 CK庫(kù)上的實(shí)驗(yàn)

CK庫(kù)是發(fā)布于2010年的cohn-kanada Dataset，共6類(lèi)1810張圖片，實(shí)驗(yàn)中選取90%（1629張）作為訓(xùn)練，10%（181張）作為測(cè)試。在測(cè)試中，采用的網(wǎng)絡(luò)結(jié)構(gòu)為：4C-（2×2）S-8C-（2×2）S-100F，核函數(shù)誤差修正方式為獨(dú)立塊。對(duì)應(yīng)不同尺寸卷積核本文算法與傳統(tǒng)算法對(duì)應(yīng)的識(shí)別率見(jiàn)表2（其中，迭代次數(shù)為50）。

表2 不同尺寸卷積核的網(wǎng)絡(luò)識(shí)別率（CK庫(kù)）Tab.2 Identification rate of different sizes of Kernels（CK database）

從表2可以看出，本文算法的絕對(duì)識(shí)別率較傳統(tǒng)BP算法分別提升22.65%、6.07%，相對(duì)識(shí)別率分別提升了83.67%、100%，尤其在5×5的卷積核尺寸下，網(wǎng)絡(luò)能對(duì)樣本實(shí)現(xiàn)100%的識(shí)別。其原因可能是該庫(kù)中，樣本數(shù)較少，不同類(lèi)樣本間特征區(qū)別明顯，而本文算法恰好提取了樣本的不同特征，完成對(duì)樣本100%的識(shí)別。

3 絕緣子故障識(shí)別的研究

在上述數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果說(shuō)明，相較于傳統(tǒng)算法，該算法能取得更好的效果，除此，能在不同核函數(shù)尺寸的條件下取得較高識(shí)別率，且此算法達(dá)到與傳統(tǒng)算法相同識(shí)別率的前提下，所需的訓(xùn)練迭代次數(shù)更少，訓(xùn)練時(shí)間更短。文獻(xiàn)［15］將深度信念網(wǎng)絡(luò)應(yīng)用在絕緣子故障識(shí)別中并取得一定成果，接下來(lái)，我們將此算法應(yīng)用在絕緣子故障識(shí)別中。

3.1 絕緣子庫(kù)的建立

由于目前沒(méi)有公開(kāi)的絕緣子數(shù)據(jù)庫(kù)，本文采集正常絕緣子和故障絕緣子來(lái)建立數(shù)據(jù)庫(kù)。該庫(kù)中有1 200張絕緣子圖像，包括800張正常絕緣子，400張故障絕緣子（包括掉串、放電痕跡、斷裂、污穢等）。為保證CNN網(wǎng)絡(luò)的泛化性，庫(kù)中絕緣子的大小、形狀，受光照強(qiáng)度等各不相同，且對(duì)樣本做了旋轉(zhuǎn)、縮放等處理。庫(kù)中部分正常絕緣子樣本和故障絕緣子樣本如圖4、圖5所示。

圖4 正常絕緣子圖像Fig.4 Images of normal insulators

圖5 故障絕緣子圖像Fig.5 Images of faulty insulators

3.2 絕緣子故障的實(shí)驗(yàn)

3.2.1 絕緣子故障識(shí)別過(guò)程

實(shí)驗(yàn)中從800張正常絕緣子中隨機(jī)選取600張作為訓(xùn)練樣本，剩下200張作為測(cè)試樣本，同樣，從400張故障絕緣子中隨機(jī)選取300張作為訓(xùn)練樣本，剩下100張作為測(cè)試樣本。將樣本大小均歸一化為64×64，作為CNN的輸入。

確定好訓(xùn)練集和測(cè)試集后，對(duì)網(wǎng)絡(luò)進(jìn)行初始化，網(wǎng)絡(luò)結(jié)構(gòu)初始化為：4C-（2×2）S-8C-（2×2）S-100F，兩個(gè)卷積層核函數(shù)尺寸均為5×5，batchsize的大小設(shè)為30。

在第一個(gè)卷積層初始化時(shí)，對(duì)四個(gè)核函數(shù)分別進(jìn)行小波分解處理，每個(gè)核分別選取小波分解后的不同子塊。

用訓(xùn)練樣本進(jìn)行BP算法傳播，并在誤差反向傳播到第一層時(shí)，用小波分解法對(duì)卷積核誤差的修改量進(jìn)行處理，在這里，核函數(shù)的誤差修正方式采用組合塊，網(wǎng)絡(luò)訓(xùn)練完成后，對(duì)測(cè)試集進(jìn)行測(cè)試，并計(jì)算網(wǎng)絡(luò)識(shí)別的正確率。

3.2.2 實(shí)驗(yàn)結(jié)果

在3.2.1的結(jié)構(gòu)和參數(shù)前提下，當(dāng)訓(xùn)練的迭代次數(shù)從10次變化到50次時(shí)，本文算法和傳統(tǒng)算法對(duì)訓(xùn)練樣本和測(cè)試樣本的識(shí)別率如表3所示。

由表3可以看出，隨著訓(xùn)練的迭代次數(shù)增加，兩種算法對(duì)訓(xùn)練樣本和測(cè)試樣本的識(shí)別率均呈上升趨勢(shì)，對(duì)傳統(tǒng)算法來(lái)說(shuō)，當(dāng)?shù)螖?shù)增加到40次時(shí)識(shí)別率基本保持不變，對(duì)本文算法來(lái)說(shuō)，當(dāng)?shù)螖?shù)增加到20次時(shí)，識(shí)別率即可保持基本不變。且就識(shí)別率而言，該算法能對(duì)訓(xùn)練樣本實(shí)現(xiàn)100%識(shí)別，由于傳統(tǒng)算法對(duì)測(cè)試樣本的最高識(shí)別率99.77%，該算法對(duì)測(cè)試樣本識(shí)別率也以98.33%高于在傳統(tǒng)算法下的96.67%。在本實(shí)驗(yàn)中，傳統(tǒng)算法達(dá)到收斂（迭代次數(shù)為40）所需要的時(shí)間為4.13 m，本文算法達(dá)到收斂（迭代次數(shù)為20）所需要的時(shí)間為2.12 m。綜上，該算法在對(duì)絕緣子故障的識(shí)別中，從識(shí)別率和收斂速度而言，均優(yōu)于傳統(tǒng)算法。

表3 迭代次數(shù)對(duì)識(shí)別性能的影響Tab.3 Effect of iteration number on recognition performance

3.2.3 實(shí)驗(yàn)結(jié)果理論分析

用互相關(guān)系數(shù)來(lái)表示特征圖之間的相關(guān)性，互相關(guān)系數(shù)值的范圍在-1～1之間，為負(fù)代表兩個(gè)圖像呈負(fù)相關(guān)，為零代表不相關(guān)，為正代表正相關(guān)。傳統(tǒng)算法和本文算法下，對(duì)應(yīng)特征圖之間互相關(guān)系數(shù)值如表4所示，在此，選取5個(gè)樣本特征圖之間的互相關(guān)值來(lái)做對(duì)比。

表4 不同樣本特征圖之間互相關(guān)系數(shù)Tab.4 Cross correlation coefficient of different samples

由表4可以看出，對(duì)應(yīng)不同樣本，此算法下特征圖之間的相關(guān)性均小于在傳統(tǒng)算法下，結(jié)合1.2和1.3的分析，說(shuō)明核函數(shù)去相關(guān)算法能更有效提取相互獨(dú)立的特征圖，獲取更多的信息，這對(duì)于提高網(wǎng)絡(luò)的識(shí)別性能也更有力。

3.2.4 與其他算法的比較

為驗(yàn)證該算法在絕緣子故障識(shí)別中的有效性，實(shí)驗(yàn)將該算法與文獻(xiàn)［16］的3-CNN，文獻(xiàn)［17］的CConvNet以及文獻(xiàn)［18］提出的算法進(jìn)行對(duì)比。本實(shí)驗(yàn)中，3-CNN算法采用的網(wǎng)絡(luò)結(jié)構(gòu)為：4C-（2×2）S-6C-（2×2）S-6C-（2×2）S-100F，CConvNet算法采用的網(wǎng)絡(luò)結(jié)構(gòu)為：2C-4C-（2×2）S-6C-8C-（2×2）S-100F，將該算法與文獻(xiàn)［18］提出的算法結(jié)合，在網(wǎng)絡(luò)訓(xùn)練時(shí)，也對(duì)核函數(shù)進(jìn)行去相關(guān)性處理。不同算法的識(shí)別性能如表5所示。

表5 不同算法識(shí)別性能比較表Tab.5 Comparison table of the classification performance among different algorithms

從表5可以看出，該算法在識(shí)別率上明顯優(yōu)于其他算法，且將該算法與其他算法相結(jié)合，識(shí)別效果也得到進(jìn)一步改善，如將文獻(xiàn)［18］算法與該算法相結(jié)合后，文獻(xiàn)［18］的識(shí)別率由96.33%提升至98%。從訓(xùn)練至收斂的時(shí)間來(lái)看，文獻(xiàn)［18］所需時(shí)間最短，但其識(shí)別率僅有96.33%，說(shuō)明網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單、提取的特征不夠全面，雖然節(jié)省了訓(xùn)練的時(shí)間卻造成了更多的錯(cuò)誤識(shí)別。綜上，該算法在絕緣子故障識(shí)別中表現(xiàn)出不錯(cuò)的效果，具有一定的應(yīng)用價(jià)值。

4 結(jié)束語(yǔ)

文章基于改變卷積核對(duì)圖像特征的表達(dá)，提出了通過(guò)小波分解去除核函數(shù)相關(guān)性的算法。用較少且不相關(guān)的卷積核來(lái)獨(dú)立、全面地提取圖像的特征，實(shí)現(xiàn)更好的識(shí)別效果。MNIST、CIFAR-10和CK數(shù)據(jù)集上的實(shí)驗(yàn)表明，此算法不僅可以提高識(shí)別率而且能加快收斂速度。最后將此算法應(yīng)用在絕緣子故障識(shí)別中，說(shuō)明此算法具有一定的有效性和可行性。