晏 剛， 李自榮， 冉艷紅， 彭 水， 鄭 凱

（重慶賽寶工業(yè)技術(shù)研究院有限公司， 重慶 401332）

0 引 言

目前油浸式變壓器內(nèi)檢方式存在效率低、檢測盲區(qū)、故障判別難度大、變壓器內(nèi)部二次污染和破壞等問題。 油浸式智能內(nèi)檢機(jī)器人通過機(jī)器視覺和人工智能技術(shù)進(jìn)行故障分析和定位，一方面代替人工在不放油、充氣的情況下進(jìn)入變壓器內(nèi)部工作，減少檢修天數(shù)，提高檢修效率；另一方面，可通過圖像的智能識別提高故障判別準(zhǔn)確率，降低檢修成本。 本文研究變壓器油浸式智能內(nèi)檢機(jī)器人，將變壓器內(nèi)部視頻圖像傳輸?shù)焦ぷ髡?，使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行故障識別、分析預(yù)測，提高大型電力變壓器的檢修效率、發(fā)現(xiàn)潛伏缺陷、提高故障診斷準(zhǔn)確性。

1 油浸式變壓器故障類型分析

電力變壓器內(nèi)部故障主要表現(xiàn)為機(jī)械故障、熱故障和電故障3 種類型，以后兩種故障類型為主，大多數(shù)機(jī)械故障最終也會(huì)表現(xiàn)為熱故障和放電性故障［1］。 過熱性故障是熱應(yīng)力所造成的絕緣加速劣化；放電性故障可根據(jù)其放電能量的密度分為電弧放電、火花放電和局部放電3 類［2］。 一旦出現(xiàn)運(yùn)行缺陷或故障，或者需要對設(shè)備大修時(shí)，仍需要將設(shè)備停電放油，由專業(yè)技術(shù)人員從入孔爬進(jìn)設(shè)備箱體內(nèi)進(jìn)行內(nèi)檢排查，發(fā)現(xiàn)設(shè)備里的缺陷或故障，必要時(shí)還需要對變壓器進(jìn)行吊罩處理和解體檢查。

2 卷積神經(jīng)網(wǎng)絡(luò)

本文研究的油浸式變壓器故障識別卷積神經(jīng)網(wǎng)絡(luò)使用Hu 特征提取和Hog 特征提取兩種圖像數(shù)據(jù)特征提取算法。

2.1 Hu 特征提取算法

采用Hu 特征提取算法進(jìn)行Hu 不變矩提取時(shí)，主要利用0、1、2 和3 階矩陣進(jìn)行提?。?］。 首先計(jì)算各階矩陣的幾何矩，再計(jì)算中心矩，然后歸一化中心矩，最后計(jì)算7 個(gè)Hu 不變矩并進(jìn)行歸一化。 Hu 不變矩特征提取流程圖如圖1 所示。

圖1 Hu 不變矩特征提取流程圖Fig. 1 Hu invariant matrix feature extraction flow chart

2.2 Hog 特征提取算法

采用Hog 特征提取算法進(jìn)行特征提取時(shí)，首先將圖像進(jìn)行灰度處理，然后計(jì)算每個(gè)像素點(diǎn)的梯度，在每個(gè)梯度方向上劃分區(qū)間，在各個(gè)方向投影，得到并統(tǒng)計(jì)每個(gè)區(qū)間的特征向量，一個(gè)塊又由4 個(gè)相鄰單元構(gòu)成，同樣對其在每個(gè)梯度方向的各個(gè)方向進(jìn)行投影，得到并統(tǒng)計(jì)每個(gè)塊的特征向量，最后對每個(gè)塊的特征向量進(jìn)行結(jié)合，就可以得到總的特征向量［4］。 在設(shè)計(jì)時(shí)有部分參數(shù)很關(guān)鍵，例如胞元大小計(jì)算Hog 的單元大小，每個(gè)單元可以得到一個(gè)直方圖，默認(rèn)值為［8，8］；一個(gè)塊的大小，默認(rèn)值為［2，2］；重疊塊說明塊之間的重疊部分的大小，默認(rèn)值是0.5。 在識別時(shí)將圖像尺寸轉(zhuǎn)換為40×40，為了遍歷圖像時(shí)讓塊正好分開，將胞元大小改為［10，10］。Hog 特征提取流程圖如圖2 所示。

圖2 Hog 特征提取流程圖Fig. 2 Hog feature extraction flow chart

3 油浸式變壓器故障圖像的預(yù)處理

3.1 智能機(jī)器人圖像采集

變壓器油浸式智能內(nèi)檢機(jī)器人進(jìn)入變壓器內(nèi)部，攝像機(jī)采集到的圖像上傳到工作站后采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行故障智能識別。

因?yàn)椴杉降膱D像都是3 個(gè)層次的色彩深度達(dá)到800×800 的圖像，卷積神經(jīng)網(wǎng)絡(luò)需要的是具有3個(gè)深度的RGB 三色頻譜416×416 像素的圖像，所以需要采用雙線性插值法對數(shù)據(jù)集圖像進(jìn)行比例轉(zhuǎn)換，轉(zhuǎn)換為416×416 像素的圖像［5］。

利用雙線性插值進(jìn)行圖像縮放的步驟包括：計(jì)算目標(biāo)圖片與原始圖片之間的縮放因子（寬度、高度方向）；利用縮放因子，由目標(biāo)圖片像素位置反推回原始圖片中的虛擬像素位置；由虛擬像素位置找到寬度和高度方向相鄰的4 個(gè)像素點(diǎn)；由4 個(gè)像素點(diǎn)進(jìn)行雙線性插值計(jì)算，得出目標(biāo)圖像中的像素值［6］。 雙線性插值法的原理示意如圖3 所示。

圖3 雙線性插值法原理示意圖Fig. 3 The principle of bilinear interpolation

在進(jìn)行雙線性插值處理時(shí)，點(diǎn)P00，P01，P10，P11為已知的4 個(gè)像素點(diǎn)，要得到Px點(diǎn)的像素值，首先在W軸方向進(jìn)行線性插值，得到Px0，Px1點(diǎn)的像素值，式（1） 和式（2）：

其次，在H軸上由Px0和Px1分別計(jì)算線性差值，得到Px的像素值，式（3）：

從式（1） ～式（3）得到了雙線性插值總公式（4）：

采用雙線性插值法，將離散分布的像素圖進(jìn)行直線化處理，使之能夠準(zhǔn)確地估計(jì)出2×2 像素區(qū)塊內(nèi)的任何點(diǎn)處的像素值，最大限度地減少在非比例放大時(shí)丟失的物體特性，降低對后續(xù)的特征抽取工作的干擾。

3.2 圖像濾波

在卷積神經(jīng)網(wǎng)絡(luò)中，隨著樣本的聚集程度越來越高，網(wǎng)絡(luò)訓(xùn)練的運(yùn)算能力和參數(shù)的收斂性也越來越強(qiáng)，因此在網(wǎng)絡(luò)訓(xùn)練之前，需要對原始圖像數(shù)據(jù)進(jìn)行預(yù)處理，常用的方法是去均值和歸一化。 去均值就是把每個(gè)圖像的數(shù)據(jù)減去全部的圖像數(shù)據(jù)的平均值，把圖像的亮度統(tǒng)一，把所有的圖像都變成0 值中心；而規(guī)一化則是通過把圖像的像素變換成較小的值域，從而減小了奇異樣本的影響。 通過對圖像原始數(shù)據(jù)去均值和規(guī)一化處理，可以實(shí)現(xiàn)對樣本的更精確地分布，更易于訓(xùn)練。

將圖像中的均值分成兩類： 全圖像均值（imagemean）和像素均值（Pixelmean）。 全圖像均值是指各幅圖像在某一深度上的各個(gè)空間位置上的像素的平均值，包含了空間分布數(shù)據(jù)；像素均值則是在一定的深度，對所有像素進(jìn)行均值的計(jì)算，而不會(huì)考慮各圖像的空間分配。 由于DIOR 數(shù)據(jù)集合內(nèi)沒有任何空間上的分布規(guī)則，因此本文使用了像素均值。對具有d深度的像素均值進(jìn)行了運(yùn)算，公式（5）：

其中，num代表了數(shù)據(jù)集訓(xùn)練集的圖像數(shù)量；H代表圖像的高；W代表圖像的寬；DIOR 對應(yīng)的數(shù)值為800； 而img［n］［h］［W］［d］ 代表深度中的第（D） 圖像的像素?cái)?shù)值；d分別取0，1，2，對應(yīng)于圖像的RGB3 個(gè)層次深度。

通過對5 862 張圖像訓(xùn)練集的像素均值進(jìn)行運(yùn)算，得出RGB＿mean ＝［100.28，1，028，393.05］，去均值后的圖像綠色深度上的像素值更低，過濾掉綠干擾后的指標(biāo)表現(xiàn)得更加明顯。

3.3 圖像增強(qiáng)及算法

利用卷積神經(jīng)網(wǎng)絡(luò)對圖像局部細(xì)節(jié)進(jìn)行增強(qiáng)，能夠在一定程度上限制圖像局部的過度增強(qiáng)，但這種方法的局限性在于對比度的放大是通過在預(yù)先定義的剪裁限制下剪裁直方圖來實(shí)現(xiàn)的。

對比度受限自適應(yīng)直方圖均衡化的基本步驟如下：

第一步，將原始圖像分割成若干大小相等的子塊，每個(gè)子塊是連續(xù)的，彼此不重疊；

第二步，計(jì)算每個(gè)子塊的局部直方圖；

第三步，計(jì)算分配給每個(gè)子塊中每個(gè)灰度級的平均像素?cái)?shù)，由參數(shù)AvNum表示，可由公式（6）定義：

其中，Xp和Yp分別是子塊X方向和Y方向上的像素?cái)?shù)，GrayNum表示子塊的可能灰度。

第四步，設(shè)置剪切系數(shù)CV，并假設(shè)其范圍為［ 0，1］。 對于不同的圖像，通過模擬結(jié)果將其調(diào)整為最佳值，然后按照公式（7）計(jì)算實(shí)際剪切極限值NV：

其中，round是一個(gè)舍入函數(shù)。

第五步，使用剪切極限，剪切局部直方圖的每個(gè)灰度級的像素，并將額外的像素?cái)?shù)重新分配到每個(gè)直方圖的每個(gè)灰度級。 假設(shè)NClip表示被忽略的像素總數(shù)，可以通過等式獲得每個(gè)灰度級應(yīng)分配的像素?cái)?shù)NAcp，式（8）， 式（9）：

伴隨著我國飛機(jī)發(fā)動(dòng)機(jī)的發(fā)展，航空用高溫合金標(biāo)準(zhǔn)也在不斷壯大，如表1所示。我國在引進(jìn)的基礎(chǔ)上也研制出了一些高溫合金材料，并相繼制定了各自的材料標(biāo)準(zhǔn)，涵蓋航空研制生產(chǎn)的所有高溫合金材料類型和品種。這些標(biāo)準(zhǔn)應(yīng)用于航空發(fā)動(dòng)機(jī)的設(shè)計(jì)、生產(chǎn)和使用，對高溫合金的整體發(fā)展起到了重要作用。

其中H（i），i＝i0，i1…in表示子塊的局部直方圖。

假設(shè)CH（i） 是重新分配后的直方圖，可以得到等式（10）：

第六步，假設(shè)上述分布后剩余的像素?cái)?shù)為NumLeft，分布的步長可以定義為等式（11）：

按步長從最小灰度開始搜索，以便在像素?cái)?shù)小于剪切閾值時(shí)分配像素。 完成從最小灰度到最大灰度的循環(huán)，直到NumLeft為0。 直方圖分配就完成了，并獲得了一個(gè)新的直方圖。

第七步，剪切后對每個(gè)子區(qū)域執(zhí)行直方圖均衡化。

第八步，每個(gè)子塊的中心點(diǎn)作為參考點(diǎn)，以獲得灰度值；對圖像中的每個(gè)像素進(jìn)行雙線性插值處理，每個(gè)像素的映射由對應(yīng)的區(qū)域4 個(gè)鄰接參考點(diǎn)確定。 利用雙線性插值進(jìn)行灰度值計(jì)算的原理如圖4所示，黑色小矩形（x，y） 表示目標(biāo)點(diǎn)，f（x，y） 是要計(jì)算的（x，y） 的灰度值，4 個(gè)相鄰區(qū)域的中心點(diǎn)用黑點(diǎn)表示，4 個(gè)相鄰點(diǎn)分別為A（x －，y －）、B（x＋，y －）、C（x －，y＋）、D（x＋，y＋）。 灰度值f(x，y) 可以用公式（12）給出的4 個(gè)點(diǎn)A、B、C、D的灰度值的線性組合來表示。 對于邊界區(qū)域中的像素，通過兩個(gè)相鄰采樣點(diǎn)的線性插值計(jì)算灰度；而圖像4 個(gè)角的點(diǎn)是用相鄰的采樣點(diǎn)計(jì)算的。

圖4 雙線性插值法灰度值圖計(jì)算原理Fig. 4 Principle of grayscale value calculation by bilinear interpolation

圖5 自適應(yīng)直方圖均衡化流程圖Fig. 5 Adaptive histogram equalization flow chart

卷積神經(jīng)網(wǎng)絡(luò)對讀入的圖像數(shù)據(jù)進(jìn)行處理時(shí)，首先對直方圖進(jìn)行分塊處理，將輸入進(jìn)去的圖像劃分為大小相等的不重疊的子塊；通過對圖像分塊，將每個(gè)單獨(dú)的區(qū)域進(jìn)行處理，每個(gè)圖像塊的局部圖像增強(qiáng)，從而解決全局均衡化處理的問題。 為了方便后續(xù)雙線性插值處理，分塊必須為2 的倍數(shù)，計(jì)算子塊的直方圖，并根據(jù)公式（6）得到每個(gè)子塊中每個(gè)灰度級的平均像素?cái)?shù)。 例如：假定一幅圖像的像素為288×352，要分成8×8 個(gè)圖像塊，那么此時(shí)得到的每個(gè)圖像塊的像素就會(huì)變成36×44；剪切閾值的計(jì)算仿真，將其范圍設(shè)置在 [0，1]，再按照公式（7）得到剪切閾值。 再對剩余的像素點(diǎn)分配，根據(jù)公式（8）先得到被忽略的像素總數(shù)，通過公式（9）得到每個(gè)灰度級能分配到的像素?cái)?shù)，并按步長從最小灰度開始搜索，完成到最大灰度的循環(huán)，讓剩余像素?cái)?shù)全都分配進(jìn)去，獲得一個(gè)新的直方圖；再根據(jù)公式（10）進(jìn)行直方圖均衡化，將每個(gè)子塊的中心點(diǎn)作為參考點(diǎn)，獲得灰度值，并使用對比度限制進(jìn)行映射，改善噪聲的問題；再根據(jù)公式（12）對其雙線性插值處理，如果不進(jìn)行插值處理，得到的圖像會(huì)分塊。 使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像數(shù)據(jù)處理的流程如圖6 所示。

圖6 卷積神經(jīng)網(wǎng)絡(luò)圖像處理流程圖Fig. 6 Image processing of convolutional neural network

4 基于卷積神經(jīng)網(wǎng)絡(luò)的油浸式變壓器故障識別

4.1 實(shí)驗(yàn)準(zhǔn)備

4.1.1 實(shí)驗(yàn)環(huán)境及參數(shù)配置

本文以Zynq SoC 平臺為網(wǎng)絡(luò)部署流程的基礎(chǔ)，利用Xilinx 公司ZCU104 評估板，實(shí)現(xiàn)了網(wǎng)絡(luò)模型的硬件實(shí)現(xiàn)。 ZCU104 采用Zynq UltraScale＋MPSoC系列的ZU7EV 芯片網(wǎng)，并在PS 上整合了四核心Arm Cortex－A53、 PL 端子UltraScale＋FPGA 等各種應(yīng)用。 ZCU104 主板的硬件資源見表1 所示。

表1 ZCU104 板硬件資源Tab. 1 Hardware resources of ZCU104 board

相對于Zynq7000 系列， MPSoC 的ZU7EV 系列的芯片邏輯能力得到了極大地提高。 PS 端與DDR4DDR4 的SDRAM 相連接，用以緩存運(yùn)算時(shí)所生成的運(yùn)算資料。 QSPI Flash 是用來儲存PS 端主電腦的開機(jī)影像，電腦啟動(dòng)，會(huì)加載影像，以開啟PS端的主機(jī)系統(tǒng)。 JTAG 和Ethernet 界面可以使電腦向PS 終端傳送控制和傳送文檔。 此外，該面板具有USB3.0， HDMI 視頻輸入／輸出，LPC FMC 擴(kuò)展卡接口等豐富的外部設(shè)備，能夠滿足各種不同的嵌入式系統(tǒng)的需求。

本文在充分利用FPGA 主芯片的設(shè)計(jì)和外部DDR 存儲能力的基礎(chǔ)上，將兩個(gè)并行的DPU 芯片在ZU7EV PL 上進(jìn)行有效的部署，使系統(tǒng)充分利用現(xiàn)有的資源，加快了系統(tǒng)的運(yùn)算速度。

4.1.2 數(shù)據(jù)集

卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練需要大量的圖像。 然而收集和注釋龐大的數(shù)據(jù)集既費(fèi)時(shí)又費(fèi)力。 為了增加數(shù)據(jù)集的大小，采用常用的數(shù)據(jù)增強(qiáng)方法，通過一組計(jì)算成本低廉的轉(zhuǎn)換（例如旋轉(zhuǎn)、大小調(diào)整和縮放）以及顏色調(diào)整（例如亮度、飽和度和對比度的變化）在原始數(shù)據(jù)集的基礎(chǔ)上生成額外樣本。 本文使用旋轉(zhuǎn)、平移、翻轉(zhuǎn)和顏色轉(zhuǎn)換的數(shù)據(jù)增強(qiáng)技術(shù)。

本文的數(shù)據(jù)擴(kuò)充是在“正常”和“在線”模式下進(jìn)行的，并將相同的初始擴(kuò)充數(shù)據(jù)存儲在磁盤上。正常模式將直接使用初始擴(kuò)充數(shù)據(jù)集訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，無需任何額外的預(yù)處理，而在線模式在訓(xùn)練模型時(shí)額外應(yīng)用在線數(shù)據(jù)擴(kuò)充。 每個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型都在正常模式和在線模式下進(jìn)行訓(xùn)練，以研究兩種數(shù)據(jù)操作模式對模型性能的影響。

4.2 油浸式變壓器故障識別結(jié)果

利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類識別，在訓(xùn)練集Sample 文件夾中隨機(jī)抽取樣本圖片，以比例0.9 作為訓(xùn)練樣本，剩下的作為測試樣本，計(jì)算每一種情況的油浸式變壓器故障識別的準(zhǔn)確率，根據(jù)準(zhǔn)確率來選取最佳的搭配方式，該準(zhǔn)確率是在每種情況中經(jīng)過反復(fù)抽樣測試而收集到的最大值，得到每種情況的準(zhǔn)確率見表2。

表2 訓(xùn)練樣本的準(zhǔn)確率統(tǒng)計(jì)表Tab. 2 Statistics of accuracy of training samples

從表2 可以看出，兩種特征提取方式耗時(shí)相同，所以在耗時(shí)相同時(shí)選擇準(zhǔn)確率較高的作為算法的實(shí)現(xiàn)過程。

5 結(jié)束語

采取Hog 特征提取的油浸式變壓器故障識別的準(zhǔn)確率高于采取Hu 特征的識別準(zhǔn)確率；兩種特征提取算法的識別速度相同。 本文設(shè)計(jì)變壓器油浸式智能內(nèi)檢機(jī)器人，機(jī)器人配備攝像機(jī)將變壓器視頻圖像傳輸?shù)诫娔X，使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行故障識別的準(zhǔn)確率可達(dá)到87.18%。