王凱旋，任福繼，倪紅軍，呂帥帥，汪興興

（1.南通大學(xué) 機(jī)械工程學(xué)院，江蘇 南通 226019;2.德島大學(xué) 智能信息工學(xué)部，日本 德島 7 708501）

電力設(shè)備是電能輸送的重要組成部分，電力設(shè)備的安全運(yùn)行關(guān)系到電力系統(tǒng)的穩(wěn)定性[1-2]。由于變電設(shè)備長(zhǎng)期暴露于自然界中，容易產(chǎn)生發(fā)熱現(xiàn)象從而引起變電設(shè)備的故障[3]。紅外診斷技術(shù)是判斷變電設(shè)備是否存在故障的重要方法之一，利用紅外測(cè)溫設(shè)備獲得變電設(shè)備的紅外圖像，并根據(jù)紅外輻射信息判斷設(shè)備表面的溫度分布情況，根據(jù)變電設(shè)備運(yùn)行溫度標(biāo)準(zhǔn)進(jìn)行故障判斷[4-5]。目前，為了提高運(yùn)維人員的檢測(cè)的效率，常見的紅外測(cè)溫設(shè)備均會(huì)在紅外檢測(cè)圖像右側(cè)生成測(cè)溫圖譜、標(biāo)記溫度最大值和最小值，方便進(jìn)行溫度匹配、統(tǒng)計(jì)和記錄[6-7]。傳統(tǒng)人工方式的故障診斷方法浪費(fèi)大量人力、物力，效率低下，并且出錯(cuò)率高[8-9]，因此，利用機(jī)器學(xué)習(xí)技術(shù)進(jìn)行變電設(shè)備紅外圖像溫度值的自動(dòng)化識(shí)別、判斷故障、統(tǒng)計(jì)記錄具有重要意義。

紅外圖像中溫度值識(shí)別問題實(shí)際上是字符識(shí)別問題，目前越來越多的研究學(xué)者對(duì)字符識(shí)別展開了研究。曹長(zhǎng)玉等[10]提出了一種多模板匹配符號(hào)定位方法，通過光學(xué)字符識(shí)別(optical character recognition,OCR)定位各種符號(hào)位置，利用模板圖像與測(cè)試圖像進(jìn)行相似度匹配，從而進(jìn)行符號(hào)精確識(shí)別，準(zhǔn)確率達(dá)到94%。劉靖鈺等[11]基于HSV 模型采用對(duì)比度受限的自適應(yīng)直方圖均衡化方法定位車牌，該方法識(shí)別無遮擋車牌時(shí)精度維持在90%。Naiemi 等[12]等提出了一種采用SVM 進(jìn)行分類的增強(qiáng)HOG 特征提取方法，能抵抗縮放和平移的字符變化，節(jié)省計(jì)算成本；Kaur等[13]提出了一種基于線性支持向量機(jī)分類器的Brahmi 字符識(shí)別系統(tǒng)，提取了字符圖像像素點(diǎn)的梯度信息，并將梯度直方圖存儲(chǔ)為每個(gè)字符圖像的特征向量，識(shí)別率達(dá)91.6%。但目前缺乏針對(duì)紅外圖像中數(shù)字識(shí)別的研究。

近年來，機(jī)器學(xué)習(xí)等方法廣泛地應(yīng)用在圖像處理、缺陷檢測(cè)、表情認(rèn)知等領(lǐng)域[14-16]。任福繼等[17]提出了一種基于ResNet 的害蟲識(shí)別方法，將輸入信號(hào)與殘差特征相結(jié)合，在害蟲檢測(cè)和分類方面取得了顯著效果。Lin[18]等采用PCANet 深度學(xué)習(xí)網(wǎng)絡(luò)，通過對(duì)數(shù)字圖像的識(shí)別重構(gòu)溫度矩陣，組合出溫度的變化范圍，雖然訓(xùn)練的準(zhǔn)確率達(dá)到了99.7%，但在測(cè)試中準(zhǔn)確率只有92.61%。此外，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)作為一種傳統(tǒng)的機(jī)器學(xué)習(xí)方法，受到了研究學(xué)者的廣泛關(guān)注。Biniz 等[19]通過優(yōu)化CNN 網(wǎng)絡(luò)結(jié)構(gòu)，在手寫可見光圖像中實(shí)現(xiàn)了Amazigh 語(yǔ)言中Tifinagh 字符的識(shí)別。Torres 等[20]通過結(jié)合CNN和ResNet-101 模型對(duì)乳腺紅外熱像圖進(jìn)行乳腺癌識(shí)別研究，實(shí)現(xiàn)了異常熱像圖識(shí)別。但是，與可見光圖像不同，變電設(shè)備的紅外圖像存在很多無關(guān)背景因素，會(huì)直接影響識(shí)別準(zhǔn)確率。因此，預(yù)處理和識(shí)別區(qū)域的精確分割對(duì)提高紅外圖像的識(shí)別準(zhǔn)確率至關(guān)重要。

本文針對(duì)電力設(shè)備紅外圖像背景復(fù)雜、分割效果差、識(shí)別準(zhǔn)確率低等問題，提出了面向電力設(shè)備紅外圖像的溫度值識(shí)別算法。根據(jù)紅外圖像特點(diǎn)，提出了改進(jìn)的自適應(yīng)閾值的紅外圖像預(yù)處理方法，有效去除復(fù)雜背景。在此基礎(chǔ)上對(duì)溫度圖譜和溫度值區(qū)域準(zhǔn)確定位和分割，并采用CNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練，實(shí)現(xiàn)了紅外圖像溫度的識(shí)別，篩選出溫度異常的紅外圖像，對(duì)電力系統(tǒng)的安全穩(wěn)定運(yùn)行具有十分重要的意義。此外，使用MATLAB中的App Designer 模塊將識(shí)別結(jié)果直接呈現(xiàn)給用戶，有利于實(shí)現(xiàn)機(jī)器學(xué)習(xí)缺陷檢測(cè)技術(shù)的可視化，提高巡檢效率和準(zhǔn)確率[21-22]。

1 算法設(shè)計(jì)

面向電力設(shè)備紅外圖像的溫度值識(shí)別算法流程如圖1 所示。本文提出的算法主要包括3 個(gè)階段：1）基于改進(jìn)自適應(yīng)閾值的紅外圖像預(yù)處理；2）基于輪廓信息的溫度值分割；3）基于CNN 的溫度值識(shí)別。具體算法過程如算法1 所示。

圖1 溫度值識(shí)別算法流程Fig.1 Temperature value recognition algorithm framework

1.1 基于改進(jìn)自適應(yīng)閾值的紅外圖像預(yù)處理

電力設(shè)備紅外圖像通常包含樹木、建筑物等復(fù)雜背景，并且由于采集設(shè)備的不同，通常會(huì)包含時(shí)間、設(shè)備型號(hào)水印和邊框[23]，直接對(duì)紅外圖像進(jìn)行識(shí)別會(huì)影響準(zhǔn)確率，因此需要進(jìn)行圖像預(yù)處理。紅外圖像預(yù)處理流程如圖2 所示。

圖2 紅外圖像預(yù)處理流程Fig.2 Infrared image preprocessing framework

采用加權(quán)法進(jìn)行灰度變換，在此基礎(chǔ)上，為了增強(qiáng)細(xì)節(jié)信息，提高對(duì)比度，采用Gamma 校正方法對(duì)灰度圖像進(jìn)行歸一化處理，Gamma 校正如式(1)，結(jié)果如圖3 所示。根據(jù)紅外圖像的特點(diǎn)，經(jīng)過測(cè)試校正參數(shù)γ取0.45，常數(shù)C取0.85。

圖3 Gamma 校正后圖像對(duì)比Fig.3 Image comparison after gamma correction

式中：L(x,y)為原圖像；LG(x,y)是校正后的圖像；γ為校正參數(shù)；C為常數(shù)。

目前，常見的二值化方法包括最大類間方差法(Otsu)和最大熵閾值法，考慮到紅外圖像和可見光圖像在圖像色彩組成上存在差異[24-25]，隨機(jī)選取100 張紅外圖像與可見光圖像進(jìn)行對(duì)比分析，其直方圖統(tǒng)計(jì)結(jié)果如圖4(a)和圖4(b)所示。從圖中可以看出，可見光圖像的像素分布均勻，峰值出現(xiàn)在像素較低處，波谷不明顯，表明圖像整體較亮。紅外圖像直方圖存在雙峰，并且波谷明顯。其中T1和T2的閾值分別對(duì)應(yīng)波谷的兩端，選擇合適閾值能夠很好地分離目標(biāo)與背景。因此，提出了基于紅外圖像直方圖驅(qū)動(dòng)的自適應(yīng)閾值的二值化方法。

圖4 直方圖統(tǒng)計(jì)與二值化結(jié)果Fig.4 Histogram statistics and binarization results

圖4 所示為采用改進(jìn)的二值化方法預(yù)處理后的紅外圖像，并與傳統(tǒng)二值化方法進(jìn)行對(duì)比。從圖中可以看出最大類間方差法與最大熵閾值法在溫度值部分都存在椒鹽噪聲點(diǎn)，且受背景的影響溫度值不能很好地分離出來，二值化效果不好。本文提出的改進(jìn)自適應(yīng)閾值的二值化方法能夠完整地保存溫度值，最大值和最小值區(qū)域沒有椒鹽噪聲點(diǎn)，滿足二值化處理要求，可以根據(jù)不同的對(duì)象分別確定不同的閾值，得到理想的預(yù)處理結(jié)果。

1.2 基于輪廓信息的溫度值分割

電力設(shè)備紅外圖像預(yù)處理以后，能夠有效去除背景信息，突出溫度值區(qū)域。下一步對(duì)溫度值進(jìn)行分割，包括溫度值區(qū)域定位與溫度值字符分割兩部分。其中，溫度值區(qū)域定位流程如圖5 所示。

圖5 溫度值定位流程Fig.5 Temperature value location framework

首先基于輪廓信息對(duì)溫度值區(qū)域進(jìn)行定位。由于二值化后的紅外圖像測(cè)溫圖譜矩形框保留完整，采用像素累加法定位矩形框，以矩形框的長(zhǎng)邊為方向，對(duì)整體圖像按列累加連續(xù)的像素，篩選出連續(xù)像素等于矩形框長(zhǎng)度的列，同時(shí)以矩形框短邊為參考，定位出矩形框四角的像素坐標(biāo)，進(jìn)而根據(jù)矩形框與溫度值的相對(duì)位置關(guān)系定位ROI的位置并分割，結(jié)果如圖6(a)和圖6(b)所示。

圖6 溫度值定位與分割Fig.6 Location and segmentation of the temperature value

采用垂直積分投影法對(duì)溫度值進(jìn)行字符分割，如式(2)所示：

式中：Vx為圖像x列的垂直投影積分結(jié)果；f(x,y)為像素點(diǎn)(x,y)處的灰度值；N為ROI 區(qū)域的高度;h為ROI 區(qū)域的長(zhǎng)度。

垂直投影結(jié)果如圖6(c)所示。從圖6 中可以看出。像素累積值在連接處有突變，表明該區(qū)域共有兩個(gè)字符，進(jìn)而根據(jù)此特點(diǎn)確定字符的個(gè)數(shù)和位置，實(shí)現(xiàn)溫度值的分割，結(jié)果如圖6(d)所示。

1.3 基于CNN 的溫度值識(shí)別

采用基于CNN 的溫度值識(shí)別方法，具體的網(wǎng)絡(luò)結(jié)構(gòu)如圖7 所示。其中，C1和C2為卷積層，P1和P2為池化層，F(xiàn)C 為全連接層。

圖7 CNN 結(jié)構(gòu)圖Fig.7 Structure of convolutional neural network

CNN 結(jié)構(gòu)參數(shù)如表1 所示。首先輸入像素大小為16×16 的溫度值圖片。兩個(gè)卷積層卷積核大小為5×5，步長(zhǎng)為1，池化層P1采用最大池化操作，池化核大小為1×1，步長(zhǎng)為1。在池化層P2采用2×2 的卷積核進(jìn)一步提取圖像特征，步長(zhǎng)為2，得到特征圖大小為4×4×12，最后輸入全連接層，dropout 值0.5，采用Softmax 分類器對(duì)結(jié)果進(jìn)行預(yù)測(cè)，分為11 個(gè)類別，包括符號(hào)“?”和數(shù)字“0～9”。

表1 CNN 結(jié)構(gòu)參數(shù)Table 1 CNN structure parameters

CNN 的損失函數(shù)用預(yù)測(cè)值與真實(shí)值的偏差表示，如式(3)所示，并采用梯度下降法進(jìn)行更新。

2 系統(tǒng)設(shè)計(jì)

采用MATLAB 的App Designer 模塊設(shè)計(jì)電力設(shè)備紅外圖像溫度值識(shí)別與記錄系統(tǒng)，包括3 個(gè)模塊：圖像載入模塊、圖像識(shí)別模塊和異常檢測(cè)模塊。系統(tǒng)界面如圖8 所示。

圖8 系統(tǒng)界面Fig.8 System interface

圖像載入模塊可以通過添加文件夾的形式批量加載所有電力設(shè)備紅外圖像，點(diǎn)擊識(shí)別記錄按鈕可以實(shí)現(xiàn)對(duì)電力設(shè)備紅外圖像中溫度值識(shí)別，并將溫度值定位結(jié)果與溫度值識(shí)別結(jié)果顯示在界面上，進(jìn)而通過異常檢測(cè)模塊根據(jù)溫度信息和電力設(shè)備運(yùn)行準(zhǔn)則判斷出設(shè)備狀態(tài)。設(shè)計(jì)的系統(tǒng)可以輸出圖像信息，包括設(shè)備紅外圖像中溫度的最大值與最小值、圖像名稱以及設(shè)備狀態(tài)。

3 實(shí)驗(yàn)結(jié)果與分析

電力設(shè)備紅外圖像采用FLIR 紅外成像儀拍攝，像素為320×240。硬件配置為Intel（R）Core（TM）i5-10400F@2.90 GHz，16.0 GB RAM，NVIDIA GTX 2 060，軟件為MATLAB2019b。

3.1 紅外圖像溫度值數(shù)據(jù)集建立

由于缺少紅外圖像溫度值數(shù)據(jù)集，隨機(jī)選取1 000 張紅外圖像，分別提取“0～9”和“?”共11 個(gè)標(biāo)簽的溫度值圖像。根據(jù)上述溫度值的定位和分割獲取溫度值樣本，為保證后續(xù)識(shí)別的統(tǒng)一性，將所有溫度值圖像像素大小調(diào)整為16×16。通過分析可知，紅外圖像的溫度值一般分布在?20～110℃，并且各標(biāo)簽樣本出現(xiàn)的頻率不同，“3”和“5”最多、“?”最少，為保證各標(biāo)簽樣本數(shù)量一致，經(jīng)過篩選和處理后每個(gè)標(biāo)簽樣本保留200 張，最終共建立了11×200 張圖像的電力設(shè)備溫度值數(shù)據(jù)集。

3.2 實(shí)驗(yàn)結(jié)果

將電力設(shè)備溫度值數(shù)據(jù)集按照8:2 的比例分為訓(xùn)練集與測(cè)試集。CNN 的具體參數(shù)設(shè)置為：學(xué)習(xí)率為0.5，衰減率為0.99，損失函數(shù)系數(shù)為0.01，批量大小為11，迭代2 400 次。將測(cè)試集輸入到CNN 中得到識(shí)別結(jié)果，以標(biāo)簽“0”為例，卷積層和池化層的可視化結(jié)果如圖9 所示。

圖9 標(biāo)簽“0”的特征圖Fig.9 Feature maps of label“0”

CNN 損失和準(zhǔn)確率曲線如圖10 所示。從圖10中可以看出，模型在前200 次迭代迅速下降，之后出現(xiàn)了一段過渡期，在800 次迭代后開始繼續(xù)下降，并在1 700 次時(shí)損失開始趨于0，并逐漸收斂。識(shí)別的準(zhǔn)確率在500 次迭代后大幅提高，在800 次迭代后準(zhǔn)確率超過95%，在1 500 次迭代后準(zhǔn)確率達(dá)到了最大值98.6%。

圖10 訓(xùn)練誤差和測(cè)試準(zhǔn)確率曲線Fig.10 Training error and test accuracy curves

3.3 分析與討論

選取準(zhǔn)確率、召回率和F1值作為評(píng)價(jià)指標(biāo)，并采用十倍交叉檢驗(yàn)法進(jìn)行驗(yàn)證，結(jié)果如表2 所示。可以看出，標(biāo)簽“-”、“0”、“2”、“4”、“7”和“8”的識(shí)別正確率達(dá)到100%，而“5”識(shí)別正確率最低僅為88.89%。十倍交叉檢驗(yàn)結(jié)果表明字符的整體識(shí)別性較好，整體準(zhǔn)確率達(dá)到99.04%。在此基礎(chǔ)上選取500 張電力設(shè)備紅外圖像采用上述系統(tǒng)進(jìn)行分析和測(cè)試，其中493 張識(shí)別正確，識(shí)別的準(zhǔn)確率為98.6%，滿足了使用要求。

表2 溫度值識(shí)別結(jié)果Table 2 Temperature value recognition results

為更好地分析測(cè)試集中各溫度數(shù)值的識(shí)別匹配度，對(duì)混淆矩陣進(jìn)行分析，并提取識(shí)別錯(cuò)誤標(biāo)簽的匹配度，結(jié)果如圖11 和表3 所示。

圖11 混淆矩陣圖Fig.11 Confusion matrix

表3 錯(cuò)誤標(biāo)簽匹配率Table 3 Matching rate of error labels

可以發(fā)現(xiàn)，“3”、“6”和“9”標(biāo)簽錯(cuò)誤識(shí)別為“5”，這直接影響了“5”的識(shí)別準(zhǔn)確率，而錯(cuò)誤標(biāo)簽的匹配率在50%左右，表明CNN 在錯(cuò)誤標(biāo)簽識(shí)別時(shí)的確定性也不高，主要原因在于圖片的相似性和噪聲的干擾，最終導(dǎo)致錯(cuò)誤識(shí)別。

取500 張電力設(shè)備紅外圖像測(cè)試不同方法的溫度識(shí)別準(zhǔn)確率，結(jié)果如表4 所示。可以發(fā)現(xiàn)，HOG+SVM 和PCANet 方法雖然在訓(xùn)練的過程中準(zhǔn)確率較高，但受電力設(shè)備紅外圖像復(fù)雜背景的影響，其泛化和遷移能力不足，在測(cè)試時(shí)準(zhǔn)確率僅為92%和92.61%。采用Otsu+CNN 方法識(shí)別時(shí)由于二值化處理效果不好，識(shí)別的準(zhǔn)確率僅為96.8%。VGG16 方法采用預(yù)訓(xùn)練和微調(diào)的方式進(jìn)行識(shí)別，測(cè)試準(zhǔn)確率在98%左右。本文采用改進(jìn)的自適應(yīng)閾值二值化處理后訓(xùn)練準(zhǔn)確率超過99%，且識(shí)別準(zhǔn)確率達(dá)到了98.6%，高于其他方法。此外，HOG+SVM 方法采用HOG 進(jìn)行特征的抽取，耗時(shí)26.34 s。其余方法使用神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，所用時(shí)間均在16.5 s 左右。這表明，本文算法能夠快速識(shí)別變電設(shè)備紅外圖像上的溫度，滿足實(shí)際的使用要求。因此，本文提出的算法識(shí)別準(zhǔn)確率高、耗時(shí)短，能夠有效地識(shí)別溫度值，充分驗(yàn)證了本文算法在電力設(shè)備紅外圖像中的適用性和可靠性。

表4 不同方法溫度識(shí)別結(jié)果Table 4 Temperature recognition results for different methods

4 結(jié)束語(yǔ)

本文根據(jù)電力設(shè)備紅外圖像特點(diǎn)，提出了面向電力設(shè)備紅外圖像的溫度值識(shí)別算法。首先，使用改進(jìn)自適應(yīng)閾值的紅外圖像預(yù)處理算法，通過對(duì)紅外圖像進(jìn)行直方圖統(tǒng)計(jì)，自適應(yīng)確定合適的閾值進(jìn)行預(yù)處理，凸顯了溫度值區(qū)域并有效地去除了背景信息。接著，采用基于輪廓信息的溫度值分割算法，根據(jù)輪廓與相對(duì)位置信息對(duì)溫度值區(qū)域進(jìn)行定位，采用垂直投影法進(jìn)行字符分割。再結(jié)合CNN 進(jìn)行訓(xùn)練與識(shí)別，建立了包含“0～9”和“-”11 個(gè)標(biāo)簽2 200 張圖像的溫度值數(shù)據(jù)集，結(jié)合十倍交叉檢驗(yàn)法進(jìn)行測(cè)試，并選取準(zhǔn)確率、召回率、F1值評(píng)價(jià)其性能。最后，基于MATLAB 中App Designer 模塊設(shè)計(jì)電力設(shè)備紅外圖像溫度值識(shí)別與記錄系統(tǒng)。結(jié)果表明，本文提出的算法的溫度值識(shí)別準(zhǔn)確率達(dá)到98.6%，高于傳統(tǒng)的字符識(shí)別算法，設(shè)計(jì)的溫度值識(shí)別與記錄系統(tǒng)將電力設(shè)備紅外圖像與仿真程序整合在一起，操作簡(jiǎn)單，圖形用戶界面友好，降低了電力檢修人員的勞動(dòng)強(qiáng)度，能夠及時(shí)記錄電力設(shè)備狀態(tài)，提高了巡檢效率。