王凱旋，任福繼，倪紅軍，呂帥帥，汪興興

（1.南通大學 機械工程學院, 江蘇 南通 226019; 2.德島大學 智能信息工學部, 日本 德島 7708501）

變電設備是電能輸送的重要組成部分，由于長期暴露在復雜的環(huán)境中，容易產(chǎn)生裂縫、老化、腐蝕等缺陷，引起變電設備溫度異常，影響電力系統(tǒng)的穩(wěn)定性[1-2]。基于紅外圖像的缺陷檢測技術能夠根據(jù)變電設備的熱效應特點判斷是否存在缺陷，具有操作簡單、檢測時間快、靈敏度高等優(yōu)點[3]。因此，通過識別紅外圖像中的溫度值，能夠快速篩選出缺陷，并方便統(tǒng)計和記錄。在實際巡檢過程中，由于變電設備檢測的周期較長、溫度變化不確定性高，采集的紅外圖像溫度值樣本較少，存在數(shù)據(jù)集不平衡問題，無法滿足模型的訓練要求[4-5]。

針對此問題，圖像擴增技術通過增加訓練集數(shù)量，可以有效緩解訓練時產(chǎn)生的過擬合和梯度下降現(xiàn)象[6-7]。近年來，研究學者們對基于機器學習技術的圖像擴增方法進行了大量研究[8-10]。Goodfellow等[11]受博弈論思想的影響率先提出了生成對抗網(wǎng)絡(generative adversarial network, GAN)，通過生成器和判別器的對抗訓練，不斷學習樣本的數(shù)據(jù)分布。Han等[12]提出了一種基于改進GAN的遙感圖像生成方法，采用沃瑟斯坦距離測量生成分布與真實分布間的差異，解決了訓練過程中梯度消失等問題。Song等[13]將GAN輸入噪聲限制為二進制，并且采用多任務和無監(jiān)督方式將圖像轉換成二進制編碼同時進行圖像壓縮和檢索。Guo等[14]在判別器中加入對比度增強操作，并將原始GAN的多層感知層替換為深度卷積神經(jīng)網(wǎng)絡，增強了圖像細節(jié)和特征提取能力。這些方法雖然能夠有效地增加樣本數(shù)量，但是針對真實場景中的復雜背景圖像缺乏特征分析，無法保證生成圖像的質量。

為擴增變電設備溫度值圖像并提高生成圖像質量，本文提出了基于循環(huán)互相關系數(shù)的CGAN溫度值圖像擴增方法。提出了一種循環(huán)互相關系數(shù)改進原始CGAN模型的損失函數(shù)，實現(xiàn)了數(shù)據(jù)集的擴增，在提高生成圖像質量的同時解決了原始CGAN模型訓練過程不穩(wěn)定和過擬合的問題；在此基礎上，通過對比實驗驗證了模型的有效性，實現(xiàn)了紅外圖像中溫度值的高效準確識別，為后期的性能分析和故障診斷提供大量的紅外溫度值數(shù)據(jù)。

1 條件生成對抗網(wǎng)絡

條件生成對抗網(wǎng)絡(conditional generative adversarial network, CGAN)通過輸入隨機噪聲和標簽信息來引導數(shù)據(jù)的生成過程[15-16]，由生成器(generator, G)和判別器(discriminator, D)組成。生成器G生成具有標簽特征的樣本，判別器D用于區(qū)分生成樣本與真實樣本[17]。

CGAN模型的損失函數(shù)包括生成器和判別器兩部分，如式(1)所示，目標函數(shù)如式(2)所示，在樣本數(shù)據(jù)小的情況下，CGAN采用隨機噪聲作為基礎生成的圖像會存在若干畸形圖像，這會直接影響損傷函數(shù)的計算結果，使得CGAN無法收斂，模型的穩(wěn)定性較差[18]。

式中：m，n分別表示真實圖像和生成圖像數(shù)量；Zi表示第i張噪聲；GZi,y表示標簽為y的第i張生成圖像；Rj,y表示標簽為y的第j張真實圖像，表示標簽為y的生成圖像；Ry表示標簽為y的真實圖像；PR、PG分別表示真實圖像集和生成圖像集；D表示判別網(wǎng)絡的判別結果。

2 基于改進CGAN的圖像擴增方法

2.1 基于循環(huán)互相關系數(shù)的改進損失函數(shù)

2.1.1 循環(huán)互相關系數(shù)

相關系數(shù)反映兩張圖像間的相關程度，相關系數(shù)越大，表明兩張圖像越相似[19]。相關系數(shù)的計算如式(3)所示。由于兩張圖像間的相關系數(shù)存在較大的偶然性，本文提出一種循環(huán)互相關系數(shù)δ，用于表征不同標簽圖像間的相關性，提高生成圖像質量和多樣性。其中，δ取值范圍為[0,1]，數(shù)值越大表明圖像之間越相似，其計算過程如圖1所示。

圖1 循環(huán)互相關系數(shù)計算流程Fig.1 Flowchart of cyclic cross-correlation coefficient

式中：i，j表示像素點的位置；m，n是圖像長和寬。

設標簽A圖像為VA1，VA2，…，VAn，標簽B圖像為VB1，VB2，…，VBm，當計算標簽A和標簽B的循環(huán)互相關系數(shù) δA1,B1時，其計算過程為：從標簽A中取出圖像VA1，分別計算VA1與標簽B中圖像VB1，VB2，…，VBm的相關系數(shù)，即 δA1,Bm，δA2,B，…， δA1,B，將其平均值作為圖像VA1與標簽B的相關系數(shù) δA2,B；以此類推，分別計算VA2，VA3，…，VAn與標簽B的相關系數(shù) δAn,B， δAn?1,B，…，δA,B；最后計算所有標簽A圖像與標簽B中相關系數(shù)的平均值，得到最終的循環(huán)互相關系數(shù)，如式(4)：

式中：n、m分別是標簽A和標簽B圖像的數(shù)量。

2.1.2 改進的損失函數(shù)

為了提高生成圖像質量，基于循環(huán)互相關系數(shù)改進生成器和判別器的損失函數(shù)，如式(5)，目標函數(shù)如式(6)：

式中： δRj,y,y表示標簽y的第i張生成圖像與各標簽圖像的最大循環(huán)互相關系數(shù)； δV1,y表示標簽y的第j張真實圖像與各標簽圖像的最大循環(huán)互相關系數(shù)。

當圖像V1輸入到判別器D后，計算此圖像與各標簽圖像（y1,y2, …,y11）的循環(huán)互相關系數(shù)，取其最大值。當此圖像實際為真實標簽的圖像時，則 δV1,y趨于1；當此圖像實際為假標簽的圖像時，則 δv1,y趨于0，從而糾正了判別器將假判斷為真和將真判斷為假的情況。此外，為了減少判別器D的識別效果對生成器G的影響，更好地平衡生成器G和判別器D的訓練過程，隨機將一定比例的真實圖像判別結果進行隨機翻轉操作，從而降低判別器的準確率并提升生成器的訓練效果，解決過擬合現(xiàn)象。

2.2 網(wǎng)絡設計

本文的生成器網(wǎng)絡和判別器網(wǎng)絡結構如圖2所示，訓練過程如下。

圖2 網(wǎng)絡框架Fig.2 Network framework

1) 將隨機噪聲和標簽輸入到生成器G中得到生成圖像，固定判別器D，分別計算生成圖像與11種標簽圖像的循環(huán)互相關系數(shù)，選取上述循環(huán)互相關系數(shù)的最大值改進損失函數(shù)，優(yōu)化生成器G參數(shù)；

2) 接著固定生成器G，同時將生成圖像、真實圖像和標簽輸入到判別器D中，判斷圖像的真假，并根據(jù)圖像與11種標簽圖像的循環(huán)互相關系數(shù)最大值改進損失函數(shù)；

3) 將結果反饋到生成器G和判別器D中，更新參數(shù)，反復執(zhí)行上述步驟，使兩者損失函數(shù)達到平衡，減少了生成圖像與標簽不匹配的情況。

在圖像擴增時，將原始數(shù)據(jù)集中各標簽內(nèi)的循環(huán)互相關系數(shù)的平均值作為閾值，當生成圖像與對應標簽圖像之間的循環(huán)互相關系數(shù)超過此閾值時輸出圖像，確保生成圖像的質量，進而搭建新的數(shù)據(jù)集。

2.3 算法流程

本文提出的基于循環(huán)互相關系數(shù)的CGAN溫度值圖像擴增方法流程如圖3所示，由4個部分組成。

圖3 本文方法流程Fig.3 Flowchart of the proposed method

1)圖像采集。采用紅外熱成像儀采集不同類型的變電設備圖像，如絕緣子、高壓套管、避雷器和轉換開關等。

2) 構建原始溫度值圖像數(shù)據(jù)集。首先對采集的圖像進行預處理，并基于輪廓和位置信息準確定位溫度值區(qū)域并進行分割，最終得到包含數(shù)字“0~9”和符號“-”共11種標簽的原始溫度值圖像數(shù)據(jù)集。

3) 訓練改進的CGAN網(wǎng)絡。將隨機噪聲和標簽同時輸入到生成器網(wǎng)絡中得到生成圖像，將原始數(shù)據(jù)集和生成圖像輸入到判別器網(wǎng)絡中，結合循環(huán)相關系數(shù)判別圖像真假，經(jīng)過一定比例隨機翻轉后進行對抗訓練，更新網(wǎng)絡參數(shù)，直至達到平衡。

4) 構建新溫度值圖像數(shù)據(jù)集。利用訓練好的改進CGAN網(wǎng)絡生成圖像，結合循環(huán)相關系數(shù)提高生成圖像質量，最終建立新的溫度值圖像數(shù)據(jù)集。

3 實驗環(huán)境與原始數(shù)據(jù)集

變電設備紅外圖像采用FLIR紅外成像儀拍攝，像素為 320×240。硬件配置為 Intel（R）Core（TM）i5-10400F@2.90 GHz，16.0 GB RAM，NVIDIA GTX 2 060，軟件為 MATLAB 2020b。實驗中設置學習率為0.000 2、梯度衰減系數(shù)為0.5、平方梯度衰減因子為0.999、運行200×27代，激活函數(shù)(leaky rectified linear units, Leaky ReLU)斜率為0.2，采用自適應矩估計優(yōu)化器(adaptive moment estimation, Adam)更新網(wǎng)絡參數(shù)，單次批量處理32張圖像。網(wǎng)絡結構參數(shù)設置見表1。

表1 網(wǎng)絡參數(shù)設置Table 1 Network parameter setting

續(xù)表1

由于紅外圖像中通常包含設備水印、樹木、建筑物等復雜背景[20]，直接對紅外圖像識別容易檢測錯誤，因此需要進行圖像預處理，包括二值化處理、圖像分割、溫度值提取等。預處理結果如圖4所示。隨機選取150張變電設備紅外圖像進行預處理，一共得到876張溫度值圖像，根據(jù)溫度值特點將圖像分成11個標簽，分別是數(shù)字“0~9”和符號“-”，并建立原始溫度值圖像數(shù)據(jù)集，如表2所示。分析可知原數(shù)據(jù)集存在樣本數(shù)量小、分配不均衡特點。

圖4 紅外圖像預處理Fig.4 Infrared image preprocessing

表2 原始溫度值圖像數(shù)據(jù)集Table 2 Original temperature image data set

4 分析與討論

4.1 生成圖像結果

采用改進的CGAN模型能夠根據(jù)標簽生成對應的圖像，擴增后的變電設備溫度值數(shù)據(jù)集共有2 200 張，數(shù)字“0~9”和符號“-”各有 200張。為了驗證改進CGAN模型的有效性，與原始CGAN模型損失函數(shù)曲線和生成圖像進行對比，結果如圖5所示。可以看出，原始CGAN的損失函數(shù)在初期震蕩較大，表明初期生成的樣本質量較差，隨著訓練次數(shù)的增加，生成器和判別器網(wǎng)絡相互對抗，圖像質量不斷上升，在2 000次訓練后開始達到平衡，但生成圖像存在較大的偶然性，部分數(shù)據(jù)不清晰、邊緣模糊，存在異常結果，從而導致生成數(shù)據(jù)集的質量較差。改進的CGAN結合了循環(huán)互相關系數(shù)，在1 800次迭代后達到了平衡，訓練過程較穩(wěn)定，波動較小，且生成圖像比較清晰、無異常結果，輪廓細節(jié)更清晰，整體圖像質量較好。

圖5 訓練過程及生成圖像Fig.5 Training process and generated images

為了驗證循環(huán)互相關系數(shù)的有效性，計算上述數(shù)據(jù)集中各標簽圖像間的循環(huán)互相關系數(shù)，結果如表3所示。可以看出，相同標簽圖像的循環(huán)相關系數(shù)超過0.90，而不同標簽之間的循環(huán)相關系數(shù)比較小，因此循環(huán)相關系數(shù)能夠區(qū)分各標簽圖像，進而提高生成圖像的質量。

4.2 客觀質量評價

為了評價生成圖像的質量，結合客觀質量評價方法進行分析?？陀^質量評價方法主要包括全參考指標、部分參考指標和無參考指標[21-22]。本文選取峰值信噪比(peak-signal to noise ratio, PSNR)和結構相似度(structure similarity, SSIM)兩種全參考指標對生成圖像進行質量評價。PSNR是基于圖像像素統(tǒng)計的指標，通過計算圖像之間的像素誤差的全局大小來評價圖像質量，PSNR值越大表明圖像生成效果越好[23]。SSIM是基于結構信息的指標，從亮度、對比度、結構綜合評價圖像相似性，更符合人眼視覺系統(tǒng)特性[24]，SSIM值越大，生成圖像質量越好。

為了驗證改進的CGAN模型的有效性，將本文算法與傳統(tǒng)的圖像擴增方法和原始的CGAN模型進行對比。傳統(tǒng)的圖像擴增方法包括圖像旋轉、縮放、翻轉等[25]。分別計算3種方法生成圖像的PSNR和SSIM值，得到11種標簽客觀評價指標，結果如表4所示。

表4 不同圖像擴增方法的客觀評價指標Table 4 Objective evaluation index of different methods

續(xù)表4

從表4可以看出，基于改進CGAN模型的圖像擴增方法在PSNR和SSIM指標上數(shù)值最大，生成圖像質量更好，證明了改進CGAN模型的有效性。原始CGAN模型在加入循環(huán)互相關系數(shù)改進損失函數(shù)后，生成圖像質量得到明顯提升。例如，相比于原始的CGAN模型，數(shù)字“5”的PSNR值提高了11.1%，SSIM值提高20.5%，改進后的CGAN模型更能有效地控制生成圖像的質量，與原始圖像像素分布更接近，圖像失真更小。

4.3 溫度值識別對比

為了驗證溫度值圖像擴增質量對識別準確率的影響，將上述3種方法生成的2 200張圖像按照7:3的比例隨機分配為訓練集和測試集，采用卷積神經(jīng)網(wǎng)絡(convolution neural network, CNN)進行溫度值識別，并采用10倍交叉檢驗法進行驗證，結果如圖6所示。此外，為了驗證圖像擴增數(shù)量對識別準確率的影響，分析識別準確率隨樣本數(shù)量變化的情況，結果如圖7所示。

圖6 不同方法的識別準確率Fig.6 Recognition accuracy of different methods

圖7 不同數(shù)量圖像的識別準確率Fig.7 Recognition accuracy of different number of images

從圖6可以看出，與傳統(tǒng)的圖像擴增方法相比，基于改進CGAN的圖像擴增方法識別效果更好，11種標簽的準確率均有大幅度提升。相比于原始的CGAN模型，對于容易識別錯誤的標簽“0”、“3”、“6”、“?”等，識別的準確率分別為87.12%、87.22%、94.41%和93.62%，表明擴增后的溫度值圖像數(shù)據(jù)集能夠提高溫度值識別的準確率，滿足訓練和測試的樣本要求。

從圖7可以看出，隨著生成樣本數(shù)量的不斷增加，3種方法的識別準確率均得到有效提升，當樣本數(shù)量達到2 200張時，本文方法的準確率達到了99.4%，表明數(shù)據(jù)集的大小會影響識別的準確率，擴增溫度值圖像數(shù)據(jù)集具有重要意義。

5 結束語

本文針對變電設備紅外圖像中溫度值圖像數(shù)據(jù)集樣本少、分布不均衡的問題，在分析溫度值圖像特征的基礎上，提出了一種基于循環(huán)互相關系數(shù)的CGAN溫度值圖像擴增方法，通過計算循環(huán)互相關系數(shù)改進損失函數(shù)，提高生成圖像的質量。經(jīng)過生成器網(wǎng)絡和判別器網(wǎng)絡之間的對抗訓練，生成圖像清晰、細節(jié)信息豐富的溫度值圖像。本文方法在迭代次數(shù)達到1 800次時更快地達到納什平衡，訓練過程平穩(wěn)。與傳統(tǒng)方法和原始CGAN模型相比，本文方法生成圖像的PSNR和SSIM值均達到最大，有效提高了生成圖像的質量，圖像輪廓清晰，與原始圖像之間有更高的相似性；采用CNN模型對擴增后的數(shù)據(jù)集進行溫度識別，本文方法的準確率最高，達到99.4%。此外，隨著生成圖像樣本數(shù)量的增加，模型識別的準確率得到有效提升，對小樣本數(shù)據(jù)集擴增具有重要意義，提高了圖像之間的匹配度，為后續(xù)的缺陷檢測做充分準備。