劉云峰，楊晉彪，韓晉鋒，彭軼灝，趙洪山

(1. 國網(wǎng)晉城供電公司，山西省晉城市 048000；2. 國網(wǎng)陵川縣供電公司，山西省陵川縣 048300；3. 華北電力大學電力工程系，河北省保定市071003)

0 引 言

紅外熱成像技術(shù)通過信號處理與光電轉(zhuǎn)換等手段，精確量化探測到的熱量并以圖像的形式將物體的溫度分布狀態(tài)直觀表現(xiàn)出來，實現(xiàn)全像面遠距離準確測溫[1]。隨著科學技術(shù)的飛速發(fā)展，各個領(lǐng)域?qū)t外熱成像技術(shù)的需求日益增加，但由于人工合成材料成本較高，導致高分辨率熱成像傳感器非常昂貴，尤其在當前電力物聯(lián)網(wǎng)技術(shù)廣泛用于電力設(shè)備態(tài)勢感知的形勢下，為了降低在線監(jiān)測技術(shù)的成本，已有很多熱成像在線監(jiān)測傳感器采用較低分辨率的熱成像技術(shù)來實現(xiàn)電力設(shè)備健康狀態(tài)評估。低分辨率的熱成像圖像如何清晰化已成熱點研究問題。

超分辨率重建是指試圖復原衍射極限以外數(shù)據(jù)的過程，是計算機視覺和圖像處理中將低分辨率圖像恢復為高分辨率圖像的一類重要圖像處理技術(shù)，在醫(yī)學成像、超光譜圖像、衛(wèi)星成像、人臉成像等領(lǐng)域中均有廣泛的應用[2-6]。重建方法可以分為3類：基于插值的方法、基于重建的方法和基于學習的方法。其中，基于插值的方法如BiCubic雙三次插值[7]等實現(xiàn)簡單，但線性模型的局限性，使得它們在恢復高頻細節(jié)上不太理想?；谙∈璞硎镜募夹g(shù)重建，通過先驗知識增強了線性模型的重建效果[8]； 這類技術(shù)假定任意的自然圖像均能被字典中的元素稀疏表示，但該方法計算復雜，需要大量的計算資源?；趯W習的方法是近年比較流行且有效的方法，通過大數(shù)據(jù)進行機器學習，能夠極大恢復高頻細節(jié)。

基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建 (super-resolution using convolution neural network，SRCNN)是深度學習用在超分辨率重建上的開山之作[9]，通過利用3層卷積網(wǎng)絡(luò)進行低分辨率圖像到高分辨率圖像的非線性映射擬合，完成超分辨率重建。加速的超分辨率卷積神經(jīng)網(wǎng)絡(luò)[10](accelerating the super-resolution convolutional neural network, FSRCNN)、高效的亞像素卷積神經(jīng)網(wǎng)絡(luò)[11](efficient sub-pixel convolutional neural network, ESPCN)和超深度卷積的超分辨率網(wǎng)絡(luò)[12](super-resolution using very deep convolutional networks, VDSR) 等深度學習網(wǎng)絡(luò)對SRCNN中的特征提取、網(wǎng)絡(luò)架構(gòu)等方向進行改進，使得超分辨率重建圖像具有更高的峰值信噪比評價指數(shù)，但在圖像的逼真視覺效果上依然不佳。2017年基于生成對抗網(wǎng)絡(luò)的超分辨率重建[13](super-resolution with generative adversarial network, SRGAN)被Christian Ledig等學者提出，其使用生成對抗網(wǎng)絡(luò)(generative adversarial network, GAN)進行訓練，用均方誤差優(yōu)化SRGAN的生成器網(wǎng)絡(luò)，再在訓練好的視覺幾何組(visual geometry group, VGG)模型的高層特征上計算感知損失對SRGAN進行優(yōu)化，使得超分辨率成像結(jié)果峰值信噪比雖然不是最高，但是具有逼真的視覺效果。2018年，增強型超分辨率生成對抗網(wǎng)絡(luò)[14](enhanced super-resolution generative adversarial networks, ESRGAN)被Wang X等學者提出，它去除了生成器網(wǎng)絡(luò)的歸一層(batch normolization, BN)，并用密集網(wǎng)絡(luò)模塊(densenet block)替換了原始的殘差網(wǎng)絡(luò)模塊(residualnet block)使得訓練難度變化不大的同時提高了輸出質(zhì)量，并用相對平均GAN來改進判別器，使得生成器恢復了更加真實的紋理細節(jié)。對抗生成網(wǎng)絡(luò)成為近年研究的熱點，帶感受野模塊的極限感感知超分辨率網(wǎng)絡(luò)[15](perceptual extreme super-resolution network with receptive field block, RFB-ESRGAN)、真實世界的單圖超分辨率重建[16](real-world single image super-resolution, RealSR)、Cycle-in-Cycle生成對抗網(wǎng)絡(luò)[17](cycle-in-cycle generative adversarial networks, CinCGAN)、基于雙生成對抗網(wǎng)絡(luò)的超分辨率重建[18](super resolution with dual generative adversarial networks, SRDGAN)、基于Wasserstein距離的生成對抗網(wǎng)絡(luò)[19](Wasserstein generative adversarial networks, WGAN)以及基于面部先驗的人臉超分辨率重建[20](face super-resolution with facial priors, FSRGAN)等方法通過對生成對抗網(wǎng)絡(luò)結(jié)構(gòu)進行改進或與特定領(lǐng)域的知識進行結(jié)合產(chǎn)生了一系列創(chuàng)新成果。生成對抗網(wǎng)絡(luò)獨有的網(wǎng)絡(luò)結(jié)構(gòu)和良好的重建效果令其在超分辨率重建領(lǐng)域中越來越受廣大學者歡迎。

從SRCNN到SRGAN都是在解決可見光圖像的超分辨率重建問題，但紅外熱成像圖像是通過測量物體向外輻射的熱量獲得的，與可見光圖像相比，具有分辨率差、對比度低、信噪比低、視覺效果模糊、信息量少等特點。

本文根據(jù)紅外熱成像圖像與可見光圖像的特征區(qū)別，在SRGAN網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，提出一種改進的邊緣增強生成對抗網(wǎng)絡(luò)(edge enhancement super-resolution generative adversarial network，EE-SRGAN)對熱成像圖像進行超分辨率重建。增加殘差收縮網(wǎng)絡(luò)(residual shrinkage network, RSN)模塊，并提取邊緣特征進行加強訓練，以獲得更好的重建效果，最后利用紅外圖像數(shù)據(jù)集對所提方法進行驗證。

1 原始生成對抗網(wǎng)絡(luò)(GAN)

原始生成對抗網(wǎng)絡(luò)[21]是由Ian Goodfellow等研究人員于2014年提出的一種新型無監(jiān)督學習神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)2個神經(jīng)網(wǎng)絡(luò)組成，其中生成器網(wǎng)絡(luò)利用輸入信息生成一個偽造數(shù)據(jù)，而判別器網(wǎng)絡(luò)判斷偽造數(shù)據(jù)的真實性，通過2個網(wǎng)絡(luò)的零和博弈，達到一個生成以假亂真數(shù)據(jù)的生成對抗模型。

判別器的訓練目標是為了最大化正確標注實際數(shù)據(jù)和生成器生成數(shù)據(jù)。生成器的訓練目標則是為了盡量減少判別器得出正確答案的概率。因此，GAN的訓練任務(wù)可以看成函數(shù)V(G,D)的極大極小博弈:

(1)

式中：Pdata(x)為輸入數(shù)據(jù)分布；Pz(z)為生成器生成數(shù)據(jù)分布；D(x)為判別器網(wǎng)絡(luò)中輸入為x的輸出；G(z)為生成器網(wǎng)絡(luò)中輸入為z的輸出。

當判別器無法確認生成器網(wǎng)絡(luò)生成的數(shù)據(jù)真假時，訓練過程停止，從而達到生成器與判別器之間判定誤差的平衡。

2 改進的邊緣增強生成對抗網(wǎng)絡(luò)

EE-SRGAN網(wǎng)絡(luò)結(jié)構(gòu)由生成器網(wǎng)絡(luò)(G)和判別器網(wǎng)絡(luò)(D)兩部分構(gòu)成，通過生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)的對抗學習，輸入低分辨率(low-resolution, LR)圖像獲得高分辨率(super-resolution, SR)圖像。相對于SRGAN，EE-SRGAN針對紅外熱成像信噪比低的特點，在生成器網(wǎng)絡(luò)中引入殘差收縮網(wǎng)絡(luò)[22]，利用殘差收縮網(wǎng)絡(luò)中的軟閾值部分，對紅外熱成像的噪聲影響進行一定的消除。同時，針對低分辨率紅外熱成像對比度低以及視覺效果模糊的特點，對生成器生成的圖像和原始圖像進行邊緣提取，獲得圖像邊緣信息生成器生成的數(shù)據(jù)邊緣和輸入的數(shù)據(jù)邊緣，從而對電力系統(tǒng)熱成像的邊緣部分進行針對性的加強重建，提高了圖像邊緣數(shù)據(jù)的重建效果，從而增強了重建圖像的峰值信噪比。同時，邊緣數(shù)據(jù)的有效恢復，也降低了重建圖像與原圖的協(xié)方差等數(shù)據(jù)，進而提高了重建圖像和原圖的結(jié)構(gòu)相似性，EE-SRGAN模型結(jié)構(gòu)如圖1所示。圖1中，生成器模型輸入LR圖像以及其邊緣提取圖像SLR，生成仿造的SR圖像。判別器模型通過輸入LR圖像、SR圖像以及它們的邊緣提取圖像，區(qū)分這個樣本是不是真實樣本，并分別將損失函數(shù)floss_D以及floss_G反饋給判別器和生成器進行迭代優(yōu)化。

圖1 EE-SRGAN模型結(jié)構(gòu)原理圖Fig.1 Model structure of EE-SRGAN

2.1 殘差收縮網(wǎng)絡(luò)

為了消除重建過程中可能存在的噪聲影響，同時提高訓練的穩(wěn)定性，將生成器G中的殘差網(wǎng)絡(luò)改為殘差收縮網(wǎng)絡(luò)。

殘差收縮網(wǎng)絡(luò)是一種注意力機制下的深度學習網(wǎng)絡(luò)，通過在殘差網(wǎng)絡(luò)中引入信號降噪算法中的軟閾值化，刪除絕對值小于某個閾值的特征，同時將絕對值大于閾值的特征向零收縮。在去噪聲的同時，也減小了深度學習算法遭遇梯度彌散或梯度爆炸的風險。殘差收縮網(wǎng)絡(luò)塊如圖2所示。

圖2 殘差收縮網(wǎng)絡(luò)(RSN)Fig.2 Residual shrinkage network (RSN)

圖2中，C為輸入數(shù)據(jù)的通道數(shù)，W和H為輸入數(shù)據(jù)的長度和寬度，K為卷積核個數(shù)，Conv為卷積層，F(xiàn)C為全連接層，RELU為線性整流函數(shù)，BN為歸一層，Sigmoid為S型函數(shù)，ST為軟閾值化過程，M為乘法運算，Sum為加法運算。

2.2 邊緣增強的判別器網(wǎng)絡(luò)

判別器采用深度卷積神經(jīng)網(wǎng)絡(luò)中具有優(yōu)良特征提取性能的VGG網(wǎng)絡(luò)，以預訓練的16層VGG 網(wǎng)絡(luò)作為主體對圖像進行特征提取。在判別圖像真?zhèn)螘r，將判別器模型的目標函數(shù)修改為:

(2)

式中：PSdata(x)為輸入的邊緣數(shù)據(jù)分布;PSz(z)為生成器生成的邊緣數(shù)據(jù)分布。

2.3 邊緣損失函數(shù)

損失函數(shù)是生成對抗網(wǎng)絡(luò)中的生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)對于最大最小問題進行優(yōu)化時的約束。

(3)

式中：r為放大倍數(shù)；IHR為高分辨率數(shù)據(jù)分布；ILR為低分辨率數(shù)據(jù)分布；SSobel(·)為邊緣數(shù)據(jù)提取函數(shù)。

通過對對抗損失、內(nèi)容損失、邊緣損失以及正則化損失進行加權(quán)，得到本文的損失函數(shù)為：

(4)

3 實驗分析

3.1 實驗設(shè)置

算法代碼基于Pytorch框架，深度學習服務(wù)器的GPU為NVIDIA GTX1080Ti，運行內(nèi)存為16 G，顯卡運算平臺為CUDA10.1，CUDNN7.6.4。實驗中的訓練集由FLIR熱數(shù)據(jù)集[23]中的800張紅外熱成像圖，以及作者自行拍攝的200張電力設(shè)備紅外熱成像圖共同構(gòu)成，其中，F(xiàn)LIR熱數(shù)據(jù)集中選取的800張紅外熱成像圖包含行人、車輛、動物等各類紅外熱成像圖。將數(shù)據(jù)集中的原始圖像重新采樣分割為200×200像素大小的圖像作為高分辨率訓練圖像，并對高分辨率訓練圖像進行4倍下采樣從而得到50×50像素的低分辨率訓練圖像。

實驗選取了傳統(tǒng)方法中的雙三次插值和深度學習下的原始SRGAN與本文的EE-SRGAN進行比較。將峰值信噪比(peak signal-to-noise ratio, PSNR)和結(jié)構(gòu)相似度(structural similarity, SSIM)作為圖像重建質(zhì)量客觀評價指標。

3.2 穩(wěn)定性分析

傳統(tǒng)的雙三次插值方法不具備迭代過程，因此穩(wěn)定性不作考慮，SRGAN方法及本文的EE-SRGAN方法的峰值信噪比以及結(jié)構(gòu)相似性指標隨迭代次數(shù)變化結(jié)果如圖3、4所示。

圖3 PNSR隨迭代次數(shù)變化過程Fig.3 Change process of PSNR with the number of iterations

由圖3和圖4可以看出，本文提出的EE-SRGAN方法的PSNR與SSIM指標曲線均比SRGAN方法的指標曲線更穩(wěn)定。這是由于本文使用了深度殘差收縮網(wǎng)絡(luò)，有效減少了梯度爆炸和梯度彌散的風險。

圖4 SSIM隨迭代次數(shù)變化過程Fig.4 Change process of SSIM with the number of iterations

3.3 重建效果分析

為了進一步展現(xiàn)本文方法的優(yōu)勢，本文采用BiCubic雙三次插值、SRGAN、EE-SRGAN這3種方法同時對4類電力設(shè)備熱成像圖像進行實際重建實驗測試，采用圖像處理中的指標PSNR以及SSIM進行評估，其具體結(jié)果如表1所示。EE-SRGAN的平均PSNR指標較BiCubic插值方法有約2.5 dB的提高，較SRGAN方法有約1.4dB的提高，圖像質(zhì)量更良好。在SSIM方面，EE-SRGAN的平均SSIM指標較BiCubic方法提高了約14.35%，較SRGAN方法提高了約4.8%。表明EE-SRGAN在亮度、對比度以及結(jié)構(gòu)差異上，更接近原始圖像。

表1 不同算法放大4倍重建紅外圖像評估結(jié)果Table 1 Evaluation of reconstructed infrared image magnified 4 times with different algorithms

此外，實驗對提取了重建結(jié)果的邊緣數(shù)據(jù)進行單獨評估，得到3種方法重建結(jié)果邊緣灰度圖的客觀評價結(jié)果，如表2所示。由于圖像邊緣是圖像包含信息最豐富的地方，也是圖像區(qū)域?qū)傩园l(fā)生突變的地方，在低分辨率圖像包含的低緯空間中，邊緣信息的支撐集較高分辨率圖像中的支撐集損失極大，因此，邊緣信息的恢復往往非常有限，導致重建結(jié)果的邊緣圖像指標較低。在邊緣圖像的平均PSNR指標上，EE-SRGAN的結(jié)果較BiCubic插值以及SRGAN方法分別有約2 dB以及0.6 dB的提高，且在邊緣圖像的平均SSIM指標上，EE-SRGAN達到了BiCubic插值的2倍以上，較SRGAN也提高了約6.35%，表明EE-SRGAN在邊緣數(shù)據(jù)上較其他2種方法有著顯著優(yōu)勢，體現(xiàn)了邊緣增強的有效性。

表2 不同算法放大4倍重建紅外圖像邊緣數(shù)據(jù)評估結(jié)果Table 2 Evaluation of edge data of reconstructed infrared image magnified 4 times with different algorithms

3種方法的重建圖像如圖5所示，并將細節(jié)紋理放大至左上角以方便比較，從左到右依次為原圖、低分辨率圖像、BiCubic重建圖像、SRGAN重建圖像、EE-SRGAN重建圖像，并將重建結(jié)果的邊緣提取圖像進行比較，如圖6所示。由圖5可知，本文方法在清晰度方面提升明顯(見圖5(a))，且無明顯的顆粒感(見圖5(b))，恢復的絕緣子邊緣處更加清晰(見圖5(c))，色彩恢復更加貼合原圖(見圖5(d))。對圖6的邊緣數(shù)據(jù)進行比較，也可以發(fā)現(xiàn)本文的EE-SRGAN方法的邊緣線條更加細致。通過以上比較可知，本文的EE-SRGAN方法在局部細節(jié)上以及邊緣紋理上均有更好的視覺效果。

圖5 重建效果圖Fig.5 Comparison of reconstruction results

圖6 重建邊緣效果圖Fig.6 Edge comparison of reconstruction results

結(jié)合以上分析，3種重建方法中，本文所提的EE-SRGAN方法的重建效果以及邊緣細節(jié)恢復情況無論在客觀指標還是主觀視覺上均優(yōu)于BiCubic及SRGAN方法，具有較高的工程實用意義。

4 結(jié) 論

本文通過分析紅外熱成像圖像的特性，結(jié)合信號降噪方法中的軟閾值化以及圖像處理中的邊緣提取，將SRGAN改進為更加適合紅外熱成像圖像的EESRGAN算法，通過紅外熱成像數(shù)據(jù)集進行訓練擬合，達到了較好的效果。實驗證明，本文的方法在電力設(shè)備熱成像圖像的重建中，有效提高了重建圖像的峰值信噪比和結(jié)構(gòu)相似性，具有較強的實用價值。