郭桂豫

（安徽理工大學電氣與信息工程學院，安徽淮南，232000）

0 引言

眾所周知，電力系統(tǒng)在電網中起著十分重要的作用，由于這種特殊性，它必須具備長期運行、供電安全、方便操作等特點。在這種情況下，為了維持電力系統(tǒng)能夠長期正常運行，變電所中的高壓電氣設備就需要長期維持運行狀態(tài)，由于這種因素，電力設備就會很容易出現故障情況，比如器件缺失。除了惡劣天氣（大霧、微雨、冰雹）條件會受到影響，電氣設備自身也會因為使用壽命限制發(fā)生故障。盡管電氣設備發(fā)生故障問題較多，但多數電氣設備的故障情況還是可以避免的。通常電氣設備出現故障前，會出現溫度異常情況。普遍情況是溫度過高，如果無法及時確定故障類型，會延誤最佳維修時間，造成更大的經濟損失。在日常生活中，維修師傅需要手持紅外熱成像儀定期對電氣設備進行拍照，通過溫度差異變化檢測故障部位，進行故障分析。因此，定期對大型電氣設備巡檢變得尤為重要。由于高壓電氣設備分布地理位置的特殊性，目前電網的檢測工作主要使用智能巡檢機器人、無人機和人工檢測三種方式。這些自動化檢測裝置的工作原理是運用多模態(tài)成像傳感器和圖像處理技術，配備多模態(tài)（即紅外和可見光圖像）傳感器的巡邏機器人和無人機，旨在捕捉電力設備在運行狀態(tài)下的圖像，并將檢測數據上傳到變電站進行狀態(tài)監(jiān)測和故障診斷。因此，開發(fā)電力設備的自動圖像處理技術，如圖像融合就變得尤為重要了。

圖像融合是圖像處理的一個重要領域。它是將兩種或多種源圖像進行特征融合，使得融合圖像特征信息能夠互補。根據實踐的不同，應用的領域也不盡相同。主要包括：多時遙感圖像融合[1]、醫(yī)學圖像融合、多曝光圖像融合[2]、紅外與可見光圖像融合、人臉識別等其他方面。傳統(tǒng)的圖像融合方法需要手動設計融合規(guī)則，隨著結構的復雜，計算量增加，給研究者帶來了不小的困難和挑戰(zhàn)。常見的方法有基于金字塔變換、基于PCA、多尺度變換等的圖像融合方法。隨著人工智能的普及，基于深度學習的方法應用到實際生活中。與傳統(tǒng)的圖像融合方法不同，基于深度學習的方法需要大量的數據集進行訓練，無需手動設計融合規(guī)則，只需搭建好網絡模型結構，調整好參數就可以開始訓練了。目前研究者已提出了多種圖像融合方法，李輝[3]等人提出的DenseFuse圖像融合方法，網絡模型結構是由編碼器、融合層和解碼器組成的，首先編碼器對輸入源圖像進行特征提取，融合層進行特征融合，解碼器對融合特征進行重構，最終輸入融合圖像。馬佳義[4]等人提出的FusionGAN圖像融合方法，將紅外與可見光圖像融合問題看作是生成器與鑒別器的對抗博弈。但以上方法只能提取淺層特征，不能有效提取圖像深層特征信息導致圖像細節(jié)缺失較為嚴重。因此，針對以上問題，提出在DenseFuse圖像融合方法的基礎上對網絡模型進行改進。

1 數據集制作與預處理

由于電網環(huán)境的特殊性，高壓電氣設備的紅外圖像與可見光圖像對不易獲得，需要現場采集圖像。從現有情況看，目前網上的公共紅外與可見光圖像數據集多為景物，電氣設備的源圖像對少之又少，在采集完圖像之后為了能夠最大限度利用圖像特征信息，需要對其進行圖像預處理。由于圖像在采集時，會因為拍攝角度等不同影響圖像融合的準確性，因此還需要進行圖像配準。圖像配準是圖像融合前的重要環(huán)節(jié)之一，紅外圖像用到的設備是紅外熱成像儀，成像原理是通過溫度差異變化成像，可見光圖像使用高清照相機拍攝，成像原理是自然光反射。兩者使用設備、焦距不同，導致拍攝的圖片大小不一致，這都會影響最終圖像融合效果，為了保證圖像融合質量，圖像配準就變得尤為重要。

圖像配準是兩幅源圖像實現一對一對齊的過程?；谔卣鞯呐錅史椒ㄊ菆D像配準方法中研究者們目前最常用的配準方法，配準前參考圖像與待配準圖像要匹配的特征應該是同類型的，之后對輸入源圖像進行圖像的特征提取，提取的匹配特征必須一一對應，通過兩幅圖像特征之間的匹配關系建立圖像之間的配準。假設現場采集的紅外與可見光圖像對是經過配準的，數量有100張。由于現有采集的數據集數量不夠，無法達到模型訓練要求。為了擴充數據集，通過對稱、平移、鏡像、旋轉等方式對數據集進行擴充。通過擴充，紅外與可見光數據集有1000張圖像對。

2 網絡模型

2.1 圖像融合算法框架

目前許多基于深度學習的圖像融合方法都是利用卷積神經網絡來進行圖像的特征信息提取，但這樣的話圖像特征提取信息有限，許多由中間層獲得的有用信息會大量丟失，這樣會使得圖像融合效果并不太理想，而這些大量丟失的圖像特征信息對圖像融合很重要。為了改變這種情況，針對紅外與可見光圖像融合算法，李輝[3]等人提出一種新的圖像融合網絡結構—DenseFuse。它是由編碼器、融合層和解碼器組成的網絡結構，網絡模型在訓練階段和測試階段采取不同的策略，在訓練階段，網絡模型結構由編碼器和解碼器構成，使用MSCOCO公共數據集[5]訓練網絡模型，目的是重建輸入圖像，訓練結束后會生成權重，通過反復進行訓練，調整參數，確定最優(yōu)權重。在測試階段，引入融合層，用訓練好的編碼器對源圖像進行特征提取，通過合適的融合策略對這些特征進行融合，最后將融合后的特征送入解碼器進行特征重構輸出融合圖像，測試圖像融合效果，圖像融合算法框架圖如圖1所示。

圖1 圖像融合算法框架圖

2.2 注意力機制模塊

圖像融合算法的關鍵在于如何盡可能多地提取紅外與可見光圖像特征信息，使得融合圖像保留較多的紅外圖像的熱輻射信息和可見光圖像的紋理細節(jié)信息。在這種情況下，為了能夠讓網絡聚焦于顯著性區(qū)域的特征信息，可以引入注意力機制[6]。卷積層的每個卷積只能捕捉到局部信息比如圖像的淺層特征，有些關鍵性的信息像深層特征無法捕捉，引入注意力機制可以使網絡專注于重要區(qū)域信息，改善深度神經網絡性能，提升特征信息表達能力。為了獲得更多的圖像特征信息，將空間注意力和通道注意力組成注意力模塊加入網絡模型中，提升特征信息傳遞。

注意力機制模塊包含通道注意力CA和空間注意力SA，使用通道注意力的目的是讓輸入圖像更清晰，根據不同通道的特征，對重要特征進行增強，對無關特征進行抑制，通過網絡計算出輸入圖像各個通道的重要性，提升特征表示能力?？臻g注意力是在這個基礎之上，基于通道的方向，找到哪一塊位置信息聚集得最多，找出空間顯著性目標，通過兩者進行結合，獲得更多的特征信息，提升信息表達能力。

2.3 網絡結構

為了保留更多的圖像特征信息和提升圖像融合效果，在DenseFuse圖像融合算法的基礎之上，對編碼器的網絡結構進行了一些改進，為了選擇性地聚焦顯著性區(qū)域位置，增強目標特征信息，引入空間注意力模塊SA[7]和通道注意力模塊CA[8]，改進后的網絡結構如圖所示。其中v1和i1分別表示配準好的紅外圖像與可見光圖像，f1表示融合圖像，為了提取更多的有效特征，在編碼器中引入了注意力模塊，如圖2所示。

如圖所示，在編碼器中，c1為3×3個濾波器，用于提取粗糙特征。密集塊是為了更多的保留深度特征信息，由DC1和DC2兩個卷積層組成，包含3×3個濾波器，每一層的輸出級聯(lián)作為下一層的輸入。注意力模塊由空間注意力SA和通道注意力CA組成的，有效學習特征信息分布。融合層對提取到的特征進行融合，解碼器是由四個卷積層組成的，過濾器大小是3×3，對圖像特征進行重構，最終輸出融合圖像f1。使用這種方法，輸入圖像可以是彩色圖像或者是灰度圖像。

在訓練階段，網絡結構是由編碼器和解碼器組成，首先輸入源圖像，進行特征提取，密集塊是為了盡可能多地保留圖像特征信息，注意力機制是為了專注于圖像中的有用信息，抑制無用信息。在測試階段，引入融合層，對圖像進行特征融合，再進行融合特征重構，最后輸出融合圖像。

3 環(huán)境設置

3.1 實驗數據集

實驗是在兩個數據集進行的：(1)訓練階段使用MSCOCO公共數據集作為訓練集，作為公共數據集，MSCOCO收集了大量自然背景下復雜的日常生活場景圖片，圖片中的物體都單獨進行了標注，這樣是為了對物體進行準確定位。(2)測試和驗證階段使用自己現場拍攝經過配準過的圖像對作為測試集，圖像是高壓電氣設備紅外與可見光圖像數據集。

3.2 模型訓練環(huán)境

在模型訓練前，需要對環(huán)境進行配置。主要分為硬件環(huán)境以及軟件環(huán)境，如圖3所示。

表1 硬件環(huán)境以及軟件環(huán)境

在硬件環(huán)境方面，CPU版本是Intel(R)Core(TM)i5-1035G1，GPU版 本 是NVIDIA Geforce MX350，內 存 版本是ChannelA-DIMMO。在軟件環(huán)境方面，操作系統(tǒng)版本是Window 10，編程語言是Python，深度學習框架為tensorflow，版本是3.6。

4 實驗結果與分析

4.1 實驗過程

搭建好網絡模型結構，調整好參數就可以開始訓練模型了。選擇MS-COCO公共數據集訓練網絡模型。通過反復訓練網絡，調整參數，得到最優(yōu)權重。在測試階段，選擇測試集進行測試，得到融合圖像。圖像從上至下依次對應紅外圖像、可見光圖像、圖像融合效果圖，實驗結果如圖3所示。

圖3 紅外圖像、可見光圖像、圖像融合效果圖

從實驗結果可以看出，紅外圖像反映熱輻射信息，不受光照條件影響，可見光圖像分辨高，主要反映了圖像的紋理細節(jié)信息，經過圖像融合后，融合圖像包括了紅外圖像的熱輻射和可見光圖像的紋理細節(jié)信息，第三張圖片效果最為明顯，紅外圖像輪廓不太清晰，可見光圖像有紋理細節(jié)，經過圖像融合后圖片融合效果變得清晰，可以看到輪廓細節(jié)信息變得更加明顯。與源圖像相比，圖像質量得到提高。

4.2 圖像融合的性能評估

目前圖像融合的評價方法有主觀和客觀評價方法。由于主觀評價方法主觀性強，具有片面性。因此我們需要與客觀評價方法結合對融合圖像進行綜合評價?？陀^評價指標主要有結構相似性、信息熵、空間頻率和相關系數。

5 結語

目前基于深度學習的方法已經廣泛應用于人們日常生活中，涉足于多種場景和領域，將深度學習的方法應用在高壓電氣設備上，實現紅外與可見光圖像融合，實時檢測電氣設備故障診斷的圖像融合方法還不是很多，需要不斷進行探索，由于電氣設備的種類多種多樣，器件結構復雜程度不同，為了提高紅外與可見光圖像融合清晰度，需要根據具體情況改進網絡模型不斷優(yōu)化。