路皓翔，劉振丙，張 靜，王子民

（1. 桂林電子科技大學計算機與信息安全學院，廣西桂林 541004；2. 桂林電子科技大學商學院，廣西桂林 541004）

1 引言

紅外成像技術以紅外探測器和光學成像系統(tǒng)為核心，將目標區(qū)域物體溫度轉換為可見圖像，即紅外圖像［1，2］. 該技術是一種被動成像技術不受環(huán)境因素影響，彌補了可見光成像系統(tǒng)的不足，被廣泛應用于軍事、人防、工業(yè)及海上搜救等領域［3～5］. 然而，由于探測器可探測范圍大而目標區(qū)域物體溫度范圍小以及大氣環(huán)境對熱輻射傳導的影響，造成紅外圖像的亮度較暗、細節(jié)模糊和對比度低，降低了紅外圖像的質量［6］. 故而，采用圖像增強的方式改善圖像質量、凸顯圖像細節(jié)信息、增強圖像對比度對于拓寬紅外成像技術的應用極為重要［7～9］.

當前，對于紅外圖像增強技術主要包括：（1）基于直方圖的圖像增強法. 該方法通過改變紅外圖像直方圖在整個灰度區(qū)間的分布達到改善圖像質量的目的［10，11］. 但由于其會合并圖像的灰度級且灰度值映射函數單一等因素，導致圖像的細節(jié)丟失、輪廓模糊及塊效應等問題突出. 因此，以合適閾值分解圖像直方圖為兩個或多個區(qū)間的子直方圖技術如子雙區(qū)間直方圖均衡化技術［12，13］、遞歸直方圖均衡化技術［14］和動態(tài)直方圖均衡化技術［15，16］等，解決了圖像灰度級減少及亮度較低的問題. 通常，紅外圖像頻率較低的灰度級會合并而頻率較高的灰度級區(qū)域易增強過度，故產生了修正原始圖像直方圖頻率的修正直方圖均衡化技術，如直方圖剪切技術［17］、直方圖頻率加權技術［18，19］. 為了解決直方圖均衡化導致的圖像細節(jié)丟失，文獻［20～22］等提出了局部直方圖均衡化技術，通過在空間上將原始圖像劃分為若干子塊并在各塊進行均衡化處理. 此外，結合直方圖均衡化和最優(yōu)化理論、泛函分析等數學理論的直方圖變分技術可實現預設條件下的紅外圖像增強［23］.（2）基于圖像分層的圖像增強法. 該方法根據圖像特征將圖像進行分層，通過融合不同方法增強處理后的子層獲取高質量圖像. 如文獻［24，25］中將圖像的細節(jié)層和結構層進行分離、文獻［26］將圖像的目標區(qū)域和背景區(qū)域進行分割可很好的解決圖像細節(jié)模糊、對比度低的問題，但圖像亮度較低.（3）基于變換域的圖像增強法. 該方法主要是將圖像灰度值轉換到梯度域或小波域進行增強操作. 其中在梯度域中圖像灰度值可以等可能的顯示，更好的顯示圖像細節(jié)信息，如文獻［27］中結合梯度域和直方圖均衡化進行圖像細節(jié)增強. 在小波域中高頻小波系數對應圖像邊緣、細節(jié)和紋理信息、低頻小波系數對應圖像的背景及輪廓信息，如文獻［28］將圖像轉換到小波域，通過增強小波系數實現圖像增強. 該方法可實現圖像細節(jié)及紋理細節(jié)的有效提升，但圖像整體質量并未得到很好的改善.

在文中提出了一種融合細節(jié)特征的多尺度循環(huán)卷積多層次均衡化的單個紅外（灰度）圖像增強方法，它能夠在提升圖像亮度的同時增強圖像對比度、凸顯圖像紋理細節(jié)信息，輸出高質量的紅外圖像. 該算法首先采用多尺度循環(huán)卷積提升圖像細節(jié)信息；然后利用Kmeans 對圖像灰度值聚類分析，在不同的聚類空間進行均衡化操作，提升圖像亮度且保持圖像細節(jié)信息；接著按照線性融合策略與多角度組合濾波器提取的圖像紋理細節(jié)進行融合，最后利用灰度等間距均衡化進一步對融合后的圖像處理，增加圖像清晰度和細節(jié). 實驗結果表明，該方法較對比方法均表現出了較優(yōu)的性能，更適合用于多種場景下的紅外成像技術中.

2 增強算法

本文圖像增強方法的框架如圖1所示，主要包括五個部分：多尺度循環(huán)卷積（Multi-scale Cyclic Convolution，MCC）、多聚類空間混合均衡化（Multi-cluster Spatial Mixing Equalization，MSME）、多角度組合濾波器（Multi-angle Combination Filter，MCF）、線性融合（Linear Fusion，LF）和圖像層次化處理（Hierarchical Processing，HP）.

圖1 本文算法框架

2.1 多尺度循環(huán)卷積

深度學習中，圖像深層特征主要依賴于卷積進行提?。?9，30］. 傳統(tǒng)的神經網絡中僅層與層間進行連接，而Densenet 網絡［31］采用密集連接的方式將所有層連接起來充分利用圖像信息進行細節(jié)信息提取. 也就是說若網絡存在L層則傳統(tǒng)的神經網絡存在L個連接，而Densenet 網絡則存在L（L+1）/2個連接.本文借鑒Densenet網絡這一思想，設計了多尺度循環(huán)卷積模塊并將每一層均連接起來，充分利用圖像的信息達到提取圖像細節(jié)信息的效果. 其實現圖像細節(jié)信息提取如圖2所示.

圖2 MCC提取細節(jié)框圖

該模塊包含兩個卷積層，每個卷積層中包含6個大小為3*3 的高斯卷積核且卷積半徑分別為0.1、0.3、0.5、0.7、0.9 和1. 此外將原始圖像I與第一層卷積提取的特征F1進行融合并作為第二層卷積層的輸入I1，經第二層卷積層處理后將其特征F2與原始圖像I和第一層卷積提取的特征F1進行融合求解出較高質量的圖像I2. 然而圖像的亮度不均勻且對比度較低，故在第二層卷積層進行融合時首先采用自適應直方圖均衡化（Adaptive Histogram Equalization，AHE）對第一層卷積提取的特征進行對比度拉伸.

圖3給出了圖像經多尺度循環(huán)卷積處理后的效果，從圖中可以看出，MCC可以有效的增強圖像的細節(jié)信息、改善圖像的視覺效果，但是處理后的圖像仍然存在亮度較暗且對比度較低的問題. 從圖3的局部細節(jié)圖中可以看出，MCC處理后圖像的細節(jié)信息更加豐富且對比度更高.

圖3 MCC處理前后的圖像及其直方圖（第1行是原圖和處理后的圖像，第2行為對應的3D直方圖，1、3列為原圖，2、4列為處理后的圖像）

2.2 多聚類空間混合均衡化

MSME 主要為了提高圖像局部對比度同時凸顯圖像的細節(jié)，分為圖像灰度值聚類分析和圖像均衡化兩個階段，具體的：

Stage I：灰度值聚類分析

傳統(tǒng)的K-means 通過隨機選取灰度值作為聚類中心，然而圖像P的灰度值pij分布通常較為密集，若隨機選取的聚類中心重合或距離較近時，會導致最終求解的聚類中心不是最優(yōu)解［32］. 因此，對圖像聚類分析時首先采用最大貢獻率法選取初始聚類中心.

步驟1：初始聚類中心計算

假設圖像P中灰度值pi與pj之間的余弦距離Dpi為

圖像P中灰度值pi與灰度值pj距離的最小值定義為di，即

圖像P中灰度值pi與灰度值pj距離為di的累計數定義ρi為，即

那么，圖像P中灰度值pi的貢獻率φi為

按照從大到小的順序依次排列，即，

選取貢獻率最大的前K個灰度值，即選取C={φmax，φmax-1，···，φmax-k+1，φmax-k}所對應的圖像P的灰度值={pmax，pmax-1，···，pmax-k+1，pmax-k}作為K-means聚類算法的初始聚類中心.

步驟2：灰度值類別劃分

將距離聚類中心最近的灰度值歸為一類，即，

步驟3：迭代精度評估

計算不同類別中每個樣本的迭代精度，即

其中，sp表示圖像中任意灰度值h表示聚類中心.λph為權重，若sp屬于以h為聚類中心的類別其取值為1，否則取值為0，即

若迭代精度不滿足設置的閾值，那么進行聚類中心的更新.

步驟4：聚類中心更新

求解出不同類別的均值，并作為新的聚類中心，重復進行步驟2、3，直至迭代精度滿足設置的閾值. 第m+1次迭代第h類的聚類中心um+1i為

其中，T表示以為聚類中心的類別中灰度數目.

Stage II：均衡化

經過Stage I 對圖像灰度值聚類分析后，將圖像灰度值劃分為多個聚類空間，按照各聚類空間所包含的圖像信息的占比確定圖像均衡化后圖像的直方圖范圍，達到增強圖像的目的. 假設圖像P的灰度數為N，某一聚類空間q包含的灰度數為Mq，則該聚類空間均衡化后的直方圖范圍為

本算法將圖像劃分為三個聚類空間，由于第一個聚類空間主要包含圖像中暗區(qū)域信息，采用自適應直方圖均衡化對圖像進行均衡化操作；由于第二個聚類空間包含圖像大部分信息，故采用伽馬函數對圖像亮度進行校正；由于第三個聚類空間包括了圖像少量的亮區(qū)域信息，故而采用線性校正的方式在指定的區(qū)間范圍內對圖像的灰度值進行線性拉伸.

圖4 給出了原圖及經MCC 和MSME 處理后的圖像及其對應的直方圖. 表1給出了圖4中各圖像對應的灰度范圍、平均灰度、圖像A 和B 方框區(qū)域內對應的局部對比度和局部EME. 從圖像A 和B 中可以看出，經過MSME 處理后，圖像的亮度得到明顯提升，表1 中對應的圖像A和B平均灰度分別從19提高到了60、108提高到了135. 在細節(jié)增強方面，從圖像A 和B 方框區(qū)域可看出，經MSME 增強處理后，圖像細節(jié)更清晰、對比度更高.

圖4 圖像A、B經MCC和MSME處理后增強效果(a)原圖；(b)MCC增強后的圖像；(c)MSME增強后的圖像.第二、四行為第一、三行圖像對應的直方圖

表1 各算法對圖像A、B方框區(qū)域增強處理圖像質量客觀評價

2.3 多角度組合濾波器

MSME處理后的圖像對比度得到明顯的提高，而且提高了圖像較暗區(qū)域的圖像細節(jié)信息，但圖像輪廓不夠清晰且圖像亮區(qū)域的細節(jié)信息存在丟失. 為了解決這一問題，采用MCF提取圖像的輪廓及細節(jié)信息. 該濾波器采用二維高斯函數作為模板核函數實現圖像輪廓及細節(jié)信息的提取，為提取圖像不同角度的輪廓及細節(jié)信息，采用旋轉矩陣γi構建第i個角度的核函數. 設θi為核函數的旋轉角度，則第i個角度的旋轉矩陣γi為

若P(x，y)為X-Y坐標系下核函數上一點，經旋轉處理后第i個角度U-V坐標系下點為

為了對圖像背景進行均勻濾除同時提取圖像的輪廓及細節(jié)信息，即經過模板濾波后背景區(qū)域（即，非輪廓和細節(jié)信息）的響應為0，定義第i個角度的濾波器核函數(x，y)為

其中，λ為權重，文中取值為λ=0.6；屬于鄰域Q={|u| ≤3ε，|v| ≤L/2}；K為第i個角度下鄰域Q 中的灰度值；N為鄰域Q 中灰度值的個數；表示取整；Lap 為Laplace算子，用于提取圖像各個角度的細節(jié)信息.

圖5給出了Laplace算子以及MCF處理后圖像的輪廓和細節(jié)信息. 從圖中可看出，與Laplace 算子相比，MCF提取的圖像輪廓更為清晰且細節(jié)信息更為豐富.

圖5 不同算法提取的圖像細節(jié)信息(a)原圖；(b)Laplace 算子提取的細節(jié)信息；(c)MCF提取的細節(jié)信息

2.4 線性融合

融合策略主要是為了將兩幅或多幅特征各異的同一圖像按照一定的權重融合在一起實現提高圖像對比度、凸顯圖像細節(jié)同時改善圖像亮度的目的，進而改善圖像質量. 本文按照不同權重將多角度組合濾波器提取的圖像輪廓及細節(jié)圖像與經多聚類空間均衡化處理后的圖像融合在一起得到細節(jié)豐富、輪廓清晰、對比度高的高質量圖像. 具體融合公式為

其中，λ為權重，文中取值為λ=0.6，IMFHE為多聚類空間混合均衡化處理后的圖像，IMCF為多角度組合濾波器提取的細節(jié)及輪廓. 圖6 給出了線性融合前后的圖像，從圖中可看出，經線性融合后的圖像輪廓清晰、細節(jié)信息豐富，較原圖像質量有了較大的提高.

圖6 融合前后的圖像對比(a)原圖；(b)融合后的圖像

2.5 圖像層次化

經過多尺度循環(huán)卷積、多聚類空間混合均衡化、多角度組合濾波器及線性融合處理后圖像的對比度、亮度及紋理得到了顯示提升，但圖像某些區(qū)域存在過增強且圖像的層次感較差，因此在上述處理的基礎上對圖像進行圖像層次化處理.

首先，對線性融合處理后圖像IOut中不同灰度級的個數C進行統(tǒng)計，

接著，對圖像IOut中非0 灰度值用f(x)進行層次化處理，則處理后圖像IOut的灰度值Ti為

其中，IOuti為未經過層次化處理的圖像IOut的灰度值，變化函數f(x)=

圖7給出了自然場景和海面場景下原圖像、線性融合后的圖像和層次化處理后的圖像. 從圖中可看出，與原圖像及線性融和后的圖像相比，經層次化處理后兩種場景下的圖像層次更加分明、對比度更高且不存在過曝光，圖像的視覺效果更好、整體質量也更高. 尤其在原圖像對比度極低的情況下如海面場景下的圖像，線性融合后圖像中天空部分層次分明且水面的波紋更明顯.

圖7 灰度等間距均衡化前后對比

3 實驗方法與結果

實驗平臺：CPU Intel（R）Core（TM）-i7 9700K 8 核3.6 GHz、內存為16 GB；軟件為Matlab R2014a，Windows 10操作系統(tǒng). 本文隨機選取自然場景和海面場景進行實驗，并 與BF&DRP［25］、Retinex［33］、Homo［34］、BBHE［35］、GFBE［36］和DOTHE［37］方法進行對比，從定性和定量兩方面評估本文算法的有效性，其中在定量分析方面，選取熵增強（Enhancement by IE，EME）、平均梯度（Average Gradient，AG）和信息熵（Information Entropy，IE）作為評價指標. 其中，EME反應了圖像的對比度變化，其值越大說明圖像對比度越大；IE反應了圖像所包含的信息量，其值越大說明圖像質量越好；AG衡量圖像的灰度變化及圖像整體亮度，其值越大說明圖像亮度越高且圖像所包含的細節(jié)信息越豐富.AG、IE和EME的計算公式為

3.1 自然場景增強效果評價

首先選取自然場景下的一組圖像進行增強實驗對本文方法的有效性進行評估，圖8 分別展示了BF&DRP、Retinex、BBHE、Homo、GFBE、DOTHE 與本文方法處理后的圖像及其對應的直方圖. 表2 給出了每個方法對應的定量評估指標結果.

從圖8 可以看出，GFBE 處理后的圖像存在嚴重的局部過曝光、圖像輪廓模糊且細節(jié)信息丟失嚴重，降低了圖像的質量，從圖像對應的直方圖中可以看出，雖然拓寬了直方圖的灰度級，但是圖像的灰度級在低灰度級和高灰度級個數最大.BF&DRP 處理后的圖像，雖然細節(jié)信息豐富，但亮度較暗且對比度較低，從圖像對應的直方圖中可看出，BF&DRP 壓縮了圖像的灰度級且灰度值分布在灰度值較小的區(qū)域.Retinex和Homo均是以人為感知為依據的圖像處理方法，經這兩種方法處理后的圖像亮度得到了明顯的提高，圖像對應的直方圖主要分布在灰度值較大的區(qū)域，但圖像的對比度較低.BBHE處理后的圖像亮度較暗、視覺效果較差，與原圖像相比增強效果不明顯，圖像對應的直方圖存在明顯高低分界點且圖像的平均灰度值較小.DOTHE 處理后的圖像與原圖像相比，圖像的亮度和對比度能夠提升，但增強后的圖像存在細節(jié)模糊的問題，從圖像對應的直方圖可看出，DOTHE能夠拓寬圖像的直方圖分布區(qū)間，提高圖像的平均灰度值.與BF&DRP、Retinex、BBHE、Homo、GFBE 和DOTHE 方法相比，本文方法處理后的圖像在提高圖像亮度的同時能夠顯著增強圖像的對比度、豐富圖像的細節(jié)信息. 從圖像對應的直方圖可看出，本文方法能夠拓寬圖像直方圖的分布范圍，表明本文方法的性能較對比方法更優(yōu).

圖8 BF&DRP、Retinex、BBHE、Homo、GFBE、DOTHE和本文算法的增強效果及其對應直方圖

從表2 中可看出，經BF&DRP、Retinex、BBHE、Homo、GFBE、DOTHE 和本文算法處理后圖像的AG 較原圖像均有提高且本文方法增強后圖像的AG 均較大，這說明不同的圖像增強方法均能夠不同程度的提高圖像的亮度，且與對比方法相比本文方法處理后的圖像亮度均較高. 在對比度增強方面，Retinex 和Homo 處理后圖像的EME 較原圖像較小，說明經這兩個方法處理后的圖像對比度較低，BF&DRP、BBHE、DOTHE、GFBE 和本文方法處理后圖像的EME 較原圖像均較大，且本文方法最大、BBHE 次之，說明BF&DRP、BBHE、DOTHE、GFBE 和本文方法均可以提高圖像的對比度且本文方法最優(yōu). 在細節(jié)增強方面，BF&DRP、Retinex、BBHE、GFBE 和DOTHE 方法處理后圖像的IE與原圖像相比較小，說明這些方法處理后的圖像存在細節(jié)丟失，Homo和本文方法處理后圖像的IE 較原圖和對比方法均較高且本文方法處理后圖像的IE更高，說明Homo和本文方法可以豐富圖像的細節(jié)信息. 綜合以上分析，在選取的四張自然場景下的圖像上，與BF&DRP、Retinex、BBHE、Homo、GFBE 和DOTHE 相比，本文方法處理后圖像的EME、IE 和AG 均最高，說明本文方法不僅能夠提高圖像的亮度，而且能夠在提高圖像對比度的同時增強圖像的細節(jié)信息.

表2 經BF&DRP、Retinex、BBHE、Homo、GFBE、DOTHE和本文算法處理后圖像的EME、IE和AG

3.2 海面場景增強效果評價

海面場景的圖像通常目標單一、對比度較低、直方圖分布較窄，選取海面場景下的紅外圖像進一步驗證本文方法的有效性. 圖9 分別展示了對比方法與本文方法處理的結果及其對應的直方圖. 從圖中可看出，GFBE 和BF&DRP 方法在海面場景圖像的性能較差，其中GFBE 處理后的圖像存在嚴重的過曝光且細節(jié)信息丟失嚴重，其對應的直方圖的灰度值的分布主要集中在兩端；BF&DRP 處理后的圖像亮度較暗且細節(jié)模糊，其對應的直方圖主要分布在灰度值較小的區(qū)域且較原圖像進行了壓縮.Retinex 算法處理后的圖像亮度得到了顯著提升，其對應的直方圖主要分布在灰度值較大的區(qū)域，但其處理后的圖像輪廓較模糊. BBHE、Homo和DOTHE 方法均可提高圖像的對比度但圖像亮度變化不明顯且輪廓及細節(jié)模糊，其中DOTHE 方法效果最好、BBHE次之、Homo最差. 與對比方法相比，本文方法處理后的圖像亮度較亮且對比度較高、輪廓及細節(jié)清晰，其對應的直方圖分布范圍相比于原圖像直方圖的分布范圍更廣，明顯優(yōu)于對比算法.

圖9 BF&DRP、Retinex、BBHE、Homo、GFBE、DOTHE和本文算法的增強效果及其對應直方圖

表3給出了每個方法對應的定量評估指標AG、EME和IE的結果. 從表3中可以很明顯的看出，經BF&DRP、Retinex、BBHE、DOTHE和本文方法處理后圖像的AG均比原圖像的AG 高，說明圖像經以上算法處理后均可以提高圖像的亮度，且本文方法處理后較對比算法效果最好；在IE和EME指標上，經本文方法處理后圖像的IE和EME 與經BF&DRP、Retinex、BBHE、DOTHE、Homo 和GFBE處理后圖像的IE和EME相比均較大，說明本文方法能夠在增強圖像對比度的同時，能夠提高圖像的輪廓和細節(jié)信息. 綜合以上分析，在選取的四張海面場景的圖像上，與BF&DRP、Retinex、BBHE、Homo、GFBE和DOTHE 相比本文方法處理后圖像的EME、IE 和AG 均最高. 這說明本文方法不僅能夠提高圖像的亮度，而且能夠在提高圖像對比度的同時增強圖像的細節(jié)信息且性能較對比算法更優(yōu)，能夠用于改善圖像的質量.

表3 經BF&DRP、Retinex、BBHE、Homo、GFBE、DOTHE和本文算法處理后圖像的EME、IE和AG

4 結論

文中提出了一個對比度拉伸、亮度提升和細節(jié)增強的方法，該方法主要包括五個部分：多尺度循環(huán)卷積、多聚類空間均衡化、多角度濾波器、線性融合和圖像層次化，其通過多聚類空間均衡化的對比度拉伸解決了圖像亮度較暗、對比度較低，通過多尺度循環(huán)卷積提取圖像的深層細節(jié)特征和多角度濾波器提取圖像多個角度的細節(jié)及輪廓信息解決了圖像輪廓和細節(jié)模糊的問題，通過圖像整個區(qū)間的層次化處理解決了圖像層次化較差、清晰度較低的問題. 與對比方法相比，該方法在自然場景和海面場景圖像中均表現出了最優(yōu)的性能，說明該方法不僅有效提高了圖像對比度、增強了圖像的細節(jié)，還提高了圖像的亮度和清晰度. 但該方法在線性融合階段需要手動調節(jié)融合權重，故而該算法的靈活性較差.