胡家琿，詹偉達，桂婷婷，石艷麗，顧 星

基于多尺度加權(quán)引導濾波的紅外圖像增強方法

胡家琿，詹偉達，桂婷婷，石艷麗，顧 星

（長春理工大學 電子信息工程學院，吉林 長春 130000）

現(xiàn)有的紅外圖像存在細節(jié)模糊、邊緣和紋理不清晰的問題。針對上述問題，本文提出一種基于加權(quán)引導濾波的紅外圖像增強方法。首先，將圖像通過帶轉(zhuǎn)向核的多尺度加權(quán)引導濾波進行分層處理，得到多幅含有細節(jié)信息的細節(jié)層圖像和基礎(chǔ)層圖像；接著，對細節(jié)層采用基于Markov-Possion的最大后驗概率算法和Gamma校正算法對細節(jié)層進行增強；然后，對基礎(chǔ)層采用限制對比度的自適應(yīng)直方圖均衡算法進行對比度拉伸，最后，進行線性融合得到增強后的圖像。綜合主、客觀實驗結(jié)果，得出本文方法具有良好的細節(jié)增強效果，處理后的圖像邊緣和紋理信息比較突出，且算法在信息熵（IE），熵增強（EME）和平均梯度（AG）3個指標都有較優(yōu)的計算結(jié)果?；緷M足紅外圖像細節(jié)得到增強，邊緣紋理清晰的需求。

紅外圖像；引導濾波；細節(jié)增強；直方圖均衡

0 引言

紅外傳感器可以捕捉到物體發(fā)出的熱輻射，由于其良好的隱蔽性，受環(huán)境影響比較小，可24h全天候工作。其特殊的成像系統(tǒng)可攝取人體溫度分布的熱圖像，探測電氣設(shè)備的不良接觸、以及過熱的機械部件，也可用于目標檢測，使得紅外成像被廣泛應(yīng)用在軍事、工業(yè)及民用等領(lǐng)域[1-4]。紅外波段的輻射波長短于無線電波，長于可見光，空間分辨率高于雷達，但低于可見光[2]。由于目標與傳感器距離較遠，紅外輻射會受到大氣熱輻射的影響，使得紅外圖像的灰度分布不均勻，對比度比較低，細節(jié)不明顯且易缺失，不易于觀察和識別[5-8]。因此，提高紅外圖像的對比度并增強細節(jié)成為紅外圖像處理的關(guān)鍵。

傳統(tǒng)紅外圖像增強算法主要是基于映射的算法，這類算法以合適的映射關(guān)系來表達原始圖像和增強圖像之間的關(guān)系，常見的算法為直方圖均衡（histogram equalization，HE）。HE算法能有效地增強圖像對比度，但會因灰度級合并而造成細節(jié)信息的丟失。Wang等[9]提出在紅外圖像直方圖計算中引入相鄰像素之間的二維差分信息，在不過度增強的情況下增強了對比度。Wan等[10]采用局部加權(quán)散點平滑算法和局部最小值檢驗分割灰度直方圖，對前景子直方圖采用局部對比度加權(quán)分布均衡，但增強效果不穩(wěn)定，邊緣和紋理易模糊。該類算法復雜度低、能有效地增強圖像對比度，但圖像的輪廓和邊緣紋理等信息因為對細節(jié)的忽視而不夠凸顯。

為了對細節(jié)信息進行增強，各國學者相繼提出了各種紅外圖像細節(jié)增強算法。在高動態(tài)范圍紅外圖像增強領(lǐng)域中，文獻[11]提出一種基于雙邊濾波的增強算法（bilateral filter and digital detail enhancement algorithm，BF&DDE），該算法提出運用雙邊濾波將圖像分為低頻信息構(gòu)成的基礎(chǔ)層圖像和高頻信息構(gòu)成的高頻層圖像，再用不同的算法對兩層圖像進行處理。文獻[12]提出了一種基于引導濾波的增強算法（guided image filter and digital detail enhancement algorithm, GIF & DDE）。該算法將BF & DDE中的雙邊濾波替換為對邊緣和紋理保留效果更好的引導濾波，對細節(jié)信息進行增強，由于引導濾波是將邊緣和紋理信息保留在了基礎(chǔ)層，其細節(jié)層含有邊緣和紋理信息過少，且該算法對基礎(chǔ)層只進行了對比度拉伸，導致其對細節(jié)層圖像增強后的邊緣和紋理不夠突出。Chen等[13]提出一種利用能量梯度函數(shù)與多尺度引導濾波相結(jié)合的方法，在動態(tài)范圍壓縮時能夠較好地保留圖像的細節(jié)，但仍不滿足主觀上邊緣和紋理信息突出的需求。

根據(jù)上述方法的特點和缺陷，本文提出一種基于多尺度加權(quán)引導濾波的圖像增強方法。在濾波分層方面，本文方法提出將帶轉(zhuǎn)向核的引導濾波[14]與迭代多尺度方式相結(jié)合對圖像進行分層處理，以獲得更完整的細節(jié)；在基礎(chǔ)層方面，采用限制對比度的自適應(yīng)直方圖均衡進行增強處理；在細節(jié)層采用基于Markov-Poisson分布的最大后驗法和Gamma校正增強其細節(jié)信息。最后對基礎(chǔ)層圖像和細節(jié)層圖像進行線性融合得到細節(jié)增強后的圖像。該方法能對圖像進行對比度拉伸的同時增強其細節(jié)信息，使圖像的紋理和邊緣更加清晰明顯。

1 相關(guān)理論

1.1 加權(quán)引導濾波理論

引導濾波（guided image filter, GIF）[15]是一種基于局部線性模型的平滑濾波器，引導圖像為本身時，對圖像的邊緣和紋理信息有較好的保護作用。引導濾波在某像素點處的輸出可以表示為一個加權(quán)平均的形式，如下式：

式中：為輸出圖像；和代表像素的坐標；p為輸入圖像；為引導圖像；W是引導圖像的權(quán)重函數(shù)，其表達式如下：

引導濾波器假定在以像素為中心的局部方形窗口內(nèi)，濾波輸出是制導圖像的線性變換，則其局部線性模型的表達式為：

式中：a、b是窗口中不變的線性系數(shù)，其值通過最小化代價函數(shù)確定，代價函數(shù)的表達式為：

由參考文獻[16]可知GIF在濾波的同時還能保護邊緣，但是由于對于任意窗口，其懲罰系數(shù)都采用同一值，忽略了像素間的差別。為此，文獻[17]提出一種加權(quán)引導濾波（weighted guided image filtering，WGIF），采用基于窗口像素方差的邊緣權(quán)重因子()來調(diào)節(jié)懲罰系數(shù)，公式(4)變?yōu)椋?/p>

由上述公式和文獻[17]可知加權(quán)引導濾波對局部窗口有一定的適應(yīng)性。為了進一步提高引導濾波對局部窗口的適應(yīng)性，Sun[14]等人提出一種帶導向核的加權(quán)引導濾波（weighted guided image filtering with steering kernel，SKWGIF），將歸一化局部轉(zhuǎn)向核（steering kernel）[18]代入引導濾波中，表達式為：

式中：為控制核的平滑參數(shù)，x和x為像素坐標。是由以像素為中心的局部窗口計算得到的對稱梯度協(xié)方差矩陣，式(3)變?yōu)椋?/p>

由公式和文獻[14]得，引入局部轉(zhuǎn)向核的SKWGIF比GIF和WGIF有更好的邊緣保持性。

1.2 限制對比度的自適應(yīng)直方圖均衡

紅外探測器的原始圖像經(jīng)過濾波處理后存在對比度低，圖像整體偏暗等問題，對基礎(chǔ)層必須進行對比度增強處理。直方圖均衡（histogram equalization，HE）可以對紅外圖像進行對比度增強，但處理后的圖像部分區(qū)域的對比度增強過大，成為噪點；且邊緣處經(jīng)過調(diào)整后變得過暗。為了避免上述問題，本文采用限制對比度的自適應(yīng)直方圖均衡（contrast limited adaptive histogram equalization, CLAHE）算法[19]，該方法能有效地避免局部增強過大的問題，處理后的直方圖分布更均勻，且能避免過度增強。CLAHE實現(xiàn)限制對比度的原理如下：

1）設(shè)定×大小的滑動窗口，則其局部映射函數(shù)M表達式為：

式中：DF()是局部直方圖分布函數(shù)ist()的累積分布函數(shù)值。

2）灰階映射函數(shù)的導數(shù)可視為對比度增強的幅度。局部映射函數(shù)M的導數(shù)為：

由公式(9)可知，通過限制ist()即可限制對比度的增強幅度。

3）求出直方圖的最大高度：

4）設(shè)定閾值，如圖1所示，將高度大于的直方圖部分截掉，重新均勻地分布在直方圖上，且最大值不會超過max，其中為設(shè)定的閾值，為補償值。

直方圖的總面積不變，整體灰度圖上升高度，max，和之間滿足以下關(guān)系：

＝max－(11)

重新分配后，得到的新的基礎(chǔ)層圖像的直方圖分布為：

1.3 基于Markov-Poisson的最大后驗概率

由于原始紅外圖像本身細節(jié)比較模糊，細節(jié)層的信息易丟失，導致其經(jīng)過濾波處理的細節(jié)層圖像含有的信息較少，分辨力下降，不利于人眼觀察。為了合理地增加細節(jié)信息，本文采用超分辨率算法的思想對細節(jié)層進行處理。最大后驗概率算法可用來增加圖像的細節(jié)信息，但是增加的信息過于虛假，且與基礎(chǔ)層相加會導致邊緣紋理變得模糊；為了解決上述問題，文獻[20-21]采用基于Poisson-Markov分布的最大后驗概率算法（Poisson and Markov model Maximum a Posteriori, MPMAP）對細節(jié)層進行處理，其實現(xiàn)函數(shù)如下：

式中：g為圖像像素灰度值；為迭代的階數(shù)；是控制迭代速度和算法收斂的控制系數(shù)；()是Markov約束函數(shù)；為約束重量不平衡部分的自適應(yīng)正則化參數(shù)；I,j為處理后的圖像。

經(jīng)過該算法處理后的細節(jié)層圖像如圖2所示，基于Poisson-Markov分布的最大后驗法能夠根據(jù)細節(jié)層圖像合理增加圖像的細節(jié)信息，使細節(jié)更明顯，利于人眼觀察。

2 本文方法流程

本文提出的方法流程如圖3所示，先利用多尺度加權(quán)引導濾波器將圖像分成基礎(chǔ)層和多個紅外細節(jié)層；其次，對第一層細節(jié)層圖像進行基于Markov-Poisson的最大后驗法處理，對第二層圖像進行Gamma校正來對細節(jié)層進行增強，得到兩幅增強后的細節(jié)層圖像；同時對基礎(chǔ)層圖像進行限制對比度的自適應(yīng)直方圖均衡，得到增強后的基礎(chǔ)層圖像；最后將增強后的基礎(chǔ)層圖像與增強后的細節(jié)層圖像線性融合，得到具有全局細節(jié)的增強圖像。

圖2 MPMAP對細節(jié)層處理后效果對比圖

其中，為了得到完整的細節(jié)層圖像，本文對多尺度加權(quán)引導濾波進行改進，將轉(zhuǎn)向核與加權(quán)引導濾波相結(jié)合，并對多尺度的實現(xiàn)方式做出改進（詳細內(nèi)容見2.1節(jié)）；對細節(jié)層圖像采用MPMAP和Gamma校正進行處理而達到增強細節(jié)層并突出邊緣和紋理的目的。

2.1 對多尺度加權(quán)引導濾波的改進

為了獲得紅外圖像中更完整的細節(jié)，文獻[13]中提到了一種基于迭代的多尺度引導濾波實現(xiàn)算法，其表達式為：

式中：為輸入的紅外圖像；為濾波后的基礎(chǔ)層圖像；為細節(jié)層圖像，由原圖像與濾波后的圖像相減得到；為迭代次數(shù)，代表該算法中共進行次引導濾波。

圖3 本文算法流程

為了對圖像的邊緣和紋理進行增強，本文對多尺度引導濾波做出改進，將GIF替換成SKWGIF（weighted guided image filtering with steering kernel），＝2即采用兩次引導濾波，將第一次引導濾波得到的細節(jié)層圖像作為第二次引導濾波的處理對象，得到一層含有豐富細節(jié)信息的第一層細節(jié)層圖像和含有邊緣、紋理信息的第二層細節(jié)層圖像。此時的多尺度加權(quán)引導濾波的公式定義為：

式中：為濾波后得到的基礎(chǔ)層圖像；為第一次濾波得到的細節(jié)層圖像；1為第二次濾波得到的細節(jié)層圖像，2為減去1得到的第二層細節(jié)層圖像。為保證第二層細節(jié)層圖像含有邊緣和紋理信息，需要將第一次的加權(quán)引導濾波的懲罰系數(shù)設(shè)置在0.16～0.25，第二次的加權(quán)引導濾波的懲罰系數(shù)設(shè)置為0.01～0.04。輸入的紅外圖像與輸出的圖像、第二次濾波得到的細節(jié)層圖像1和第二層細節(jié)層圖像2的關(guān)系為：

2.2 對細節(jié)層進行MPMAP和Gamma校正的增強處理

對于多尺度加權(quán)引導濾波后得到的兩幅細節(jié)層圖像，由于第一層細節(jié)圖像含有豐富的細節(jié)信息，本文采用MPMAP算法對第一層細節(jié)層圖像做增強處理，合理增加其細節(jié)信息；對第二層細節(jié)層圖像，采用Gamma校正達到增強其邊緣、紋理信息的目的。對于基礎(chǔ)層圖像，采用CLAHE算法進行處理以達到拉伸對比度的目的。最后采用加權(quán)融合的方式對細節(jié)層圖像和基礎(chǔ)層圖像進行融合。最終輸出圖像可以描述為：

3 實驗結(jié)果及分析評價

為驗證本文方法的可行性及有效性，本文選取3個場景進行對比試驗。選用的3個場景分別為：圖4(a)所示場景，該場景中包含的樹干紋理信息較多，可作為算法處理后圖像的重點觀察對象；圖5(a)所示場景，該場景中包含車輛，樹干，電線和馬路，包含的細節(jié)信息較為豐富；圖6(a)所示場景，該場景中包含地面紋理信息較多且噪聲較少，可作為算法處理后圖像的重點觀察對象。本文采取HE算法、Gamma校正算法、CLAHE算法、文獻[10]提到的算法和本文方法分別對其進行處理，從主觀和客觀上進行對比和評價。其中，Gamma校正算法中的值設(shè)為0.8，本文算法中第一次和第二次加權(quán)引導濾波的懲罰系數(shù)分別設(shè)為0.01和0.06。

從不同算法處理效果來看，HE算法容易使圖像的對比度拉伸過于嚴重，導致部分細節(jié)信息丟失，且對細節(jié)層沒有增強效果，如圖4(b)中，左上方中樹的紋理信息丟失嚴重；圖6(b)中，人物的衣服、汽車輪胎處過亮，部分細節(jié)信息丟失。Gamma校正算法容易使圖像局部過亮，導致細節(jié)丟失嚴重，如圖4(c)所示，整體偏亮且樹干紋理較為模糊；文獻[10]的算法對圖像細節(jié)沒有很好的增強效果，且細節(jié)模糊現(xiàn)象嚴重，如圖4(e)所示，左上方的樹枝紋理與原圖相比更模糊；CLAHE算法因?qū)θ诌M行對比度拉伸，使得其對比度有較好的改善，但因未對細節(jié)層進行增強，導致對邊緣、紋理的突出效果不明顯，且容易突出噪聲，如圖5(d)所示，天空中噪聲嚴重。本文提出的方法由于采用多尺度加權(quán)引導濾波對圖像進行分層處理，并對細節(jié)層進行MPMAP和Gamma校正處理，使得邊緣和紋理明顯、突出且清晰，如圖4(f)所示，與其他圖像相比不僅對比度得到改善，同時樹干的紋理明顯、清晰且自然；圖5(f)中，與其他圖像相比，右上方房屋的紋理的增強效果明顯，路邊的建筑邊緣和紋理的突出效果明顯；圖6(f)與其他圖像相比，左邊樹的紋理得到改善，地面紋理清晰。

圖4 第一場景增強效果對比

圖5 第二場景增強效果對比

圖6 第三場景增強效果對比

為客觀評價各算法對圖像的增強效果，本文采用信息熵（IE），熵增強（EME）[22]和平均梯度（AG）3個客觀指標對增強后的圖像進行定量評價。其中，IE代表圖像中的信息含量程度；EME是對圖像局域灰度的變化程度的表現(xiàn)，局域灰度變化越強，圖像表現(xiàn)出的細節(jié)越強；AG為圖像梯度圖上所有點的均值，反映了圖像中的細節(jié)反差和紋理變化特征。表1、表2和表3分別為圖4、圖5和圖6中各個算法處理后的圖像的相關(guān)指標的計算結(jié)果。表1、表2和表3可以看出，HE算法的信息熵最高，但是其EME和AG相對較低，反映出其細節(jié)信息較差。本文方法與HE算法、Gamma校正算法，CLAHE算法和文獻[10]中提到的算法相比，其指標相對較高，說明本文處理后的圖像具有較高的質(zhì)量，細節(jié)信息得到較好的增強，且圖4(f)、圖5(f)和圖6(f)中紋理和邊緣突出效果明顯、清晰。綜上可以看出本文方法紅外圖像增強效果較好，且具有可行性和優(yōu)化性。

表1 圖4對應(yīng)圖像IE，EME和AG指標

表2 圖5對應(yīng)圖像IE，EME和AG指標

表3 圖6對應(yīng)圖像IE，EME和AG指標

4 結(jié)論

為突出紅外圖像細節(jié)信息，使紅外圖像邊緣和紋理清晰，本文提出一種基于多尺度加權(quán)引導濾波的紅外圖像增強方法。該方法將SKWGIF與多尺度引導濾波相結(jié)合對圖像進行分層處理；對基礎(chǔ)層用CLAHE算法，增強輸出圖像的對比度；采用MPMAP算法和Gamma校正算法對細節(jié)層進行增強處理，增加并突出輸出圖像的細節(jié)信息。實驗結(jié)果表明，本文方法可以增強圖像的對比度，同時對圖像細節(jié)信息的增強效果明顯，且增強后的圖像紋理和邊緣比較自然，清晰且明顯。本文算法局限之處在于增強后的圖像會出現(xiàn)塊效應(yīng)的現(xiàn)象。

[1] 鞠默然, 羅海波, 劉廣琦, 等. 采用空間注意力機制的紅外弱小目標檢測網(wǎng)絡(luò)[J]. 光學精密工程, 2021, 29(4): 843-853.

JU M R, LUO H B, LIU G Q, et al. Infrared dim and small target detection network based on spatial attention mechanism[J].., 2021, 29(4): 843-853.

[2] 趙尚男, 王靈杰, 張新, 等. 采用視覺特征整合的紅外弱小目標檢測[J]. 光學精密工程, 2020, 28(2): 497-506.

ZHAO S N, WANG L J, ZHANG X, et al. Detection of infrared dim small target based on visual feature integration [J].., 2020, 28(2): 497-506.

[3] ZHU D P, ZHAN W D, JIANG Y C, et al. MIFFuse: a multi-level feature fusion network for infrared and visible images [J]., 2021, 9: 130778-130792.

[4] 谷雨, 劉俊, 沈宏海, 等. 基于改進多尺度分形特征的紅外圖像弱小目標檢測[J]. 光學精密工程, 2020, 28(6): 1375-1386.

GU Y, LIU J, SHEN H H, et al. Infrared dim-small target detection based on an improved multiscale fractal feature [J].., 2020, 28(6): 1375-1386.

[5] WANG Z J, LUO Y Y, JIANG S Z, et al. An improved algorithm for adaptive infrared image enhancement based on guided filtering[J]., 2020, 40(11): 3463-3467.

[6] WANG Y F, BAI X Z. Intensity inhomogeneity suppressed fuzzy C-means for infrared pedestrian segmentation[J]., 2018, 20(9): 3361-3374.

[7] ASHIBA H I, ASHIBA M I. Super-efficient enhancement algorithm for infrared night vision imaging system[J]., 2021, 80(6): 9721-9747.

[8] JIANG Y C, LIU Y Q, ZHAN W D, et al. Lightweight dual-stream residual network for single image super-resolution[J]., 2021, 9: 129890-129901.

[9] WANG J J, LI Y, CAO L, et al. Range-restricted pixel difference global histogram equalization for infrared image contrast enhancement[J]., 2021, 28(2): 145-158.

[10] WAN M J, GU G H, QIAN W X, et al. Infrared image enhancement using adaptive histogram partition and brightness correction[J]., 2018, 10(5): 682.

[11] ZUO C, CHEN Q, LIU N, et al. Display and detail enhancement for high-dynamic-range infrared images[J]., 2011, 50(12): 127401.

[12] LIU N, ZHAO D X. Detail enhancement for high -dynamic-range infrared images based on guided image filter[J]., 2014, 67: 138-147

[13] CHEN F R, ZHANG J L, CAI JJ, et al. Infrared image adaptive enhancement guided by energy of gradient transformation and multiscale image fusion [J]., 2020, 10(18): 6262.

[14] SUN Z G, HAN B, LI J, et al. Weighted guided image filtering with steering Kernel[J]., 2019, 29: 500-508.

[15] HE K M, SUN J, TANG X O. Guided image filtering[J]., 2012, 35(6): 1397-1409.

[16] LU Z W, LONG B Y, LI K, et al. Effective guided image filtering for contrast enhancement[J]., 2018, 25(10): 1585-1589.

[17] LI Z G, ZHENG J H, ZHU Z J, et al. Weighted guided image filtering [J]., 2014, 24(1): 120-129.

[18] TAKEDA H, FARSIU S, MILANFAR P. Kernel regression for image processing and reconstruction[J]., 2007, 16(2): 349-366.

[19] YAKNO M, MOHAMAD-Saleh J, IBRAHIM M Z. Dorsal hand vein image enhancement using fusion of CLAHE and fuzzy adaptive Gamma[J]., 2021, 21(19): 6445.

[20] 劉秀, 劉詠, 林招榮. 最大后驗概率算法在遙感圖像復原中的應(yīng)用[J]. 光學學報, 2013(B12): 206-212.

LIU X, LIU Y, LIN Z R. Application of maximum a posteriori algorithm in remote sensing image reconstruction[J]., 2013(B12): 206-212.

[21] 劉秀, 金偉其, 徐超. 基于MPMAP序列紅外圖像高分辨力重建和非均勻性校正[J]. 電子學報, 2011, 39(9): 2103-2107.

LIU X, JIN W Q, XU C. High-resolution reconstruction and non-uniformity correction from images sequences based on Poisson-Markov model MAP[J]., 2011, 39(9): 2103-2107.

[22] AGAIAN S S, PANETTA K, GRIGORYAN A M. A new measure of image enhancement[C]//, 2000: 19-22.

Infrared Image Enhancement Method Based on Multiscale Weighted Guided Filtering

HU Jiahui，ZHAN Weida，GUI Tingting，SHI Yanli，GU Xing

(,,130000,)

Existing infrared images have problems on fuzzy details, unclear edges, and texture. This paper proposed an infrared image enhancement method based on weighted guided filtering to solve these problems. First, multiscale weighted guided filtering with steering kernel layered the input images. It obtained detailed layer images and a base layer image. Subsequently, maximum posterior probability algorithm based on Markov-Poisson and Gamma correction algorithms enhanced the detailed layer images. Adaptive histogram equalization algorithm with limited contrast stretched the contrast of the base layer image. Finally, enhanced images were obtained through linear fusion. The subjective and objective experimental results show that the proposed method had good detail enhancement effects, and the edges and texture information of the processed images were relatively prominent. The proposed method had better calculation results for information entropy(IE), entropy enhancement(EME), and mean gradient (AG). It satisfies the requirements for enhanced infrared images and clear edge textures.

infrared image, guided image fitter, detail enhancement, histogram equalization

TP394.1；TH691.9

A

1001-8891(2022)10-1082-07

2021-12-13；

2021-12-26.

胡家琿（1996-），男，山東臨沂人，碩士研究生，主要從事機器視覺、圖像增強等方面的研究。E-mail: hujiahuia@163.com。

詹偉達（1979-），男，吉林長春人，博士，教授，博士生導師，主要從事數(shù)字圖像處理、紅外圖像技術(shù)和自動目標識別等方面的研究。E-mail：zhanweida@cust.edu.cn。

吉林省發(fā)展與改革委員會創(chuàng)新能力建設(shè)專項（FG2021236JK）。