李 牧，周瑞杰，田哲嘉

基于直方圖的熱紅外圖像增強(qiáng)方法

李 牧，周瑞杰，田哲嘉

（西安理工大學(xué) 自動(dòng)化與信息工程學(xué)院，陜西 西安 710048）

為了改善熱紅外圖像的增強(qiáng)效果，本文提出了一種基于改進(jìn)的直方圖裁剪方法的熱紅外圖像增強(qiáng)算法。該算法核心是確定熱紅外原始圖像與傳統(tǒng)的直方圖均衡化圖像的直方圖bins中像素點(diǎn)的數(shù)量差，再根據(jù)范圍準(zhǔn)則，將計(jì)算出的不同bins的差值劃分為不同的區(qū)塊。然后重新分配直方圖，確定變換函數(shù)，得到增強(qiáng)后的熱紅外圖像。該算法是一種改進(jìn)的全局直方圖均衡化方法，在對(duì)比度增強(qiáng)、直方圖形狀和細(xì)節(jié)信息之間可以做到較好的平衡。本文算法的峰值信噪比、結(jié)構(gòu)相似度和均方誤差的平均值分別為27.5、0.923和0.59，均優(yōu)于其他算法，實(shí)驗(yàn)結(jié)果表明，該方法能有效增強(qiáng)熱紅外圖像。

熱紅外圖像；圖像增強(qiáng)；直方圖均衡化；直方圖裁剪

0 引言

近年來，紅外熱成像技術(shù)是一個(gè)發(fā)展非常迅速的研究領(lǐng)域[1]。應(yīng)用范圍包括醫(yī)療診斷、建筑檢查和工業(yè)檢測(cè)維修，自然科學(xué)的可視化以及安防和軍事探測(cè)等[2]。

紅外熱成像技術(shù)可以進(jìn)行定性可視化和成像，同時(shí)也可以對(duì)物體表面溫度進(jìn)行定量測(cè)量。物體的分子、原子通過熱運(yùn)動(dòng)會(huì)產(chǎn)生人眼不可見的紅外波段的熱輻射，再經(jīng)過紅外熱成像系統(tǒng)將采集的紅外輻射轉(zhuǎn)換為熱紅外圖像。在夜間和惡劣環(huán)境下熱紅外的成像能力遠(yuǎn)遠(yuǎn)優(yōu)于可見光成像，但是由于大氣中水分子對(duì)紅外輻射的吸收，將會(huì)對(duì)熱紅外成像性能造成不良影響[3]。有時(shí)，成像傳感器質(zhì)量低、用戶經(jīng)驗(yàn)不足或者操作失誤等原因，也會(huì)造成熱紅外圖像的效果不理想，所以需要對(duì)圖像進(jìn)行一些處理使其更適合人眼觀察或機(jī)器識(shí)別[4]。

圖像增強(qiáng)技術(shù)是一種圖像預(yù)處理方法，在改善圖像效果，強(qiáng)調(diào)某些細(xì)節(jié)信息和特征等方面起著重要作用[5-7]。圖像增強(qiáng)有多種方式，許多基于頻域和空域、基于直方圖均衡（histogram equalization，HE）[8]、基于融合[9]和基于Retinex[10]的方法已經(jīng)被用以增強(qiáng)圖像的對(duì)比度。其中，基于直方圖均衡的對(duì)比度增強(qiáng)算法因其易于實(shí)現(xiàn)而被廣泛應(yīng)用。

熱紅外圖像因受非均勻性和隨機(jī)噪聲的影響，與可見光圖像相比，普遍存在空間相關(guān)性強(qiáng)、對(duì)比度低、信噪比低、邊緣易模糊等問題，因此在處理方法上和可見光的處理存在差異。

本文針對(duì)熱紅外圖像的成像特點(diǎn)，提出了一種改進(jìn)的基于差分直方圖bins技術(shù)的直方圖裁剪方法，在保持原始直方圖模式的同時(shí)，獲得了良好的對(duì)比度增強(qiáng)效果。

1 直方圖均衡化原理

直方圖均衡化的目的是將隨機(jī)分布的圖像直方圖修改成均勻分布的直方圖[11]，如圖1所示。

圖1 直方圖均衡化的目的

式中：1、2為灰度值；為不同灰度值對(duì)總灰度值的占比。

因此基于直方圖均衡化的圖像增強(qiáng)技術(shù)的基本思想是：對(duì)原始圖像的像素灰度做某種映射變換，使圖像灰度級(jí)概率密度函數(shù)（probability density function，PDF）進(jìn)行重新排布，將原始圖像直方圖中較大概率的灰度級(jí)分散到更多的輸出灰度級(jí)上，對(duì)較低概率的灰度級(jí)進(jìn)行合并和壓縮，從而在灰度級(jí)范圍不變的情況下實(shí)現(xiàn)圖像灰度的動(dòng)態(tài)范圍的增加，同時(shí)提高了圖像的對(duì)比度[12]。該技術(shù)不僅用于可見光圖像增強(qiáng)，同樣也適用于熱紅外圖像細(xì)節(jié)增強(qiáng)[13]。直方圖均衡化示意圖如圖2所示。圖中：、1和2為灰度值；()和eq()分別為原圖像和直方圖均衡化后圖像的像素點(diǎn)個(gè)數(shù)；()為映射函數(shù)。

直方圖均衡化原理如下：

假設(shè)輸入紅外熱圖像為＝?{(,)}，其中(,)表示像素的空間坐標(biāo)，(,)表示圖像灰度級(jí)。圖像分辨率大小為×，則整個(gè)動(dòng)態(tài)范圍內(nèi)的像素總數(shù)為，也就是說，(0,S－1)為，即＝×。的值等于2，為位數(shù)，此處＝8。

第一步，求解輸入圖像的概率密度函數(shù)如下：

(S)＝n/(1)

式中：＝0, 1, …,－1，n表示灰度等級(jí)為S時(shí)的像素點(diǎn)數(shù)。

圖2 直方圖均衡化示意圖

第二步，求解累積分布函數(shù)（cumulative distribution function，CDF）如下：

直方圖均衡是一種利用累積分布函數(shù)作為變換函數(shù)將輸入的原始圖像映射到所有動(dòng)態(tài)范圍的技術(shù)。它的轉(zhuǎn)換函數(shù)(S)通過下式得到：

第三步，求得直方圖均衡化后的圖像：

式中：eq(,)是HE增強(qiáng)圖像。

所有基于直方圖均衡化的方法可以通過不同操作，例如子直方圖、直方圖裁剪處理、動(dòng)態(tài)范圍均衡化（dynamic histogram equalization，DHE）等，使得圖像對(duì)比度增強(qiáng)[14-16]。然而，這些方法并沒有考慮保存直方圖中的峰值（直方圖形狀）。實(shí)際上，對(duì)于所有基于直方圖均衡化的方法，通過改變直方圖的峰值，都可以改善圖像的對(duì)比度，而前文這些方法去除掉了圖像中包含的關(guān)鍵細(xì)節(jié)或信息。本文提出的直方圖裁剪方法主要是通過自適應(yīng)地提高對(duì)比度來保持直方圖中的峰值，這樣才獲得了比直方圖均衡化方法更好的增強(qiáng)效果。

2 改進(jìn)的熱紅外圖像增強(qiáng)算法

本文提出的一種基于直方圖bins差分的改進(jìn)直方圖裁剪方法的框架如圖3所示。

圖3 算法流程圖

該方法具有一個(gè)自適應(yīng)的特征，可以剪裁輸入直方圖的峰值。此外，利用輸入圖像直方圖和均衡化后的直方圖，得到裁剪后的直方圖。該方法包括以下3個(gè)主要內(nèi)容：

1）圖像直方圖；

2）改進(jìn)的直方圖裁剪過程；

3）直方圖bins的差分。

2.1 改進(jìn)的直方圖裁剪方法

對(duì)輸入圖像(,)使用傳統(tǒng)的直方圖均衡化方法，得到增強(qiáng)圖像eq(,)。再計(jì)算增強(qiáng)圖像eq(,)的灰度直方圖，用eq()表示。所有基于HE的方法都是以傳統(tǒng)的HE方法作為比較方法，本文的方法利用了傳統(tǒng)HE方法出現(xiàn)的過增強(qiáng)和欠增強(qiáng)的特性來提高圖像質(zhì)量，從而獲得更好的對(duì)比度。

改進(jìn)的直方圖裁剪方法的核心思想就是控制增強(qiáng)率。參考文獻(xiàn)[17]，提出了改進(jìn)的自適應(yīng)平臺(tái)直方圖均衡化方法，以確定直方圖非空bins的中值作為裁剪閾值e：

通過式(6)計(jì)算修改后的剪裁直方圖：

式中：()是輸入圖像的直方圖；c()是裁剪直方圖，范圍準(zhǔn)則'c()'參考式(7)：

式中：()表示直方圖bins的差值。

2.2 直方圖bins的差分

在基于HE的方法中，我們需要找到各子直方圖的灰度值，并用相應(yīng)的變換函數(shù)分別對(duì)每個(gè)子直方圖做處理，這樣得到的圖像不僅在視覺效果上較差，而且圖像的信息量也會(huì)減少[18]。為了克服這些缺點(diǎn)，本文提出使用直方圖bins的差分方法。

通過式(8)計(jì)算直方圖bins的差值：

()＝eq()－() (8)

式中：()是輸入圖像的直方圖；eq()是HE直方圖；()表示每個(gè)灰度值處的像素?cái)?shù)量差。

在范圍準(zhǔn)則中，()的取值范圍分為6個(gè)部分，目的是利用原始直方圖和HE直方圖建立新的直方圖。

在得到修改后的直方圖c()后，使用式(1)～(4)得到直方圖均衡化增強(qiáng)圖像。

范圍準(zhǔn)則中幾個(gè)常數(shù)的選擇參考了文獻(xiàn)[19]，并對(duì)多組熱紅外圖像進(jìn)行多次試驗(yàn)后進(jìn)行了調(diào)整。這些閾值可以產(chǎn)生一個(gè)新的累積分布函數(shù)，用于生成更接近原始圖像的變換函數(shù)，該函數(shù)將輸入灰度值映射到輸出灰度值。由于該方法使用單一的映射，因此屬于全局HE方法的范疇。

傳統(tǒng)的HE強(qiáng)調(diào)了像素?cái)?shù)較多的直方圖bins的優(yōu)勢(shì)，像素?cái)?shù)量較少的直方圖bins往往被其干擾[20]。一般來說，因?yàn)槔熘狈綀D高頻部分并壓縮直方圖低頻部分的對(duì)比度，會(huì)將灰度集中到直方圖的最左邊或最右邊，造成飽和效應(yīng)[21]，如圖4(b)所示：

圖4 飽和效應(yīng)：(a)原圖及直方圖 (b)HE增強(qiáng)圖像及直方圖

本文方法通過計(jì)算bins差值，克服了HE方法的缺點(diǎn)，并在高頻和低頻直方圖bins中采用了原始直方圖和增強(qiáng)直方圖之間的自適應(yīng)平均值，再利用HE方法的性質(zhì)來保持輸入直方圖的形狀。該方法通過使用特定的算法，生成了一個(gè)具有保留細(xì)節(jié)信息和直方圖模式的對(duì)比度增強(qiáng)圖像。

2.3 算法步驟

該算法的詳細(xì)步驟如下所述：

Step 1：輸入熱紅外原始圖像，為灰度圖像。

Step 2：得到輸入圖像的直方圖和經(jīng)過直方圖均衡化后的HE直方圖，分別為()和eq()，統(tǒng)計(jì)直方圖信息。

Step 3：計(jì)算原始圖像直方圖()的中值e。

Step 4：比較e和eq() (＝0, 1, …, L－1)。如果eq()大于e，則修改后（剪裁）的直方圖c()被指定為1.15e，否則進(jìn)行下一步。

Step 5：使用公式(8)計(jì)算直方圖的差值()。根據(jù)范圍準(zhǔn)則，()的取值范圍分為6部分，由公式(7)為圖像重新分配直方圖，得到c()。

Step 6：使用直方圖均衡化確定變換函數(shù)，通過其中的映射關(guān)系得到增強(qiáng)圖像。

3 實(shí)驗(yàn)結(jié)果與分析

本文采用紅外熱像模組采集紅外熱圖像，分辨率為384×288，像元間距17mm，幀率為25Hz。實(shí)驗(yàn)環(huán)境為MATLAB R2016a，在具有CPU I7@2.70GHz和8 G內(nèi)存的系統(tǒng)中對(duì)圖像進(jìn)行處理。

3.1 主觀評(píng)價(jià)

為了驗(yàn)證本文算法的有效性，對(duì)多組熱紅外圖像進(jìn)行實(shí)驗(yàn)。下面圖5分別給出了(a)～(c)3組圖像的原始圖像，HE、CLAHE（contrast limited adaptive histogram equalization）、DSIHE（dualistic sub-image histogram equalization）和本文提出算法增強(qiáng)后的圖像，并且給出各圖像的直方圖。通過比較能夠發(fā)現(xiàn)與HE和DSIHE算法相比本文算法能夠較好地保存直方圖形狀，CLAHE算法雖然也能夠保持直方圖的基本形狀，但因?yàn)槭褂貌逯档脑颍沟脠D像背景噪聲被放大。從圖像效果上來看，本文算法與其余算法相比，在圖像峰值較多的情況下，如圖(a)，能夠較好地平衡對(duì)比度和直方圖的形狀及細(xì)節(jié)。若圖像只有單峰值如圖(c)，本文算法對(duì)圖像的增強(qiáng)效果在視覺上不能取得理想效果。此外，觀察本文算法在直方圖中的表現(xiàn)，存在個(gè)別bins的數(shù)量“突變”。

3.2 客觀評(píng)價(jià)

本文主要通過熵（entropy，ENT）、均方誤差（mean square error，MSE）、峰值信噪比（peak signal to noise ratio，PSNR）和結(jié)構(gòu)相似度（structural similarity index measure，SSIM）這4方面對(duì)圖像作出客觀評(píng)價(jià)[22]。

圖5 增強(qiáng)圖像及其直方圖

熵指圖像中灰度特征所包含的信息量，用式(9)表示：

式中：為灰度值；()為當(dāng)前灰度值對(duì)灰度總數(shù)的占比。

均方誤差可以評(píng)價(jià)數(shù)據(jù)的變化程度，通過均方值的大小來確定圖像的失真程度，用式(10)來表示：

式中：、分別為圖像的高和寬；X,j表示增強(qiáng)圖像像素點(diǎn)灰度；S,j表示原始圖像像素點(diǎn)灰度。

峰值信噪比指最大信號(hào)量與噪聲強(qiáng)度的比值，同樣可以用來評(píng)價(jià)圖像的失真度，用式(11)來表示：

式中：一般取值255，MSE為均方誤差。

結(jié)構(gòu)相似度實(shí)際上是從亮度、對(duì)比度和結(jié)構(gòu)信息3方面測(cè)量增強(qiáng)圖像相對(duì)于參考圖像的相似性，用式(12)來表示：

式中：、分別為原始圖像和增強(qiáng)后圖像；，，2，2，分別表示圖像、的均值、方差和協(xié)方差，1、2為取值較小的常數(shù)。

表1～4給出圖5中(a)～(c)三組圖像對(duì)應(yīng)的4種評(píng)價(jià)函數(shù)的值。從表1可以看出，與原圖相比，CLAHE算法得到的圖像熵有所增加，HE、DSIHE和本文算法得到的熵均有減少。分析表2～4，除表4中DSIHE算法對(duì)圖(b)的處理得到的結(jié)構(gòu)相似度略大于本文算法的結(jié)果（相差0.01）外，本文算法在均方誤差、峰值信噪比和結(jié)構(gòu)相似度上的表現(xiàn)均優(yōu)于其他算法。

表1 不同算法的熵

表2 不同算法的均方誤差

表3 不同算法的峰值信噪比

表4 不同算法的結(jié)構(gòu)相似度

4 總結(jié)

本文針對(duì)熱紅外圖像的成像效果不理想的問題，提出了一種基于改進(jìn)的直方圖裁剪方法的熱紅外圖像增強(qiáng)算法。將輸入圖像直方圖的中值作為裁剪閾值，利用基于HE方法的直方圖bins的差分來保持輸入直方圖的形狀，并通過范圍準(zhǔn)則重新分配直方圖，最后生成具有保留直方圖模式和細(xì)節(jié)信息的增強(qiáng)圖像。本文選取3組圖像進(jìn)行對(duì)比，其中本文算法在均方誤差、峰值信噪比和結(jié)構(gòu)相似度上都具有較好的表現(xiàn)。實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法的有效性，并發(fā)現(xiàn)在直方圖存在多峰值的情況下算法效果最優(yōu)。今后工作的研究重點(diǎn)是進(jìn)一步優(yōu)化范圍準(zhǔn)則，解決算法在直方圖中表現(xiàn)出來的個(gè)別bins數(shù)量“突變”的問題，以及提高增強(qiáng)后圖像的熵。

[1] 邢素霞, 張俊舉, 常本康, 等. 非制冷紅外熱成像技術(shù)的發(fā)展與現(xiàn)狀[J]. 紅外與激光工程, 2004, 33(5): 441-444.

XING Suxia, ZHANG Junju, CHANG Benkang, et al. Recent Development and Status of Uncooled IR Thermal imaging Technology[J]., 2004, 33(5): 441-444.

[2] MA Wenpo. The development and applications of space thermal infrared imaging technology[C]//, 2009, 7383: 6.

[3] 金佩芬, 秦富貞. 基于改進(jìn)Retinex算法的紅外圖像增強(qiáng)處理[J]. 激光雜志, 2016, 37(7): 43-46.

JIN Peifen, QIN Fuzhen. Infrared Image Enhancement Processing Based on Improved Retinex Algorithm[J]., 2016, 37(7): 43-46.

[4] LEE Jongsen. Digital Image Enhancement and Noise Filtering by Use of Local Statistics[J]., 2009, 2(2): 165-168.

[5] Sengee N, Sengee A, Choi H K. Image Contrast Enhancement using Bi-Histogram Equalization with Neighborhood Metrics[J]., 2010, 56(4): 2727-2734.

[6] Choi B, Yoon J. Adaptive contrast enhancement based on temperature and histogram for an infrared image[C]//, 2009: 1-2.

[7] 李燦林, 劉金華, 宋勝利, 等. 基于粒子群優(yōu)化的紅外圖像增強(qiáng)方法[J]. 科學(xué)技術(shù)與工程, 2019, 19(15): 219-225.

LI Canlin, LIU Jinhua, SONG Shengli, et al. Infrared image enhancement method based on particle swarm optimization[J]., 2019, 19(15): 219-225

[8] WANG Y, CHEN Q, ZHANG B. Image enhancement based on equal area dualistic sub-image histogram equalization method[J]., 1999, 45(1): 68-75.

[9] Donia E A, El-Banby G M, El-Rabaie E S M, et al. Infrared Image Enhancement Based on Both Histogram Matching And Wavelet Fusion[C]//,,, 2016: 111-114.

[10] 張承泓, 李范鳴, 吳瀅躍. 基于自適應(yīng)引導(dǎo)濾波的子帶分解多尺度Retinex紅外圖像增強(qiáng)[J]. 紅外技術(shù),2019, 41(4): 31-36.

ZHANG Chenghong, LI Fanming, WU Yingyue. Infrared Image Enhancement Based on Adaptive Guided Filter and Sub-band Decomposed Multi-scale Retinex[J]., 2019, 41(4): 31-36.

[11] WANG L, YAN J. Method of infrared image enhancement based on histogram[J]., 2011, 7(3): 237-240.

[12] ZHANG Y, WU L, LI T, et al. Image histogram equalization enhancement based on PCNN[J].:, 2010, 40(1): 64-68.

[13] 趙文達(dá), 續(xù)志軍, 趙建, 等. 基于梯度直方圖變換增強(qiáng)紅外圖像的細(xì)節(jié)[J]. 光學(xué)精密工程, 2014, 22(7): 262-268.

ZHAO Wenda, XU Zhijun, ZHAO Jian, et al. Enhancement of infrared image details based on gradient histogram transform[J]., 2014, 22(7): 262-268.

[14] 李賢陽(yáng), 陽(yáng)建中, 楊竣輝, 等. 基于改進(jìn)的直方圖均衡化與邊緣保持平滑濾波的紅外圖像增強(qiáng)算法[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2019, 36(3): 96-103.

LI Xianyang, YANG Jianzhong, YANG Junhui, et al. Infrared image enhancement algorithm based on improved histogram equalization and edge preserving smoothing filtering[J]., 2019, 36(3): 96-103.

[15] NIU Y, WU X, SHI G. Image Enhancement by Entropy Maximization and Quantization Resolution Upconversion[J]., 2016, 25(10): 4815-4828.

[16] 韋瑞峰, 趙榮普, 徐肖慶, 等. 基于直方圖的紅外圖像細(xì)節(jié)增強(qiáng)算法研究[J]. 紅外技術(shù), 2016, 38(6): 472-475.

WEI Ruifeng, ZHAO Rongpu, XU Xiaoqing, et al. Infrared Image Detail Enhancement Based on Histogram[J]., 2016, 38(6): 472-475.

[17] Kong N S P, Ibrahim H, Ooi C H, et al. Enhancement of Microscopic Images Using Modified Self-Adaptive Plateau Histogram Equalization[C]//, 2009: 308-310.

[18] Yoon, Byoung-Woo. Image contrast enhancement based on the generalized histogram[J]., 2007, 16(3): 1-8.

[19] Kandhway P, Bhandari A K. Modified clipping based image enhancement scheme using difference of histogram bins[J].,2019, 13(10): 1658-1670.

[20] Ooi C H, Isa N A M. Quadrants Dynamic Histogram Equalization for Contrast Enhancement[J]., 2010, 56(4): 2552-2559.

[21] Arici T, Dikbas S, Altunbasak Y. A Histogram Modification Framework and Its Application for Image Contrast Enhancement[J]., 2009, 18(9): 1921-1935.

[22] Gonzalez R C, Woods R E.[M]. Singapore: Pearson Prentice Hall, 2002. 75-215.

A Thermal Infrared Image Enhancement Method Based on Histogram

LI Mu，ZHOU Ruijie，TIAN Zhejia

(School of Automation and Information Engineering, Xi'an University of Technology, Xi'an 710048, China)

To improve the enhancement of infrared thermal images, this paper proposes an algorithm based on an improved histogram clipping method. The algorithm determines the difference between the number of pixels in the histogram bins of the original thermal infrared image and the traditional histogram equalization image. Subsequently, based on a specific range criterion, the calculated difference of various histogram bins is divided into different blocks. Next, the histogram is redistributed, and a transform function is determined to obtain the enhanced thermal infrared image. The algorithm is based on an improved global histogram equalization method, which achieves a suitable balance between contrast enhancement, histogram shape, and detail information. The experimental results demonstrate that the average values of the peak signal-to-noise ratio (PSNR), structural similarity index measure (SSIM), and mean-square error (MSE)—27.5, 0.923, and 590 respectively are better than those of other algorithms. Thus, this method effectively enhances the thermal infrared image.

image enhancement，histogram equalization，thermal infrared image，histogram clipping

TP391

A

1001-8891(2020)09-0880-06

2020-01-08；

2020-08-22.

李牧（1973-），男，高級(jí)工程師,研究方向?yàn)榛跓峒t外的物體特征提取技術(shù)研究。

周瑞杰（1995-），男，碩士研究生，研究方向?yàn)槔走_(dá)、熱紅外信息融合。E-mail：2170321217@stu.xaut.edu.cn。