巫 玲，陳念年，廖小華

區(qū)域自適應(yīng)多尺度強(qiáng)光融合的紅外圖像增強(qiáng)

巫 玲，陳念年，廖小華

（西南科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，四川 綿陽(yáng) 621010）

圖像增強(qiáng)可以分為全局增強(qiáng)和局部增強(qiáng)兩種技術(shù)，當(dāng)前基于局部的圖像增強(qiáng)技術(shù)無(wú)法準(zhǔn)確地對(duì)目標(biāo)和背景進(jìn)行分割且難以自適應(yīng)地對(duì)分割區(qū)域進(jìn)行增強(qiáng)。本文提出了一種區(qū)域自適應(yīng)多尺度強(qiáng)光融合算法用于紅外圖像的增強(qiáng)處理。該算法首先使用語(yǔ)義分割技術(shù)完成目標(biāo)區(qū)域和背景區(qū)域的劃分，然后使用改進(jìn)后的多尺度強(qiáng)光融合算法分別對(duì)各區(qū)域進(jìn)行自適應(yīng)增強(qiáng)。實(shí)驗(yàn)結(jié)果表明，所提算法的增強(qiáng)效果均優(yōu)于當(dāng)前主流算法，圖像增強(qiáng)的視覺(jué)效果更真實(shí)。

紅外圖像；圖像增強(qiáng)；強(qiáng)光融合；多尺度

0 引言

紅外成像技術(shù)具備穿透性強(qiáng)、隱蔽性好、辨識(shí)性高等優(yōu)點(diǎn)，紅外圖像在軍事、監(jiān)控、工業(yè)等領(lǐng)域取得廣泛應(yīng)用。與可見(jiàn)光成像技術(shù)相比，紅外成像容易受到大氣環(huán)境和成像設(shè)備的影響，這導(dǎo)致紅外圖像存在對(duì)比度低、細(xì)節(jié)大量丟失的問(wèn)題，需要進(jìn)行增強(qiáng)處理。

圖像增強(qiáng)不僅是圖像邊緣檢測(cè)與特征提取等技術(shù)的基礎(chǔ)，還是提高圖像視覺(jué)效果的主要手段。

目前，圖像增強(qiáng)可以分為全局增強(qiáng)和局部增強(qiáng)兩種技術(shù)。前者指的是不考慮像素在圖像空間中的分布情況，對(duì)所有像素使用相同的映射關(guān)系進(jìn)行灰度變換，主要有線性變換、非線性變換、直方圖均衡化、Retinex理論、多曝光融合以及深度學(xué)習(xí)等方法。線性變換與非線性變換理論簡(jiǎn)單，變換函數(shù)的選取決定了圖像增強(qiáng)的效果；直方圖均衡化在增強(qiáng)圖像的同時(shí)會(huì)減少圖像的灰度級(jí)并帶來(lái)新的噪聲。Retinex理論認(rèn)為原始圖像等于光照?qǐng)D像和反射圖像的乘積，從原始圖像中剝離光照?qǐng)D像，剩下的反射圖像就是圖像增強(qiáng)的結(jié)果。單尺度Retinex[1]算法難以對(duì)光照?qǐng)D像進(jìn)行準(zhǔn)確的估計(jì)，多尺度Retinex算法[2]綜合多種光照信息以提高圖像的增強(qiáng)效果。文獻(xiàn)[3]首先將觀測(cè)圖像分解成光照?qǐng)D像與反射圖像，然后對(duì)光照?qǐng)D像進(jìn)行拉普拉斯金字塔變換并進(jìn)一步得到新的光照?qǐng)D像，最終通過(guò)融合光照?qǐng)D像和反射圖像達(dá)到圖像增強(qiáng)的目的。文獻(xiàn)[4]利用深度學(xué)習(xí)技術(shù)設(shè)計(jì)了一種卷積神經(jīng)網(wǎng)絡(luò)用于圖像增強(qiáng)，該網(wǎng)絡(luò)可以自適應(yīng)地將原始圖像分解為光照?qǐng)D像和反射圖像，通過(guò)采用大量成對(duì)的高、低質(zhì)量圖像作為訓(xùn)練樣本而獲得一個(gè)能夠完成圖像增強(qiáng)的映射模型，最終實(shí)現(xiàn)圖像的增強(qiáng)處理。多曝光融合技術(shù)要求獲取同一場(chǎng)景下不同曝光程度的多幅圖像，根據(jù)圖像的曝光程度和像素信息計(jì)算相機(jī)響應(yīng)函數(shù)從而達(dá)到圖像增強(qiáng)的目的。多曝光融合技術(shù)要求獲取同一場(chǎng)景下不同曝光程度的多幅圖像，文獻(xiàn)[5-6]根據(jù)計(jì)算得到相機(jī)響應(yīng)函數(shù)從而達(dá)到圖像增強(qiáng)的目的。文獻(xiàn)[7]首先利用一幅原始圖像生成多幅不同曝光程度的圖像，然后根據(jù)設(shè)計(jì)好的權(quán)值矩陣對(duì)原始圖像和生成的曝光圖像進(jìn)行最終的合成。

為了避免全局增強(qiáng)方法容易導(dǎo)致局部過(guò)增強(qiáng)、顏色失真的現(xiàn)象，局部增強(qiáng)方法得到了重視與發(fā)展。文獻(xiàn)[8]提出了深度雙邊網(wǎng)絡(luò)用于圖像的增強(qiáng)研究，雖然獲得的網(wǎng)絡(luò)模型是一個(gè)全局映射關(guān)系，但由于該網(wǎng)絡(luò)充分考慮了原始圖像的局部信息和全局信息，所以增強(qiáng)后的圖像具有較好的細(xì)節(jié)表現(xiàn)。文獻(xiàn)[9]將紅外圖像分割成目標(biāo)區(qū)、過(guò)渡區(qū)和背景區(qū)3種區(qū)域，對(duì)各區(qū)域進(jìn)行不同的灰度變換而完成了紅外圖像的增強(qiáng)處理。文獻(xiàn)[10]利用視覺(jué)顯著性區(qū)域檢測(cè)將原始圖像分解成目標(biāo)分量和背景分量，通過(guò)分別對(duì)目標(biāo)分量和背景分量進(jìn)行處理而實(shí)現(xiàn)了圖像增強(qiáng)。

綜上，目前基于局部的圖像增強(qiáng)方法研究較少，且無(wú)法準(zhǔn)確地分割原始圖像。強(qiáng)光融合[11]技術(shù)以平均灰度級(jí)為閾值將原始圖像分解成明暗兩個(gè)分量，并利用全局高頻分量對(duì)明暗分量進(jìn)行增強(qiáng)處理而得到增強(qiáng)后的圖像。

強(qiáng)光融合技術(shù)采用平均灰度級(jí)分割圖像且全局高頻分量存在尺度性，本文在強(qiáng)光融合的基礎(chǔ)上提出了一種區(qū)域自適應(yīng)多尺度強(qiáng)光融合算法。所提算法首先準(zhǔn)確地對(duì)目標(biāo)和背景進(jìn)行區(qū)域分割，然后從各區(qū)域中獲取多種尺度的高頻分量并利用各區(qū)域的平均像素對(duì)目標(biāo)區(qū)域和背景區(qū)域進(jìn)行明暗分解，最后通過(guò)加權(quán)融合目標(biāo)區(qū)域和背景區(qū)域從而得到增強(qiáng)圖像。

1 本文算法

全文算法模型如圖1所示，首先利用語(yǔ)義分割技術(shù)將給定的紅外圖像分割成目標(biāo)和背景兩類圖像，再對(duì)目標(biāo)圖像和背景圖像分別進(jìn)行自適應(yīng)多尺度強(qiáng)光融合，最后將目標(biāo)圖像與背景圖像融合而實(shí)現(xiàn)圖像增強(qiáng)。

1.1 強(qiáng)光融合

強(qiáng)光融合是一種利用圖像的高頻成分進(jìn)行圖像增強(qiáng)的技術(shù)，在增強(qiáng)圖像的同時(shí)能有效避免過(guò)增強(qiáng)現(xiàn)象的出現(xiàn)。強(qiáng)光融合算法主要分為3步：

Step 1：計(jì)算圖像增強(qiáng)所需的模板：

＝＜0.5 (1)

Step 2：獲取輸入圖像的高反差分量：

＝－*＋0.5 (2)

Step 3：對(duì)輸入圖像進(jìn)行增強(qiáng)處理：

＝1·＋2·(1－) (3)

式中：為歸一化至[0, 1]之間的單通道原始圖像；表示增強(qiáng)后的圖像；表示高斯算子，“*”表示卷積運(yùn)算；為一個(gè)0-1矩陣；“·”表示點(diǎn)乘運(yùn)算。1和2根據(jù)式(4)、式(5)計(jì)算：

1＝2··(4)

2＝1－2·(1－)·(1－) (5)

圖1 區(qū)域自適應(yīng)多尺度強(qiáng)光融合算法流程圖

1.2 多尺度強(qiáng)光融合

雖然紅外圖像普遍存在對(duì)比度低、細(xì)節(jié)損失的問(wèn)題，但拍攝場(chǎng)景、拍攝技術(shù)以及拍攝設(shè)備本身等差異性仍將決定紅外圖像質(zhì)量各異。強(qiáng)光融合技術(shù)的關(guān)鍵在于從圖像中提取合適的高頻分量，若待增強(qiáng)的紅外圖像中只含有少量高頻成分，則必須將式(2)使用的高斯濾波器的值設(shè)置較大才能確保得到足夠有效的細(xì)節(jié)信息。本小節(jié)提出了多尺度強(qiáng)光融合算法以更有效地實(shí)現(xiàn)紅外圖像增強(qiáng)，算法分為4步：

Step 1：利用式(1)計(jì)算圖像增強(qiáng)所需的模板；

Step 2：設(shè)計(jì)多個(gè)高斯濾波器（不同），獲取給定紅外圖像的多級(jí)高頻分量：

h＝－*W＋0.5 (6)

Step 3：針對(duì)各級(jí)高頻分量對(duì)原始圖像進(jìn)行強(qiáng)光融合：

y＝1(k)·＋2(k)·(1－) (7)

Step4：將不同尺度的增強(qiáng)圖像進(jìn)行加權(quán)融合：

式中：表示尺度個(gè)數(shù)；W表示第個(gè)高斯算子；h和y分別表示W濾波得到的高頻分量和對(duì)應(yīng)的增強(qiáng)圖像，1(k)和2(k)分別將和h代入式(4)、式(5)計(jì)算得到。

圖2、圖3展示了不同尺度下的高頻分量及對(duì)應(yīng)的增強(qiáng)圖像。

圖2 s＝1對(duì)應(yīng)的高頻分量及增強(qiáng)圖像

圖3 s＝5對(duì)應(yīng)的高頻分量及增強(qiáng)圖像

1.3 區(qū)域自適應(yīng)多尺度強(qiáng)光融合

被動(dòng)式紅外成像是一種根據(jù)物體自身輻射熱量而成像的技術(shù)。在夜晚或室內(nèi)等場(chǎng)景中，由于人體、機(jī)器等與環(huán)境溫差較大，紅外相機(jī)拍攝到的圖像通常表現(xiàn)為目標(biāo)明亮和背景暗淡的現(xiàn)象。強(qiáng)光融合算法在計(jì)算模板（式(2)）時(shí)沒(méi)有考慮到目標(biāo)和背景的差異性，本小節(jié)提出區(qū)域自適應(yīng)多尺度強(qiáng)光融合算法，該算法的核心部分在于根據(jù)目標(biāo)區(qū)域和背景區(qū)域自適應(yīng)地計(jì)算閾值。因此的計(jì)算方法如式(9)所示：

＝＜vg(9)

式中：表示目標(biāo)區(qū)域或背景區(qū)域；vg是中像素的均值。

自適應(yīng)融合的關(guān)鍵在于目標(biāo)/背景分割的完整性，本文重新訓(xùn)練了語(yǔ)義分割網(wǎng)絡(luò)（Unet[12]）以對(duì)原始圖像實(shí)現(xiàn)區(qū)域分割。圖4對(duì)比展示了兩種圖像分割方法的分割效果，其中，(a)表示圖像顯著性檢測(cè)（Itti[13]）的結(jié)果，(b)表示圖像語(yǔ)義分割的結(jié)果。

圖4 兩種不同圖像分割方法的分割結(jié)果

2 實(shí)驗(yàn)與分析

本文實(shí)驗(yàn)中，Unet網(wǎng)絡(luò)訓(xùn)練用到的軟件硬件平臺(tái)為：Linux操作系統(tǒng)Ubuntu16.04，Intel Xeon E5-1630 v3@3.7GHz四核處理器，16GB內(nèi)存，Nvidia GTX 1080Ti 11GB顯卡，實(shí)驗(yàn)程序在keras2.2.5框架下使用Python 2.7.15語(yǔ)言編寫。部分對(duì)比實(shí)驗(yàn)的軟硬件平臺(tái)為：Windows 7旗艦版64位操作系統(tǒng)，Intel(R) Core(TM) i5-6500 CPU @ 3.20GHz，8GB內(nèi)存，編程環(huán)境為Matlab 2015a.

2.1 實(shí)驗(yàn)數(shù)據(jù)及評(píng)價(jià)指標(biāo)

文中主要使用實(shí)驗(yàn)室自主拍攝的紅外圖像展開研究，部分紅外圖像如圖5所示。

為了全面地評(píng)價(jià)圖像增強(qiáng)的效果，選擇Brenner函數(shù)[14]和圖像熵（Entropy）作為圖像的客觀評(píng)價(jià)指標(biāo)。Brenner函數(shù)是一種梯度評(píng)價(jià)函數(shù)，定義如式(10)所示：

式中：(,)表示圖像第(,)處的像素值；、分別表示圖像的高和寬；值越大說(shuō)明圖像清晰度越好，質(zhì)量越高。

圖像信息熵反映圖像信息的豐富程度，定義如式(11)所示：

式中：L表示圖像的灰度級(jí)；pi表示第i個(gè)灰度級(jí)出現(xiàn)的概率；E值越大說(shuō)明圖像質(zhì)量越高。

2.2 算法有效性驗(yàn)證

為了驗(yàn)證所提算法的多尺度和區(qū)域自適應(yīng)閾值計(jì)算的有效性，對(duì)單尺度強(qiáng)光融合增強(qiáng)、多尺度強(qiáng)光融合增強(qiáng)以及區(qū)域自適應(yīng)多尺度強(qiáng)光融合增強(qiáng)進(jìn)行了對(duì)比實(shí)驗(yàn)，代表性結(jié)果如圖6所示。單尺度時(shí)高斯濾波器＝3，多尺度時(shí)＝2、3、5、7、9、11、13。對(duì)比圖6和表1，本文提出的算法能有效增強(qiáng)圖像的目標(biāo)區(qū)域與背景區(qū)域，其增強(qiáng)效果更真實(shí)，指標(biāo)得分更高。

2.3 不同算法的實(shí)驗(yàn)對(duì)比

將文中所提算法與基于光照?qǐng)D估計(jì)的微光圖像增強(qiáng)（Low-light image enhancement via Illumination Map Estimation，LIME）[15]、保持自然增強(qiáng)（Naturalness Preserved Enhancement，NPE）[16]、相機(jī)響應(yīng)模型（Camera Response Model，CRM）[6]、多偏差融合（Multi-deviation Fusion method，MF）[3]、仿生多曝光融合（Bio-Inspired Multi-Exposure Fusion，BIMEF）[7]、帶色彩恢復(fù)的多尺度Retinex算法（Multi-Scale Retinex with Color Restoration，MSRCR）[17]等主流算法進(jìn)行比較，圖7給出了不同算法的增強(qiáng)結(jié)果的對(duì)比，表2給出了對(duì)比指標(biāo)數(shù)據(jù)。

由圖7(g)和(h)可知，本文所提多尺度算法比MSRCR增強(qiáng)的圖像直觀感覺(jué)更真實(shí)、清晰度更高；BIMEF是一種多曝光融合算法，MF是將原始圖像分解成光照分量和反射分量并對(duì)光照分量進(jìn)行多尺度增強(qiáng)融合的算法，對(duì)比圖7(e)和(f)，BIMEF算法增強(qiáng)的圖像更有層次感；對(duì)比圖7(c)～(f)，NPE、CRM和MF算法增強(qiáng)效果相近，NPE相對(duì)更佳；圖7(a)顯示，LIME算法出現(xiàn)全局過(guò)增強(qiáng)現(xiàn)象。

圖6 算法有效性驗(yàn)證效果展示

表1 算法有效性驗(yàn)證的評(píng)價(jià)指標(biāo)對(duì)比

從表2中可以看出，無(wú)論是Brenner評(píng)價(jià)函數(shù)還是信息熵，本文算法均最優(yōu)。排名第2的LIME算法，直觀看來(lái)具有全局過(guò)增強(qiáng)的不足。Brenner評(píng)價(jià)函數(shù)和信息熵對(duì)各算法的評(píng)價(jià)時(shí)，只有對(duì)CRM算法和BIMEF算法交換了順序，其他算法排名均保持了一致。

圖7 不同算法增強(qiáng)效果對(duì)比

表2 不同算法增強(qiáng)后的評(píng)價(jià)指標(biāo)對(duì)比

3 結(jié)論

本文在現(xiàn)有強(qiáng)光融合算法的基礎(chǔ)上提出一種區(qū)域自適應(yīng)多尺度強(qiáng)光融合算法用于紅外圖像的增強(qiáng)研究，該算法充分考慮了原始圖像的區(qū)域信息和多種尺度的高頻特征。

本文方法與目前主流圖像增強(qiáng)算法進(jìn)行比較，結(jié)果表明，所提算法主觀、客觀上均能更真實(shí)地增強(qiáng)圖像。

[1] Land E H, Mccann J J. Lightness and retinex theory[J]., 1971, 61(1):1-11.

[2] Jobson D J, Rahman Z, Woodell G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]., 1997, 6(7): 965-976.

[3] FU X, ZENG D, HUANG Y, et al. A Fusion-based Enhancing Method for Weakly Illuminated Images[J]., 2016, 12(129):82-96.

[4] CHEN W, WANG W, YANG W, et al. Deep Retinex Decomposition for Low-Light Enhancement[C]//(),2018: 61772043.

[5] Debevec P E, Malik J. Recovering high dynamic range radiance maps from photographs[C]//97, 1997: 369-378.

[6] YING Z, LI G, REN Y, et al. A New Low-Light Image Enhancement Algorithm using Camera Response Model[C]//()., 2017: 3015-3022.

[7] YING Z, LI G, GAO W. A Bio-Inspired Multi-Exposure Fusion Framework for Low-light Image Enhancement[J]., 2015, 14(8): 1-10.

[8] Gharbi M, Chen J, Barron J T, et al. Deep Bilateral Learning for Real-Time Image Enhancement[J]., 2017, 36(4): 118.

[9] 徐軍, 梁昌洪, 張建奇. 一種紅外圖像增強(qiáng)的新方法[J]. 西安電子科技大學(xué)學(xué)報(bào): 自然科學(xué)版, 2000, 27(5): 14-17.

XU J, LIANG C H, ZHANG J Q. A New Approach to IR Image Enhancement[J], 2000, 27(5): 14-17.

[10] 汪忱, 張寶輝, 王虹, 等. 基于視覺(jué)顯著區(qū)域的紅外圖像增強(qiáng)算法研究[J]. 紅外技術(shù), 2017(9): 835-840.

WANG C, ZHANG B H, WANG H, etc. Research on Infrared Image Enhancement Algorithm based on Visual Saliency[J]., 2017(9): 835-840.

[11] 關(guān)文濤. 選擇的藝術(shù)：Photoshop CS圖層通道深度剖析[M]. 北京:人民郵電出版社, 2006: 459.

GUAN W T.[M]. BeiJing: People's Posts and Telecommunications Press, 2006: 459.

[12] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation[C]//, 2015: 234-241.

[13] Itti L. A model of saliency-based visual attention for rapid scene analysis[J]., 1998, 20(11): 1254-1259.

[14] 王竑舒, 徐熙平. 廣角相機(jī)圖像的調(diào)焦評(píng)價(jià)函數(shù)研究[J].長(zhǎng)春理工大學(xué)學(xué)報(bào): 自然科學(xué)版, 2019(3): 38-41, 50.

WANG H S, XU X P. Study on Focusing Evaluation Function of Wide-angle Camera Image[J].: Natural Science Edition , 2019(3): 38-41, 50.

[15] GUO X, LI Y, LING H. LIME: Low-Light Image Enhancement via Illumination Map Estimation[J]., 2017, 26(2): 982-993.

[16] WANG S, ZHENG J, HU H M, et al. Naturalness Preserved Enhancement Algorithm for Non-Uniform Illumination Images[J]., 2013, 22(9): 3538-3548.

[17] Petro A B, Sbert C, Morel J M. Multiscale Retinex[J]., 2014(4): 71-88.

Infrared Image Enhancement Based on Regional Adaptive Multiscale Intense Light Fusion

WU Ling，CHEN Niannian，LIAO Xiaohua

(,621010,)

Image enhancement can be divided into two kinds: global enhancement and local enhancement. Current image enhancement techniques based on local enhancement cannot accurately segment the target area and background, and it is difficult to enhance the segmentation region adaptively. In this paper, a region-adaptive multi-scale strong light fusion algorithm is proposed for infrared image enhancement. Firstly, semantic segmentation technology is used to divide the target area and background area. Then, the improved multi-scale strong light fusion algorithm is used to enhance each area adaptively. The experimental results show that the enhancement effect of the proposed algorithm is better than that of the current conventional algorithms, and the visual effect of image enhancement is more realistic.

infrared images, image enhancement, intense light fusion, multi scale

TP39

A

1001-8891(2020)11-1072-06

2019-12-30；

2020-11-03.

巫玲（1982-）女，四川遂寧人，講師，碩士，主要研究方向?yàn)楣鈱W(xué)測(cè)量、視覺(jué)檢測(cè)。Email：wuling751@126. com。