于 洋，康雪雪

(沈陽理工大學信息科學與工程學院，遼寧 沈陽 110159)

車載紅外夜視圖像的小波-遺傳圖像增強算法*

于 洋，康雪雪

(沈陽理工大學信息科學與工程學院，遼寧 沈陽 110159)

針對傳統(tǒng)紅外圖像增強算法在視覺效果上不夠理想的問題，提出了一種適用于車載紅外夜視圖像的圖像增強方法。該方法利用紅外夜視儀的非接觸生成熱圖像的原理，建立了針對車載紅外夜視圖像的小波-遺傳灰度圖像增強方法，并將該方法與傳統(tǒng)的直方圖均衡化法和多尺度Retinex算法進行了對比。在紅外夜視圖像增強效果方面，該方法具有改善圖像亮度均勻性、避免圖像過分增強和抑制噪聲的特點。實驗表明，所提出的小波-遺傳圖像增強算法在車載紅外夜視圖像增強方面的處理效果較好。

紅外夜視圖像；小波-遺傳；遺傳算法；圖像增強

1 引言

車載紅外夜視儀是基于紅外熱成像原理而設(shè)計的汽車輔助駕駛系統(tǒng)，具有廣泛的應(yīng)用前景和巨大的商業(yè)價值。由于紅外熱成像技術(shù)是通過紅外探測器接收汽車夜間行駛道路前方的目標與背景，會受到紅外探測器噪聲、大氣等自然界各種熱輻射因素的影響，其成像的形狀和結(jié)構(gòu)的信息不足，因而在圖像研究領(lǐng)域中，如何提高紅外夜視圖像的增強效果是一個重要的研究課題[1,2]。

近年來，國內(nèi)外學者在圖像增強領(lǐng)域提出了許多新的方法和思路。常用的圖像增強方法主要有直方圖均衡化法[3]和動態(tài)多尺度Retinex圖像增強方法[4]等，在提高了圖像對比度的同時噪聲不可避免地被放大。Stathaki T[5]對圖像融合增強的相關(guān)算法進行了分析總結(jié)，但在工程領(lǐng)域的應(yīng)用性不強；Pohl C等[6]對多傳感器領(lǐng)域的圖像融合技術(shù)進行了總結(jié)，并對相關(guān)概念、方法和應(yīng)用進行了概述，但該方法的應(yīng)用僅限于遙感圖像中；Shah D等[7]提出增強圖像背景信息的四種紅外圖像與可見光圖像融合的方法，圖像的增強效果較明顯，但其對場景的靜態(tài)要求較高，同時在總體細節(jié)方面，視覺上的模糊化痕跡比較明顯。小波分析技術(shù)[8]通過對小波的分解與重構(gòu)，能夠良好地分離信號與噪聲并抑制噪聲，但對于光線暗或非均勻的紅外圖像，其增強后的視覺效果不佳。遺傳算法[9]是一種通過模仿自然界的選擇與遺傳的機理來尋找最優(yōu)解的進化算法，能自適應(yīng)地調(diào)整搜索方向，同時具有可擴展性，容易與其他算法相結(jié)合。在計算精度方面，其具有收斂速度快、計算時間少、魯棒性高等優(yōu)點，并且在人工生命、信號處理、模式識別、自適應(yīng)控制等領(lǐng)域具有廣泛的應(yīng)用。針對車載紅外夜視圖像的增強，本文提出了一種適用于車載紅外夜視圖像的圖像增強方法，并通過實驗仿真和理論計算對算法的性能進行了定性和定量的比較測試。

2 改進的小波-遺傳圖像增強算法

多分辨率分析方法是小波變換的核心思想。在小波分解的過程中，通過小波分解將待分解圖像分解成兩部分，得到低頻系數(shù)部分和高頻系數(shù)部分，同時由高頻系數(shù)獲得兩個連續(xù)的低頻系數(shù)之間損失的信息，保持高頻系數(shù)部分不動，繼續(xù)分解低頻系數(shù)部分。

本文算法流程圖如圖1所示。

Figure 1 Flow chart of the wavelet-genetic image enhancement algorithm

本文提出的適用于車載紅外夜視圖像的增強方法首先將圖像進行小波分解，對低頻部分的圖像采用遺傳算法自適應(yīng)確定分段點的位置，以達到增強低頻圖像的目的；對高頻部分的圖像則采用小波閾值去噪法進行增強，獲得兩個連續(xù)的低頻系數(shù)之間損失的信息的同時又去除噪聲；最后對兩種頻段增強后的圖像進行小波重構(gòu)，即可得到增強的車載紅外夜視圖像。

3 低頻部分圖像的遺傳算法自適應(yīng)增強

由于車載紅外夜視儀采集的圖像是灰度圖像，故可用二維函數(shù)f(x,y)來表示，f(x,y)表示二維坐標點(x,y)的灰度值。本文采用分段線性變換將低頻部分圖像變?yōu)橐粋€新的函數(shù)，以突出灰度區(qū)間或感興趣的目標，即對圖像的灰度區(qū)間分成三段，并對各個區(qū)間進行線性變化[10]。設(shè)圖像經(jīng)過小波分解后低頻部分為f1(x,y)，三段線性函數(shù)的數(shù)學表達式如下：

(1)

對應(yīng)的三段線性函數(shù)圖像如圖2所示。

Figure 2 Three sections of the linear transformation of the image

三段線性變換圖中的兩個折線拐點(T1,H1)、(T2,H2)比較重要，通過調(diào)整兩個拐點的位置即可對灰度區(qū)間進行擴展或壓縮。由此可見，確定最優(yōu)參數(shù)T1、H1、T2和H2是增強低頻部分圖像的關(guān)鍵。

3.1 遺傳算法的實現(xiàn)

本文采用遺傳算法對此四個參數(shù)進行自適應(yīng)確定。因此，在編碼設(shè)計中，每條染色體可以用一維四元數(shù)組(T1,H1,T2,H2)表示，其中，每個基因與數(shù)組中的參數(shù)相對應(yīng)，并采用實數(shù)編碼，這樣，該數(shù)學模型即為求目標規(guī)劃下的(T1,H1,T2,H2)參數(shù)組合問題。

遺傳算法通過構(gòu)建適應(yīng)度函數(shù)來提供個體進化的動力。為了兼顧圖像的結(jié)構(gòu)和細節(jié)、整體和局部之間的平衡，個體的適應(yīng)度函數(shù)采用圖像質(zhì)量評價函數(shù)，計算公式為:

(2)

其中，i表示個體，n=M×N，f1i(x,y) 表示經(jīng)過小波分解后的低頻部分圖像的個體。

公式(2)表明，圖像的增強效果由適應(yīng)度的值決定，即適應(yīng)度值越大，圖像的灰度分布越均勻，對比度越高。

遺傳算子的設(shè)計由選擇算子、交叉算子和變異三部分組成。先按照個體適應(yīng)度的大小，對規(guī)模為p的群體pop={a1,a2,…,ap}進行降序排列；同時，從中挑出最優(yōu)的個體，直接進入下一代種群，對于所有剩下的個體，一律進行交叉和變異操作。然后由交叉算子產(chǎn)生新一代的個體，但為了防止遺傳算法過早地收斂，交叉操作采用算術(shù)交叉法，最終保護種群多樣性。算術(shù)交叉變換公式為：

(3)

3.2 低頻部分圖像的遺傳增強算法步驟

低頻部分圖像的遺傳自適應(yīng)增強算法流程圖如圖3所示。

Figure 3 Flow chart of the adaptive genetic algorithm for the low frequency part of image

算法實現(xiàn)的步驟為：首先，歸一化處理低頻部分圖像灰度f1(x,y)，將其映射到區(qū)間[0,1]。歸一化公式為:

(4)

其中，fmin表示該部分圖像灰度的最小值，fmax則為最大值。初始種群設(shè)置為50，遺傳算法的交叉概率設(shè)置為0.5，變異概率設(shè)置為0.03，最大進化代數(shù)設(shè)置為500。對于公式(1)中的參數(shù)(T1,H1,T2,H2)，使用遺傳算法進行實數(shù)編碼；同時，利用公式(1)對灰度圖像進行三段線性變換，得到灰度拉伸圖像g′(x,y)；接著反歸一化處理灰度拉伸圖像g′(x,y)，得到輸出的低頻部分圖像f1′(x,y)。反歸一化公式為：

f1′(x,y)=(fmax-fmin)g′(x,y) + fmin

(5)

對種群進行選擇、變叉和變異操作，可產(chǎn)生新的種群。重復此過程，如果連續(xù)幾代群體的最優(yōu)適應(yīng)度函數(shù)值變化不大并趨于穩(wěn)定值，結(jié)束條件判斷，此時個體的適應(yīng)度值最大，將其作為最優(yōu)解輸出，反編碼最優(yōu)個體，即可得到最優(yōu)參數(shù)；將最優(yōu)參數(shù)代入到公式(1)中，最終得到低頻圖像遺傳自適應(yīng)增強的最優(yōu)結(jié)果。

4 高頻部分圖像的小波閾值增強

紅外夜視圖像經(jīng)小波變換后，其大部分噪聲主要位于高頻子帶中，若增大分解尺度，則其噪聲下降很快。因此，為了最大限度地降低噪聲影響，首先對高頻子帶圖像進行小波閾值去噪，其次由最大尺度低頻子帶圖像的局部對比度確定高頻子帶的增益系數(shù)，以便對高頻子帶圖像進行圖像增強。

車載紅外夜視圖像經(jīng)過小波分解后的高頻系數(shù)為f2(x，y)。由于硬閾值函數(shù)在閾值處缺乏連續(xù)性，其重構(gòu)的圖像在邊緣處可能會出現(xiàn)振鈴等視覺失真現(xiàn)象；而軟閾值函數(shù)處理圖像的結(jié)果在視覺上相對平滑，效果更好。因此，本文采用軟閾值函數(shù)進行去噪。

軟閾值化處理就是將高頻子帶中的系數(shù)做柔性處理，根據(jù)分解系數(shù)絕對值大小的不同，所乘的系數(shù)也不同，若絕對值越小，所乘系數(shù)越小，否則所乘系數(shù)越大，但系數(shù)不超過1，其定義式為:

(6)

其中，ωs表示在軟閾值函數(shù)作用下的估計小波系數(shù)，ω=f2(x，y)是含有噪聲的高頻子帶圖像中的小波系數(shù)，T為設(shè)定的閾值門限值。噪聲標準差可根據(jù)Chang等提出的貝葉斯萎縮閾值估計法[12]求得:

(7)

其中，貝葉斯萎縮閾值估計函數(shù)為:

(8)

式(7)中median(·)表示求中值函數(shù)；式(8)中T為貝葉斯萎縮閾值，σ2為不同尺度下的噪聲方差估計，σs為子帶上圖像信號標準差的估計值。

最后，由增強的低頻子帶圖像和高頻子帶圖像重構(gòu)即可得到算法增強后的車載紅外夜視圖像。

5 實驗結(jié)果分析

5.1 實驗結(jié)果定性分析

對車載紅外夜視儀采集的圖像進行直方圖均衡法、多尺度Retinex算法和小波-遺傳自適應(yīng)算法進行處理，采集兩幅圖像處理結(jié)果，如圖4和圖5所示。

Figure 4 Simulation results of the first picturewith different algorithms

Figure 5 Simulation results of the second picture with different algorithms

如圖4a和圖5a所示的圖像是由數(shù)據(jù)采集卡采集的車載紅外夜視圖像。由紅外夜視儀的成像原理可知，人、摩托車和路燈的溫度要高于路面和樹的溫度。因此，圖4a和圖5a中的人、摩托車和路燈亮度要稍微高于路旁樹木以及地面。但是，整體上車道行人、路燈與樹和地面的亮度對比度不高，視覺效果不夠理想。

由圖4b和圖5b所示，直方圖均衡法對圖像的對比度進行了很好的增強，同時顯著地放大了噪聲，有些區(qū)域甚至對圖像進行了過度增強或增強不足。

由圖4c和圖5c所示，動態(tài)多尺度Retinex增強算法改善了圖像的亮度均勻性，但是將圖像的背景亮度也放大了，造成了人等感興趣區(qū)域(ROI)在圖像中并不突出，因此單一的多尺度Retinex方法仍存在不足。

采用本文算法對圖像進行處理，得到的增強效果如圖4d和圖5d所示。從圖4d和圖5d可以看出，本文算法改善了直方圖均衡法和動態(tài)多尺度Retinex增強算法的缺點，將淹沒在陰影區(qū)域中的細節(jié)有效地顯示出來，改善了亮度的均勻性；利用小波閾值法對高頻子帶系數(shù)部分進行圖像的細節(jié)增強并抑制噪聲，最終提高了圖像的質(zhì)量，改善了視覺效果。

5.2 實驗結(jié)果定量分析

為了定量地評價各種圖像增強算法，本文分別采用圖像信息熵、平均梯度和信噪比作為圖像質(zhì)量的評價標準。

圖像信息熵定義為：

(9)

其中，pi是圖像的各灰度概率值。當圖像均勻時，各灰度值的概率基本相等，熵可以達到最大。采集10組圖像數(shù)據(jù)計算信息熵，結(jié)果如圖6所示。

Figure 6 Information entropy of different algorithms

圖像的清晰程度可以由平均梯度來衡量，它能將圖像中微小的細節(jié)反差顯示出來。公式如下：

1,j)]2+[f(i,j)-f(i,j+1)]2)/2)1/2

(10)

其中，f(x,y)為圖像函數(shù)，g的值越大，說明圖像越清晰。采集10組圖像數(shù)據(jù)計算平均梯度，結(jié)果如圖7所示。

Figure 7 Average gradient of different algorithms

圖像的信噪比(SNR)等于信號與噪聲的功率譜之比，但通常功率譜難以計算。這里采用信號與噪聲的方差之比近似地估計圖像的信噪比[16]。首先計算圖像所有像素的局部方差，將局部方差的最大值作為信號方差S，最小值作為噪聲方差N，求出它們的比值b=S/N，用經(jīng)驗公式1.04b-7進行修正，最后轉(zhuǎn)成dB數(shù)，該方法適應(yīng)的信噪比范圍為20～50dB。信噪比越大說明增強的圖像噪聲抑制的效果越好。

(11)

采集10組圖像數(shù)據(jù)計算信噪比，結(jié)果如圖8所示。

Figure 8 SNR of different algorithms

對于小波變換的時間復雜度，無論是分解、重構(gòu)還是系數(shù)處理，其值均為O(n)。此外，低頻部分遺傳算法的時間復雜度為O(T*n2)，其中n為種群個數(shù)，T為迭代次數(shù)。因此，本文算法的時間復雜度為：

O(n+T*n2+n+n)=O(T*n2)

(12)

計算圖4和圖5各種算法所消耗的時間，結(jié)果如表1所列。

Table 1 Time consumption of different algorithms表1 各種算法所消耗的時間 s

由圖6～圖8可知，小波-遺傳圖像增強算法與其他算法相比，其圖像信息熵、平均梯度和信噪比均大于其他算法；其消耗的時間較大，但考慮到僅為毫秒級，不影響算法的實時性。對比結(jié)果表明：本文算法不僅增強了圖像的局部微小細節(jié)，而且抑制了噪聲，最終提高了圖像的整體對比度。

6 結(jié)束語

針對傳統(tǒng)的圖像增強算法對車載紅外夜視圖像增強不夠好的問題，提出了處理車載紅外夜視圖像的小波-遺傳自適應(yīng)圖像增強方法。通過對該方法中關(guān)鍵技術(shù)的研究分析，由實驗驗證了文中提出的基于小波-遺傳自適應(yīng)圖像增強方法是可行的，增強的圖像噪聲小，圖像較為清晰，為后續(xù)的行人檢測與識別研究提供了較好的基礎(chǔ)。

[1] Li Jun-shan, Yang Wei, Zhang Xiong-mei. The infrared image processing, analysis and integration[M]. Beijing:Science Press, 2009. (in Chinese)

[2] Qidwai U. Infrared image enhancement using Hoobounds for surveillance applications[J]. IEEE Transactions on Image Processing, 2008, 17(8):1274-1282.

[3] Yin Shi-chang, Yu Song-lin. Infrared image enhancement algorithm based on wavelet transform and histogram equalization[J]. Laser & Infrared, 2013, 43(2):225-228. (in Chinese)

[4] Jobson D J, Rahman Z, Woodell G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing, 1997, 6(7):965-976.

[5] Stathaki T. Image fusion algorithms and applications[M]. New York:Academic Press is an imprint of Elsevier, 2008.

[6] Pohl C, Genderen J L V. Multisensor image fusion in remote sensing:Concepts, methods and applications[J]. International Journal of Remote Sensing, 1998, 19(5):823-854.

[7] Shah P, Reddy B C S, Merchant S N, et al. Context enhancement to reveal a camouflaged target and to assist target localization by fusion multispectral surveillance videos[J]. Signal, Image and Video Processing, 2013, 7(3):537-552.

[8] Feng Zhen, Ma Qi-Shuang. Research on infrared image non-linear enhancement algorithm based on wavelet analysis[J]. Laser and Infrared, 2010, 40(3):315-318. (in Chinese)

[9] Ye Yu-lei, Dai Wen-zhan. Signal de-noising in wavelet based on new threshold function[J]. Computer Applications，2006,26(7):1617-1619. (in Chinese)

[10] Zou Mou-yan.Deconvolution and signal recovery[M].Beijing:National Defense Industry Press, 2001. (in Chinese)

[11] Cheng Li,Shao Gao,Du Yan-bi.A modified image enhancement algorithm based on color constancy[J]. Chinese Optics Letters, 2009, 7(9):784-787.

[12] Zhou Ji-liu, Lü Hang. Image enhancement based on a new genetic algorithm[J]. Chinese Journal of Computers, 2001, 24(9):959-964. (in Chinese)

[13] Li Xiao-bing.An adaptive piecewise linear gray scales transformation[J]. Optoelectronic Technology, 2011, 31(4):236-239.(in Chinese)

附中文參考文獻：

[1] 李俊山,楊威,張雄美.紅外圖像處理、分析與融合[M].北京:科學出版社, 2009.

[3] 尹士暢,喻松林.基于小波變換和直方圖均衡的紅外圖像增強[J].激光與紅外, 2013, 43(2):225-228.

[8] 馮貞,馬齊爽.基于小波分析的紅外圖像非線性增強算法[J].激光與紅外,2010,40(3):315-318.

[9] 葉于雷,戴文戰(zhàn).一種基于新閾值函數(shù)的小波信號去噪方法[J].計算機應(yīng)用, 2006, 26(7):1617-1619.

[10] 鄒謀炎.反卷積和信號復原[M].北京:國防工業(yè)出版社, 2001.

[12] 周激流,呂航.一種基于新型遺傳算法圖像自適應(yīng)增強算法的研究[J].計算機學報,2001,24(9):959-964.

[13] 李曉冰.一種紅外測量圖像自適應(yīng)分段線性灰度變換方法[J].光電子技術(shù), 2011, 31(4):236-239.

于洋(1963-),男，遼寧沈陽人，教授，研究方向為圖像處理、網(wǎng)絡(luò)化測控和智能檢測。E-mail:yusongh@126.com

YU Yang,born in 1963,professor,his research interests include image processing, networked measurement and control, and intelligent detection．

康雪雪(1988-),女，安徽亳州人，碩士生，研究方向為圖像處理。E-mail:kxx1208@163.com

KANG Xue-xue,born in 1988,MS candidate,her research interest includes image processing．

A wavelet-genetic enhancement algorithm for vehicular infrared night vision images

YU Yang,KANG Xue-xue

(School of Information Science and Engineering,Shenyang Ligong University,Shenyang 110159,China)

Due to the fact that the traditional infrared image enhancement methods have imperfect visual effect, we propose an image enhancement method for vehicular infrared night vision images. We establish a wavelet-genetic grayscale image enhancement algorithm on the basis of the non-contact thermal image generation principle of the infrared night-vision goggles. Compared with the traditional histogram equalization method and the multi-scale Retinex algorithm, the proposed method can improve the image brightness uniformity, avoid excessive enhancement and effectively suppress noise. Experimental results show that the wavelet-genetic enhancement algorithm can achieve good performance in enhancing vehicular infrared night vision images.

infrared night vision image;wavelet-genetic;genetic algorithm;image enhancement

1007-130X(2015)09-1750-06

2014-07-03;

2014-08-14基金項目：遼寧省教育廳資助項目(LT2012005)

TN221;TN911.73

A

10.3969/j.issn.1007-130X.2015.09.025

通信地址：110159 遼寧省沈陽市沈陽理工大學信息科學與工程學院

Address:School of Information Science and Engineering,Shenyang Ligong University,Shenyang 110159,Liaoning,P.R.China