（西安工業(yè)大學(xué) 電子信息工程學(xué)院，陜西 西安 710021）

0 引言

夜間會車時，濫用遠光燈使駕駛員感到非常刺眼，無法看清行車路線及行人，極易導(dǎo)致嚴重的交通事故[1]。因此，研究汽車抗暈光有重要意義。傳統(tǒng)的光學(xué)原理抗暈光方法使暗處信息難以觀察[2]；紅外夜視儀的圖像無色彩、細節(jié)信息缺失嚴重[3-5]；“排洪”面陣CCD 圖像傳感器把高亮度的多余電荷排出存儲勢阱，僅降低了暈光的亮度[6]；光積分時間不同的兩路可見光融合依然存在暈光現(xiàn)象[7]?？梢姽馀c紅外融合的抗暈光方法[8]結(jié)合可見光圖像色彩細節(jié)信息豐富、紅外圖像無暈光的優(yōu)點，為解決夜間行車的暈光問題提供了一種新途徑，具有較好的應(yīng)用前景，但現(xiàn)有的無參考、全參考和基于視覺系統(tǒng)的評價方法都不能準確地評價抗暈光融合圖像的質(zhì)量[9]。

其中，無參考圖像評價方法通過客觀指標評價融合圖像自身質(zhì)量[10]。融合圖像消除暈光后，暈光部位的高亮度信息被剔除，導(dǎo)致反映亮度的均值降低；暈光消除越徹底，明暗對比度越低，暈光處的紋理細節(jié)反差越小，標準差和邊緣強度越低。全參考圖像評價方法評價融合圖像對原始圖像的信息保留度[11]。例如交叉熵，在融合圖像非暈光部位，該指標能很好地反映其對原始圖像細節(jié)信息的保留度，但在暈光部位，暈光消除越徹底，與可見光圖像相似度越低?；谝曈X系統(tǒng)的評價方法考慮人眼的視覺效果[12]。如邊緣保持度，在融合圖像非暈光部位，該指標能很好地反映其對原始圖像邊緣、輪廓的保留度，但在暈光部位，暈光消除越徹底，暈光邊緣、輪廓等信息保留越少，結(jié)構(gòu)相似度也存在同樣的問題。以上指標均出現(xiàn)暈光消除越徹底，融合圖像質(zhì)量的客觀評價結(jié)果越差，與視覺效果不統(tǒng)一的現(xiàn)象。

針對上述問題，本文提出一種可見光與紅外融合的汽車抗暈光圖像評價方法：通過設(shè)計自適應(yīng)迭代閾值法實現(xiàn)融合圖像的自動分區(qū)，對暈光區(qū)采用設(shè)計的暈光消除度指標衡量暈光消除的效果；對非暈光區(qū)從多角度評價色彩、細節(jié)信息的增強效果，并甄選合適的指標構(gòu)成完整的評價體系，全面、合理地評判汽車抗暈光融合圖像的質(zhì)量及算法的優(yōu)劣。

1 可見光與紅外融合的抗暈光圖像評價原理

汽車抗暈光圖像融合的目的，與一般圖像融合不同，首要是消除高亮的暈光，再次是增強暗處的色彩、細節(jié)信息。圖1(a)可見光圖像色彩豐富、車牌較清晰，但存在明顯的暈光現(xiàn)象，車輛輪廓、道路邊緣、背景建筑及行人難以觀察；圖1(b)紅外圖像無暈光，輪廓細節(jié)清晰，但色彩和車牌缺失；圖1(c)采用改進IHS-Curvelet 變換[13]得到無暈光、輪廓細節(jié)清晰、色彩豐富的融合圖像。

圖1 可見光、紅外及其融合圖像Fig.1 Visible,infrared and fusion image

汽車抗暈光融合圖像同一般可見光與紅外融合圖像相比存在3 點顯著差異：①融合圖像消暈光后與可見光圖像差異顯著，暈光消除越徹底差異越大；②可見光圖像的光暈梯度及明暗邊界十分明顯，暈光消除越徹底，融合圖像原暈光部位的梯度、邊界越不明顯；③可見光圖像暈光部位的高亮度造成其他部位的亮度更暗，細節(jié)信息更不易觀察。

暈光區(qū)的高亮度使客觀評價不能真實地反映融合圖像的質(zhì)量，為避免暈光干擾，將融合圖像的暈光和非暈光區(qū)分開評價。在暈光區(qū)，根據(jù)融合圖像與可見光、紅外圖像的相似度評判暈光消除的效果。與紅外圖像越相似，暈光消除越徹底，反之暈光消除越不徹底。非暈光區(qū)圖像不存在暈光干擾，采用現(xiàn)有的方法評價色彩、細節(jié)信息的增強效果。

2 抗暈光圖像評價方法實現(xiàn)

根據(jù)可見光圖像的暈光程度自動確定可見光灰度圖的暈光臨界灰度值，實現(xiàn)融合圖像的自動分區(qū)。針對暈光與非暈光區(qū)圖像的處理目標不同，暈光區(qū)設(shè)計暈光消除度指標衡量融合圖像暈光消除的效果，非暈光區(qū)從多角度評價色彩、細節(jié)信息的增強效果。

2.1 抗暈光融合圖像的自動分區(qū)

2.1.1 確定暈光臨界灰度值

由于暈光區(qū)的灰度值明顯高于非暈光區(qū)，根據(jù)暈光區(qū)與非暈光區(qū)交接處的灰度值劃分兩區(qū)域，即確定暈光臨界灰度值Gc。自適應(yīng)迭代閾值法：以圖像灰度中值作為初始閾值T0；

式中：Inmax、Inmin分別是像素的最大、最小灰度值。利用閾值Ti將圖像分為兩區(qū)域R1和R2，計算R1和R2的灰度均值μ1和μ2；

式中：In(j)是第j個像素的灰度值；L為圖像總像素數(shù)；L1、L2分別為區(qū)域R1、R2像素數(shù)，L＝L1＋L2。計算新的閾值Ti＋1；

式中：m為圖像暈光區(qū)的分割效果滿足人眼視覺效果的自適應(yīng)系數(shù)，隨暈光程度自動調(diào)節(jié)。

重復(fù)公式(2)(3)，待閾值不再變化時迭代結(jié)束，最新得到的閾值為圖像的暈光臨界灰度值Gc。

2.1.2 確定自適應(yīng)系數(shù)

暈光區(qū)高亮度的信息量影響整幅圖像的灰度值，暈光信息量與暈光面積有關(guān)，則暈光面積間接影響圖像的灰度值。研究兩車會車時的暈光圖像，采集不同類型道路車輛由遠及近，暈光面積從小到大再變小的大量暈光圖像，獲得自適應(yīng)系數(shù)m、暈光區(qū)與非暈光區(qū)面積比s的對應(yīng)點集(si,mi)，研究發(fā)現(xiàn)面積比s和自適應(yīng)系數(shù)m的關(guān)系接近m=a×sb+c的遞減函數(shù)，利用非線性最小二乘法擬合曲線：

式中：x、y分別是系統(tǒng)的輸入和輸出；f是參數(shù)θ的非線性模型；Q達到極小值時得參數(shù)估計值。

當a＝－0.6701，b＝0.07411，c＝1.175時，自適應(yīng)系數(shù)m的取值使融合圖像暈光區(qū)的分割效果滿足人眼視覺效果，如下式：

2.1.3 自動分區(qū)

由暈光臨界灰度值Gc劃分兩區(qū)域，灰度值大于等于Gc的像素構(gòu)成暈光區(qū)AH，反之為非暈光區(qū)

將圖1中的原始圖像和融合圖像進行分區(qū)，如圖2。

圖2 自動分區(qū)圖像Fig.2 Automatic division images

2.2 暈光消除度

為評價融合圖像的暈光消除效果，以融合圖像暈光區(qū)與可見光、紅外圖像的接近程度為參考，考慮人眼視覺感知特點和圖像的結(jié)構(gòu)信息，綜合亮度、對比度、結(jié)構(gòu)3 方面表征融合圖像與原圖的相似度，lR-FU，cR-FU，sR-FU分別為原圖與融合圖像的亮度相似度、對比度相似度、結(jié)構(gòu)相似度：

式中：R為參考圖像，R∈{VI，IR}，VI、IR、FU 分別為可見光、紅外、融合圖像；、σ分別為圖像的均值、標準差；σR-FU為參考與融合圖像的協(xié)方差；C1、C2、C3為常數(shù)，避免分母為0。設(shè)定C3=C2/2，原圖與融合圖像的相似度指標SR-FU可表示為：

根據(jù)式(10)將融合圖像與紅外、可見光圖像的相似度作差后進行歸一化，構(gòu)造暈光消除度D：

式中：D的取值范圍為[0,1]，D越接近1，融合圖與紅外圖像越接近，暈光消除越徹底。

2.3 非暈光區(qū)色彩、細節(jié)增強的評價指標

非暈光區(qū)沒有暈光信息的干擾，用現(xiàn)有的評價方法[14-15]從融合圖像自身特性、融合圖像對原始圖像信息的保留度和人眼視覺效果3 方面評價融合圖像的質(zhì)量，并通過實驗對比與分析，甄選出合適的指標，準確、合理地評判融合圖像質(zhì)量及算法優(yōu)劣。

2）融合圖像對原始圖像信息的保留度方面。計算峰值信噪比（peak signal to noise ratio,PSNR）、交叉熵（cross entropy,CE）、互信息（mutual information,MI）、均方根誤差（root mean square error,RMSE）等指標。

3）人眼視覺效果方面。計算結(jié)構(gòu)相似度（structure similarity index,SSIM）和邊緣保持度QAB/F。

3 實驗及結(jié)果分析

為驗證本文的評價方法能全面、合理地評判汽車抗暈光融合圖像的暈光消除效果，色彩、細節(jié)信息增強效果，以HIS（intensity,hue,saturation）變換、Curvelet 變換、IHS-Curvelet 變換、改進IHS-Curvelet變換的融合圖像為例進行評價，圖3為市郊道路對向來車開啟遠光燈約10 m 處的4種算法融合結(jié)果。

圖3 不同算法的融合圖像Fig.3 Fusion image of different algorithms

3.1 主觀評價結(jié)果

選10位擅長圖像處理的觀察者從暈光消除度、邊緣輪廓、色彩細節(jié)3 方面評判融合圖像的質(zhì)量。

圖3(a)IHS變換的暈光嚴重，車輛輪廓、車牌、道路邊緣及背景建筑模糊，但色彩豐富；圖3(b) Curvelet 變換的暈光較少，細節(jié)較清晰，但缺失色彩。整體上Curvelet 變換的圖像質(zhì)量優(yōu)于IHS變換。

圖3(c)IHS-Curvelet 較圖3(a)，暈光消除度和清晰度明顯改善，色彩無差別，在IHS變換中融入Curvelet變換能明顯改善圖像的質(zhì)量；圖3(c)較圖3(b)，暈光消除度略差，清晰度無差別，但色彩豐富。

圖3(d)改進IHS-Curvelet 較圖3(c)，暈光基本完全消除，清晰度更好，色彩無差別，圖像質(zhì)量更優(yōu)。

3.2 客觀評價結(jié)果

為避免主觀意識干擾，結(jié)合客觀指標從兩方面進行評判。暈光區(qū)由暈光消除度D評價暈光消除的效果；非暈光區(qū)從多角度評價色彩、細節(jié)信息的增強效果，甄選合適的指標構(gòu)成完整的質(zhì)量評價體系。

3.2.1 暈光區(qū)域評價結(jié)果

計算4種融合圖像的暈光消除度D如表1。

表1 暈光消除度Table1 Eliminated degree of halo

從表1看出，IHS變換的暈光消除效果最差，因IHS變換的光譜分辨率低，使融合圖像與原圖差異較大；Curvelet 較IHS變換高16.7%，暈光消除效果更好，因Curvelet 變換的各向異性，能更多地保留圖像的細節(jié)信息，與原圖結(jié)構(gòu)差異更小。

IHS-Curvelet 較IHS變換提高25%，因其將IHS空間下的亮度和色彩分量分開處理，避免了光譜扭曲現(xiàn)象，在IHS變換中融入Curvelet 變換能提高IHS變換的穩(wěn)定性；IHS-Curvelet 較Curvelet 變換提高7%，因IHS變換豐富了圖像的色彩，在Curvelet 變換中融入 IHS變換能略微提高圖像的質(zhì)量。綜上，IHS-Curvelet 比兩種單一變換的暈光消除效果好。

改進IHS-Curvelet較改進前提高9.8%，效果更好，因改進的低頻系數(shù)權(quán)值自動調(diào)節(jié)融合策略[16]能剔除所有暈光信息，避免其參與融合過程。

3.2.2 非暈光區(qū)域評價結(jié)果

對非暈光區(qū)從以下3 方面評價融合圖像的質(zhì)量。1）融合圖像自身特性方面。為驗證本文方法的有效性，與不分區(qū)數(shù)據(jù)進行對比，如表2所示。

從表2看出，4種算法不分區(qū)的各項指標均比非暈光區(qū)大，由于高亮度暈光信息的存在，使不分區(qū)融合圖像的均值變大；使圖像明暗對比度提高，導(dǎo)致標準差更大；使圖像熵值更大；暈光處一圈圈光暈使反映紋理細節(jié)的平均梯度變大；暈光處明顯的邊界使邊緣強度更大；導(dǎo)致空間域的活躍程度增大，空間頻率更大。不分區(qū)融合圖像因包含暈光區(qū)的無用信息，導(dǎo)致客觀評價結(jié)果失真。不分區(qū)指標數(shù)值變化無規(guī)律，分區(qū)后，由非暈光區(qū)指標能相對明顯地看出融合圖像的質(zhì)量、算法的優(yōu)劣等，因此，以非暈光區(qū)指標為研究對象。

非暈光區(qū)數(shù)據(jù)中，IHS變換的EI 數(shù)值微大于Curvelet 變換，與主觀評價矛盾，因IHS變換的光譜扭曲性使客觀評價結(jié)果失真；E和σ數(shù)值集中，整體變化趨勢小，對融合圖像質(zhì)量的區(qū)分度較??；、AG、SF 數(shù)值分布合理，能明顯表達融合圖像的質(zhì)量和不同算法的優(yōu)劣。

2）融合圖像對原始圖像的信息保留度方面。評價結(jié)果如表3所示。

從表3看出，RMSE和PSNR 數(shù)值整體變化小，對算法優(yōu)劣的區(qū)分度很小，不適合作為評判指標；CE、MI 數(shù)值相對分散，能顯著表達融合圖像對原圖信息的保留度和不同算法的優(yōu)劣。

表2 融合圖像的客觀評價Table2 Objective evaluation of fusion image

表3 融合圖像對原圖信息的保留度Table3 Retained degree of fusion image to primary image

3）人眼視覺效果方面。評價結(jié)果如表4所示。

表4 融合圖像的視覺效果Table4 Visual effect of fusion image

從表4看出，SSIMFU-VI、SSIMFU-IR數(shù)值變化小，對融合圖像質(zhì)量的區(qū)分度很小；QAB/F能顯著表達融合圖像對邊緣信息的保真度及不同算法的優(yōu)劣。

通過對暈光區(qū)和非暈光區(qū)指標的對比與分析，甄選出暈光消除度D、均值、平均梯度AG、空間頻率SF、交叉熵CEFU-VI、CEFU-IR、互信息MIFU-VI、MIFU-IR、邊緣保持度QAB/F等9種指標作為抗暈光融合圖像的評價體系。將9種指標數(shù)據(jù)繪制雷達圖如圖4，因CE數(shù)值越小性能越好，為方便分析由CE－1表示。

圖4 評價體系的雷達圖Fig.4 Radar chart of evaluation system

由圖4看出，雷達圖面積隨算法的改進而增大，9種指標均能明顯地反映融合圖像的質(zhì)量和不同算法的優(yōu)劣，均表明Curvelet 變換優(yōu)于IHS變換；在Curvelet變換基礎(chǔ)上使用IHS變換可進一步提高融合圖像的視覺效果；將低頻系數(shù)加權(quán)平均的IHS-Curvelet 變換改為權(quán)值自動調(diào)節(jié)融合策略后又可進一步改善融合圖像的視覺效果，與主觀評價結(jié)果一致。

3.3 不同場景的評價結(jié)果

為驗證本文所甄選的抗暈光融合圖像質(zhì)量評價體系對不同暈光場景的適用性，采集市郊道路和市內(nèi)小區(qū)兩組不同暈光場景的圖像進行試驗，圖5為市郊開啟遠光燈約15 m 處的融合結(jié)果，圖6為市內(nèi)開啟遠光燈約20 m處的融合結(jié)果。其中，圖5和圖6中(a)、(b)分別為原始可見光和紅外圖像，(c)～(f)分別為IHS、Curvelet、IHS-Curvelet 及改進IHS-Curvelet 變換的融合結(jié)果。

從圖5和圖的6(c)～(f)可以看出，從左到右，融合圖像的暈光消除效果越好，車輛、背景和道路邊緣輪廓越清晰，即IHS、Curvelet、IHS-Curvelet 及改進IHS-Curvelet 變換的融合結(jié)果依次變優(yōu)。

在市郊、市內(nèi)兩種不同場景下，利用評價體系的9種指標進行評價，繪制雷達圖如圖7、圖8所示。從圖7～圖8中可以看出，隨算法改進，雷達圖包圍面積也越來越大，9種指標能從不同角度反映了抗暈光融合圖像質(zhì)量的好壞及不同算法的優(yōu)劣，與主觀評價的結(jié)果一致，驗證了本文提出的抗暈光融合圖像質(zhì)量評價體系具有一定的普適性。

圖5 市郊道路約15 m 處的融合圖像Fig.5 Fusion image of suburban road at about 15 m

圖6 市內(nèi)小區(qū)約20 m 處的融合圖像Fig.6 Fusion image of city community at about 20 m

圖7 市郊道路約15 m 處的雷達圖 Fig.7 Radar chart of suburban road at about 15 m

圖8 市內(nèi)小區(qū)約20 m 處的雷達圖Fig.8 Radar chart of city community at about 20 m

4 結(jié)論

針對現(xiàn)有的可見光與紅外融合圖像評價方法不適用于評價汽車抗暈光融合圖像的問題，本文方法解決了汽車抗暈光融合圖像的客觀評價結(jié)果與人眼視覺效果不一致的問題，克服了融合圖像暈光消除越徹底評價結(jié)果反而越差的缺點，也適用于評判不同可見光與紅外融合的抗暈光算法的優(yōu)劣。本文設(shè)計的自適應(yīng)迭代閾值法，根據(jù)可見光圖像的暈光程度自動確定可見光灰度圖像的暈光臨界灰度值，并將融合圖像自動分為暈光區(qū)和非暈光區(qū)；在暈光區(qū)設(shè)計暈光消除度指標評價融合圖像暈光消除的效果；在非暈光區(qū)從多角度評價融合圖像色彩、細節(jié)信息的增強效果。甄選出9種指標構(gòu)成完整的圖像質(zhì)量評價體系，全面、合理地評價可見光與紅外融合的汽車抗暈光融合圖像。