梁建安，劉 斌，梁美彥，郭亞飛

（山西大學(xué) 物理電子工程學(xué)院，山西 太原 030000）

引言

偏振、強(qiáng)度、波長都是光的基本屬性。物體的偏振特性由其本身的物理屬性決定，比如粗糙程度、水分含量、介質(zhì)等，還與光照強(qiáng)度和觀察角度有關(guān)。與常見的可見光、紅外成像相比，偏振成像可以獲取物體多維度的偏振信息，呈現(xiàn)物體的輪廓和細(xì)節(jié)，發(fā)現(xiàn)傳統(tǒng)圖像中不能分辨的部分[1]，例如可以用偏振相機(jī)替代傳統(tǒng)相機(jī)來分辨物體表面的缺陷[2]，還可以通過解析物體的偏振信息來識別目標(biāo)，因此偏振成像在地質(zhì)勘探[3]、生物醫(yī)學(xué)[4]、軍事演練[5]、海洋開發(fā)[6]中有很大的應(yīng)用價值。

在現(xiàn)實場景中，復(fù)雜的背景往往會干擾目標(biāo)的提取和識別，對目標(biāo)進(jìn)行增強(qiáng)就顯得尤為重要，圖像融合方法就是一種有效的目標(biāo)增強(qiáng)方法。目前，偏振圖像融合方法主要有：基于多尺度分析的融合算法[7-9]、基于學(xué)習(xí)的融合算法[10-11]和偽彩色融合算法[12-13]。例如ZHANG[7]等人提出了一種基于多尺度卷積稀疏分解(MCSD)的圖像融合方法，在可視化和數(shù)值評價上獲得了較好的效果。陳衛(wèi)[11]等提出了一種基于FWA（fireworks algorithm）的紅外偏振圖像融合方法，對紅外強(qiáng)度和紅外偏振圖像的特征進(jìn)行了保留，在相對熵、總結(jié)構(gòu)相似性、總互信息指標(biāo)上優(yōu)于其他算法。徐國明[13]等提出了一種偽彩色偏振圖像融合方案，將偏振圖像經(jīng)過直方圖規(guī)定化后轉(zhuǎn)入IHS（intensity,hue,saturation）顏色空間，得到了偽彩色融合結(jié)果，強(qiáng)化了目標(biāo)，凸顯了特征。隨著偏振融合技術(shù)的發(fā)展，研究者往往都是將基于多尺度分析的算法或者基于學(xué)習(xí)的算法與偽彩色算法相結(jié)合，以此來更好地增強(qiáng)目標(biāo)，例如：張家民[14]等就結(jié)合了多尺度分析和偽彩色融合方法，提出了一種HSL-RGB（hue,saturation,light-red,green,blue）圖像融合技術(shù)，有效減少了多個偏振態(tài)圖像之間的互補(bǔ)性和冗余性，最終表明了這項融合技術(shù)在目標(biāo)探測方面的顯著效果。XU[15]等結(jié)合了學(xué)習(xí)算法和偽彩色算法，提出了一種基于字典學(xué)習(xí)的偏振圖像快速融合方法，賦予了物體顏色信息，提高了運(yùn)行效率。此外，目前偏振圖像融合針對的源圖像主要有同波段的不同類型圖像，例如將可見光波段的強(qiáng)度圖像和偏振度圖像進(jìn)行融合[16]，以及不同波段的同類型圖像，例如將可見光波段與紅外波段的偏振度圖像進(jìn)行融合[17]。源圖像的多樣以及融合算法的多樣使得偏振融合方法能有效應(yīng)用于目標(biāo)增強(qiáng)領(lǐng)域。

雖然現(xiàn)有的偏振圖像融合方法對圖像進(jìn)行了彩色化，使得目標(biāo)增強(qiáng)效果有了一定的提升，但是仍然缺少直接針對彩色偏振圖像的融合方法。此外，HSV(hue,saturation,value)顏色空間由于其各自獨立的顏色通道，研究者常常在該顏色空間內(nèi)進(jìn)行顏色分割。因此，本文結(jié)合彩色偏振圖像的特點和HSV 顏色空間提出了一種目標(biāo)增強(qiáng)的方法。研究結(jié)果表明，該方法在人眼主觀視覺效果和客觀指標(biāo)數(shù)據(jù)上均取得了明顯的提升。

1 彩色偏振成像理論

1.1 彩色偏振成像原理

典型的偏振成像方法主要有分時法（DoT）[18]、分振幅法（DoAM）[19]、分孔徑法（DoAP）[20]和分焦平面法（DoFP）[21]。分焦平面法在結(jié)構(gòu)體積、成像速度和誤差控制上具有明顯優(yōu)勢，因此本文采用該成像方式。

圖1 是彩色分焦平面法成像示意圖。圖1（a）是彩色分焦平面相機(jī)，該相機(jī)由焦平面、Bayer 陣列濾光片、微偏振陣列組成。每4×4 個像元構(gòu)成一個模塊組，每個模塊組中有4 個顏色通道，從左上到右下分別是R 通道、G 通道、G 通道和B 通道，屬于經(jīng)典的Bayer 陣列排列方式，由于人眼視覺對綠色更為敏感，因此有2 個G 通道。每個顏色通道又包含4 個偏振通道，偏振通道的偏振角度從左上到右下分別是90°、45°、135°和0°。對采集到的圖像數(shù)據(jù)按照偏振角度進(jìn)行插值，即可生成0°、45°、90°和135°的彩色偏振圖像，成像過程如圖1（b）所示。

1.2 Stokes 矢量表示法

在獲得0°、45°、90°和135°的彩色偏振圖像后，將這4 個角度的彩色偏振圖像進(jìn)行顏色通道分離，分別得到R、G、B 通道下的0°、45°、90°和135°圖像，然后由Stokes 矢量矩陣可得R、G、B 通道下的DoLP 圖像、AoP 圖像和S0圖像，最后得到RGB空間的彩色DoLP 圖像、彩色AoP 圖像和彩色S0圖像。

Stokes 矢量矩陣常用來定量化描述物體的偏振狀態(tài)。設(shè)Stokes 矩陣為

式中：S0表示系統(tǒng)接收的總輻射強(qiáng)度；S1表示平行和垂直偏振方向上的輻射強(qiáng)度差；S2表示兩條對角線方向上的輻射強(qiáng)度差；S3表示右旋圓偏振光與左旋圓偏振光強(qiáng)度差，當(dāng)S3為正值時，表示右旋圓偏振占優(yōu)勢。在實際應(yīng)用中，右旋圓偏振光與左旋圓偏振光強(qiáng)度很小，可忽略不計，即S3=0。設(shè)Iθ表示不同角度下的光強(qiáng)，則Stokes 矢量矩陣參量為

由下列Stokes 矢量矩陣公式可得線偏振度和偏振角：

式中：c∈(R,G,B)，表示顏色通道。

2 目標(biāo)增強(qiáng)方法

為了實現(xiàn)目標(biāo)增強(qiáng)，本文采用視覺顯著度提取目標(biāo)的輪廓和細(xì)節(jié)，然后在HSV 顏色空間中進(jìn)行融合以增強(qiáng)目標(biāo)。首先對相機(jī)采集得到的0°、45°、90°和135°這4 個方向的彩色偏振圖像通過Stokes矢量法進(jìn)行預(yù)處理，得到彩色DoLP 圖像、彩色AoP圖像和彩色S0圖像，再分別通過視覺顯著度模型提取彩色DoLP、AoP 和S0圖像的顯著度，初步提取目標(biāo)，然后將顯著度圖像按照相應(yīng)的規(guī)則映射到HSV 顏色空間以增強(qiáng)目標(biāo)，最后轉(zhuǎn)到RGB 空間進(jìn)行展示。方案流程圖如圖2 所示。

2.1 視覺顯著度提取

自然界中常見的目標(biāo)和背景往往具有不同的偏振特性。在彩色偏振特性圖像中，目標(biāo)在一定程度上會得到突出，而背景雜波得到抑制。因此利用視覺顯著度可以對目標(biāo)進(jìn)行提取，進(jìn)一步增大目標(biāo)和背景的差異。這樣，目標(biāo)得到增強(qiáng)而背景得到抑制，人眼能夠在圖像中更精準(zhǔn)地對目標(biāo)進(jìn)行定位。因此，本文采用基于小波變換的視覺顯著度提取模型[22]，提取目標(biāo)的顯著特征。

該模型先將顯著度圖像轉(zhuǎn)到CIE Lab 顏色空間進(jìn)行小波分解與重構(gòu)，因為該顏色空間中的亮度通道和雙色通道類似于人類感知。在進(jìn)行小波分解時，選用Daubechies 小波，因為它的濾波器大小與計算時間、整體結(jié)果的計算相匹配。在小波重構(gòu)時，忽略低頻部分，在保留圖像輪廓和細(xì)節(jié)的同時，提高了效率。在進(jìn)行小波分解與重構(gòu)后會生成兩個特征映射圖像，分別是全局顯著度圖和局部顯著度圖，再將這兩個顯著度圖進(jìn)行融合，就得到了最終的顯著度圖。

全局sG(x,y)、局部sL(x,y)、最終s(x,y)顯著度圖可由式（5）～式（7）得到：

式中：IK·K是K·K的高斯低通濾波器；p[f(x,y)]-1是概率密度函數(shù)，特征在給定位置的可能性可以用概率密度函數(shù)來定義；N為小波分解的層次；分別是L、a、b 通道在s(s∈(1,N))比例尺度下的特征圖;分別是歸一化的全局和局部顯著度圖。

以樓道場景為例，將彩色DoLP 圖像、彩色AoP圖像和彩色S0圖像分別通過基于小波變換的視覺顯著度提取模型，得到DoLP、AoP 和S0的顯著度圖像，如圖3 所示。從圖3 可以看到，DoLP 顯著度圖像初步提取出了標(biāo)識牌目標(biāo)，并且在一定程度上顯示了標(biāo)識牌目標(biāo)的細(xì)節(jié)，但存在部分細(xì)節(jié)模糊、不利于人眼觀察的情況。AoP 顯著度圖像很好地提取了標(biāo)識牌目標(biāo)的輪廓，但缺少目標(biāo)細(xì)節(jié)信息。S0顯著度圖像則對目標(biāo)和輪廓都有所顯示，但目標(biāo)細(xì)節(jié)提取效果并不明顯。由此實驗可以看出，DoLP、AoP 和S0的顯著度圖對目標(biāo)的提取效果各不相同，且都達(dá)不到最佳顯示效果。因此，可以將這3 幅圖像進(jìn)行融合，進(jìn)一步增強(qiáng)目標(biāo)。

2.2 HSV 空間融合

HSV 是除RGB 顏色模型之外應(yīng)用非常廣泛的一種顏色模型，該模型由色調(diào)（Hue）、飽和度（Saturation）和明度（Value）組成。HSV 顏色空間相較于RGB 顏色空間，沒有相互耦合的紅綠藍(lán)顏色通道，而是相互獨立的H、S、V 通道，在進(jìn)行圖像融合時，可以單獨對某一通道進(jìn)行變換，且不會破壞各顏色通道之間的相互關(guān)系。因此本文在HSV空間中進(jìn)行圖像融合，既保留了彩色偏振圖像中的偏振信息，又抑制了背景中的雜波，對目標(biāo)進(jìn)行了增強(qiáng)。

一般來說，DoLP 和S0圖像的像素大小范圍是0～255，S 通道和V 通道的范圍也是0～255，因此通常將DoLP 圖像映射到飽和度S 通道，將S0圖像映射到明度V 通道。PAoP∈(0°，180°)，H 通道范圍是0°～360°，兩者呈線性關(guān)系，因此將AoP 圖像映射到色調(diào)H 通道[23-24]。本文結(jié)合前人的融合思路，根據(jù)H、S、V 通道不同的物理意義來設(shè)置不同的映射規(guī)則，提出了一種新的融合方法，以此來增強(qiáng)目標(biāo)。

3 個通道內(nèi)的融合規(guī)則如下：

a）將AoP 顯著度圖像映射到H 通道，該通道決定了目標(biāo)的顏色。

b）將DoLP 顯著度圖像映射到S 通道，并在S 通道中對像素點S(i,j)的值取閾值，閾值規(guī)則如（8）式所示。設(shè)置閾值是為了將目標(biāo)區(qū)域的飽和度值在歸一化后變?yōu)?，使得飽和度最大化，同時將非目標(biāo)區(qū)域的飽和度最小化，這就使得目標(biāo)和背景的飽和度差異最大化，更能突出目標(biāo)。

c）將S0顯著度圖像和彩色DoLP 圖像灰度化后的圖像進(jìn)行指數(shù)相乘，并賦值到V 通道。顯著度圖像是二維圖像，彩色DoLP 圖像是三維圖像，二者不能直接融合，因此需要將彩色DoLP 圖像灰度化。V 通道融合是為了提升圖像整體的明亮程度，有利于圖像的可視化。

式中：s0′是S0顯著度圖像，GDoLP是彩色DoLP 圖像灰度化后的圖像，兩者的歸一化后的范圍是(0，1)，因此V∈(0，e)。而在HSV 空間中，V 通道在歸一化后的范圍是(0，1)，為了避免V 通道數(shù)據(jù)失真，我們在V 通道設(shè)置閾值，這樣既保持了數(shù)據(jù)的真實性，又保留了目標(biāo)區(qū)域亮度高的優(yōu)勢。

3 實驗結(jié)果與分析

本次實驗使用的相機(jī)是LUCID 公司的2 448×2 048 像素的分焦平面彩色偏振相機(jī)。為了驗證我們的方法能夠有效增強(qiáng)目標(biāo)，分別在樓道、停車場和湖邊等場景開展實驗。

3.1 實驗結(jié)果

圖4 是樓道場景圖，目標(biāo)是標(biāo)識牌。從圖4 可以看出，彩色DoLP 圖像中目標(biāo)較為明顯，并且圖像中的雜物干擾受到了一定的抑制作用，但是目標(biāo)和背景顏色差異小。彩色AoP 圖像雖然清晰地顯示了目標(biāo)的輪廓，但是目標(biāo)細(xì)節(jié)非常模糊，不利于人眼觀察。彩色S0圖像中的目標(biāo)清晰，但是和背景的顏色相近，兩者之間的對比度較小，并且樓道中雜物對目標(biāo)起到了一定的干擾作用。融合后的圖像對目標(biāo)進(jìn)行了顏色增強(qiáng)，既突出了目標(biāo)的輪廓，又顯示出目標(biāo)的細(xì)節(jié)，并且目標(biāo)與背景的顏色差異大，使人眼能方便地從圖像中找尋到目標(biāo)，快速地聚焦于目標(biāo)。

圖4 樓道場景圖Fig.4 Images of corridor scene

圖5 是停車場場景圖，汽車目標(biāo)在圖中用紅色方框圈出，放大后顯示在圖像右下角。從圖5 可以看出彩色DoLP 圖像目標(biāo)周圍的樹木、建筑物等雜亂背景得到抑制，減少了對目標(biāo)的干擾。彩色AoP 圖像顯示出了目標(biāo)的輪廓，但是目標(biāo)的細(xì)節(jié)被掩蓋了。彩色S0圖像中目標(biāo)雖然很清晰，但是樹木等植被和建筑物等都對目標(biāo)產(chǎn)生了很大的干擾。融合后的圖像對目標(biāo)進(jìn)行了顏色增強(qiáng)，同時減少了周圍物體對目標(biāo)的干擾，提升了目標(biāo)和周圍物體之間的對比度，使得人眼可以清晰地分辨出目標(biāo)。

圖5 停車場場景圖Fig.5 Images of parking lot scene

圖6 是湖邊場景圖，巡邏車目標(biāo)在圖中用紅色方框圈出，放大后顯示在右下角。從圖中可以看出，僅憑人眼很難發(fā)現(xiàn)遠(yuǎn)處岸邊樹下的巡邏車。在彩色DoLP 圖像中，周圍環(huán)境對目標(biāo)的干擾得到了一定的抑制，但是目標(biāo)在圖像中并沒有突出。在彩色AoP 圖像中，周圍壞境對目標(biāo)的顯示起到了很大的干擾作用。在彩色S0圖像中，目標(biāo)雖然可以顯示，但是由于目標(biāo)太小，周圍環(huán)境對目標(biāo)同樣存在干擾。融合后的圖像對目標(biāo)進(jìn)行了顏色增強(qiáng)，同時減少了周圍環(huán)境對目標(biāo)的干擾，使得目標(biāo)在圖像中得以凸顯。

圖6 湖邊場景圖Fig.6 Images of lakeside scene

從以上實驗結(jié)果可以發(fā)現(xiàn)，融合后的圖像中，雜亂背景得到了抑制，目標(biāo)都得到了顏色增強(qiáng)，目標(biāo)與背景的對比度變大，使得人眼能夠快速找到并分辨出圖像中的目標(biāo)。特別地，對于停車場場景和湖邊場景，成像圖中的目標(biāo)很小，融合后的圖像使小目標(biāo)增強(qiáng)并凸顯，幫助人眼迅速地從場景中定位目標(biāo)。以上實驗說明，本文提出的融合方法能夠有效地抑制雜亂背景、增強(qiáng)目標(biāo)，并且適用于小目標(biāo)的增強(qiáng)，體現(xiàn)了本文融合方法應(yīng)用范圍的廣泛。

3.2 實驗分析

本文采用目標(biāo)和背景之間的對比度，以及RGB空間中的矢量-角度距離色差公式[25]作為實驗結(jié)果的客觀評價指標(biāo)。

3.2.1 對比度分析

在圖像中，目標(biāo)是我們所需要探測的物體，背景是目標(biāo)周圍的物體。目標(biāo)和背景的對比度為

式中：Xr、Xg、Xb和XR、XG、XB分別表示彩色圖像目標(biāo)和背景在不同顏色通道下的的平均像素值。表1 是3.1 節(jié)中3 組實驗場景圖像的對比度計算結(jié)果。

表1 3 組實驗圖像的對比度計算結(jié)果Table 1 Calculation results of contrast of 3 groups of experimental images

從表1 可以看出，融合圖像的對比度比彩色DoLP 圖像平均高了1.438 倍，比彩色AoP 圖像平均高了3.971 倍，比彩色S0圖像平均高了3.375 倍。因為彩色DoLP 圖像一般可以體現(xiàn)出目標(biāo)的細(xì)節(jié)，與融合圖像效果相差最小，所以融合圖像的對比度數(shù)據(jù)相較于彩色DoLP 圖像的提升最少。當(dāng)目標(biāo)和背景的對比度越大，則目標(biāo)在圖像中越突出，人眼就可以更快地發(fā)現(xiàn)目標(biāo)。結(jié)合3.1 節(jié)實驗結(jié)果可以發(fā)現(xiàn)，對比度評價結(jié)果和人眼觀察結(jié)果是一致的。

3.2.2 矢量角度距離分析

設(shè)RGB 顏色空間中兩個顏色的坐標(biāo)分別是x1=(r1,g1,b1)和x2=(r2,g2,b2)，在本文中，r1、g1、b1和r2、g2、b2表示的是目標(biāo)區(qū)域和背景區(qū)域在紅綠藍(lán)通道中的平均分量。矢量角度距離為

式中：

3.1 節(jié)中3 組實驗場景的矢量角度距離如表2所示。由（11）式可得，矢量角度距離越大，兩個顏色之間的色差越大，即目標(biāo)和背景的顏色差異越大，則目標(biāo)在整個圖像中相較于背景更加突出。從表2 可以看出，在前2 個場景中，彩色DoLP 圖像的矢量角度距離要大于彩色AoP 圖像和彩色S0圖像，但在第3 個場景中卻相反，這是因為第3 個場景中目標(biāo)最小，彩色DoLP 圖像中目標(biāo)和背景的顏色差異小，導(dǎo)致彩色DoLP 圖像矢量距離較小。但是在3 組圖像中，融合圖像的矢量角度距離均高于彩色DoLP 圖像、彩色AoP 圖像和彩色S0圖像，其比彩色DoLP 圖像平均高了1.711 倍，比彩色AoP 圖像平均高了1.579 倍，比彩色S0圖像平均高了1.574 倍。綜合來看，融合圖像中目標(biāo)和背景的顏色差異最大，目標(biāo)會更加突出，這與人眼觀察結(jié)果也是一致的。

表2 3 組實驗圖像的矢量角度距離計算結(jié)果Table 2 Calculation results of vector angle distance of three groups of experimental images

4 結(jié)論

本文提出了一種基于彩色偏振圖像的目標(biāo)增強(qiáng)方法，通過視覺顯著度的方法提取彩色DoLP、AoP 和S0圖像中的目標(biāo)特征，然后在HSV 空間中進(jìn)行融合，達(dá)到抑制背景雜波、增大目標(biāo)和背景對比度的目的。首先，由彩色偏振相機(jī)采集到的0°、45°、90°和135°這4 個方向的彩色偏振圖像得到彩色DoLP、AoP 和S0圖像。然后使用基于小波的視覺顯著度提取模型得到彩色DoLP、AoP 和S0圖像的顯著度圖像，使得目標(biāo)得到初步的增強(qiáng)。再次，映射到HSV 顏色空間，在H 通道賦予圖像顏色，在S 通道提高目標(biāo)和背景的對比度，在V 通道提升圖像整體的亮度，使得目標(biāo)和背景的對比度達(dá)到最大，最大化的凸顯出目標(biāo)，最后轉(zhuǎn)到RGB 空間得到目標(biāo)突出的最終圖像。實驗結(jié)果表明，該方法對目標(biāo)周圍的背景雜波起到了很好的抑制作用，并對圖像中的目標(biāo)進(jìn)行顏色增強(qiáng)，提升了目標(biāo)和背景的對比度，使得人眼可以迅速并準(zhǔn)確地發(fā)現(xiàn)圖像中的目標(biāo)。同時，該方法在目標(biāo)和背景對比度以及矢量角度距離上也有了很大的提升，這與人眼觀察結(jié)果相一致。除此之外，該融合方法對小目標(biāo)也進(jìn)行了增強(qiáng)，幫助人眼迅速地從場景中定位目標(biāo)。但是，該方法對圖像中的某些非目標(biāo)區(qū)域也會進(jìn)行增強(qiáng)，容易對目標(biāo)形成干擾，因此，未來我們會針對這一問題進(jìn)行進(jìn)一步的研究。