尹海寧，胡良梅，范之國

（合肥工業(yè)大學 計算機與信息學院，安徽 合肥230009）

引言

偏振成像探測，較傳統(tǒng)光學成像，能夠提供更多關于物體表面粗糙度、紋理、材料的理化特性等信息［1］，因此，在軍事偵察、遙感探測、醫(yī)療和天文觀測等領域得到了廣泛的應用。傳統(tǒng)的偏振信息解析方法主要通過計算Stokes參量圖像來反映偏振信息，但是，這容易丟失細節(jié)信息，并且不能完全反映目標反射光的偏振信息。利用偏振圖像之間的信息冗余和互補性，研究者們提出了一些基于圖像融合的偏振信息解析方法，如張晶晶、方永華提出基于邊緣信息的偏振圖像融合算法［2］；Li Fucheng，Zhang Jin等提出基于多偏振圖像信息融合的合成孔徑雷達圖像的圖像分割方法［3］，通過watershed算法得到梯度圖像，基于紋理信息進行區(qū)域融合；Yang Fengbao，Wei Hong提出基于SVT變換（SVT，support value transform）和模糊合并規(guī)則的方法［4］，對源圖像進行SVT變換，得到圖像低頻和高頻成分，基于平均融合和區(qū)域能量最大的原則，將紅外偏振圖像和強度圖像進行融合；Alexandre Jouan，Yannick Allard對偏振合成孔徑雷達和高光譜圖像提取邊緣和紋理特征，融合圖像的光譜特征等［5］。對于圖像特征的反映，灰度特征缺乏空間分布信息，紋理特征反映的是局部結構化特征，形狀特征一般需要經(jīng)過圖像分割和邊緣提取后，才可以對圖像進行基于邊緣或區(qū)域形狀特征的提取。本文對多幅源圖像，分別提取灰度、紋理和形狀特征，綜合特征信息計算權值，融合偏振圖像。

1 偏振圖像的獲取

光的偏振狀態(tài)常用Stokes參量I、Q、U、V 來描述，即S＝（I，Q，U，V）：

式中：Ex、Ey表示光矢量在沿x、y軸的振幅分量；δ為兩個振動分量的相位差；〈E〉為對時間的平均效果；I表示光束的總強度；Q表示光束水平方向上的線偏振分量；U表示光束45°方向上的線偏振分量；V表示光束的圓偏振分量。光束主要以線偏振分量為主，圓偏振分量極少，一般取V＝0。

任意角度α的線偏振光強I（α）的計算公式為

或

式中α為線偏振片檢偏方向與水平方向的夾角。因此，通過旋轉(zhuǎn)偏振片可得到不同檢偏角度的線偏振光的光強I（α），本文實驗所用偏振相機設定的α為0°、60°、120°。根據(jù)（3）式求解方程組，可得到（4）式。根據(jù)（4）式可計算得到Stokes參量I、Q、U，進而由（5）式可得到目標的偏振度Dop和偏振角Aop：

為直觀解析偏振信息，對獲得的Stokes參量I、Q、U 和Dop、Aop，進行灰度線性變換，將偏振信息以圖像形式表示。

2 圖像特征提取

2.1 基于灰度直方圖的特征提取

灰度直方圖的定義：H（i）＝ni／N，i＝0，1，2，…，L－1。其中：ni表示灰度值為i的像素個數(shù)；N表示圖像的像素總數(shù)；L為圖像灰度級。在此基礎上，提取下列統(tǒng)計量來反映偏振圖像的灰度直方圖特征：

方差σ2：σ2＝表示灰度值的離散分布情況；

傾斜度μs：μs＝表示直方圖分布的不對稱程度，值越大則直方圖分布越不對稱；

峰態(tài)μk：μk＝表示在接近均值時灰度的分布狀態(tài)是否集中于平均灰度，值越小，則越集中；

能量μN：μN＝表示灰度分布的均勻程度，灰度分布較均勻時能量較大；

熵μE：μE＝表示直方圖灰度分布的均勻性。

2.2 基于Gabor小波的紋理特征提取

Gabor小波變換能夠精確地提取圖像的局部紋理特征，二維Gabor函數(shù)為

對g（x，y）進行一定的伸縮和旋轉(zhuǎn)，得到自相似的一組Gabor小波濾波器，即

gnm（x，y）＝a－mg（x′，y′），a＞1，m，n∈Z

式中：x′＝a－m（xcosθ＋ysinθ）；y′＝a－m（－xsinθ＋ycosθ）；θ＝nπ／k；a－m為尺度因子；m、n分別為指定小波的尺度和方向，m ＝0，1，…，s－1（s為尺度數(shù)），n＝0，1，…，k－1（k為方向數(shù)）。M×N像素大小的圖像F（x，y），它的離散Gabor小波變換為

2.3 基于不變矩的形狀特征提取

大小為M×N像素的圖像F（x，y）的p＋q階幾何矩公式為

式中p、q為常數(shù)。令μpq＝Mpq／，其中r＝（p＋q＋2）／2。提取以下7個不變矩特征作為形狀特征：

3 具體融合步驟

通過實驗獲取不同檢偏角度α的偏振圖像I（α），為了獲得良好的融合效果，對得到的偏振圖像進行直方圖均衡化預處理。

3.1 基于灰度特征的偏振圖像融合

提取圖像的灰度特征，構成灰度特征矢量h＝（μ，σ2，μs，μk，μN，μE）。0°、60°、120°偏振圖像的灰度特征矢量分別為h1、h2、h3。一般基于灰度特征的圖像融合采用平均融合的方法，本文所用的3幅源偏振圖像亮度差異較小，平均融合可能會導致融合后圖像的灰度分辨率下降，為了提高圖像的灰度分辨率，本文在此基礎上進行改進，根據(jù)提取的源圖像的灰度特征值來計算融合權值：

wi（j）＝hi（j）／［h1（j）＋h2（j）＋h3（j）］

式中：i＝1，2，3；j＝1，2，3，…，6。計算偏振融合圖像FusImage1：

其中 Xi（i＝ 1，2，3）分別對應 0°、60°、120°偏振圖像。

3.2 基于紋理特征的偏振圖像融合

對獲取的源偏振圖像進行離散Gabor濾波，在相同的尺度下，用8個方向的Gabor濾波器對圖像進行濾波，生成8個對應的濾波系數(shù)矩陣。對這8個濾波系數(shù)矩陣根據(jù)紋理特征矩陣f＝（μmn）5×8進行加權融合：得到融合系數(shù)矩陣。要得到不同尺度下的融合紋理圖像，只需重復上述步驟，然后對其求平均，得到最終的融合系數(shù)矩陣。該方法可以很好地綜合不同尺度和方向的濾波信息，從而獲得完整的圖像紋理信息。

分別對0°、60°、120°偏振圖像進行 Gabor小波濾波，并對其不同尺度和方向下的系數(shù)矩陣進行融合，對其求平均，得到最終的融合圖像FusImage2。

3.3 基于形狀特征的偏振圖像融合

提取0°、60°、120°偏振圖像的形狀特征矢量M ＝（m1，m2，m3，…，m7），分別為：M1、M2、M33幅源圖像的特征矢量構成特征矩陣Mij＝（M1M2M3）T。設各列的最大值為ωj，j＝1，2，…，7，設各列最大值對應的源圖像為Xj，其融合權值λj＝ωj／∑jωj，得到基于形狀特征的偏振融合圖像FusImage3＝

3.4 偏振特征圖像融合

通過3.1～3.3節(jié)的分析得到偏振圖像的基于灰度特征的融合圖像FusImage1、基于紋理特征的融合圖像FusImage2及基于形狀特征的融合圖像FusImage3。為突出FusImage2的紋理，對其像素值設定閾值，本文設定閾值為70，所有小于或等于閾值的像素點值設為0，大于閾值的像素點值設為255。在具體算法實現(xiàn)時，為了防止FusImage2會降低融合圖像的整體亮度，將圖像FusImage1和FusImage3進行平均，再加上FusImage2，得到融合后的矩陣，即：

考慮到這樣融合后，會有部分矩陣元素值都超過了255，在圖像中顯示時會無法反映像素灰度值間的差異，因此進行灰度線性變換，將其值域限定在0至255之間。這樣既可以突出圖像的紋理特征，又保留了基于灰度特征融合得到的灰度細節(jié)信息。

4 實驗與分析

實驗所用圖像為2013年5月29日10時，安徽合肥十五里河拍攝。

圖1 偏振圖像和第1步融合圖像Fig.1 Polarization images and step 1 fused images

1）對實驗所得的偏振圖像I（α）進行預處理后，如圖1（a）、1（b）、1（c）所示；第1步圖像融合結果分別為：FusImage1，F(xiàn)usImage2和FusImage3，如圖1（d）、1（e）、1（f）所示。

2）進行第2步融合，得到融合圖像Fusion－Image，并與Stokes參量、Dop和Aop圖像進行比較，如圖2所示，可見本文方法融合圖像Fusion－Image相較于Stokes參量、Dop和Aop圖像，在視覺效果上明顯較好，圖像的信息較為豐富，突出了細節(jié)信息，如圖2（f）中的高壓傳輸線清晰可見。

圖2 Stokes參量圖像和融合圖像Fig.2 Images of Stokes and fused image

3）普通光強圖像 NP（no polarization）與Aop和Dop圖像、本文融合圖像進行對比，如圖3、4所示。從圖3的對比可以發(fā)現(xiàn)，圖3（d）較圖3（a）、3（b）、3（c）反映場景信息的效果更好；截取圖3中的相應標記部分進行對比，如圖4所示。在圖4（d）中可以較清楚地看到標牌上的文字“十五里河橋”，以及交通牌上的箍，而圖4（a）、4（b）、4（c）均不能辨別文字和標記部分的細節(jié)，其中圖4（a）的反映細節(jié)的效果最差。

圖3 圖像效果對比Fig.3 Contrast of images

圖4 標記部分效果對比Fig.4 Contrast of marks

4）利用參考文獻［2］方法對0°、60°、120°偏振圖像進行小波分解，分別對低頻系數(shù)和高頻系數(shù)進行融合，通過小波逆變換，得到最終的融合圖像［2］，并與本文方法得到的融合圖像進行對比，如圖5和圖6所示，從圖5（a）、5（b）的對比可以看出本文方法較該方法反映場景的信息更為豐富，整體視覺效果較好，圖5（a）在細節(jié)上存在一定的模糊。從圖6標記處的對比，可以看到本文方法對細節(jié)信息的反映更為清晰。

圖5 2種方法融合結果的比較Fig.5 Comparison between reference 2 image fusion method and image fusion method of this paper

圖6 兩種方法標記處的比較Fig.6 Comparison of marks between reference 2 image fusion method and image fusion method of this paper

5）以上圖像的對比，主要從主觀上對圖像的融合效果進行評價，為全面反映圖像的融合效果，根據(jù)圖像融合質(zhì)量的評價方法［2，9］對普通光強圖像、偏振參量圖像和融合圖像進行客觀評價。采用以下參數(shù)進行定量分析：均值（mean）、標準差（σ）、熵（entropy）和清晰度（圖像的梯度），如表1所示，可以看出，本文方法的融合圖像相較于普通光強圖像、偏振參量圖像及參考文獻［2］方法融合圖像，視覺效果較好，亮度適中，標準差較大即灰度分辨更好，熵值增大，信息豐富，平均梯度增大，更加清晰。進一步計算可得，融合后的圖像相較于普通光強圖像，方差、信息熵分別提高了12.6%、17.5%。

表1 圖像的定量分析參數(shù)Table 1 Quantitative analysis parameters of images

6）由于本文方法涉及到的數(shù)據(jù)量較大，為了簡化計算，選取的灰度特征為常用的均值均值μ、方差σ2和熵μE；為降低Gabor紋理特征的維數(shù)，選取的尺度數(shù)s＝4和方向數(shù)k＝6；由于獲取的偏振圖像是關于遠處場景的靜態(tài)圖像，不存在目標的平移和旋轉(zhuǎn)，為了簡化計算，不考慮目標的形狀特征，對獲取的偏振圖像進行融合，結果如圖7所示。

圖7 簡化融合算法后的處理效果Fig.7 Result after simplified

從圖7（a）與圖5（b）的對比可以看出，簡化后，圖像融合的整體效果相近，但從圖7（b）與圖6（b）的對比，可以看出，本文方法簡化后，圖像的細節(jié)信息不如簡化前的處理效果，存在紋理模糊以及灰度分辨率降低的現(xiàn)象。為了定量分析簡化前后的處理效果以及算法的耗時，分別計算相應的參數(shù)，如表2所示。本文處理環(huán)境為Windows 7系統(tǒng)，CPU 為Intel（R）Core（TM）i5－3570＠3.4GHz＊2，RAM 8GB。

表2 簡化前后的分析參數(shù)Table 2 Analysis parameters before and after simplified

由圖7和表2的對比和分析，可以看出，簡化處理后，圖像的整體視覺效果與簡化前相近，處理速度提高較大；但在細節(jié)顯示上有所下降，主要是由于基于Gabor紋理特征處理上的簡化。

5 結論

本文在基于特征分析的基礎上，分別對偏振圖像的灰度特征、紋理特征和形狀特征進行提取，并據(jù)此對偏振圖像進行融合，通過與普通光強圖像，偏振角（Aop）和偏振度（Dop）圖像的對比可以看出，本文算法較好地融合了偏振信息。相較于基于邊緣的融合方法，較好地融合了圖像的特征信息。本文主要是針對偏振灰度圖像進行融合，

在此基礎上，可以拓展對偏振彩色圖像的融合。

［1］ Wu Junyi，Yu Guoping，Tang Ruoyu，et al.Detection and processing of polarization image［J］.Optical Technique，2006，32（sup）：176－178，181.吳君毅，于國萍，唐若愚，等.偏振圖像的探測及處理［J］.光學技術，2006，32（增刊）：176－178，181.

［2］ Zhang Jingjing，F(xiàn)ang Yonghua.Algorithm and evaluation for polarization image fusion based on edge information［J］.Opto－Electronic Engineering，2007，34（11）：23－26.張晶晶，方勇華.基于邊緣信息的偏振圖像融合算法及評價［J］.光電工程，2007，34（11）：23－26.

［3］ Li Fucheng，Zhang Jin，Zhou Lili，et al.A new segmentation method of SAR image based on multipolarization information fusion［C］.USA：IEEE Computer Society，2009：99－103.

［4］ Yang Fengbao，Wei Hong.Fusion of infrared polarization and intensity images using support value transform and fuzzy combination rules［J］.Infrared Physics ＆ Technology，2013，60：235－243.

［5］ Jouan A，Allard Y.Land use mapping with evidential fusion of features extracted from polarimetric synthetic aperture radar and hyperspectral imagery［J］.Information Fusion，2004，5（4）：251－267.

［6］ Morita S，Sugiman Y.Generating reflection transparent image using image fusion space［M］.Germany：Springer Berlin Heidelberg，2008.

［7］ Zhao Yongqiang，Pan Quan，Zhang Hongcai.Calculation method of Stokes images based on sequence image fusion［J］.Journal of Optoelectronics·Laser，2005，16（3）：354－357.趙永強，潘泉，張洪才.基于圖像序列融合的Stokes圖像計算方法［J］.光電子·激光，2005，16（3）：354－357.

［8］ Shen Huiyan，Zhou Pucheng.Polarization imagery fusion method based on human visual characteristic［J］.Opto－Electronic Engineering，2010，37（8）：76－80.申慧彥，周浦城.一種基于人眼視覺特性的偏振圖像融合方法［J］.光電工程，2010，37（8）：76－80.

［9］ Zhao Gaopeng，Bo Yuming，Chen Yi.Region－based image fusion algorithm［J］.Computer Applications，2008，28（12）：152－157.趙高鵬，薄煜明，陳益.基于區(qū)域的圖像融合方法［J］.計算機應用，2008，28（12）：152－157.

［10］Hu Liangmei，Gao Jun，He Kefeng.Research on quality measures for image fusion［J］.Acta Electronic Sinica，2004，32（S1）：222－225.胡良梅，高雋，何柯峰.圖像融合質(zhì)量評價方法的研究［J］.電子學報，2004，32（S1）：222－225.

［11］］Zhang Xiaoling，Xu Yan，Wang Xiaozhong，et al.Research on image fusion based on polarization of haze［J］.Journal of Xiamen University：Natural Science，2011，50（03）：520.張曉玲，許炎，王曉忠，等.基于薄霧偏振特性的圖像融合方法［J］.廈門大學學報：自然科學版，2011，50（03）：520.

［12］Zhou Pucheng，Zhang Hongkun，Xue Mogen.Polarization image fusion method using color transfer and clustering－based segmentation［J］.Acta Photonica Sinica，2011，40（1）：149－153.周浦城，張洪坤，薛模根.基于顏色遷移和聚類分割的偏振圖像融合方法［J］.光子學報，2011，40（1）：149－153.

［13］Zhang P，Kong X.Detecting image tampering using feature fusion［C］.USA：IEEE，2009.

［14］Schlüter R，Zolnay A，Ney H.Feature combination using linear discriminant analysis and its pitfalls［C］.USA：IEEE，2006.

［15］Scalzo F，Bebis G，Nicolescu M，et al.Feature fusion hierarchies for gender classification［C］.USA：IEEE，2008.