任立勇，梁健，屈恩世，張文飛，4，杜博軍，馬菲雅，郭少犇，張進(jìn)

（1 陜西師范大學(xué) 物理學(xué)與信息技術(shù)學(xué)院，西安710119）

（2 中國科學(xué)院西安光學(xué)精密機(jī)械研究所，西安710119）

（3 西安市光信息調(diào)控與增強(qiáng)技術(shù)重點實驗室，西安710119）

（4 山東理工大學(xué) 物理與光電工程學(xué)院，山東 淄博255000）

（5 中國人民解放軍63861 部隊，吉林 白城137001）

0 引言

一直以來，光學(xué)成像技術(shù)在人類感知和記錄客觀世界事物中發(fā)揮著巨大的作用。光波是一種電磁波，對光波四個基本參量的利用分別對應(yīng)一種光學(xué)成像方式或方法，同時光學(xué)成像技術(shù)的發(fā)展歷程也反映著人類感知或記錄光的能力及技術(shù)手段的不斷進(jìn)步。記錄光的振幅信息對應(yīng)強(qiáng)度成像方式，獲得了目標(biāo)的黑白照片；記錄光的波長（或頻率）信息對應(yīng)光譜成像方式，獲得了目標(biāo)的彩色照片；記錄光的相位信息對應(yīng)全息成像方式，獲得了目標(biāo)的全息照片；人眼固有的偏振不敏感性，使得作為光的四個基本屬性之一的偏振成為了被人類發(fā)現(xiàn)和利用最晚的一個光波屬性。即便如此，基于對光的偏振信息探測的偏振光學(xué)成像技術(shù)，已經(jīng)成為了現(xiàn)代光學(xué)成像技術(shù)的前沿研究熱點。

眾所周知，偏振是光波電場振動方向?qū)鈧鞑シ较虻牟粚ΨQ性，是橫波區(qū)別于縱波的重要標(biāo)志，是光的一個重要的信息維度。事實上，光波的偏振特性包含著豐富而獨特的信息，往往是光的其他屬性所不具備的。物體反射光或輻射光的偏振特性（一般用光的偏振度和偏振角這兩個參量來描述）與其材質(zhì)、幾何形狀、紋理結(jié)構(gòu)、表面粗糙度、理化特性等本身性質(zhì)密切相關(guān)。不同類型的目標(biāo)，即使他們具有相同的強(qiáng)度反射率，其反射光的偏振特性也往往表現(xiàn)出較大差異。而決定目標(biāo)反射光偏振特性的因素很難被偽裝和隱藏，因此通過對目標(biāo)反射光的偏振特性測量可以有效地探測和凸顯復(fù)雜背景下的感興趣目標(biāo)。作為對傳統(tǒng)的強(qiáng)度成像、光譜成像和紅外輻射成像等成像方式的有效補(bǔ)充手段，偏振光學(xué)成像這種新型的光學(xué)成像技術(shù)，為低信噪比復(fù)雜背景環(huán)境、強(qiáng)散射環(huán)境、低照度環(huán)境下的目標(biāo)成像探測等，提供了創(chuàng)新的技術(shù)手段。

自從HUYGENS C 研究光波在晶體中傳播時發(fā)現(xiàn)了光的偏振特性之后，對光的偏振信息獲取和處理技術(shù)的研究一直是該領(lǐng)域的熱點。1852年，STOKES G 提出了一種將光的偏振特性反映到其強(qiáng)度上的探測方法，使得人們對光偏振信息的觀察和獲取變得更加直觀而方便。自此，斯托克斯（Stokes）矢量被廣泛應(yīng)用到偏振光學(xué)成像探測技術(shù)中，極大地促進(jìn)了該技術(shù)的發(fā)展。2000年，美國Physics Innovations Inc.和Lockheed Martin Corp.聯(lián)合開展了長波紅外偏振光學(xué)成像研究［1］，結(jié)果表明在目標(biāo)與背景熱輻射強(qiáng)度相近時，通過偏振光學(xué)成像技術(shù)可有效地增強(qiáng)軍事目標(biāo)的對比度，提升目標(biāo)的識別概率。2003年，瑞典國防研究局利用長波紅外偏振光學(xué)成像技術(shù)對隱藏在軍用網(wǎng)后的軍事目標(biāo)進(jìn)行了偏振光學(xué)成像研究［2］，結(jié)果表明偏振光學(xué)成像技術(shù)對隱藏目標(biāo)的探測能力比強(qiáng)度光學(xué)成像技術(shù)更強(qiáng)。2004年，美國空軍研究實驗室對戰(zhàn)斗機(jī)表面涂層的偏振特性進(jìn)行了深入研究［3］，并與植被目標(biāo)偏振特性進(jìn)行了對比，結(jié)果表明偏振光學(xué)成像技術(shù)對偽裝目標(biāo)的強(qiáng)探測能力。2005年，以色列ELOP 公司提出了一種長波紅外偏振光學(xué)成像探測方法［4］，展現(xiàn)了偏振光學(xué)成像技術(shù)相對于強(qiáng)度成像可有效提升復(fù)雜背景環(huán)境中目標(biāo)的探測能力。同年，美國Polaris Sensor Technologies 公司在實驗上發(fā)現(xiàn)了長波紅外偏振光學(xué)成像技術(shù)可被有效地應(yīng)用于海面目標(biāo)的探測［5］。2011年，加拿大國防研究及發(fā)展中心以機(jī)械轉(zhuǎn)輪控制偏振片轉(zhuǎn)動，實現(xiàn)了0.4～0.9 μm 的可見光波段、1.0～1.9 μm 的近紅外波段、3～5 μm 的中波紅外波段和8～12 μm 長波紅外波段的多波段偏振光學(xué)成像［6］，展示了偏振光學(xué)成像技術(shù)在探測隱藏和偽裝的人造軍事目標(biāo)時的獨特優(yōu)勢。早期階段，紅外偏振探測理論、紅外偏振光學(xué)成像系統(tǒng)及其探測應(yīng)用，在軍事和民用領(lǐng)域引起了廣泛關(guān)注。例如，在紅外偽裝涂層下隱身目標(biāo)的探測和識別應(yīng)用需求中，紅外偏振光學(xué)成像發(fā)揮了重要作用，它能有效抑制背景雜波，提高目標(biāo)與背景的對比度，增強(qiáng)目標(biāo)物的信息量和成像探測距離，提高熱像儀對溫差小或熱對比度低的目標(biāo)的探測識別能力［7-8］。近年來，隨著納米加工能力的提升，基于日本Sony 公司生產(chǎn)的微偏振片陣列圖像芯片促進(jìn)了可見光偏振光學(xué)成像技術(shù)的快速發(fā)展，典型代表是美國FLIR 公司和Lucid 公司推出的分焦平面偏振相機(jī)。

偏振光學(xué)成像技術(shù)的發(fā)展及其成像探測應(yīng)用需求，極大地促進(jìn)了偏振光學(xué)成像系統(tǒng)（相機(jī)）的研制。偏振光學(xué)成像系統(tǒng)可分為分時和同時偏振光學(xué)成像系統(tǒng)兩大類。分時偏振光學(xué)成像系統(tǒng)通過旋轉(zhuǎn)相機(jī)鏡頭前的線偏振片，依次獲得0°、45°、90°和135°線偏振方向的強(qiáng)度圖像，最后計算獲得線偏振度圖像或偏振角圖像。分時偏振光學(xué)成像系統(tǒng)具有簡單易實現(xiàn)的優(yōu)勢，但存在旋轉(zhuǎn)角度精度低、偏振探測能力差、不適合對運動目標(biāo)成像等缺陷。同時偏振光學(xué)成像系統(tǒng)又分為分振幅型［9-10］、分孔徑型［11-12］和分焦平面型［13-14］。分振幅型偏振光學(xué)成像系統(tǒng)借助分光棱鏡分光和各支路偏振調(diào)制方案，可實現(xiàn)多探測器或單探測器共享的偏振光學(xué)成像。2011年，美國洛克希德馬丁公司采用棱鏡二次反射的方法將四路光調(diào)整至一個方向，實現(xiàn)了單探測器分振幅型偏振光學(xué)成像。該成像系統(tǒng)結(jié)構(gòu)緊湊，可靠性高，但由于四路光反射次數(shù)不同，需根據(jù)每一路自身的特性補(bǔ)償光程差和像差，設(shè)計相對復(fù)雜；分孔徑型偏振光學(xué)成像系統(tǒng)在前端光學(xué)鏡頭的孔徑光闌處并行放置多個不同的偏振調(diào)制元件，在后端聚焦時采用聚焦透鏡組實現(xiàn)多通道分別聚焦，從而在單一探測器的不同象限上獲得目標(biāo)的不同偏振態(tài)圖像，由于四個通道的裝配誤差必然會導(dǎo)致四幅偏振子圖像之間存在位置偏差，因此，分孔徑偏振子圖像間的配準(zhǔn)尤為重要；分焦平面型偏振光學(xué)成像系統(tǒng)將偏振片的尺寸制作到微米量級，再將不同方向的微偏振片組成陣列并放置于探測器前，探測器每一個感光像元與一個方向的微偏振片對應(yīng)。高質(zhì)量金屬線柵微偏振片陣列圖像芯片的研制成功，極大地促進(jìn)了分焦平面偏振相機(jī)及偏振光學(xué)成像技術(shù)的推廣應(yīng)用。

大量研究表明，基于目標(biāo)反射光和背景雜散光的偏振特性差異，偏振光學(xué)成像技術(shù)在改善目標(biāo)成像質(zhì)量、提高作用距離、提升探測能力和增強(qiáng)識別概率等方面具有重要的意義，在工業(yè)檢測［15-16］、生物醫(yī)學(xué)［17］、光學(xué)遙感和地球物理［18］、大氣科學(xué)及云層探測［19］、水下勘探和開發(fā)［20］、軍事目標(biāo)探測和識別［5］等領(lǐng)域具有重要的應(yīng)用價值。特別是在物體識別與分割［21］、材料及表面缺陷檢測［22］、動態(tài)干涉計量［23］、生物組織病變診斷［24］、目標(biāo)探測與對比度增強(qiáng)［25］、鏡面強(qiáng)反射去除［26］、3D 輪廓信息提?。?7］、透明固體材料內(nèi)應(yīng)力測量［28］、去霧去散射清晰成像［29-42］、復(fù)雜環(huán)境（如海洋、沙漠）中不易發(fā)現(xiàn)的移動目標(biāo)［43］和暗弱目標(biāo)［44］的快速偵察和探測等方面表現(xiàn)出了諸多獨特優(yōu)勢。

國內(nèi)在偏振光學(xué)成像探測技術(shù)及偏振相機(jī)研制方面開展了諸多研究工作。中國科學(xué)院上海技術(shù)物理研究所［45］成功研制了亞波長金屬線柵微偏振片陣列的近紅外InGaAs 偏振探測器；合肥新星應(yīng)用技術(shù)研究所［46］在偏振光學(xué)成像技術(shù)探測人造目標(biāo)方面進(jìn)行了深入研究；南京理工大學(xué)［25］在自適應(yīng)目標(biāo)增強(qiáng)偏振光學(xué)成像技術(shù)方面做出了貢獻(xiàn)；天津大學(xué)［47-48］在水下偏振去散射圖像恢復(fù)及增強(qiáng)成像方面進(jìn)行了系統(tǒng)的研究；西北工業(yè)大學(xué)［49］研制了8～12 μm 波段的非制冷型分焦平面紅外偏振相機(jī)。此外，北京理工大學(xué)、北京航空航天大學(xué)、南京航空航天大學(xué)、中北大學(xué)、東北師范大學(xué)、國防科技大學(xué)、中國人民解放軍陸軍軍官學(xué)院、中國科學(xué)院西安光學(xué)精密機(jī)械研究所、西安交通大學(xué)、西安電子科技大學(xué)等單位都在積極參與該領(lǐng)域的研究工作。

2012年以來，本研究團(tuán)隊在中國科學(xué)院西安光學(xué)精密機(jī)械研究所開展偏振相機(jī)研制及偏振光學(xué)成像探測技術(shù)研究［12，14，29-42，50-58］。2015年，研制出了一款三個線偏振和一個圓偏振同時探測的分孔徑型彩色全偏振態(tài)相機(jī)［12，50］。本文對偏振光學(xué)成像探測方面的研究工作及成果進(jìn)行了較為詳細(xì)的介紹和總結(jié)，并對偏振光學(xué)成像研究目前需要解決的技術(shù)問題和發(fā)展方向給出了思考和建議。僅以此文紀(jì)念中國科學(xué)院西安光學(xué)精密機(jī)械研究所建所60 周年。

1 偏振光學(xué)成像理論

1.1 偏振光的Stoke 矩陣表示

通常情況下，沿z軸方向傳播的光，其光波電場可表示為沿x軸（水平軸）和y軸（垂直軸）方向正交振動的兩個光波的合成。對于給定頻率的振動，兩個分振動是確定的且保持一定的相對關(guān)系，其合成光波電場的電矢量端點將描繪出三維的軌跡。相互正交的兩個振動分量可表示為

式中，ω和λ分別為光波的角頻率和波長，E0x和E0y分別為x和y方向的振幅，φx和φy分別為x和y方向的初始相位。定義φ=φx-φy為x和y方向之間的初始相位差。由于兩個光波分量都在z方向傳播，其合成的光波電場E（z，t）滿足光矢量方程

當(dāng)φ為常量時，式（2）表示一個橢圓方程，表明光矢量通常是橢圓偏振的；特別地，當(dāng)φ是π 的整數(shù)倍時，光矢量變?yōu)榫€偏振的；當(dāng)E0x=E0y，φ=±π/2 時，光矢量變?yōu)閳A偏振的；當(dāng)φ為隨機(jī)數(shù)時，光矢量為非偏振的。當(dāng)光波中既包含非偏振光，又包含偏振光，稱為部分偏振光。

1852年，STOKES G 在研究部分偏振光時，為便于表征和測量光的偏振態(tài)，引進(jìn)了Stokes 矩陣，即

式中，I0、I45、I90和I135分別表示光波中0°、45°、90°和135°的線偏振成分的光強(qiáng)，IR和IL分別表示光波中右旋圓偏振和左旋圓偏振成分的光強(qiáng)；S0表示光波的總強(qiáng)度，S1表示水平（0°）和豎直（90°）方向上線偏振光的強(qiáng)度差，S2表示45°和135°方向上線偏振光的強(qiáng)度差，S3表示右旋與左旋圓偏振光的強(qiáng)度差。T 表示矩陣轉(zhuǎn)置操作。可見，Stokes 矩陣是一個4×1 的列矩陣，S1和S2描述光波的線偏振部分，S3描述光波的圓偏振部分。

1.2 偏振光學(xué)成像的基本原理

在實際應(yīng)用中，通過拍攝同一場景目標(biāo)的多幅不同偏振態(tài)（例如：0°、45°、90°和135°線偏振、右旋圓偏振、左旋圓偏振）下的強(qiáng)度圖像，可獲得Stokes 矩陣參量，即

根據(jù)式（5），可得到描述光波偏振特征的三個基本參數(shù)：偏振度、偏振方位角和偏振橢偏角。

1）偏振度（Degree of Polarization，DoP）：表示完全偏振光強(qiáng)度在整個光強(qiáng)度中所占的比例，表示為

DoP 的取值范圍為［0，1］，其中，0 表示光波為完全非偏振光（即自然光）；1 表示光波為完全偏振光；其他值表示光波為部分偏振光。

2）偏振方位角（Angle of Polarization，AoP）：表示偏振光電矢量主振動方向與參考方向（通常取水平方向x 軸）的夾角，表示為

AoP 的取值范圍為［0，π］rad，式（7）表明，AoP 的大小依賴于S1和S2的大小和符號。

3）偏振橢偏角（Ellipticity Angle of Polarization，EoP）：反映橢圓短軸與長軸之比，表示為

EoP 的取值范圍為［-π/4，π/4］rad，其中，EoP=0 代表線偏振光，EoP=-π/4 和EoP=π/4 分別代表左旋圓偏振光和右旋圓偏振光。

根據(jù)以上偏振特征參數(shù)，可以獲得場景目標(biāo)的偏振度圖像、偏振角圖像和偏振橢偏角圖像，用于偏振光學(xué)成像及目標(biāo)偏振探測和識別。

2 分孔徑偏振光學(xué)成像系統(tǒng)的設(shè)計、關(guān)鍵器件及技術(shù)

從偏振光學(xué)成像基本理論可知，為了獲得目標(biāo)的全偏振態(tài)信息，如式（5）所示，需要同時獲得目標(biāo)的0°、45°、90°三個線偏振光強(qiáng)信息（即I0、I45和I90）和一個右旋圓偏振光強(qiáng)信息（即IR）。為此，采用分孔徑偏振光學(xué)成像系統(tǒng)，在孔徑光闌處并行放置0°、45°、90°三個線偏振片和一個右旋圓偏振片實現(xiàn)全偏振態(tài)提取，并通過四個通道分別聚焦成像及共用同一個探測器，可實現(xiàn)分孔徑全偏振態(tài)同時成像。

與其他偏振光學(xué)成像系統(tǒng)相比，分孔徑偏振光學(xué)成像系統(tǒng)有獨特的優(yōu)勢，其結(jié)構(gòu)緊湊，實時性強(qiáng)，能夠同時獲取場景的全偏振態(tài)信息，適合對動態(tài)目標(biāo)進(jìn)行全Stoke 矢量的偏振光學(xué)成像探測及應(yīng)用研究。本節(jié)結(jié)合研究團(tuán)隊在分孔徑全偏振態(tài)成像相機(jī)整機(jī)及分孔徑全偏振態(tài)成像鏡頭方面的研究工作，主要介紹分孔徑偏振光學(xué)成像系統(tǒng)的設(shè)計、關(guān)鍵器件及技術(shù)。

2.1 分孔徑全偏振態(tài)同時探測型彩色偏振相機(jī)

從目前市面上偏振相機(jī)產(chǎn)品來看，凡是全偏振態(tài)探測的都是分時型偏振光學(xué)成像模式，而凡是同時型偏振光學(xué)成像模式的都只能探測線偏振光成分，缺乏對圓偏振光成分的探測。另外，偏振相機(jī)目前沒有國產(chǎn)品牌，使用最多的是美國FLIR 公司和Lucid 公司生產(chǎn)的分焦平面型偏振相機(jī)，其芯片均采用日本Sony 公司的金屬線柵微偏振片陣列，因此不能探測圓偏振光成分。

圖1 所示為研究團(tuán)隊在中國科學(xué)院西安光學(xué)精密機(jī)械研究所研制開發(fā)的分孔徑全偏振態(tài)同時探測型彩色偏振相機(jī)［12］，相機(jī)采用分孔徑共焦面多幅成像的光學(xué)設(shè)計，結(jié)構(gòu)緊湊、通光量高；機(jī)械結(jié)構(gòu)多采用一次成型工藝，具有精度高的優(yōu)點；電子學(xué)部分采用FPGA 乒乓結(jié)構(gòu)緩存與運算，可對大數(shù)據(jù)圖像進(jìn)行高速處理，能夠滿足25 幀/s 的視頻流輸出，輸出端采用逐行倒相（Phase Alteration Line，PAL）制式模擬信號和千兆網(wǎng)數(shù)字信號同時輸出，增強(qiáng)了偏振相機(jī)實時探測和后期分析處理能力。圖1（a）為成像焦面處三個線偏振和一個右旋圓偏振的排布示意圖；圖1（b）為偏振相機(jī)實物圖。

圖1 分孔徑全偏振態(tài)同時探測型彩色偏振相機(jī)［12］Fig.1 Division-of-aperture chromatic polarimetric camera with full-polarization-state simultaneous detection［12］

該分孔徑偏振光學(xué)成像相機(jī)的光學(xué)總體方案設(shè)計包括前端望遠(yuǎn)鏡系統(tǒng)和后端分光與傳光系統(tǒng)。前端采用2 倍無焦放大系統(tǒng)，有利于配合后端的孔徑分光結(jié)構(gòu)和提高整個光路的角分辨率；后端采用四路對稱的孔徑分光方案，有利于合理分配光能和減少因路徑不同導(dǎo)致的像質(zhì)畸變。目標(biāo)反射光經(jīng)由望遠(yuǎn)鏡系統(tǒng)后平行入射到分光系統(tǒng)，并被四個斜方棱鏡平均分成四束光；在四通道的棱鏡前分別擺放偏振方向為0°、45°、90°的線偏振片以及右旋圓偏振片，實現(xiàn)對四束光偏振信息的有效提?。唤?jīng)過偏振提取后的光經(jīng)聚焦系統(tǒng)和斜方棱鏡后聚焦到同一個探測器靶面的不同區(qū)域上，完成對目標(biāo)四路不同偏振信息的獲取。圖2 為該相機(jī)樣機(jī)光學(xué)系統(tǒng)的光路模擬圖，偏振片左邊部分為前端望遠(yuǎn)鏡系統(tǒng)，右邊為后端分光與傳光系統(tǒng)。圖3 為后端分光與傳光系統(tǒng)的三維結(jié)構(gòu)示意圖。

圖2 偏振相機(jī)光學(xué)系統(tǒng)光路模擬圖［50］Fig.2 Optical-path simulation diagram of optical system of polarimetric camera［50］

圖3 分光與傳光系統(tǒng)三維結(jié)構(gòu)示意圖Fig.3 Schematic diagram of three-dimensional structure of light separation and transmission system

該偏振相機(jī)的主要技術(shù)指標(biāo)包括：1）波段為400～700 nm；2）幀頻為25 幀/s；3）焦距為76 mm；4）視場為4.2°×4.2°；5）輸出圖像大小為1 024×768；6）角分辨率為0.073 mrad；7）偏振探測精確度≥95%。

2.2 分孔徑全偏振態(tài)同時成像鏡頭

為滿足偏振光學(xué)成像探測的實際應(yīng)用要求，將普通相機(jī)鏡頭拿掉，更換成專門設(shè)計的全偏振態(tài)同時探測的分孔徑偏振光學(xué)成像鏡頭，是實現(xiàn)偏振光學(xué)成像和研制偏振相機(jī)的一種便捷技術(shù)方案。這種全新的設(shè)計思路架構(gòu)，最大限度地借助和利用了普通商用相機(jī)的已有硬件物理基礎(chǔ)，把工作重心放到了鏡頭研制和軟件算法設(shè)計這兩部分，其中，鏡頭研制主要包括基于分孔徑技術(shù)的四種偏振態(tài)同時探測的偏振光學(xué)成像鏡頭的設(shè)計、加工、裝配；軟件算法設(shè)計主要完成圖像配準(zhǔn)、偏振定標(biāo)、偏振光學(xué)成像去散射圖像分析與增強(qiáng)處理算法。

圖4 所示為團(tuán)隊研制的分孔徑全偏振態(tài)同時成像鏡頭的實物圖和點陣目標(biāo)靶及其偏振光學(xué)成像輸出。該鏡頭用于將7 500 幀/s 高速攝像機(jī)改制成偏振攝像機(jī)，實現(xiàn)了低照度條件或煙霧等低密度介質(zhì)干擾下高速攝像像質(zhì)改進(jìn)與圖像信息恢復(fù)的應(yīng)用需求，為提升尾焰、爆炸光、煙霧等影響下成像系統(tǒng)的測量能力，拓展系統(tǒng)作用距離和提高系統(tǒng)成像質(zhì)量，開展高速飛行目標(biāo)的偏振特性研究、定量化測試和直觀顯示提供了技術(shù)手段和關(guān)鍵裝備。

圖4 研制的分孔徑全偏振態(tài)同時成像鏡頭Fig.4 Developed division-of-aperture polarimetric lens with full-polarization-state simultaneous detection

該分孔徑全偏振態(tài)同時成像鏡頭的主要技術(shù)指標(biāo)包括：1）工作距離為50～1 000 m；2）波段范圍為450～650 nm；3）焦距為100 mm（±1%）；4）相對孔徑（D/f）為1∶2.5（分孔徑前的瞳孔直徑/組合焦距）；5）空間分辨率≤0.5 mrad。

2.3 分孔徑偏振相機(jī)的圖像配準(zhǔn)技術(shù)

在實際應(yīng)用中，分孔徑偏振相機(jī)四個通道的裝配誤差不可避免地會導(dǎo)致四幅偏振子圖像之間存在位置偏差。而計算物體的偏振信息需要準(zhǔn)確獲取同一物點在探測器靶面四個像點的強(qiáng)度信息，因此，分孔徑偏振相機(jī)的圖像配準(zhǔn)技術(shù)尤為重要。

建立了分孔徑偏振相機(jī)的圖像配準(zhǔn)方法，其主要處理步驟包括：基于相位相關(guān)算法［59］實現(xiàn)偏振子圖像間的粗配準(zhǔn)；基于加速穩(wěn)健特征（Speeded-up Robust Features，SURF）算法［60］實現(xiàn)偏振子圖像的特征點提取與配對；以及基于隨機(jī)采樣一致性（RANdom SAmple Consensus，RANSAC）算法［61］實現(xiàn)偏振子圖像間的精細(xì)配準(zhǔn)。按照實現(xiàn)步驟對該配準(zhǔn)技術(shù)進(jìn)行介紹，最后給出圖像配準(zhǔn)的實驗效果及量化評價分析。

1）基于相位相關(guān)算法實現(xiàn)偏振子圖像的粗配準(zhǔn)

首先，將分孔徑偏振相機(jī)所拍攝的目標(biāo)原始幀圖像裁切為四幅偏振子圖像，選取其中任意一幅偏振子圖像為參考偏振子圖像，其余三幅偏振子圖像為待配準(zhǔn)偏振子圖像；其次，采用相位相關(guān)算法通過快速傅里葉變換將參考偏振子圖像f（x，y）和待配準(zhǔn)偏振子圖像g（x，y）從空域變換為頻域偏振子圖像F（ωx，ωy）和G（ωx，ωy），然后通過計算兩幅頻域偏振子圖像的互功率譜來得到兩幅空域偏振子圖像的平移量關(guān)系，即

式中，dx和dy為待配準(zhǔn)偏振子圖像相對于參考偏振子圖像在水平和垂直方向的位移量，*表示取復(fù)共軛。對

式（9）兩邊分別進(jìn)行傅立葉反變換，左側(cè)得到?jīng)_擊函數(shù)δ(x-dx，y-dy)，右側(cè)得到?jīng)_擊函數(shù)的峰值位置，即兩幅圖像f(x，y)與g(x，y)在水平和垂直方向的平移量dx和dy。

采用上述相位相關(guān)算法，分別獲得三幅待配準(zhǔn)偏振子圖像與0°線偏振子圖像（參考偏振子圖像）的位置平移量，即得到粗配準(zhǔn)后的45°線偏振子圖像、90°線偏振子圖像和右旋圓偏振子圖像。

2）基于SURF 算法提取偏振子圖像的特征點并實現(xiàn)特征點的配對

SURF 算法［60］是一種具有魯棒性的局部特征點檢測與描述的算法，其運行速率快，準(zhǔn)確度高，重復(fù)性強(qiáng)。對參考偏振子圖像與粗配準(zhǔn)后的偏振子圖像分別進(jìn)行特征點提取，得到兩幅偏振子圖像的多個特征點。對于參考偏振子圖像中的任意一個特征點，在粗配準(zhǔn)后的偏振子圖像中選擇與其歐式距離最近鄰和次近鄰的兩個特征點，當(dāng)最近鄰距離與次近鄰距離的比值不大于所設(shè)置的閾值（通常選為0.7）條件時，則認(rèn)為參考偏振子圖像中的特征點與粗配準(zhǔn)后的偏振子圖像中歐式距離最近鄰的特征點匹配成功，形成一個特征點對，由匹配成功的所有特征點對構(gòu)成特征點對集合。

通過SURF 算法分別提取0°線偏振子圖像（參考偏振子圖像）與粗配準(zhǔn)后的45°線偏振子圖像、90°線偏振子圖像和右旋圓偏振子圖像間的特征點，并形成三組特征點對集合。

3）基于RANSAC 算法優(yōu)化偏振子圖像間的配準(zhǔn)參數(shù)

RANSAC 算法是由FISCHLER M A 與BOLLES R C 于1981年提出，它是一種高魯棒性的數(shù)據(jù)擬合算法［61］，其在完成聚類的同時，可以得到對應(yīng)模型的最優(yōu)參數(shù)。

設(shè)經(jīng)SURF 算法特征點匹配后參考偏振子圖像與粗配準(zhǔn)后的偏振子圖像所構(gòu)成的特征點對集合包含M個特征點對，參考偏振子圖像中任意特征點的坐標(biāo)為（x′，y′），粗配準(zhǔn)后偏振子圖像中與之對應(yīng)的特征點的坐標(biāo)為（x，y），二者之間的仿射變換關(guān)系可表示為

式中，A為仿射變換矩陣。從參考偏振子圖像與粗配準(zhǔn)后偏振子圖像的特征點對集合中隨機(jī)選取三個特征點對，由式（10）可計算出所選的三個特征點對所確定的仿射變換矩陣A，然后利用矩陣A計算出粗配準(zhǔn)后偏振子圖像的其余M-3 個特征點的變換坐標(biāo)，并與參考偏振子圖像中與之對應(yīng)的特征點的坐標(biāo)進(jìn)行比較，將所計算出的坐標(biāo)滿足式（11）條件的特征點記作內(nèi)點。

式中，角標(biāo)n可取45、90 和C，分別對應(yīng)45°線偏振、90°線偏振和右旋圓偏振，為粗配準(zhǔn)后偏振子圖像特征點通過仿射變換矩陣A所計算得到的坐標(biāo)為與粗配準(zhǔn)后偏振子圖像特征點相對應(yīng)的0°線偏振子圖像（參考偏振子圖像）特征點的坐標(biāo)。統(tǒng)計內(nèi)點數(shù)目，選取內(nèi)點數(shù)目最多的仿射變換矩陣A作為配準(zhǔn)系數(shù)，分別完成三幅粗配準(zhǔn)后的偏振子圖像與參考偏振子圖像的精細(xì)配準(zhǔn)操作。由此確定的三個仿射變換矩陣，將作為相應(yīng)的分孔徑偏振相機(jī)的固有配準(zhǔn)參數(shù)。

采用上述圖像配準(zhǔn)方法，對圖1 分孔徑全偏振態(tài)同時探測型彩色偏振相機(jī)進(jìn)行圖像配準(zhǔn)，并給出實驗結(jié)果和配準(zhǔn)效果量化評價。圖5 給出了分孔徑偏振相機(jī)采集的一幀原始圖像，同時標(biāo)出了四幅偏振子圖像的分布。圖6 給出了四幅偏振子圖像的配準(zhǔn)結(jié)果。

圖5 分孔徑偏振相機(jī)的一幀原始圖像Fig.5 A frame of raw image from division-of-aperture polarimetric camera

圖6 偏振子圖像配準(zhǔn)結(jié)果Fig.6 Registered results of polarized images

分別采用結(jié)構(gòu)相似性指數(shù)（Structural Similarity，SSIM）［62］及歸一化互信息（Normalized Mutual Information，NMI）［63］對所配準(zhǔn)的偏振子圖像進(jìn)行了量化評價，以分析偏振子圖像的配準(zhǔn)效果。其中，SSIM 從圖像組成的角度來描述場景中物體結(jié)構(gòu)的屬性，它將圖像結(jié)構(gòu)信息定義為獨立于圖像亮度和圖像對比度之外的第三個信息維度，采用圖像灰度均值作為其亮度的估計，圖像灰度標(biāo)準(zhǔn)差作為其對比度的估計，圖像灰度協(xié)方差作為其結(jié)構(gòu)相似程度的估計，將圖像間的失真建模并描述為亮度、對比度和結(jié)構(gòu)三個不同因素的組合。SSIM 的取值范圍為［0，1］，取值越大代表兩幅圖像的相似程度越高。NMI作為度量兩幅圖像相似度的一個標(biāo)準(zhǔn)，通常用作圖像配準(zhǔn)中的評判準(zhǔn)則或目標(biāo)函數(shù)，取值范圍為［0，2］，取值越大代表兩幅圖像的相似性越高。

為了定量化分析圖像配準(zhǔn)效果，分別計算了圖像配準(zhǔn)前后兩種情形下偏振子圖像兩兩組合時的結(jié)構(gòu)相似性指數(shù)（SSIM）和歸一化互信息（NMI），結(jié)果分別如表1 和表2 所示。

表1 圖5 和圖6 偏振子圖像兩兩組合時的結(jié)構(gòu)相似性指數(shù)Table 1 SSIM of every two polarized images of scene shown in Fig.5 and Fig.6

表2 圖5 和圖6 偏振子圖像兩兩組合時的歸一化互信息Table 2 NMI of every two polarized images of scene shown in Fig.5 and Fig.6

從表1 和2 可以看出，配準(zhǔn)后的四幅偏振子圖像相比于未配準(zhǔn)的四幅偏振子圖像，其SSIM 和NMI 均有了較大提升。其中，SSIM 平均提升了72.08%，NMI 平均提升了18.5%，表明所提出的分孔徑偏振相機(jī)偏振圖像配準(zhǔn)方法具有很好的可行性。

對于同一場景目標(biāo)，分別基于配準(zhǔn)前和配準(zhǔn)后的偏振子圖像計算了其偏振度（DoP）圖像和偏振角（AoP）圖像，結(jié)果如圖7 所示。

圖7 配準(zhǔn)前后的偏振子圖像計算得到的偏振度圖像和偏振角圖像Fig.7 DoP image and AoP image calculated from polarized images before and after registration

對比基于配準(zhǔn)前后的四幅偏振子圖像分別計算所得到的場景目標(biāo)的DoP 圖像和AoP 圖像，可以發(fā)現(xiàn)配準(zhǔn)后計算所得到的場景目標(biāo)的DoP 圖像與AoP 圖像沒有明顯重影，圖像質(zhì)量更高，能夠較好地突出場景目標(biāo)的細(xì)節(jié)信息，進(jìn)一步說明了分孔徑偏振相機(jī)配準(zhǔn)工作的重要性以及配準(zhǔn)方法的可行性。

2.4 偏振-顏色編碼濾波的光瞳分光型同時偏振光學(xué)成像系統(tǒng)

與傳統(tǒng)的分時、分振幅［9-10］、分孔徑［11-12］和分焦平面［13］的偏振光學(xué)成像方法相比，我們提出了基于偏振-顏色編碼濾波的光瞳分光型同時偏振光學(xué)成像方法［14，51］，可大幅降低光學(xué)系統(tǒng)設(shè)計的復(fù)雜性，有利于偏振相機(jī)的小型化和集成化，且能保留原相機(jī)系統(tǒng)的成像分辨率。

2.4.1 光瞳分光型同時偏振光學(xué)成像方法的基本原理

基于偏振-顏色編碼濾波的光瞳分光型同時偏振光學(xué)成像方法的基本原理體現(xiàn)在其實現(xiàn)方案的三個步驟：1）將特殊設(shè)計的偏振-顏色濾波片放置在成像鏡頭的光瞳位置處，該偏振-顏色濾波片包含3個顏色通道，每一個顏色通道對應(yīng)一個方向的偏振片；2）利用普通彩色相機(jī)和裝有偏振-顏色濾波片的成像鏡頭對目標(biāo)場景成像，經(jīng)過調(diào)制的入射光在像面上非相干疊加，同時在整個光學(xué)探測器上成像；3）利用彩色相機(jī)拜爾濾鏡特性，基于紅綠藍(lán)（RGB）三通道圖像解算出場景的偏振圖像，最終實現(xiàn)同時偏振光學(xué)成像功能。

偏振-顏色濾波片是該方法的核心元件［64］，其結(jié)構(gòu)如圖8 所示。偏振-顏色濾波片由兩部分組成，分別是顏色濾波片和偏振片。每個部分又等分為三片，顏色濾波片分為紅色R、綠色G 和藍(lán)色B，偏振片分為0°、60°和120°的三個線偏振部分。顏色濾波片和偏振片一一對應(yīng)，即紅色濾波片R 調(diào)制0°線偏振光，綠色濾波片G調(diào)制60°線偏振光，藍(lán)色濾波片B 調(diào)制120°線偏振光。

圖8 偏振-顏色濾波片結(jié)構(gòu)示意圖Fig.8 Structure diagram of polarization-color filter

偏振光學(xué)成像系統(tǒng)的光路示意圖如圖9 所示。通過偏振-顏色濾波片后的三個出射光分別表示為

圖9 偏振-顏色編碼濾波的光瞳分光型同時偏振光學(xué)成像的光路示意圖Fig.9 Schematic of optical path of division-of-aperture simultaneous polarimetric optical imaging based on color-polarizer filter

式中，β表示顏色濾波片透過率，下角標(biāo)R、G、B 分別表示入射光中的紅、綠、藍(lán)成分，0、60 和120 分別表示線偏振片的透振方向，探測器獲得不同顏色通道的圖像是上述三個出射光的非相干疊加，即

偏振光學(xué)成像應(yīng)用通?？珊雎阅繕?biāo)偏振態(tài)對波長的依賴關(guān)系［65-66］。因此，可認(rèn)為在紅綠藍(lán)三個波段上目標(biāo)反射光的偏振態(tài)是一致的，于是式（15）～（17）可表示為矩陣形式，即

式中，η1為紅光與綠光的強(qiáng)度比，η2為藍(lán)光與綠光的強(qiáng)度比，通過式（18）可以解算出IG（0）、IG（60）和IG（120）三幅偏振子圖像。進(jìn)而根據(jù)三幅偏振子圖像，獲得場景反射光的Stokes 矢量

2.4.2 光瞳分光型同時偏振光學(xué)成像系統(tǒng)性能測試

與采用分焦平面偏振器陣列的商用彩色偏振相機(jī)相比，該偏振光學(xué)成像系統(tǒng)具有更高的空間分辨率。在彩色偏振相機(jī)中，每個像素只能感知一種顏色的一種偏振狀態(tài)，意味著需要4×4 個像素才能獲得單個物點的顏色和偏振特性。然而，在基于偏振-顏色編碼濾波的光瞳分光型同時偏振光學(xué)成像方法中，空間分辨率與常規(guī)彩色相機(jī)的空間分辨率相同，意味著該系統(tǒng)空間分辨率是彩色偏振相機(jī)的兩倍。

圖10（a）和（b）分別是偏振-顏色編碼濾波的光瞳分光型同時偏振光學(xué)成像方法和商用彩色偏振相機(jī)對美國空軍分辨率板拍攝的紅色通道的0°線偏振圖像。圖10（c）和（d）顯示的是圖10（a）和（b）中紅線和藍(lán)線的輪廓圖。從圖中可以看出，光瞳分光型同時偏振光學(xué)成像方法可以分辨第3 組中的元素3（即E3G3），而商用彩色偏振相機(jī)只能分辨第2 組中的元素4（即E4G2），空間分辨率是商用彩色偏振相機(jī)的1.78 倍。

圖10 空間分辨率對比［14］Fig.10 Comparison of spatial resolution［14］

此外，對該方法的偏振探測精度進(jìn)行了定量化分析［51］。如圖11 所示，設(shè)計并制作了一個多角度線偏振片探測目標(biāo)，其中，圖11（a）為制作的多角度線偏振片實物，圖11（b）為偏振片的線偏振方向示意圖，圖11（c）為該方法的直接拍攝圖。采用分時偏振光學(xué)成像方法，得到圖11（a）所示探測目標(biāo)的偏振度圖像為圖12（a）、偏振角圖像為圖13（a）。對于偏振-顏色編碼濾波的光瞳分光型同時偏振光學(xué)成像方法，將圖11（c）目標(biāo)圖像中的紅綠藍(lán)顏色通道分離出來，利用式（18）計算出0°、60°和120°的線偏振子圖像，進(jìn)而獲得偏振度圖像和偏振角圖像分別如圖12（b）和圖13（b）所示，偏振度測量的平均誤差為3.9%，偏振角測量的平均誤差為3°。

圖11 多角度線偏振片F(xiàn)ig.11 Multiangle linear polarizer

圖12 偏振度圖像對比Fig.12 Comparison between DoP images

圖13 偏振角圖像對比Fig.13 Comparison between AoP images

2.4.3 光瞳分光型同時偏振光學(xué)成像方法優(yōu)點

偏振-顏色濾波片在孔徑光闌位置處進(jìn)行光波編碼調(diào)制，成像分辨率相對于商用彩色偏振相機(jī)提升了2 倍。偏振-顏色濾波片設(shè)計更加靈活，可實現(xiàn)對目標(biāo)的圓偏振和橢圓偏振成分的探測。單光路保證了多幅子圖像間的像素級配準(zhǔn)，不存在圖像畸變。成像系統(tǒng)結(jié)構(gòu)緊湊，成本低，方便移植和升級改造。

3 偏振圖像信息處理技術(shù)、算法及成像應(yīng)用

從學(xué)科類別來看，偏振光學(xué)成像屬于近年來快速發(fā)展的熱點學(xué)科-計算光學(xué)成像。除了基于偏振光學(xué)成像系統(tǒng)的偏振信息獲取方法和技術(shù)之外，偏振光學(xué)成像研究很重要的另外一部分工作是偏振圖像信息處理。因此，本節(jié)將介紹研究團(tuán)隊在偏振圖像信息處理的技術(shù)、算法及成像應(yīng)用方面開展的一些研究工作，主要包括偏振去霧/去散射成像、可見光/近紅外偏振圖像融合成像、偏振三維（3D）重構(gòu)成像。

3.1 偏振去霧/去散射成像

在煙霧霾等氣象環(huán)境中，圖像的能見度和成像對比度降低，成像質(zhì)量下降，對觀察目標(biāo)和進(jìn)一步圖像處理產(chǎn)生了諸多影響。同時，隨著科技的發(fā)展，無人機(jī)、自動駕駛和衛(wèi)星遙感等應(yīng)用對圖像的依賴越來越強(qiáng)，對圖像質(zhì)量的要求也越來越高，因此，去霧/去散射成像技術(shù)受到了廣泛關(guān)注。根據(jù)處理方式的不同，去霧/去散射成像技術(shù)主要可分為圖像處理去霧/去散射技術(shù)和光學(xué)去霧/去散射技術(shù)。

圖像處理去霧/去散射技術(shù)主要針對單幅霧霾圖像，可分為圖像增強(qiáng)技術(shù)和圖像復(fù)原技術(shù)［29］。圖像增強(qiáng)技術(shù)通常不考慮成像環(huán)境的影響，利用圖像處理的方法直接增強(qiáng)圖像對比度，例如直方圖均衡化技術(shù)［67］和Retinex［68］技術(shù)等。該技術(shù)的優(yōu)點在于計算速度快、對應(yīng)用環(huán)境沒有限制；缺點是穩(wěn)定性不高、噪聲抑制能力弱。圖像復(fù)原技術(shù)主要通過物理退化模型來估算圖像退化參量，利用該參量進(jìn)行圖像復(fù)原［69-71］。該技術(shù)的優(yōu)點在于復(fù)原圖像保真度高、細(xì)節(jié)還原能力強(qiáng)；缺點是算法復(fù)雜度高、適用范圍有限。

光學(xué)去霧/去散射技術(shù)通過對成像系統(tǒng)的改造可獲得同一場景的多幅霧霾圖像，再利用物理退化模型進(jìn)行圖像處理和融合重構(gòu)出該場景的復(fù)原圖像，主要包括光譜融合技術(shù)［72］和偏振光學(xué)成像技術(shù)［73］。該技術(shù)雖存在獲取圖像方式較復(fù)雜的不足，但是具有算法簡單、普適性好、圖像保真度高等優(yōu)點。偏振光學(xué)成像去霧/去散射技術(shù)近年來得到了廣泛關(guān)注，一些新型的技術(shù)和方法相繼被提出［12，30］，其應(yīng)用環(huán)境也從霧霾逐漸擴(kuò)展到水下、生物組織等散射介質(zhì)中［74］。

3.1.1 基于偏振角參量估算的偏振光學(xué)成像去霧/去散射方法

偏振光學(xué)成像去霧方法的物理退化模型［75］如圖14 所示?？梢钥闯觯竭_(dá)相機(jī)鏡頭的光分為兩部分：一部分是目標(biāo)反射光經(jīng)過霧霾顆粒散射和吸收后到達(dá)探測器的光，稱為直接透射光（即信號光）；另一部分是太陽光直接經(jīng)霧霾顆粒散射后到達(dá)探測器的雜散光，稱為大氣光（即噪聲光）。

圖14 散射環(huán)境中的物理退化模型示意圖［75］Fig.14 Schematic of physical degradation model in scattering environment［75］

大氣光強(qiáng)A可以表示為

式中，A∞表示無窮遠(yuǎn)處的大氣光強(qiáng)，t（z）表示傳輸系數(shù)，z表示傳輸距離。t（z）可表示為

式中，β表示衰減系數(shù)，主要為吸收和散射效應(yīng)造成的光能量損耗。該模型中，假設(shè)β與z無關(guān)，即假設(shè)散射介質(zhì)是均勻穩(wěn)定的。因此，式（21）可改寫為

根據(jù)式（22），當(dāng)z→∞時，t→0，則式（20）中，A=A∞。即無窮遠(yuǎn)處大氣光強(qiáng)是大氣光強(qiáng)的一種特殊情況，

可以理解為當(dāng)目標(biāo)處于無窮遠(yuǎn)處時，到達(dá)探測器的光強(qiáng)。

直接透射光強(qiáng)D可以表示為

式中，L是衰減前的目標(biāo)反射光強(qiáng)，即去霧后需要恢復(fù)的目標(biāo)處反射光強(qiáng)。相機(jī)探測到的總光強(qiáng)I是大氣光強(qiáng)和直接透射光強(qiáng)的非相干疊加，即

結(jié)合式（20）、（23）和（24），可獲得L的表達(dá)式為

從式（25）中可以看出，物理退化模型的兩個關(guān)鍵參數(shù)分別是大氣光強(qiáng)（A）和無窮遠(yuǎn)處大氣光強(qiáng)（A∞）。研究表明，大氣光和直接透射光的偏振特性存在顯著差異，因此，通過偏振光學(xué)成像技術(shù)可以有效分離大氣光和直接透射光，估算出式（25）的兩個關(guān)鍵參數(shù)，從而實現(xiàn)去霧/去散射成像。

基于偏振角參量估算的偏振光學(xué)成像去霧/去散射方法主要分為以下四步［31］：

1）確定大氣光的偏振角特征參量和偏振度特征參量。通過偏振光學(xué)成像方法，可以獲取同一場景的不同偏振圖像，本方法利用了4 個角度的線偏振圖像，其光強(qiáng)值可分別表示為I0、I45、I90和I135。根據(jù)式（26），計算圖像的Stokes 矢量；根據(jù)式（27）和（28），計算圖像各像素點的偏振度值和偏振角值。

對偏振角值進(jìn)行統(tǒng)計排序，選擇出現(xiàn)概率最大的偏振角值作為大氣光偏振角（θA）。同時，出現(xiàn)θA的像素群可認(rèn)為不包含直接透射光或?qū)?yīng)的直接透射光為非偏振光，即大氣光特征參數(shù)估算有效像素群。根據(jù)式（27）可知，圖像各像素點計算得到的偏振度值總是小于或等于大氣光偏振度。因此，將有效像素群的偏振度最大值看作大氣光偏振度值（pA），即

2）根據(jù)大氣光偏振角特征參量和偏振度特征參量估算大氣光強(qiáng)。由馬呂斯定律可知

式中，和分別是x和y方向的大氣光強(qiáng)分量，可分別表示為

結(jié)合式（30）和（32）、式（31）和（33），可得

考慮到分母接近于0 時會引入很大的誤差，因此，將式（34）分為兩式。計算出Ap后，可得大氣光強(qiáng)為

3）更普遍的情況可能是場景圖像中并不存在天空區(qū)域，此時按照下述方法估算無窮遠(yuǎn)處大氣光強(qiáng)。結(jié)合式（20）、（23）和（24），可得

根據(jù)式（36），當(dāng)L=A∞時，I=A∞。即除了天空區(qū)域，也可以從有直接透射光的區(qū)域估算無窮遠(yuǎn)處大氣光強(qiáng)。將I0寫成偏振部分和非偏振部分之和，即

假設(shè)圖像中所有的像素點均滿足t→0，則式（37）右邊第三項為0，此時得到的A∞的表達(dá)式記作為Am∞

實際上圖像中絕大部分的像素點不滿足該假設(shè)條件，因此，由式（38）計算得到的無窮遠(yuǎn)處大氣光強(qiáng)用Am∞表示，以區(qū)分與最終計算得到的A∞。同時，根據(jù)式（36）可知，滿足該假設(shè)條件的像素點有I=A∞的關(guān)系。此時，將式（38）得到的Am∞與I進(jìn)行比較，最接近的像素點可認(rèn)為是假設(shè)條件成立的像素點，其對應(yīng)的光強(qiáng)即為A∞。

4）在估算得到了A和A∞后，根據(jù)式（25）可以計算得到最終的去霧圖像。圖15 所示為不包含天空區(qū)域的霧霾圖像的去霧效果。從圖中可以看出，提出的方法克服了傳統(tǒng)偏振去霧技術(shù)需要天空背景限制的問題，提高了偏振去霧技術(shù)的實際應(yīng)用價值。

圖15 不含天空區(qū)域的偏振去霧成像結(jié)果［30］Fig.15 Polarimetric dehazing imaging result without sky area［30］

利用該方法開展了濃霧霾環(huán)境中的去海霧實驗研究［30］。針對海霧變化快、濃度高的特點，在海霧出現(xiàn)時進(jìn)行了連續(xù)拍攝，利用同一算法對不同濃度的海霧進(jìn)行偏振去霧處理，去霧效果如圖16 所示?？梢钥闯鲈诤ｌF快速變濃的過程中，提出的算法均可以恢復(fù)圖像中大量的細(xì)節(jié)信息，表現(xiàn)出了較高的穩(wěn)定性和魯棒性。

圖16 連續(xù)變化的海霧環(huán)境中偏振去霧效果Fig.16 Polarimetric dehazed images in continuously changing sea fog environment

3.1.2 結(jié)合圖像處理技術(shù)的快速偏振光學(xué)成像去霧/去散射方法

偏振光學(xué)成像去霧/去散射技術(shù)原理簡單，普適性好，但存在關(guān)鍵參數(shù)估算精度不高的缺點。為了提升關(guān)鍵參數(shù)估算精度，一般需要針對不同的散射介質(zhì)環(huán)境或不同的偏振光學(xué)成像系統(tǒng)設(shè)置不同的偏置系數(shù)［76］，這將影響偏振光學(xué)成像去霧/去散射技術(shù)的自動化處理能力和實時性。為了克服該缺陷，開展了一系列結(jié)合圖像處理技術(shù)的快速偏振光學(xué)成像去霧/去散射方法研究。

首先，利用熵函數(shù)實現(xiàn)自動判斷最優(yōu)偏置系數(shù)的功能［77］。在偏振光學(xué)成像去霧/去散射方法的實際處理過程中，一般會針對偏振度值進(jìn)行偏置計算，引入偏置系數(shù)ε，以防止由于估算錯誤導(dǎo)致的去霧錯誤。即式（29）被改寫為

ε的取值范圍一般為1.0～1.6，不同的霧霾環(huán)境通常對應(yīng)不同的ε最優(yōu)值。為了使最優(yōu)偏置系數(shù)取值自動進(jìn)行，引入圖像評價函數(shù)—熵函數(shù)。熵函數(shù)的定義式為

式中，pk是灰階k的概率。熵函數(shù)是一種非常穩(wěn)定的無參考圖像評價函數(shù)，熵值越大，證明圖像的細(xì)節(jié)分辨能力越強(qiáng)，圖像質(zhì)量越好。因此，在去霧處理時，通過掃描ε的取值，可以計算得到一系列的去霧圖像，對這些圖像進(jìn)行熵函數(shù)計算，并與之前圖像相比較，當(dāng)熵值出現(xiàn)最大值時，輸出最優(yōu)去霧圖像，并停止掃描，即完成了偏振光學(xué)成像去霧/去散射的自動化處理。

圖17 所示為熵值隨ε的變化曲線。從圖中可以看出，當(dāng)ε取不同值時，去霧效果圖的熵值變化明顯；當(dāng)熵值即將到達(dá)峰值時，其變化變緩。因此，通過該方法可以自動處理和輸出最優(yōu)化的去霧圖像。

圖17 去霧圖像熵值隨ε 的變化［32］Fig.17 Variation of entropy value in dehazed image with ε［32］

其次，結(jié)合HSI（Hue，Saturation，Intensity）顏色空間實現(xiàn)快速偏振光學(xué)成像去霧/去散射處理［33］。在對彩色圖像的偏振光學(xué)成像去霧/去散射處理過程中，由于RGB 三通道的場景偏振特性可能有較大差異，為了提高偏振去霧/去散射成像的可靠性，通常需要對三通道的圖像分別進(jìn)行關(guān)鍵參數(shù)估算和處理。然而，這種處理方法會很大程度上影響計算效率。為了克服該問題，提出了一種結(jié)合HSI 顏色空間的快速偏振光學(xué)成像去霧/去散射方法，其算法流程如圖18 所示。

圖18 HSI 顏色空間的快速偏振光學(xué)成像去霧/去散射算法流程［33］Fig.18 Workflow chart of dehazing/descattering algorithm for fast polarimetric imaging in HSI color space［33］

HSI 顏色空間與RGB 顏色空間的相互轉(zhuǎn)化關(guān)系為

其中，對霧霾圖像進(jìn)行顏色空間轉(zhuǎn)換后，僅需要對I 空間進(jìn)行偏振去霧/去散射處理。相比于在RGB 空間進(jìn)行處理，理論計算效率可提升3 倍?；贖IS 空間的偏振去霧處理效果如圖19 所示。表3以4組圖像為例，列舉了不同的去霧/去散射方法所需的計算時間。表中，Tarel法［77］和直方圖均衡化（His.Equ.）法［78］分別代表了圖像復(fù)原型方法和圖像增強(qiáng)型方法；后兩列為不同顏色空間的偏振光學(xué)成像去霧/去散射處理所需要的計算時間，可以看出，相對于RGB 空間而言，基于HIS 空間的偏振光學(xué)成像去霧處理的實際計算效率提升超過了2倍以上。

表3 不同去霧/去散射方法的計算時間表［33］Table 3 Calculation schedule for different dehazing/descattering methods［33］

圖19 基于HSI 顏色空間的偏振去霧處理效果［33］Fig.19 Polarimetric dehazed images based on HSI color space［33］

將基于HIS 空間的偏振去霧算法用于圖1 所示的偏振相機(jī)，實現(xiàn)了實時去霧處理［12］。通過將自動化的偏振去霧/去散射算法移植到FPGA 模塊上，實現(xiàn)了25 幀/s 的實時去霧顯示。圖20 所示為偏振光學(xué)成像相機(jī)拍攝后抽出的一幀裁切圖像，（a）～（d）分別表示同一場景的0°、45°、90°線偏振和右旋圓偏振子圖像。圖21 所示為偏振光學(xué)去霧效果。

圖20 偏振光學(xué)成像系統(tǒng)拍攝的一幀同一場景不同偏振圖像［12］Fig.20 A frame with different polarizations of the same scene taken by a polarimetric imaging system［12］

圖21 偏振去霧圖像［12］Fig.21 Polarimetric dehazed image［12］

3.1.3 基于低通濾波去噪的偏振光學(xué)成像去霧/去散射方法

在成像過程中，數(shù)字圖像對偏振處理影響很大。常規(guī)的相機(jī)輸出為0～255 的離散灰度值，在計算偏振度和偏振角時，得到的結(jié)果并不總是可靠的，因此，估算關(guān)鍵參數(shù)時，需要設(shè)置偏置系數(shù)。同時，相機(jī)的本底噪聲對關(guān)鍵參數(shù)估算的準(zhǔn)確性具有一定的影響。因此，提出了一種基于低通濾波去噪的偏振光學(xué)成像去霧/去散射方法［34-35］。實驗結(jié)果表明，該方法在濃霧處理中是全自動且有效的。本方法在光學(xué)監(jiān)測、水下成像、生物組織成像等諸多應(yīng)用中具有較大的應(yīng)用潛力。

首先，估計出大氣光的偏振部分

則，大氣散射光可以寫成

式中，An（x，y）是大氣光的非偏振部分。由于pA非常小，An（x，y）比Ap（x，y）大很多，意味著計算出的A（x，y）中的噪聲主要來自An（x，y）中的噪聲。因此，首先使用低通濾波來抑制An（x，y）中的噪聲，即

式中，“?”表示卷積，LP 表示低通濾波器，（a，b）表示濾波器的窗口大小。濾波器采用高斯低通濾波器，高斯核可以表示為

式中，（a0，b0）是高斯核的中心坐標(biāo)，σ為窗口大小的1/5。實驗中，將窗口大小設(shè)置為整個圖像大小的0.5%。與式（35）相比，式（44）在實際應(yīng)用中更加合理，保證了偏振去霧算法的魯棒性和可靠性。

根據(jù)式（20），A∞應(yīng)該是A（x，y）的最大值或比A（x，y）略大。從式（25）可以看出，A∞可以看作是一個系數(shù)，只影響去霧圖像的平均灰度值，因此，為了使該方法的魯棒性更強(qiáng)，將A∞設(shè)置為略大于A（x，y），以滿足絕大多數(shù)散射環(huán)境應(yīng)用條件。算法流程如圖22 所示。

圖22 基于低通濾波去噪的偏振光學(xué)成像去霧/去散射算法流程［35］Fig.22 Workflow chart of polarimetric dehazing/descattering algorithm based on low-pass filter denoising［35］

圖23 所示為去霧效果，（a）為強(qiáng)度圖；（b）～（d）分別表示Schechner 的偏振去霧效果、3.1.2 節(jié)提出的偏振去霧效果和基于低通濾波去噪的偏振去霧效果。從對比可以看出，相比于其他圖像，圖23（d）所示的基于低通濾波去噪算法的去霧結(jié)果的能見度和對比度都得到了大幅度提升，同時，圖像整體細(xì)節(jié)復(fù)原能力最強(qiáng)。

圖23 偏振去霧效果［35］Fig.23 Polarimetric dehazing results［35］

3.1.4 針對Lucid 分焦平面彩色偏振相機(jī)實時偏振去霧/去散射應(yīng)用的軟硬件模塊化開發(fā)

利用Lucid 彩色偏振相機(jī)（TRI050-QC），開發(fā)了基于低通濾波去噪的實時偏振光學(xué)成像去霧/去散射上位機(jī)模塊。通過優(yōu)化算法和多線程處理，開發(fā)了實時彩色偏振光學(xué)成像去霧模塊，目前幀率最高可以達(dá)到15 幀/s。上位機(jī)模塊的整體結(jié)構(gòu)如圖24 所示。

圖24 實時偏振去霧/去散射系統(tǒng)的架構(gòu)Fig.24 Architecture of real-time polarimetric dehazing/descattering system

軟件的界面如圖25 所示，其中第1 部分用于偏振相機(jī)所接收的0°、45°、90°、135°四個線偏振圖像的實時顯示；第2 部分用于實時顯示去霧處理后的場景圖像；第3 部分包括相機(jī)初始化、相機(jī)參數(shù)設(shè)置和顯示設(shè)置三個部分，用來設(shè)置相機(jī)和圖片顯示格式；第4 部分負(fù)責(zé)圖片和視頻流的保存。

圖25 實時偏振去霧/去散射成像軟件界面Fig.25 Software interface of real-time polarimetric dehazing/descattering imaging

在室內(nèi)，利用該系統(tǒng)進(jìn)行了水下運動目標(biāo)的實時去散射實驗測試，截取一段視頻流中的關(guān)鍵幀如圖26所示。其中，（a）是原始圖像，（b）是實時處理后輸出的去散射圖像，可以看出，該系統(tǒng)具有良好的水下去散射性能，近景輪廓細(xì)節(jié)信息得到了有效增強(qiáng)，遠(yuǎn)景一些近乎消失的信息也得到了有效恢復(fù)。

圖26 視頻流中水下去散射成像場景的一個關(guān)鍵幀F(xiàn)ig.26 A key frame of underwater descattering imaging scenes in video stream

在室外，利用該系統(tǒng)進(jìn)行了重度霧霾環(huán)境下的實時去霧實驗測試，結(jié)果如圖27 所示。從視頻流中取出關(guān)鍵幀進(jìn)行比較，可以看出，實時處理效果顯著。尤其是天空區(qū)域部分，原場景中完全無法看到的云彩形貌在處理后也得到恢復(fù)。

圖27 視頻流中戶外實驗場景的一個關(guān)鍵幀F(xiàn)ig.27 A key frame of outdoor descattering scenes in video stream

3.2 可見光/近紅外偏振圖像融合成像

偏振光學(xué)成像已經(jīng)在可見光（400～700 nm）波段具有廣泛應(yīng)用，如目標(biāo)檢測［21］、材料識別［22］、大氣和海洋傳感［79-80］、生物和醫(yī)學(xué)診斷［81-82］、三維成像［83-84］、去霧和水下去散射成像［30，85］和鬼成像［86］等。隨著監(jiān)視和防御領(lǐng)域特殊需求的增加，紅外波段常常表現(xiàn)出可見光譜中無法探測到的獨特的偏振特性［11，87］，使得短波紅外（Short-Wave Infrared，SWIR）（0.9～1.7 μm）、中波紅外（Mid-Wave Infrared，MWIR）（3～5 μm）和長波紅外（Long-Wave Infrared，LWIR）（8～14 μm）偏振光學(xué)成像最先成為研究熱點。然而，由于紅外傳感器的可用像素較少，像素尺寸較大，空間分辨率相對較低，所以通常將可見光成像與紅外偏振光學(xué)成像相結(jié)合，并將它們的圖像融合以獲得互補(bǔ)信息［6，88］。

為了實現(xiàn)兩幅圖像的融合，它們的圖像分辨率必須是相同的。然而，紅外圖像往往具有較低的空間分辨率，所以通常采用對可見光圖像降采樣的方法以匹配紅外圖像的低分辨率［89］，但是這種方法會導(dǎo)致可見光圖像中部分細(xì)節(jié)信息的丟失［90］。為克服此問題，我們提出了一種可見光與近紅外偏振圖像的高分辨率融合方法。

由于SWIR 相機(jī)的像素尺寸遠(yuǎn)大于可見光相機(jī)的像素尺寸，所以SWIR 相機(jī)中一個像素捕捉到的物體區(qū)域會覆蓋可見光相機(jī)的多個像素。對于同一視場區(qū)域，定義可見光相機(jī)和SWIR 相機(jī)所成像區(qū)域的像素數(shù)比例為

式中，d、f分別表示探測器的像素大小和相機(jī)鏡頭的焦距，下標(biāo)S、V 分別表示SWIR 相機(jī)（以及對應(yīng)的SWIR圖像）和可見光相機(jī)（以及對應(yīng)的可見光圖像）。實驗中所使用可見光相機(jī)（OK_AC1360，JoinHope Image Tech.）的像素尺寸為4.65 μm×4.65 μm，SWIR 相機(jī)（OWL 1.7-CL-320，Raptor Photonics Inc.）的像素尺寸為28 μm×28 μm。相機(jī)鏡頭的焦距相同，為f=50 mm。由式（47）可知，β約為6，意味著SWIR 圖像的一個像素對應(yīng)著可見光圖像的6×6 個像素。

將SWIR 圖像的一個像素上采樣（即增加分辨率）為6×6 個像素，按式（48）依據(jù)可見光圖像的像素灰度值（正比于強(qiáng)度值）直接給SWIR 圖像的每個像素賦灰度值（正比于強(qiáng)度值）。

式中，上標(biāo)H、L 分別表示高、低分辨率。由式（48）可知，重構(gòu)的高分辨率SWIR 圖像的強(qiáng)度首先由其低分辨率強(qiáng)度決定，同時其細(xì)節(jié)變化又與可見光圖像的高、低分辨率強(qiáng)度之比有關(guān)。式（48）意味著在重構(gòu)過程中可以充分保留SWIR 圖像的強(qiáng)度，從而保持其偏振特性不變，但其細(xì)節(jié)信息將得到很大程度的增強(qiáng)。

高分辨率的SWIR 圖像重構(gòu)對恢復(fù)SWIR 中的偏振信息非常有利。四幅低分辨率SWIR 偏振子圖像如圖28（a）所示，重構(gòu)后的高分辨率偏振子圖像如圖28（b）所示?？梢钥闯?，所重構(gòu)圖像的細(xì)節(jié)信息得到了有效增強(qiáng)。

利用圖28 所示的SWIR 偏振子圖像計算偏振度（DoP）圖像和偏振角（AoP）圖像，并將其與可見光波段的DoP 圖像和AoP 圖像進(jìn)行比較，實驗結(jié)果如圖29 所示。圖29（a）和（b）分別為原始低分辨率和重構(gòu)高分辨率的SWIR 波段的DoP 圖像，圖29（d）和（e）分別為原始低分辨率和重構(gòu)高分辨率的SWIR 波段的AoP 圖像。圖29（c）和（f）分別為同一目標(biāo)可見光波段的DoP 圖像和AoP 圖像?？梢钥闯?，重構(gòu)后的高分辨率SWIR 圖像的偏振信息比低分辨率圖像更豐富。

圖28 一元硬幣的原始低分辨率和重構(gòu)高分辨率的SWIR 偏振圖像［54］Fig.28 Original low-resolution and reconstructed high-resolution SWIR polarized images of one-yuan coin［54］

圖29 一元硬幣的偏振信息圖像［54］Fig.29 Polarization information images of one-yuan coin［54］

另外，研究也表明，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的可見光與近紅外高分辨率融合方法同樣具有重要的應(yīng)用價值。卷積神經(jīng)網(wǎng)絡(luò)已被證明可以有效地提高圖像的空間分辨率［91-93］。該方法利用相同場景下彩色圖像的高頻相關(guān)性［94-96］重構(gòu)高分辨率的SWIR 圖像，雖然難以獲得SWIR 圖像的數(shù)據(jù)集，但由于反射率圖像的子波段之間存在高頻相關(guān)性，所以可以利用彩色圖像對應(yīng)的子波段對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，然后利用訓(xùn)練好的模型對SWIR 圖像進(jìn)行重構(gòu)。

整個重構(gòu)過程分為三個步驟：1）構(gòu)建訓(xùn)練數(shù)據(jù)并訓(xùn)練網(wǎng)絡(luò)；2）利用訓(xùn)練的模型重構(gòu)高分辨率近紅外（Near Infrared Ray，NIR）（760～900 nm）圖像；3）利用驗證后的網(wǎng)絡(luò)來重構(gòu)高分辨率SWIR 圖像。

圖30 所示是用于重構(gòu)高分辨率SWIR 圖像的CNN 網(wǎng)絡(luò)架構(gòu)，利用彩色圖像的三個通道圖像進(jìn)行網(wǎng)絡(luò)訓(xùn)練［97］。用G 通道圖像訓(xùn)練R 通道圖像，輸入端為兩個通道的數(shù)據(jù)矩陣，一個是R 通道的低分辨率圖像，一個是G 通道提取的高頻圖像。各通道圖像之間的高頻相關(guān)性為重構(gòu)過程提供必要的信息，有效地增強(qiáng)重構(gòu)圖像的保真度。

圖30 高分辨率卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)［97］Fig.30 High-resolution convolutional neural network architecture［97］

構(gòu)建訓(xùn)練數(shù)據(jù)集的第一步是選取彩色圖像的一個通道作為參考，從該通道的圖像中提取高頻信息；然后根據(jù)式（47）對其他通道的圖像進(jìn)行下采樣，構(gòu)建低分辨率數(shù)據(jù)。由于下采樣過程主要基于β，因此該數(shù)據(jù)集的下采樣圖像是真實值的1/36。生成10 000 張大小為264×264 像素的圖像作為訓(xùn)練樣本，且有另外1 000 張圖像作為驗證數(shù)據(jù)。

訓(xùn)練好的網(wǎng)絡(luò)可以應(yīng)用于NIR 高分辨率圖像重構(gòu)。利用RGB+NIR 相機(jī)采集470～900 nm 波長的圖像。彩色圖像訓(xùn)練的模型網(wǎng)絡(luò)輸出如圖31 所示，圖31（a）～（d）分別表示低分辨率NIR 圖像、重構(gòu)的高分辨率NIR 圖像、參考圖像和G 通道圖像?？梢钥闯觯c圖31（a）相比，圖31（b）的空間分辨率得到了有效提高，特別是面部的細(xì)節(jié)信息。對比圖31（c）和（d），可以看出由于光照不同，細(xì)節(jié)信息有很大的區(qū)別，且圖31（b）的強(qiáng)度分布與圖31（c）能夠很好地吻合。

圖31 近紅外圖像的重構(gòu)結(jié)果［97］Fig.31 Reconstruction results of NIR image［97］

該目標(biāo)的偏振圖像如圖32 所示，其中圖32（a）～（d）為DoP 圖像，圖32（e）～（h）為AoP 圖像。從圖32（a）和（b）的對比可以看出，一些DoP 高的區(qū)域得到了恢復(fù)，如眼睛的輪廓；從圖32（b）和（c）的對比可以看出DoP 分布基本相同；從圖32（e）～（h）的對比可以看出AoP 圖的分布也基本相同。這意味著在有效增強(qiáng)NIR 圖像空間分辨率的同時，很好地保持了圖像的原始信息。

圖32 目標(biāo)的偏振信息圖像［97］Fig.32 Polarization information images of the target［97］

圖33 為重構(gòu)高分辨率SWIR 圖像的實驗結(jié)果。直接采集的低分辨率SWIR 圖像和彩色圖像分別如圖33（a）和（c）所示。與彩色圖像相比，SWIR 圖像的空間分辨率要低得多，并且在平面模型邊緣可以清晰地看到鋸齒現(xiàn)象。圖33（b）是使用彩色圖像訓(xùn)練模型重構(gòu)的高分辨率SWIR 圖像。從圖中兩個黃色框內(nèi)的數(shù)字可以看出，該方法有效地消除了鋸齒現(xiàn)象，提高了圖像的空間分辨率。實驗結(jié)果表明，利用該方法重構(gòu)的SWIR 圖像具有良好的質(zhì)量和保真度。

圖33 飛機(jī)模型的SWIR 成像實驗結(jié)果［97］Fig.33 Experimental results of SWIR imaging of a plane model［97］

同樣的，針對低分辨率SWIR 偏振圖像的高分辨率重構(gòu)如圖34 所示，其中圖34（a）～（c）分別為低分辨率SWIR 波段、重構(gòu)的高分辨率SWIR 波段和可見光波段的線偏振度（Degree of Linear Polarization，DoLP）圖像，圖34（d）～（f）分別為低分辨率SWIR 波段、重構(gòu)的高分辨率SWIR 波段和可見光波段的偏振角（AoP）圖像。可以看出，SWIR 和可見光圖像的偏振特性有較大區(qū)別，尤其是平面模型體，分別如圖34（a）和（c），以及圖34（d）和（f）所示。圖34（b）和（e）表明，該重構(gòu)方法恢復(fù)了邊緣的細(xì)節(jié)信息，重構(gòu)后的SWIR 圖像整體偏振信息與低分辨率SWIR 圖像一致。圖34（a）和（b），圖34（a）和（c），圖34（b）和（c）的峰值信噪比（Peak Signal to Noise Ratio，PSNR）分別為38.233 2、24.788 4 和22.836 7，說明低分辨率和高分辨率SWIR 波段的DoLP 圖像之間的PSNR 要高得多，具有更高的相關(guān)性。

圖34 SWIR 偏振圖像的高分辨率重構(gòu)［97］Fig.34 High-resolution reconstruction of SWIR polarimetric images［97］

3.3 偏振3D 重構(gòu)成像

傳統(tǒng)的成像系統(tǒng)采用攝像機(jī)對周圍景物拍照，將三維（3D）景物的強(qiáng)度、光譜、偏振等信息記錄到二維（2D）像平面中，失去了目標(biāo)的深度信息。3D 成像技術(shù)能夠補(bǔ)償傳統(tǒng)成像系統(tǒng)對目標(biāo)深度信息探測的缺失，在未來計算機(jī)視覺的發(fā)展中占據(jù)著重要的地位。常見的光學(xué)3D 成像技術(shù)有飛行時間法、立體視覺法和結(jié)構(gòu)光3D 成像等［98］，存在成像裝備昂貴或?qū)崿F(xiàn)過程復(fù)雜等限制。近年來，偏振3D 重構(gòu)成像技術(shù)以其重構(gòu)速度快、裝置簡單等優(yōu)點，成為了光學(xué)3D 成像技術(shù)的研究熱點。

3.3.1 偏振3D 重構(gòu)成像物理模型

由菲涅爾反射原理可知，自然光入射到物體表面，反射光和透射光為部分偏振光。圖35 給出了偏振3D重構(gòu)成像物理模型示意圖。當(dāng)光入射到物體表面時，入射光線、表面法線和反射光線形成入射平面，反射角等于入射角，用θ來表示。反射光線的傳播方向定義為Z軸正方向，對應(yīng)的xoy平面為相機(jī)的成像面。反射角θ是表面法線與Z（z）軸正方向的夾角，即物體表面法線的天頂角。物體表面法線投影到相機(jī)成像面上，與x軸的夾角?表示方位角。研究表明，目標(biāo)表面反射光的偏振信息（偏振度DoP 和偏振角AoP）與其表面的法線方向信息（天頂角θ和方位角?）之間存在一定的函數(shù)映射關(guān)系，因此通過偏振相機(jī)獲取目標(biāo)表面反射光的偏振信息，再根據(jù)偏振信息獲取目標(biāo)表面法線的方向信息，進(jìn)而通過法線積分重構(gòu)物體的3D 形狀［99］。

圖35 偏振3D 重構(gòu)成像物理模型示意圖Fig.35 Physical model schematic of polarization 3D reconstruction imaging

3.3.2 偏振3D 重構(gòu)成像基本理論與方法

實現(xiàn)偏振單目3D 重構(gòu)成像，首先需要獲取目標(biāo)表面反射光的偏振圖像信息。獲取偏振圖像最簡單的方法是在普通相機(jī)的鏡頭前增加一個可旋轉(zhuǎn)的線偏振片，通過旋轉(zhuǎn)線偏振片的方式獲取目標(biāo)多個角度的偏振圖像，但該方法以犧牲采集時間為代價來獲得成像器件的全分辨率圖像。如圖35 所示，采用分焦平面偏振相機(jī)拍攝目標(biāo)，即可獲得目標(biāo)上任意一物點的偏振度DoP 和偏振角AoP 信息。該相機(jī)焦平面前放置了由0°、45°、90°和135°方向的微偏振片組成的線偏振片陣列層，每個微偏振片對應(yīng)像平面的一個像元，即單個像元可以獲取一個線偏振片角度下的強(qiáng)度值。通過采集目標(biāo)的偏振原始圖像，將其分解為0°、45°、90°和135°的四幅偏振子圖像，根據(jù)偏振子圖像求解Stokes 參量，進(jìn)而得到線偏振度（DoLP）圖像（由式（27）計算）和偏振角（AoP）圖像（由式（7）計算）。

根據(jù)菲涅爾反射原理，自然光照射到目標(biāo)上時，目標(biāo)表面漫反射光的偏振度DoP 與目標(biāo)表面介質(zhì)折射率n和表面法線天頂角θ有關(guān)［99］，即

根據(jù)式（49），圖36 給出了不同折射率材料漫反射光的偏振度DoP 隨入射角θ的變化關(guān)系?？梢钥闯?，DoP 隨著θ的增大而單調(diào)遞增，且變化顯著；相對而言，材料折射率差異對DoP 變化的影響要小得多，為此，采用固定的折射率值（n=1.5）來近似計算目標(biāo)圖像中每個像素所對應(yīng)的天頂角。式（49）表明，當(dāng)表面折射率確定時，漫反射光的DoP 與物體表面法線的天頂角θ是一一對應(yīng)關(guān)系，通過數(shù)值計算方法獲得圖像中每個像素對應(yīng)的物體表面法線的天頂角θ。

圖36 不同折射率材料的漫反射光的偏振度隨入射角的變化Fig.36 Variations of DoP of diffuse reflection light with incident angle θ for materials with different refractive index

需要說明的是，如式（7）所示，偏振相機(jī)成像直接給出偏振角AoP 的取值范圍為［0，π］；而如圖35 所示，目標(biāo)表面法線方位角?的取值范圍為［0，2π］。因此，基于偏振3D 重構(gòu)成像原理，由反射光的AoP 確定方位角?時，存在方位角歧義問題，即

對基于反射光偏振信息的3D 重構(gòu)成像模型進(jìn)行分析可知，物體表面法線的天頂角在很小的情況下，方位角可能發(fā)生突變。針對具有對稱性的物體，當(dāng)入射光是自然光時，所獲得法線的天頂角數(shù)值在相機(jī)能夠拍攝到的物體區(qū)域內(nèi)是對稱的。我們提出了基于天頂角特征的方位角去歧義方法［53］，獲取了目標(biāo)表面法線確定的方位角?。對于笛卡爾坐標(biāo)系中任意一個給定物體的表面，假設(shè)物體表面是均勻、平滑的連續(xù)平面，則物體的曲面方程可以表示為f（x，y），表面法向量N可表示為式（51）。根據(jù)天頂角θ和方位角?即可求解表面法線方向，最終利用法線積分算法恢復(fù)目標(biāo)表面的3D 形狀。

3.3.3 偏振3D 重構(gòu)成像實驗結(jié)果

根據(jù)所提方法進(jìn)行實驗，選用表面材質(zhì)均一、連續(xù)光滑的物體作為目標(biāo)，以紙杯為例拍攝它的偏振圖像以計算表面法線并恢復(fù)其表面形狀。圖37 給出了表面粗糙紙杯的偏振3D 重構(gòu)成像結(jié)果。圖37（a）和（b）分別為紙杯的強(qiáng)度圖和3D 重構(gòu)圖，圖中x軸與y軸分別表示目標(biāo)圖像的像素坐標(biāo)，灰度大小表示所重構(gòu)目標(biāo)的深度信息。結(jié)果表明紙杯重構(gòu)深度圖能夠體現(xiàn)其3D 形狀，方位角歧義引起的誤差導(dǎo)致的畸變被校正。

圖37 紙杯的偏振3D 重構(gòu)成像結(jié)果Fig.37 Reconstructed 3D polarimetric imaging result of paper cup

為了驗證所提方法可應(yīng)用于不同表面材質(zhì)的目標(biāo)，拍攝了相同形狀不同表面材質(zhì)目標(biāo)的圖像，重構(gòu)了其3D 形狀。圖38 所示為不同表面材質(zhì)的圓柱體，其中，圖38（a）是塑料材質(zhì)圓柱體模型的強(qiáng)度圖，圖38（b）是在圓柱體模型表面貼一層光滑的白色相紙后拍攝的強(qiáng)度圖，圖38（c）是在圓柱體模型表面貼一層粗糙的白紙后拍攝的強(qiáng)度圖。

圖38 不同表面材質(zhì)圓柱體的強(qiáng)度圖Fig.38 Intensity images for cylinder with different surface materials

塑料材質(zhì)圓柱體模型與光滑相紙相比，表面較粗糙，存在材質(zhì)不均勻的區(qū)域，其表面反射光的類型以漫反射為主；圓柱體粘貼光滑相紙后表面材質(zhì)均一，反射光的類型混合了鏡面反射和漫反射，存在部分區(qū)域的耀光；圓柱體粘貼粗糙白紙后表面材質(zhì)均一，反射光的類型以漫反射為主。通過對不同表面材質(zhì)的圓柱體模型進(jìn)行3D 重構(gòu)，分析目標(biāo)表面材質(zhì)對所提出的單目3D 重構(gòu)成像方法效果的影響。分別對圖38 所示的三種表面材質(zhì)的圓柱體進(jìn)行3D 重構(gòu)成像，結(jié)果如圖39 所示。

圖39 不同表面材質(zhì)圓柱體的3D 重構(gòu)結(jié)果Fig.39 3D reconstruction results for cylinder with different surface materials

重構(gòu)結(jié)果表明，所提出的單目3D 重構(gòu)成像方法可應(yīng)用于不同材料的物體表面，并且能夠在不受耀光影響的情況下重構(gòu)物體的3D 形狀，而目標(biāo)表面材質(zhì)的均勻性會影響偏振3D 重構(gòu)成像的效果。圖39（a）中塑料材質(zhì)圓柱體模型的邊緣區(qū)域重構(gòu)深度存在毛刺；圖39（b）、（c）中表面粘貼均勻的光滑相紙和粗糙白紙的圓柱體模型重構(gòu)結(jié)果中，邊緣的重構(gòu)深度數(shù)據(jù)平滑、無畸變。同時，圖39（b）、（c）中的重構(gòu)結(jié)果表明，表面材質(zhì)均一的目標(biāo)，其粗糙程度對3D 形狀的重構(gòu)結(jié)果影響不大。

偏振3D 重構(gòu)成像方法可實現(xiàn)單目3D 成像，具有計算時間短、重構(gòu)精度高、信息獲取手段簡單、對環(huán)境光要求低、無需圖像配準(zhǔn)、實時性好等優(yōu)點，具有重要的發(fā)展?jié)摿蛻?yīng)用價值。

4 總結(jié)與展望

偏振是光的一個重要“信息維度”參量，通過測量光與物質(zhì)相互作用過程中的光波偏振信息可以獲得物質(zhì)的諸多特性。近年來，偏振信息測量特別是偏振光學(xué)成像探測技術(shù)，在材料分析、目標(biāo)識別、缺陷檢測、環(huán)境監(jiān)測、病變診斷、偽裝去除、透霧透散射介質(zhì)成像等領(lǐng)域，發(fā)揮著重要的應(yīng)用價值，也取得了令人矚目的研究成果。本文對國內(nèi)外關(guān)于偏振光學(xué)成像探測技術(shù)的研究現(xiàn)狀、偏振相機(jī)的研制開發(fā)情況及其應(yīng)用狀況進(jìn)行了綜述；結(jié)合研究團(tuán)隊多年來在該領(lǐng)域的工作，介紹了全偏振態(tài)同時探測的分孔徑偏振相機(jī)及分孔徑偏振光學(xué)成像鏡頭，以及在偏振去霧去散射、偏振圖像融合、偏振3D 重構(gòu)等偏振光學(xué)成像探測方面開展的一些工作，主要涉及分孔徑偏振光學(xué)成像系統(tǒng)的設(shè)計及關(guān)鍵器件和技術(shù)，偏振圖像的信息處理技術(shù)及算法和應(yīng)用等方面。

需要說明的是，圖像處理算法和偏振光學(xué)成像技術(shù)均可在一定程度上實現(xiàn)改善成像質(zhì)量、提升圖像對比度、增強(qiáng)和凸顯目標(biāo)的目的，但是也必須看到二者之間的固有差異。以圖像處理去霧和偏振去霧為例來分析說明基于圖像處理算法和基于偏振光學(xué)成像技術(shù)的一些內(nèi)在本質(zhì)差異。

首先，圖像處理算法和偏振光學(xué)成像技術(shù)發(fā)揮效能的物理基礎(chǔ)不同。偏振信息從本質(zhì)上講是直接的光學(xué)手段，偏振去霧依據(jù)物理退化模型進(jìn)行目標(biāo)信息恢復(fù)和增強(qiáng)，而圖像處理去霧是基于圖像像素之間的相對關(guān)系，純粹通過數(shù)字圖像處理進(jìn)行圖像的增強(qiáng)或復(fù)原，不考慮光學(xué)信息演化或退化的物理過程。因此，兩種去霧方法存在鮮明的內(nèi)在差異：1）圖像處理去霧的穩(wěn)定性和可靠性較差。對于不同場景或同一場景不同霧霾天氣，圖像處理去霧效果具有明顯的差異。這是因為圖像去霧處理過程中需要利用先驗知識或者假設(shè)前提，在先驗不適用或假設(shè)不成立的情況下，圖像會產(chǎn)生嚴(yán)重的失真。而偏振去霧立足于Mie 氏散射理論，適用于所有均勻的散射介質(zhì)，因此去霧的穩(wěn)定性和可靠性較高。2）圖像處理去霧效果較差。圖像處理去霧的原理一是圖像增強(qiáng)，二是圖像復(fù)原。圖像增強(qiáng)去霧主要為凸顯圖像中難以分辨的細(xì)節(jié)信息，在這個過程中，很容易將某些微弱的細(xì)節(jié)信息誤判為噪聲而被去除，導(dǎo)致去霧圖像的細(xì)節(jié)丟失。圖像復(fù)原去霧主要表現(xiàn)為利用物理模型對退化的圖像進(jìn)行復(fù)原，從已報道的主流圖像復(fù)原算法實驗結(jié)果可以看出，該方法的顏色恢復(fù)能力差。相比較而言，偏振去霧方法可獲得更加自然的去霧效果，圖像細(xì)節(jié)和顏色恢復(fù)能力強(qiáng)。3）圖像處理去霧計算效率較差。圖像處理去霧方法（特別是圖像復(fù)原方法）需要花費長時間進(jìn)行去霧計算，而偏振去霧算法效率要高很多。

其次，偏振去霧技術(shù)相對圖像處理去霧具有機(jī)理上的優(yōu)勢。偏振去霧技術(shù)基于霧霾狀況下的大氣物理退化模型，通過采集多幅不同偏振方向的圖像獲得散射噪聲光信息，利用光學(xué)手段反演退化過程、獲得退化前的場景清晰圖像，細(xì)節(jié)信息完整、顏色保真度高；而圖像處理去霧技術(shù)基于圖像增強(qiáng)或復(fù)原技術(shù)，利用像素間的強(qiáng)度關(guān)系判斷目標(biāo)和噪聲，易導(dǎo)致圖像信息丟失、顏色失真。

最后，偏振去霧技術(shù)相對圖像處理去霧具有更好的魯棒性。偏振去霧算法對不同濃度、不同粒子成分、不同目標(biāo)均可獲得清晰圖像輸出，算法普適性和實時性強(qiáng)；而圖像處理去霧受限于先驗信息，不能保證總能獲得穩(wěn)定的去霧效果，需要根據(jù)天氣情況人為干預(yù)，算法魯棒性和實時性差。

目前，偏振光學(xué)成像探測技術(shù)研究方面仍存在以下幾個值得思考和需要解決的問題：

1）關(guān)于偏振測量精度的提升問題

偏振相機(jī)是基于偏振調(diào)制和光強(qiáng)度測量工作的，所以高精度、準(zhǔn)確地獲取光的偏振信息是該技術(shù)及其實際應(yīng)用的基礎(chǔ)和基本要求。以分焦平面偏振相機(jī)（DoFP）和分孔徑偏振相機(jī)為例分別進(jìn)行分析說明。

分焦平面偏振相機(jī)（DoFP）存在的幾個固有缺點需要進(jìn)行克服或校正：首先，由于微納加工工藝的限制，微偏振片陣列在主次透過率、消光比及偏振角度等性能參數(shù)方面無法達(dá)到理想的設(shè)計要求，在空間排布上會產(chǎn)生非均勻性，從而影響偏振圖像的重構(gòu)。其次，光電傳感器在響應(yīng)過程中也會由于量子效率、增益與暗電流等像素間差異因素而產(chǎn)生隨時空變化的非均勻性誤差。最后，微偏振片陣列四個檢偏通道的空間錯位排布使其在成像過程中無法實現(xiàn)完全采樣，特定檢偏通道只能探測到該通道的偏振信息，無法探測到相同空間位置處其他三個通道的偏振信息。不同空間位置的偏振通道所采集的偏振信息被用于重構(gòu)入射光的偏振態(tài)時便會產(chǎn)生固有誤差—瞬時視場角（Instantaneous Field of View，IFOV）誤差，典型表現(xiàn)為在邊緣處出現(xiàn)鋸齒狀偽像（重構(gòu)誤差）。針對上述三個問題需要采取不同措施進(jìn)行相應(yīng)的校正：首先，需要通過提高金屬線柵微偏振片陣列的加工精度，提升消光比，減少插入損耗，提高偏振調(diào)制精度，盡可能減小物理層面的誤差影響。目前國際上Sony 公司的IMX250MZR 探測芯片，其消光比可達(dá)300∶1 以上，而國內(nèi)目前還沒有突破50∶1，所以工藝水平仍需不斷提升［100］。另外，需要對系統(tǒng)進(jìn)行非均勻性校正，以減小探測過程中產(chǎn)生的非均勻性誤差，將重構(gòu)入射光偏振態(tài)所需的Stokes 參量校正為理想響應(yīng)值。其次，為了減小各類噪聲對重構(gòu)入射光偏振態(tài)的影響，要對偏振圖像進(jìn)行去噪處理。最后，為了減小IFOV 誤差，需要研究Stokes 參量超分辨率重建算法，例如基于插值、基于頻域濾波、基于深度學(xué)習(xí)等估計方法。

分孔徑偏振相機(jī)盡管其結(jié)構(gòu)緊湊、適合于對動態(tài)目標(biāo)進(jìn)行全Stoke 矢量的偏振光學(xué)成像探測及應(yīng)用研究，但其由于四通道的裝配誤差等，必須要做好偏振子圖像間的亞像素級配準(zhǔn)；另一方面，由于其前端光學(xué)系統(tǒng)為望遠(yuǎn)系統(tǒng)，當(dāng)在近距離條件下使用時，為了保證成像質(zhì)量和實現(xiàn)清晰成像，需要在分孔徑偏振相機(jī)前添加雙膠合透鏡。因此，需要對近距離使用時的分孔徑偏振相機(jī)先進(jìn)行標(biāo)定與去畸變，然后利用去畸變后的分孔徑偏振子圖像進(jìn)行圖像配準(zhǔn)，最終實現(xiàn)對近距離場景目標(biāo)的偏振光學(xué)成像。

2）關(guān)于偏振光學(xué)成像系統(tǒng)的優(yōu)化設(shè)計問題

圍繞著同時獲取目標(biāo)的多個偏振子圖像，需要不斷創(chuàng)新光學(xué)系統(tǒng)設(shè)計理念和方案，同時盡可能地減少光學(xué)系統(tǒng)的復(fù)雜性。為此，逐步追求模塊化、功能化和集成化是偏振光學(xué)成像系統(tǒng)設(shè)計的要求和發(fā)展趨勢。研究已經(jīng)表明，我們所提出的分孔徑偏振光學(xué)成像鏡頭是一個創(chuàng)新思路。將普通相機(jī)鏡頭拿掉，更換成專門設(shè)計的全偏振態(tài)同時探測的分孔徑偏振光學(xué)鏡頭，是實現(xiàn)偏振光學(xué)成像和研制偏振相機(jī)的一種便捷技術(shù)方案。這種全新的設(shè)計思路架構(gòu)，最大限度地借助和利用了普通商用相機(jī)的已有硬件物理基礎(chǔ)，把工作重心放到了硬件和軟件這兩大部分工作，其中，硬件主要完成鏡頭改制，包括基于分孔徑技術(shù)的四種偏振態(tài)同時探測的偏振光學(xué)成像鏡頭的設(shè)計、加工、裝配；軟件主要完成圖像配準(zhǔn)、偏振定標(biāo)、偏振光學(xué)成像去散射圖像分析與增強(qiáng)算法。

3）關(guān)于偏振圖像信息處理和挖掘及充分發(fā)揮計算光學(xué)成像優(yōu)勢問題

偏振光學(xué)成像從本質(zhì)上講隸屬于計算光學(xué)成像，而計算光學(xué)成像是集幾何光學(xué)、信息光學(xué)、計算光學(xué)、現(xiàn)代信號處理等理論于一體的新興交叉成像技術(shù)研究領(lǐng)域，其利用數(shù)學(xué)模型精確描述，進(jìn)而通過計算方法重構(gòu)圖譜，亦可根據(jù)系統(tǒng)衰變和誤差模型提高圖譜質(zhì)量［101］。對于偏振光學(xué)成像探測而言，首先，需要注重圖像信息處理和挖掘、軟件算法優(yōu)化設(shè)計，充分發(fā)揮計算光學(xué)成像的優(yōu)勢，特別是針對現(xiàn)有偏振相機(jī)存在的固有技術(shù)瓶頸，通過高精度定標(biāo)方案來校正和復(fù)原真實偏振信息、針對改善成像質(zhì)量的信息處理和挖掘技術(shù)還遠(yuǎn)遠(yuǎn)沒有發(fā)揮出來。其次，需要注重多模態(tài)、多源圖像數(shù)據(jù)的融合，實現(xiàn)優(yōu)勢互補(bǔ)，超越單模態(tài)、單源數(shù)據(jù)的局限性。同時，必須清楚地認(rèn)識到，偏振光學(xué)成像探測技術(shù)仍然是傳統(tǒng)強(qiáng)度和光譜成像的有益補(bǔ)充，并非總是萬能的，當(dāng)在傳統(tǒng)強(qiáng)度和光譜成像受限的某些特定情況或環(huán)境下，該技術(shù)可以作為輔助手段進(jìn)行有益嘗試。研究也已發(fā)現(xiàn)，在某些特定情況下，它確實可能會發(fā)揮獨一無二的作用，這部分研究工作在未來仍需不斷嘗試和積累。

4）關(guān)于偏振光學(xué)成像探測的應(yīng)用問題

偏振光學(xué)成像探測技術(shù)和偏振相機(jī)在工業(yè)、農(nóng)業(yè)、環(huán)境、醫(yī)學(xué)、軍事和民生等諸多領(lǐng)域均具有廣泛的潛在應(yīng)用，而且，不同的應(yīng)用場合或場景，需要量身定做偏振光學(xué)成像系統(tǒng)及開發(fā)專用偏振相機(jī)。因此，發(fā)展到目前為止，我們認(rèn)為該技術(shù)領(lǐng)域真正的痛點是，必須進(jìn)行細(xì)致的行業(yè)分析，找到最佳的典型的專業(yè)應(yīng)用突破口。需要聚焦應(yīng)用領(lǐng)域，以典型應(yīng)用帶動和促進(jìn)技術(shù)發(fā)展。以下三個方向可能是不錯的選擇，包括工業(yè)自動化生產(chǎn)線上產(chǎn)品缺陷或異物的機(jī)器視覺檢測；生物醫(yī)學(xué)領(lǐng)域中腫瘤病變組織的診斷；煙霧霾等復(fù)雜氣象條件及低照度環(huán)境下暗弱小目標(biāo)的清晰成像與監(jiān)控。

致謝：感謝研究團(tuán)隊王慶飛、張詩榮、楊瑞、竇文濤、杜棟凱、魏寒月同學(xué)在材料整理和校對等方面的工作和幫助。