陳一超,胡文剛,武東生,何永強(qiáng),張東曉,李曉明
(軍械工程學(xué)院 電子與光學(xué)工程系,河北省 石家莊050003)
微光夜視技術(shù)可使人類(lèi)在極低的照度(10-5lx)條件下有效地獲取景物圖像信息,且其獲得的圖像具有場(chǎng)景細(xì)節(jié)較為豐富等特點(diǎn),在夜間偵查、瞄準(zhǔn)、車(chē)輛駕駛、光電火控等其他戰(zhàn)場(chǎng)作業(yè)中發(fā)揮了重要的作用[1]。微光夜視器材已成為部隊(duì)裝備中重要的組成部分,目前所裝備的微光夜視儀產(chǎn)生的都是單色圖像[2]。單色圖像的重大缺陷是信噪比較低且圖像缺乏深度感,不利于探測(cè)和分辨目標(biāo)。人眼能夠分辨大約幾十種灰度級(jí)和大約1 000種顏色[3],利用人眼對(duì)彩色相對(duì)高的分辨力和靈敏度的特點(diǎn),實(shí)現(xiàn)彩色夜視以極大提高目標(biāo)探測(cè)和識(shí)別概率。因此彩色夜視技術(shù)得到了越來(lái)越多的重視,也使其成為今后夜視發(fā)展的重要方向。美國(guó)等西方發(fā)達(dá)國(guó)家以及國(guó)內(nèi)的南京理工大學(xué)等單位在彩色夜視領(lǐng)域進(jìn)行了很多相關(guān)的研究,主要有微光與紅外圖像融合[4-5]與微光多波段彩色夜視[6-7]等,例如美國(guó) OKSI公司推出的一款基于多波段的微光彩色攝像機(jī),取得了良好的夜視效果[8],這些成果大多基于第三代像增強(qiáng)器等高性能管。針對(duì)第二代以及超二代像增強(qiáng)器裝備較多且能夠自主生產(chǎn)的現(xiàn)實(shí)情況,利用其探索實(shí)現(xiàn)彩色夜視,在安保、監(jiān)視、戰(zhàn)場(chǎng)救援等方面具有一定的實(shí)際意義。
根據(jù)RGB彩色模型,對(duì)任意彩色光C都可以由三基色R、G、B合成[9],其配色方程可寫(xiě)成:
C=r(R)+g(G)+b(B)
將目標(biāo)發(fā)出的光進(jìn)行三基色分離,再進(jìn)行放大,最后進(jìn)行記錄、融合就能夠得到逼近自然感的彩色圖像。依據(jù)這一模型,設(shè)計(jì)了一種三波段彩色夜視方案,其原理如圖1所示。目標(biāo)發(fā)射或反射的光經(jīng)過(guò)物鏡的匯聚,匯聚后的光線經(jīng)過(guò)分譜濾光片的濾光作用成像在增強(qiáng)器的光電陰極上產(chǎn)生光電子,光電子經(jīng)過(guò)像增強(qiáng)器的倍增,成像在熒光屏上,最后被CCD采集、記錄在計(jì)算機(jī)上得到反映目標(biāo)在某一波段強(qiáng)度信息的圖像。通過(guò)機(jī)械旋轉(zhuǎn)的方式控制3塊分譜濾光片轉(zhuǎn)動(dòng)實(shí)現(xiàn)依次采樣。將采集到的圖像經(jīng)過(guò)圖像預(yù)處理模塊的消噪及增強(qiáng)處理后融合成反映目標(biāo)真實(shí)色彩的圖像。
圖1 三波段真彩色夜視系統(tǒng)原理Fig.1 Principle of triple-spectrum color night vision system
為了將三基色分開(kāi),設(shè)計(jì)了透過(guò)率如圖2的短波1、中波2、長(zhǎng)波3濾光片,在相應(yīng)波段濾光片透過(guò)率超過(guò)或接近80%,故認(rèn)為制備的濾光片滿足實(shí)驗(yàn)條件。濾光片的旋轉(zhuǎn)通過(guò)如圖3所示的色輪實(shí)現(xiàn)。濾光片的加入對(duì)入射光有衰減作用,降低像增強(qiáng)器信噪比,需要對(duì)濾光片加入前后信噪比進(jìn)行分析,從而改進(jìn)系統(tǒng)。
圖2 濾光片的光譜透過(guò)率Fig.2 Spectrum transmittance of filters
圖3 色輪Fig.3 Color wheel
分析在不加濾光片時(shí)輸入CCD圖像信噪比。假定將有亮暗相間的方波條紋圖案作為輸入圖像,條紋的長(zhǎng)度遠(yuǎn)大于寬度,因此作為一維問(wèn)題處理。另外假定成像器件的放大率為1,以簡(jiǎn)化討論[10]。
亮條紋輸入到光電陰極面上,再通過(guò)成像器件轉(zhuǎn)換增益后,得到輸出信號(hào)S的表達(dá)式:
式中:N為投射到成像器件光電陰極面單位面積上的平均光子數(shù);h為亮暗條紋在陰極面上成像的寬度;τ為探測(cè)器的有效積分時(shí)間;ε為在忽略光譜分布的情況下每個(gè)光子所對(duì)應(yīng)的亮度;np為成像器件第一光電陰極的量子效率;nT為成像器件除第一光電陰極外的總量子效率;C(f)是方波對(duì)比
陰極面上光電子發(fā)射的量子噪聲強(qiáng)度分布均方差函數(shù)為式中:δ(χ)為每個(gè)入射光子的強(qiáng)度分布;χ為光電陰極面的一維坐標(biāo)。
對(duì)陰極面上量子噪聲強(qiáng)度的均方差函數(shù)作傅里葉變換,δ函數(shù)的傅里葉變換等于1,所以有:
成像器件在傳遞這一噪聲時(shí)附加了對(duì)應(yīng)空間頻率的衰減,其衰減程度可用乘調(diào)制傳遞函數(shù)T(f)求出。通過(guò)對(duì)頻率積分即可得到輸出屏幕上用亮度表示的輸出量子噪聲均方差:
式中Nb為光電陰極單位面積上單位時(shí)間內(nèi)產(chǎn)生的暗發(fā)射平均電子數(shù)。
熒光屏的平均輸出亮度:
于是:
在實(shí)際條件中,背景發(fā)射光子數(shù)Nb很小,可以忽略,即上式可簡(jiǎn)化為
在引入濾光片以后并不引入新的噪聲,某些光譜被吸收,改變的是入射到光電陰極的電子。令放置濾光片以后投射到成像器件光電陰極面單位面積上的平均光子數(shù)為N1,濾光片的光譜透過(guò)率為τ(λ),則有:
加入濾光片后,輸出信號(hào)S1,量子噪聲均方差、背景漲落噪聲均方差、熒光屏顆粒噪聲均方差N21S為
即濾光片的加入會(huì)使信噪比降低。
實(shí)驗(yàn)選擇的像增強(qiáng)器型號(hào)為XX1500,是目前比較常見(jiàn)的第二代像增強(qiáng)器,其主要參數(shù)如表1。為利用計(jì)算機(jī)計(jì)算可得到3種濾光片的分別為0.267、0.251、0.347,即濾光片的加入明顯降低了像增強(qiáng)器信噪比。為了改進(jìn)這一缺點(diǎn),提出加入一組全波透過(guò)窗口,即產(chǎn)生原始微光圖像,如圖3所示色輪透明部分。
表1 像增強(qiáng)器主要參數(shù)Table 1 Characteristic parameters of image intensifier tube
在上述實(shí)驗(yàn)條件和研制的色輪基礎(chǔ)上對(duì)于不同的場(chǎng)景進(jìn)行了相關(guān)實(shí)驗(yàn)。場(chǎng)景一是在實(shí)驗(yàn)室條件下對(duì)設(shè)定的目標(biāo)進(jìn)行探測(cè),光源來(lái)自窗戶月光、城市輝光以及其他雜閃光,經(jīng)過(guò)實(shí)測(cè)其光照度為0.286 1lx,探測(cè)距離為30m。場(chǎng)景二是在室外自然環(huán)境,探測(cè)目標(biāo)為俯視狀態(tài)下距離為90m的樹(shù)木、草地、泥土和水泥路面,光源主要是月光和星光,實(shí)測(cè)光照度為0.135 2lx。對(duì)上述2個(gè)場(chǎng)景的目標(biāo)進(jìn)行探測(cè),采集到的圖像分別如圖4中的(a)和(b),從左至右分別是全波、短波、中波和長(zhǎng)波圖像(圖中中間部位的黑色線條是由物鏡自帶分劃板所致)。
圖4 不同波段的微光圖像Fig.4 LLL images of different wave bands
對(duì)于圖4,全波圖像能夠較好地反映目標(biāo)的細(xì)節(jié)信息,但目標(biāo)的界限依靠灰度并不能明顯區(qū)分,目標(biāo)的顏色也完全丟失,另外圖像對(duì)比度較低,缺乏立體感。將短波、中波、長(zhǎng)波圖像與全波圖像比較,由于窄帶濾光片的加入降低了信噪比以及微光夜視儀對(duì)比度較差的缺陷,分別觀察原始短波、中波和長(zhǎng)波圖像,人眼已經(jīng)不能正確地分辨目標(biāo),但能夠反映目標(biāo)不同波段的強(qiáng)度信息。
融合的實(shí)現(xiàn)采用彩色映射方法,其具有運(yùn)算速度快與便于硬件實(shí)現(xiàn)等優(yōu)點(diǎn)[11]。具體做法是將短波、中波、長(zhǎng)波圖像的對(duì)比度線性增強(qiáng),再融合全波圖像,分別輸入R、G、B通道,如下公式:
式中:S為短波圖像;M 為中波圖像;L為長(zhǎng)波圖像;O 為全波圖像;S1、M2、L2分別是S、M、L 圖像中的灰度最小值;m1、m2為配比系數(shù)。
根據(jù)公式(18),不加入全波圖像的三幀圖像融合結(jié)果如圖5所示;加入全波圖像的四幀圖像融合結(jié)果如圖6所示。
圖5 三幀融合圖像Fig.5 Image of three-frame fusion
圖6 四幀融合圖像Fig.6 Image of four-frame fusion
對(duì)比圖4中的全波圖像,圖5和圖6能夠很好地反映目標(biāo)和背景的色彩,色彩接近自然感,但圖5明顯存在亮度較低、細(xì)節(jié)模糊、邊緣不清的缺點(diǎn),這是由于窄帶濾光片的引入導(dǎo)致的,無(wú)法通過(guò)后期處理得到明顯改善。融合了原始微光圖像的圖6則很好地克服了上述缺點(diǎn),雨傘的條紋、雨傘與地面、樹(shù)木與草地等不同目標(biāo)之間的界限非常明顯,裸露的黃土和綠色草地能夠明顯區(qū)分,圖像中目標(biāo)色彩鮮明且更具有立體感。
為了對(duì)融合圖像的質(zhì)量進(jìn)行客觀評(píng)價(jià),選取方差和熵作為指標(biāo)。方差反映了圖像的對(duì)比度和清晰度,方差越大則對(duì)比度越高,清晰度越高[12]。熵反映了圖像的信息量,熵越大圖像代表的信息量越大[11]。表2給出了全波圖像、三幀融合圖像和四幀融合圖像的指標(biāo)值。從表中可以看出,相比較全波圖像和三幀圖像融合,四幀圖像融合方法有效地提高了圖像清晰度和信息量,與主觀分析一致。
表2 圖像評(píng)價(jià)Table 2 Image evaluation
針對(duì)引入分譜濾光片的第二代像增強(qiáng)器在微光條件下信噪比較低和實(shí)現(xiàn)彩色夜視較為困難的情況,提出了一種利用全波圖像的四幀圖像融合方案,以此設(shè)計(jì)了四窗口色輪。利用第二代像增強(qiáng)器進(jìn)行實(shí)驗(yàn),采用彩色映射原則融合實(shí)驗(yàn)圖像,實(shí)現(xiàn)單通道三波段彩色夜視。實(shí)驗(yàn)表明,四幀圖像融合技術(shù)在方差和熵2個(gè)指標(biāo)上均優(yōu)于三幀圖像融合技術(shù),能夠有效提高彩色夜視圖像的清晰度和信息量。
[1] Di Xu,Yang Jinhua.Gleam and infrared imaging technique[M].Beijing:Machinery Industry Press,2012.邸旭,楊進(jìn)華.微光與紅外成像技術(shù)[M].北京:機(jī)械工業(yè)出版社,2012.
[2] Zhang Chuang.Low light level color night vision technology study on single-channel and dual-spectrum [D].Nanjing:Nanjing University of Science and Technology,2007.張闖.單通道雙譜微光彩色夜視技術(shù)研究[D].南京:南京理工大學(xué),2007.
[3] Wang Liping,Sun Shaoyuan,Chen Qian,et al.Low light level image characteristics and image fusion technology[J].Journal of Infrared and Millimeter Waves,2000,19(4):289-292.王利平,孫韶遠(yuǎn),陳錢(qián),等.微光圖像特征分析及圖像融合技術(shù)研究[J].紅外與毫米波學(xué)報(bào),2000,19(4):289-292.
[4] Paicopolosa P S,Hixonb J G,Noseckc V A.Human visual performance of a dual band I2/IR sniper scope[J].SPIE,2007,6737:1-12.
[5] Zhang Junju,Chang Benkang,Zhang Baohui.Longdistance image fusion system for infrared and LLL/visible bands[J].Infrared and Laser Engineering,2012,41(1):20-24.張俊舉,常本康,張寶輝,等.遠(yuǎn)距離紅外與微光/可見(jiàn)光融合成像系統(tǒng)[J].紅外與激光工程,2012,41(1):20-24.
[6] Hertel D,Marechal H.A low-cost VIS-NIR true color night vision video system based on a wide dynamic range CMOS imager[C].US:IEEE,2009:273-278.
[7] Meng Fanlong.Color night vision technology based on multi-band[D].Nanjing:Nanjing University of Science and Technology,2013.孟凡龍.基于多波段的彩色夜視技術(shù)的研究[D].南京:南京理工大學(xué),2013.
[8] Kriesel J,Gat N.True-color night vision cameras[C].Bellingham:SPIE,2007:65400D/1-10.
[9] Wang Yongzhong.New military optoelectronic technology[M].Beijing:Science Press,2003.16-20.王永仲.現(xiàn)代軍用光電技術(shù)[M].北京:科學(xué)出版社,2003.
[10]Ning Shunli,Hu Youlin.Night vision technology[M].Shijiazhuang:Ordnance Engineering College,1983:202-207.寧順利,胡友林.夜視技術(shù)[M].石家莊:軍械工程學(xué)院,1983:202-207.
[11]Xu Tingfa,Li Juntao,Zhang Yizhou,et al.True color transfer for dual band image fusion[J].Chinese Optics,2014,7(3):403-410.許廷發(fā),李俊濤,張一舟,等.真彩色傳遞雙波段圖像融合[J].中國(guó)光學(xué),2014,7(3):403-410.
[12]Deshmukh M,Bhosale U.Image fusion and image quality assessment of fused images[J].International J.Image Processing(JIP),2010,4(5):484-508.