蔣云峰，武東生，黃富瑜

(陸軍工程大學(xué)石家莊校區(qū) 電子與光學(xué)工程系， 石家莊 050000)

引 言

夜視技術(shù)是通過(guò)光電成像器件來(lái)探測(cè)夜間目標(biāo)的技術(shù)[1-3]，它能夠通過(guò)光探測(cè)器和成像設(shè)備的采集、處理和顯示等過(guò)程將肉眼在夜間無(wú)法辨別的目標(biāo)轉(zhuǎn)換成可視目標(biāo)[4]。從1929年柯勒發(fā)明的銀氧銫光陰極為標(biāo)志，開(kāi)始了夜視技術(shù)的研究。傳統(tǒng)夜視技術(shù)主要分為微光夜視技術(shù)和紅外夜視技術(shù)。目前，紅外夜視儀、熱像儀以及微光夜視儀等夜視設(shè)備已具有成熟的理論和技術(shù)，但它們獲得的夜視圖像均為單色的灰度圖像，很容易有其它物體對(duì)目標(biāo)造成干擾，這對(duì)人眼對(duì)于目標(biāo)的識(shí)別造成了困難[5-7]。

人眼對(duì)于灰度級(jí)識(shí)別僅為幾十種，但對(duì)于顏色的識(shí)別可達(dá)到上千種[8]，色彩信息可極大增強(qiáng)人眼對(duì)目標(biāo)的識(shí)別概率，經(jīng)試驗(yàn)，彩色圖像相比灰度圖像可提高識(shí)別速率30%，可減少誤識(shí)率60%[9]。在監(jiān)視、偵察和安全應(yīng)用等應(yīng)用領(lǐng)域，彩色圖像比單色圖像有兩個(gè)主要優(yōu)點(diǎn)。首先，顏色可以改善對(duì)比度[10]，從而實(shí)現(xiàn)更好的場(chǎng)景分割和物體檢測(cè)。這種對(duì)比度改進(jìn)可以應(yīng)用于真彩色和假彩色圖像，其中偽彩色圖像可以通過(guò)融合來(lái)自具有不同光譜靈敏度的相機(jī)(例如可見(jiàn)光)的圖像來(lái)形成[11]。顏色的第2個(gè)好處是它提供了更多信息?？梢岳脤?duì)大腦或計(jì)算機(jī)數(shù)據(jù)庫(kù)中存儲(chǔ)的顏色知識(shí)的訪(fǎng)問(wèn)來(lái)更好地實(shí)現(xiàn)對(duì)象識(shí)別和場(chǎng)景理解[12]，這個(gè)優(yōu)點(diǎn)僅適用于真彩色圖像。所以，為了更好地應(yīng)用夜視圖像的色彩信息，彩色夜視技術(shù)越來(lái)越受到關(guān)注[13]。

彩色夜視技術(shù)既可依靠圖像亮度差別，又可依靠顏色差別識(shí)別目標(biāo)。相比于傳統(tǒng)的單色夜視儀器，其圖像細(xì)節(jié)信息極大豐富，夜視作用距離顯著提高[14]。彩色夜視技術(shù)主要經(jīng)歷了兩個(gè)階段：一是偽彩色階段，二是真彩色階段[15]。真彩色夜視技術(shù)致力于得到與人眼在白晝條件下與可見(jiàn)光波段相吻合的、色彩信息更加接近物體真實(shí)顏色的彩色夜視圖像[16]，它相比偽彩色夜視圖像進(jìn)一步提高了目標(biāo)的識(shí)別速率和正確率，所以具有很高的實(shí)際意義和應(yīng)用價(jià)值。彩色夜視儀器在夜間偵察、作戰(zhàn)、醫(yī)療、交通、監(jiān)視等領(lǐng)域具有重要的應(yīng)用價(jià)值[17]。例如：夜間作戰(zhàn)人員利用彩色夜視儀器可迅速判斷景物地形，正確進(jìn)行敵我識(shí)別、偽裝識(shí)別，提高人員與武器裝備操作的協(xié)調(diào)性，提升精確打擊能力；夜間軍事戰(zhàn)爭(zhēng)中，醫(yī)療救助人員可依靠彩色夜視儀器準(zhǔn)確判斷傷員位置、受傷程度，縮短醫(yī)療救助時(shí)間，為傷員的生命救助帶來(lái)更多的可能性；利用彩色夜視儀器進(jìn)行監(jiān)視夜間犯罪行為，可為警方提供更多的犯罪細(xì)節(jié)信息，為案件偵破帶來(lái)更多的幫助。所以，無(wú)論在軍事或是民用領(lǐng)域，均具有廣泛的應(yīng)用前景。

國(guó)外對(duì)于彩色夜視技術(shù)十分重視，目前已有不少產(chǎn)品投入軍事和民用領(lǐng)域。許多研究表明，與單色圖像相比，彩色圖像的場(chǎng)景理解、反應(yīng)時(shí)間和物體識(shí)別更快、更準(zhǔn)確[18]。20世紀(jì)70年代，荷蘭便已開(kāi)始了彩色夜視技術(shù)的研究，但未成功[19]。直至上世紀(jì)80、90年代，美國(guó)、日本、加拿大等國(guó)家都進(jìn)行了彩色夜視設(shè)備的深入研究，如荷蘭代爾夫特(Delft)公司研制出利用兩個(gè)不同光譜響應(yīng)的探測(cè)器探測(cè)到同一場(chǎng)景的不同波段圖像，將其融合后得到假彩色圖像[19]；美國(guó)伍德公司研制出全彩色夜視攝像機(jī)，它能夠?qū)崿F(xiàn)在獲取圖像的同時(shí)，對(duì)視頻圖像進(jìn)行增強(qiáng)[20]。2006年，OKSI公司對(duì)采用不同真彩色夜視方案的兩臺(tái)真彩色夜視攝像機(jī)的分辨率、圖像對(duì)比度、色彩再現(xiàn)保真度、信噪比等性能進(jìn)行了測(cè)試[15]，第1臺(tái)攝像機(jī)是在定制的第3代圖像增強(qiáng)型互補(bǔ)金屬氧化物半導(dǎo)體(complementary metal oxide semiconductor,CMOS)探測(cè)器前使用快速切換液晶濾波器，第2臺(tái)攝像機(jī)則將馬賽克濾波器直接置于電子倍增電耦合器件(electron-multiplying charge-coupled device，EMCCD)前，這兩臺(tái)攝像機(jī)于當(dāng)時(shí)均處于原型機(jī)階段，并未投產(chǎn)。2014年，日本一款新相機(jī)FALCON EYE KC-2000作為第一款專(zhuān)門(mén)用于錄制夜間或全彩色低光場(chǎng)景的攝像機(jī)問(wèn)世，它的分辨率可達(dá)到1280像素×720像素，這就意味著不僅可以獲得看起來(lái)像是在白天拍攝的圖像，還可以看到比從數(shù)碼相機(jī)或?qū)Ｓ靡挂晹z像頭獲得的更多細(xì)節(jié)[15]。

目前，我國(guó)軍用領(lǐng)域主要裝備傳統(tǒng)微光夜視儀、紅外夜視儀和紅外熱像儀，對(duì)于彩色夜視裝備的研究與制備刻不容緩。以南京理工大學(xué)和北京理工大學(xué)為代表的國(guó)內(nèi)高校和研究所從20世紀(jì)90年代開(kāi)始，一直致力于彩色夜視技術(shù)的研究和實(shí)驗(yàn)驗(yàn)證[21]。北京理工大學(xué)的JIN和GAO等人對(duì)彩色融合算法、配準(zhǔn)技術(shù)、色彩傳遞以及結(jié)果圖像效果評(píng)價(jià)做出深入研究，其主要涉及到微光雙譜融合、微光與長(zhǎng)波紅外熱圖像融合、紫外與微光圖像融合、多光譜彩色融合夜視技術(shù)以及激光助視融合彩色夜視技術(shù)進(jìn)行了大量研究。北京理工大學(xué)光電工程系提出一種基于視覺(jué)拮抗模型的非線(xiàn)性圖像增強(qiáng)與線(xiàn)性組合法結(jié)合的混合結(jié)構(gòu)融合法，較MIT法更為簡(jiǎn)單、實(shí)時(shí)性更好且融合更佳[4]。南京理工大學(xué)開(kāi)展了多項(xiàng)彩色夜視技術(shù)的研究，例如微光雙譜彩色夜視技術(shù)、微光與紅外彩色夜視技術(shù)、激光注視彩色夜視技術(shù)，涉及到光譜分割點(diǎn)的確定、圖像融合算法的研究以及彩色夜視系統(tǒng)的構(gòu)建等相關(guān)內(nèi)容[22]。另外，昆明物理研究所、西安電子科技大學(xué)關(guān)于圖像配準(zhǔn)與圖像融合技術(shù)也取得長(zhǎng)足進(jìn)展[23]。

現(xiàn)國(guó)外僅有為數(shù)不多的報(bào)道與真彩夜視儀器相關(guān)，但這些報(bào)道只是簡(jiǎn)單介紹產(chǎn)品，并沒(méi)有描述彩色夜視技術(shù)的具體設(shè)計(jì)和實(shí)施方案，例如來(lái)自日本的新相機(jī)FALCON EYE KC-2000、美國(guó)Tenebraex公司研制的ColorPathTM彩色夜視儀(color capable night vision device,CCNVD)。北京理工大學(xué)等高校對(duì)于彩色夜視技術(shù)進(jìn)行了深入研究。本文中著重介紹目前了解到的彩色夜視技術(shù)的幾種方式。

1 硬件方式

硬件方式也稱(chēng)為直接方式[23]，它是基于彩色夜視系統(tǒng)中硬件平臺(tái)的設(shè)計(jì)實(shí)現(xiàn)彩色夜視圖像的實(shí)時(shí)處理。一種方式是利用人眼視覺(jué)的暫留效應(yīng)通過(guò)同一目標(biāo)不同顏色圖像迅速切換，在人眼形成一幅彩色圖像。OKSI公司2007年推出一款彩色夜視相機(jī)，如圖1所示。它通過(guò)在第3代像增強(qiáng)CMOS探測(cè)器前增加液晶濾光片，其透過(guò)顏色可通過(guò)驅(qū)動(dòng)電壓調(diào)節(jié)，使得分次曝光后獲得同一視場(chǎng)不同顏色的圖像，最后進(jìn)行圖像重構(gòu)獲得具有自然感彩色的可視圖像。因其液晶濾光片可在1ms內(nèi)迅速轉(zhuǎn)換，故此系統(tǒng)具有很好的實(shí)時(shí)性。

圖1 OKSI公司推出的一款彩色夜視相機(jī)

另一種硬件方式是采用光能增強(qiáng)的方式[24]。事實(shí)上，夜間目標(biāo)的輻射或反射光中是存在光譜(顏色)信息的，因此，只要將夜間目標(biāo)的光能進(jìn)行放大處理，利用彩色相機(jī)完全可以獲得目標(biāo)的彩色圖像。1996年，McDonnell Douglas 公司推出一款彩色夜視頭盔，它分別由物鏡、像增強(qiáng)器、電光濾波器以及目鏡組成。由物鏡接收低照度條件下場(chǎng)景的輻射能，像增強(qiáng)器將其能量放大增強(qiáng)后，經(jīng)過(guò)電路控制的電光濾波器后可獲得不同顏色狀態(tài)(紅、綠、藍(lán))的增強(qiáng)的視場(chǎng)圖像，最終人眼通過(guò)目鏡觀察到彩色夜視圖像。此過(guò)程需保持控制電路產(chǎn)生高頻信號(hào)控制電光濾波器，從而視覺(jué)中形成的圖像不會(huì)閃爍。近期，美國(guó)研制的X27第4代全彩夜視儀不僅具備將夜晚變成如白晝條件下的景象，還支持4K畫(huà)質(zhì)輸出，使得黑夜與白晝幾無(wú)差別。

2 軟件方式

軟件方式又稱(chēng)間接方式[15]，它包括基于多傳感器圖像融合的方法和基于顏色轉(zhuǎn)換的方法，其中基于融合的方法是通過(guò)多個(gè)傳感器采集分光譜圖像進(jìn)行融合得到彩色圖像，而基于顏色轉(zhuǎn)換的方法則是通過(guò)與參考圖像作對(duì)比，使當(dāng)前的灰度圖像轉(zhuǎn)換為彩色圖像[6]。

2.1 基于多傳感器圖像融合的方法

多個(gè)傳感器可采集多個(gè)分波段圖像，例如微光、近紅外、短波紅外、中波紅外和長(zhǎng)波紅外圖像，它們攜有不同的顏色信息，故經(jīng)圖像融合后可顯示為彩色圖像[25]。圖像融合算法的選擇則更具有靈活性，可根據(jù)不同的目的需求調(diào)整融合算法。大致分為以下4個(gè)步驟：(1)采集夜視分波段源圖像；(2)源圖像預(yù)處理；(3)源圖像間組合得到處理后圖像；(4)將處理后圖像映射到彩色空間得到彩色夜視圖像。其中第(3)步源圖像間組合可分為線(xiàn)性組合法和非線(xiàn)性組合法[26]，亦可跳過(guò)此步驟直接進(jìn)行映射[10]。

最為典型的是美國(guó)麻省理工學(xué)院林肯實(shí)驗(yàn)室開(kāi)發(fā)的MIT(Massachusetts Institute of Technology)法[9]，它基于生物視覺(jué)特性，將微光與紅外圖像融合。人的視網(wǎng)膜分為on域和off域(統(tǒng)稱(chēng)為感受野)，它們分別對(duì)光照具有興奮和抑制的作用。on感受野增強(qiáng)中心，抑制周邊，而off感受野正好相反，這就是拮抗處理過(guò)程，此過(guò)程可增強(qiáng)圖像的對(duì)比度。中心-周邊感受野神經(jīng)動(dòng)力學(xué)方程如下：

(1+Eij)[G(s)×I2]

(1)

(2)

式中，E是增強(qiáng)后的圖像；I1是使感受野中心興奮的輸入圖像；I2是使感受野周邊抑制的輸入圖像；G(s)為高斯函數(shù)的縮寫(xiě)形式；i,j為像素位置；A,C為調(diào)節(jié)參量。

MIT法的基本思路為：(1)使用中心-周邊神經(jīng)分離網(wǎng)絡(luò)分別使微光圖像和紅外圖像對(duì)比度增強(qiáng);(2)使用中心-周邊神經(jīng)分離網(wǎng)絡(luò)，將微光圖形送入中心，紅外圖像送入周邊，形成單拮抗彩色對(duì)比度圖像;(3)將以上得到的圖像經(jīng)過(guò)色彩空間映射成一幅彩色圖像。圖2為MIT法基本流程圖。而后在此基礎(chǔ)上對(duì)MIT法做了許多改進(jìn)，得到了不錯(cuò)的效果。

圖2 MIT法基本流程圖

2.2 基于色彩傳遞的方法

有學(xué)者于2001年提出一種顏色轉(zhuǎn)換的思想[27]，即將一幅圖像賦予與參考圖形顏色類(lèi)似的彩色圖像。TOET于2003年通過(guò)一幅具有自然感彩色的參考圖像用色彩傳遞的方法使一幅經(jīng)過(guò)直接映射得到的夜視圖像“賦予了自然感彩色”。圖3是TOET得到的彩色夜視圖像。

圖3 TOET色彩傳遞方法的效果圖

a—直接映射得到彩色圖像 b—具有自然感彩色的參考圖像 c—經(jīng)色彩傳遞后得到的彩色夜視圖像

2008年，TOET通過(guò)建立2維查找表的方法使雙通道微光夜視圖像輸出彩色圖像，為彩色夜視的實(shí)時(shí)性處理帶來(lái)便利，可實(shí)現(xiàn)視頻處理[28-30]。他的方法流程如下：(1)將參考圖像顏色傳遞給雙通道夜視融合圖像；(2)得到的彩色夜視融合圖像與雙通道的分波段圖像的灰度信息建立色彩查找表；(3)通過(guò)查找表實(shí)現(xiàn)實(shí)時(shí)輸出彩色夜視圖像[31-32]。

自TOET提出基于色彩傳遞的彩色夜視方法提出后，許多學(xué)者熱衷于如何將參考圖像的自然感彩色信息“傳遞”給融合圖像。2008年，北京理工大學(xué)開(kāi)發(fā)了基于雙數(shù)字信號(hào)處理的實(shí)時(shí)自然感彩色彩色融合處理板，它實(shí)現(xiàn)基于色彩傳遞的融合實(shí)時(shí)處理，將微光圖像與紅外熱像儀圖像融合后獲得具有自然感彩色的彩色夜視圖像[15]。

目前，基于色彩傳遞的方法已廣泛應(yīng)用于彩色夜視技術(shù)中，其獲得的彩色夜視圖像相比于多波段圖像融合得到的假彩色夜視圖像的色彩更符合人眼視覺(jué)特性，具有自然感彩色以及較好的實(shí)時(shí)性。

3 結(jié)束語(yǔ)

彩色夜視技術(shù)對(duì)于人類(lèi)社會(huì)的發(fā)展具有重要意義。本文中敘述了夜視技術(shù)背景、彩色夜視技術(shù)的發(fā)展[18]，詳細(xì)分述了彩色夜視技術(shù)兩種工作方式中的幾種方法。彩色夜視技術(shù)可分為硬件方式和軟件方式，在文中對(duì)于每一種工作方式均做出闡述與舉例，并對(duì)其彩色夜視效果做了簡(jiǎn)要說(shuō)明。其中通過(guò)硬件方式的彩色夜視技術(shù)具有更好的實(shí)時(shí)性，并具有良好的色彩效果；而通過(guò)軟件合成的方式具有更好的可調(diào)節(jié)性和可操作性，可人為根據(jù)目的需求調(diào)整處理算法[33-34]，達(dá)到最佳的色彩效果。

對(duì)于彩色夜視技術(shù)工作方式的幾種方法，均有待對(duì)其關(guān)鍵技術(shù)進(jìn)行完善[35-36]。例如基于色彩傳遞的方法得到彩色夜視圖像的色彩效果基本取決于參考圖像或者查找表，基于融合的方法對(duì)于實(shí)時(shí)處理速度要高的條件不適用，而基于硬件方式的色彩處理效果直接受到傳感器性能的制約。所以，彩色夜視技術(shù)還有很大的發(fā)展空間[36]。