劉志豪，金偉其*，李力，沙漠洲，郭勤

四波段共光軸成像實(shí)驗(yàn)平臺及其圖像融合

劉志豪1，金偉其1*，李力1，沙漠洲2，郭勤2

（1.北京理工大學(xué) 光電學(xué)院 光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100081；2.北京機(jī)電工程研究所，北京 100074）

為獲取以及充分利用場景的多波段信息，同時(shí)為多波段圖像算法研究奠定基礎(chǔ)，基于非制冷紅外焦平面陣列，研制了共光軸分束的可見光+近紅外、短波紅外、中波紅外和長波紅外四波段光電成像實(shí)驗(yàn)平臺。給出了基于四波段光電成像實(shí)驗(yàn)平臺的圖像處理案例，使用現(xiàn)場可編程門陣列完成各路圖像的預(yù)處理與多波段圖像融合。預(yù)處理過程主要包括可見光機(jī)芯盲元校正以及基于梯度域?yàn)V波的中、長波紅外機(jī)芯的低頻非均勻性校正，從而優(yōu)化各波段的圖像質(zhì)量。雙波段和四波段圖像融合采用色彩傳遞的方式對YUV顏色空間中線性組合融合的圖像進(jìn)行色彩增強(qiáng)，得到更佳的自然感彩色融合圖像的同時(shí)保證了算法的運(yùn)行效率。使用中、長波紅外進(jìn)行雙波段紅外測溫，室內(nèi)黑體實(shí)驗(yàn)表明，在20～80 ℃內(nèi)雙波段測溫的準(zhǔn)確度明顯高于單波段測溫，雙波段測溫誤差小于3.5%，單點(diǎn)溫度波動幅度小于0.7%。外場實(shí)驗(yàn)結(jié)果表明，信息融合圖像能有效增強(qiáng)人眼對場景信息的理解。四波段光電成像實(shí)驗(yàn)平臺能夠獲得場景的四波段信息，經(jīng)過圖像融合與雙波段測溫加強(qiáng)了對場景信息的理解。

光電成像；多波段成像；非制冷紅外焦平面陣列；圖像融合；雙波段紅外測溫

1 引　言

隨著多波段成像探測器技術(shù)的發(fā)展，多波段融合成像技術(shù)展現(xiàn)出廣泛的應(yīng)用前景?？梢姽?近紅外、短波紅外、中波紅外和長波紅外是目前最常用的光電成像波段?？梢姽?近紅外波段具有與人眼視覺習(xí)慣一致的場景細(xì)節(jié)紋理信息；在常溫情況下短波紅外主要屬于反射信息成像，且其傳輸特性優(yōu)于可見光，目標(biāo)場景的信息差異與可見光波段也有較為明顯的差異；中波紅外和長波紅外主要反映目標(biāo)場景的熱輻射信息，與反射特性存在明顯的差異，且中波紅外和長波紅外的輻射特性也有各自的特點(diǎn)，以往常用于測溫、裝甲目標(biāo)識別等。因此，4個(gè)波段均包含目標(biāo)場景特性的不同方面，即增加了目標(biāo)場景的波譜信息，這些信息的有效利用或融合已成為提升光電成像系統(tǒng)偵察能力的有效手段［1-2］。

目前，一方面以硅基CCD/CMOS的可見光+近紅外成像探測器性能不斷提升，另一方面，短波、中波和長波紅外焦平面探測技術(shù)也得到迅速發(fā)展，且雙色甚至多色紅外焦平面探測技術(shù)已走向?qū)嵱?，即多波段成像傳感技術(shù)已逐漸成熟［3-5］，但對于多波段圖像處理方法的研究仍然不足。雙波段圖像融合方法的研究已取得一些進(jìn)展［6-12］，除一些簡單的加權(quán)疊加算法外，基于色彩傳遞的自然感彩色融合算法具有計(jì)算量小，便于實(shí)時(shí)處理，已應(yīng)用于可見光與紅外的彩色夜視裝備［9-10］；近年來，深度學(xué)習(xí)也在圖像融合方面展現(xiàn)出良好的發(fā)展勢頭［12］。不過，多波段成像探測器整體上系統(tǒng)復(fù)雜，價(jià)格較高，且需要配套多通道配準(zhǔn)、圖像預(yù)處理等環(huán)節(jié)，限制了多波段圖像處理算法的發(fā)展。

本文研制了一種基于CMOS的可見光+近紅外、InGaAs短波紅外焦平面機(jī)芯、非制冷紅外焦平面陣列（Infrared Focal Plane Array， IRFPA）的中波、長波紅外成像機(jī)芯組成的四波段共光路光電成像實(shí)驗(yàn)平臺，該平臺能夠同時(shí)獲取目標(biāo)場景中的四波段信息，并給出了雙波段或四波段彩色融合、雙波段融合、雙波段紅外測溫等多種典型的多波段處理圖像的效果，為后續(xù)其他處理算法的研究提供實(shí)驗(yàn)基礎(chǔ)。

2 四波段共光軸光電成像實(shí)驗(yàn)平臺

2.1　光學(xué)系統(tǒng)設(shè)計(jì)

如圖1所示，實(shí)驗(yàn)平臺從窗口進(jìn)入光學(xué)系統(tǒng)的有效光譜輻射波長為0.4～12 μm，入射輻射經(jīng)共光軸窗口后，被分成可見光+近紅外波段、短波紅外波段、中波以及長波紅外波段。中波和長波紅外物鏡的焦距均取40 mm，可見光和短波紅外采用變焦鏡頭，通過調(diào)節(jié)得到四路相同視場的聚焦成像。

圖1　四波段共光軸成像光學(xué)系統(tǒng)

用于分離入射輻射的各分束鏡反射及透射參數(shù)如表1所示。第一分束鏡的基片材料采用進(jìn)口多光譜ZnS，鍍膜材料選用Ge、ZnS和YbF3，反射可見光和短波紅外波段，透射中波紅外和長波紅外波段；第二分束鏡的基片材料采用進(jìn)口多光譜ZnS，鍍膜材料選用Ge和ZnS，反射中波紅外波段，透射長波紅外波段；第三分束鏡的基片材料采用石英玻璃，鍍膜材料選用Ta2O5和SiO2，反射可見光和近紅外波段，透射短波紅外波段。

四通道共光軸分光成像系統(tǒng)具有如下優(yōu)點(diǎn)：

（1）視場內(nèi)景物均能準(zhǔn)確配準(zhǔn)，配準(zhǔn)完成后對不同物距的景物不存在視差。共光軸的分光光學(xué)系統(tǒng)與要求嚴(yán)格配準(zhǔn)的多通道成像系統(tǒng)十分契合。

表1分束鏡的膜系設(shè)計(jì)

Tab.1　Film design of semi-reflective mirror

（2）共光軸的分光光學(xué)系統(tǒng)能通過光學(xué)和機(jī)械方式完成配準(zhǔn)，不需進(jìn)行電子配準(zhǔn)，從而不會損失各個(gè)通道的視場和圖像分辨率。

2.2　結(jié)構(gòu)設(shè)計(jì)

如圖2所示，四波段共光路成像實(shí)驗(yàn)平臺包含多譜段窗口、四波段共光軸光學(xué)系統(tǒng)、四個(gè)波段物鏡與成像機(jī)芯、數(shù)字視頻處理板、內(nèi)部數(shù)據(jù)接口以及外部數(shù)據(jù)/電源接口?？梢姽馓綔y器采用昆山銳芯微公司低照度CMOS機(jī)芯，可在5×103lx弱光條件下清晰成像；中波和長波紅外探測器分別使用煙臺艾睿公司非制冷型寬波段機(jī)芯和常規(guī)長波紅外機(jī)芯，在保證成像質(zhì)量的前提下成本更低、穩(wěn)定性更高。探測器參數(shù)如表2。

圖2　四波段共光路成像實(shí)驗(yàn)平臺

表2四波段共光路成像實(shí)驗(yàn)平臺各探測器參數(shù)

Tab.2　Detector parameters of four-band coaxial imaging experimental platform

為保證四波段共光路成像實(shí)驗(yàn)平臺具備光學(xué)配準(zhǔn)的能力，在3個(gè)分束鏡底部設(shè)計(jì)使用了俯仰旋轉(zhuǎn)角和軸旋轉(zhuǎn)角的微位移結(jié)構(gòu)，4個(gè)相機(jī)可進(jìn)行，，3個(gè)方向的位移和軸旋轉(zhuǎn)角的調(diào)整，且均能鎖死，同時(shí)保證了配準(zhǔn)精度和機(jī)械結(jié)構(gòu)強(qiáng)度。

配準(zhǔn)是實(shí)現(xiàn)四通道成像后續(xù)圖像融合與雙波段測溫的基礎(chǔ)。根據(jù)系統(tǒng)的結(jié)構(gòu)特點(diǎn)，使用如下步驟完成配準(zhǔn)：（1）粗調(diào)。根據(jù)圖2將4個(gè)相機(jī)和3個(gè)分束鏡大致調(diào)到規(guī)定的位置；（2）微調(diào)長波紅外相機(jī)，確定長波紅外相機(jī)光軸后固定，以此為基準(zhǔn)調(diào)整其他光學(xué)器件，完成其他部件的配準(zhǔn)工作；（3）以長波紅外相機(jī)為基準(zhǔn)，調(diào)整第一分束鏡，配準(zhǔn)短波紅外與長波紅外圖像；（4）以長波紅外相機(jī)為基準(zhǔn)，調(diào)整第二分束鏡，配準(zhǔn)中波紅外圖像與長波紅外圖像；（5）以長波紅外相機(jī)為基準(zhǔn)，調(diào)整第三分束鏡，配準(zhǔn)可見光與長波紅外圖像；（6）確定4個(gè)波段的圖像是否完全配準(zhǔn)。

配準(zhǔn)完成后的4個(gè)通道圖像同時(shí)傳輸?shù)揭曨l處理板中，使用FPGA（型號為XC7K325T）完成四路視頻的預(yù)處理、圖像融合、雙波段測溫等工作，實(shí)時(shí)輸出四通道的原始圖像、融合圖像以及溫度圖像。

3 多波段圖像信息融合

經(jīng)過共光軸分光以及可見光+近紅外、短波紅外、中波紅外以及長波紅外機(jī)芯的成像與圖像采集，得到經(jīng)過配準(zhǔn)且在時(shí)序上同步的4個(gè)波段視頻信號。4個(gè)波段的實(shí)時(shí)圖像信息輸入到FPGA中，完成后續(xù)圖像處理工作，包括各路圖像的預(yù)處理、雙波段或四波段彩色融合、雙波段融合和雙波段紅外測溫等。

3.1　單通道圖像預(yù)處理

采集到的可見光+近紅外波段、短波紅外波段、中波紅外波段以及長波紅外波段的原始圖像如圖3所示。其中，短波紅外、中波紅外以及長波紅外的原始圖像為14位。值得注意的是，使用非制冷型探測器采集的中波紅外圖像質(zhì)量較好，盡管圖像四周有明顯的四角熱，但可通過兩點(diǎn)校正以及其他非均勻性校正算法優(yōu)化。

圖3　同時(shí)采集的四波段原始圖像

為優(yōu)化圖像質(zhì)量，方便后續(xù)圖像融合與雙波段測溫，需對各通道圖像進(jìn)行預(yù)處理，去除短波紅外圖像的盲元、中波紅外與長波紅外圖像的低頻輻射噪聲與網(wǎng)格噪聲。針對短波紅外圖像的盲元，通過標(biāo)定確定盲元位置，再利用3×3模板內(nèi)有效像元的均值作為盲元處的灰度，完成整幅圖像的盲元校正。針對中波紅外與長波紅外圖像的低頻輻射噪聲和網(wǎng)格噪聲，先對兩個(gè)探測器分別進(jìn)行兩點(diǎn)校正，再使用一種基于梯度域?yàn)V波的低頻噪聲校正方法優(yōu)化中波紅外圖像［13］。

假設(shè)一種二元多項(xiàng)式C，（）校正模型探測器變化緩慢的非均勻性噪聲，C，（）的表達(dá)式為：

其中：是矩陣T的與方向的梯度，是低頻部分方向和方向分量的向量。

由于（T）1T矩陣只與圖像尺寸有關(guān)，可提前計(jì)算存儲于查找表中，便于硬件實(shí)時(shí)處理。

經(jīng)過預(yù)處理后的四通道圖像如圖4所示，對比圖3可見，圖像質(zhì)量得到一定的改善，可見光圖像的盲元和中波紅外圖像的非均勻性噪聲已基本去除。

圖4　預(yù)處理后的四波段圖像

3.2　雙波段自然感彩色圖像融合

針對可見光+近紅外波段和長波紅外波段的圖像融合，采用基于YUV色彩傳遞的自然感彩色融合算法［8］，算法框圖如圖5。

圖5　雙波段自然感彩色融合流程

線性組合結(jié)構(gòu)是一種簡單有效的彩色融合處理算法。該算法通過將原始的雙通道圖像在YUV空間進(jìn)行線性組合得到初始彩色化圖像，即：

再將參考圖像的顏色傳遞給初始彩色化圖像，得到：

其中：，，和，，分別為彩色參考圖像和初始彩色圖像YUV各通道的標(biāo)準(zhǔn)差；，，和，，分別為彩色參考圖像和初始彩色圖像YUV各通道的均值。

基于色彩傳遞的自然感彩色融合圖像如圖6所示。本課題組前期通過主觀實(shí)驗(yàn)［14］和客觀評價(jià)方法［15-16］證明只要彩色參考圖像的選擇合適，基于色彩傳遞的彩色化方法可獲得較其他傳統(tǒng)方法更適宜的自然感彩色融合圖像，在細(xì)節(jié)和色彩再現(xiàn)等方面均有很好的表現(xiàn)，目前已在DSP［9］和FPGA［10］硬件平臺實(shí)現(xiàn)實(shí)時(shí)處理，且原理簡單、計(jì)算量小，可實(shí)時(shí)處理。

圖6　雙波段自然感彩色融合圖像

3.3　四波段自然感彩色圖像融合

四波段紅外圖像融合采用基于色彩傳遞的自然感彩色融合算法，算法框圖如圖7所示，同時(shí)還可進(jìn)行可見光+近紅外、短波紅外、中波紅外以及長波紅外中任意2個(gè)通道的融合。

圖7　四波段自然感彩色融合流程

四波段圖像的融合流程與雙波段圖像的融合相同，先將四波段圖像在YUV空間線性組合，即有：

再通過式（5）的色彩傳遞過程獲得最終的彩色融合圖像。YUV彩色空間中，對于融合后的彩色圖像在保證，固定（均為128）的前提下，只保留亮度通道即實(shí)現(xiàn)了基于顏色空間的灰度融合。圖8展示了使用圖6（c）的彩色參考圖像進(jìn)行四波段彩色融合得到的圖像，其中彩色融合圖像8（e）中，樹葉部分通過色彩傳遞后被渲染成黃綠色，色彩表現(xiàn)接近人眼視覺特性。

將4個(gè)波段圖像融合于一張圖像，保留了每個(gè)波段信息的同時(shí)，保證了原始信息的可辨識度，能對場景中的目標(biāo)進(jìn)行更加快速地探測與識別。使用YUV空間進(jìn)行色彩傳遞，減少了大量的對數(shù)與指數(shù)運(yùn)算，是最有利于硬件實(shí)時(shí)視頻處理的顏色空間。

目前的融合算法多使用可見光與長波紅外進(jìn)行融合，使用可見光、短波紅外、中波紅外以及長波紅外這4個(gè)波段進(jìn)行融合的方法及成像系統(tǒng)少見。本系統(tǒng)使用4個(gè)波段的信息進(jìn)行融合，實(shí)現(xiàn)多光譜信息的協(xié)同體現(xiàn)，在保證算法處理速度的前提下，具備高的可靠性和魯棒性。

3.4　基于雙波段紅外的溫度場圖像重構(gòu)

輻射測溫法源于黑體輻射的普朗克定律，實(shí)際應(yīng)用中測溫準(zhǔn)確度還受到探測器、大氣的光譜透過率以及光學(xué)系統(tǒng)參數(shù)等因素的影響。根據(jù)探測器的響應(yīng)原理，在兩測溫波段［min，max］，探測器輸出的信號電平為：

其中：R（）為探測器光譜響應(yīng)率；為探測器單元面積；（）物體光譜發(fā)射率；為光學(xué)系統(tǒng)的通光口徑；為光學(xué)系統(tǒng)焦距；a（）為大氣光譜透過率；0（）為光學(xué)系統(tǒng)透過率；普朗克定律eb（）為黑體輻射出射度。

在雙波段比色測溫的應(yīng)用中，一般會使用探測器獲得的不同紅外波段信號量的比值來確定所測物體的溫度，其比值結(jié)果為［17-18］：

使用中、長波紅外的雙波段比色測溫可以大幅減小測溫目標(biāo)的光譜發(fā)射率和傳輸過程中光譜透過率對測溫準(zhǔn)確度的影響，近似認(rèn)為兩個(gè)不同波段信號的比值是一個(gè)與溫度相關(guān)的函數(shù)，從而反演出溫度場圖像。

在標(biāo)定實(shí)驗(yàn)中，采用IRTS-300型黑體系統(tǒng)，它由面源黑體和平行光管組成。在5～21 ℃每隔2 ℃采集100幅圖像；在25～90 ℃每隔5 ℃采集100幅圖像，使用最小二乘法擬合中波與長波圖像像元灰度值的比值與溫度之間的關(guān)系曲線如圖9所示，對應(yīng)的擬合方程為：

采集到的中、長波紅外圖像經(jīng)過預(yù)處理后，計(jì)算出各像素點(diǎn)的信號強(qiáng)度比值，再通過標(biāo)定實(shí)驗(yàn)擬合出的曲線得出溫度場圖像。整個(gè)圖像的處理過程在FPGA中完成，流程如圖10所示。使用圖7的中長波紅外圖像得到的溫度圖像如圖11所示。

圖10　雙波段測溫軟件流程

圖11　中波和長波紅外圖像生成的溫度圖像

為驗(yàn)證雙波段測溫的精度，采用RTS-300型黑體在20～80 ℃內(nèi)每隔5 ℃進(jìn)行一次溫度測量實(shí)驗(yàn)，結(jié)果如表3所示。在20～80 °C內(nèi)，雙波段測溫的準(zhǔn)確度明顯高于單波段測溫，且雙波段測溫誤差小于3.5%，表明雙波段測溫方法是有效可行的。

表3雙波段與單波段測溫結(jié)果

Tab.3　Results of dual-band and single-band temperature measurement

為分析單點(diǎn)穩(wěn)定性，將面源黑體穩(wěn)定在40 ℃，每隔一段時(shí)間讀取一組經(jīng)標(biāo)定的多波段成像系統(tǒng)的測溫值，結(jié)果如圖12所示。可以看出，測量溫度在40 ℃周圍波動，波動幅度在0.7%左右。

圖12　測溫單點(diǎn)穩(wěn)定性結(jié)果

本實(shí)驗(yàn)平臺中波和長波紅外雙波段測溫的特點(diǎn)為：（1）采用非制冷中、長波紅外焦平面探測器，工作穩(wěn)定、成本低，能同時(shí)獲得場景中波和長波紅外信息及溫度信息，不需專用的測溫探測器；（2）雙波段比色測溫能夠有效降低因物體發(fā)射率不同、紅外輻射傳播過程中衰減造成的測溫誤差；（3）雙波段比色測溫能對場景進(jìn)行大范圍、遠(yuǎn)距離的溫度測量，也便于方便地甄別圖像中溫度不同的環(huán)境目標(biāo)。

3.5　外場實(shí)驗(yàn)

為驗(yàn)證本四波段共光路成像實(shí)驗(yàn)平臺的成像效果，分別在海面與陸地進(jìn)行實(shí)驗(yàn)，預(yù)期利用目標(biāo)在各個(gè)波段下輻射量的差異將場景中不同目標(biāo)進(jìn)行區(qū)分。

海面實(shí)驗(yàn)結(jié)果如圖13所示，在煙幕遮擋的情況下，可見光與短波紅外圖像中的船只目標(biāo)已基本被遮擋，但中波紅外與長波紅外圖像中能大致看到船體。從彩色融合圖像可知，四波段圖像已進(jìn)行了較好的配準(zhǔn)，且保留了四波段的信息。船只顏色在融合圖像中呈紅色，煙幕在融合圖像中呈青色，通過顏色即可區(qū)分出船與煙幕。

圖14　陸地實(shí)驗(yàn)結(jié)果

陸地實(shí)驗(yàn)結(jié)果如圖14所示。場景中包含天空、建筑樓、車輛和樹等，信息豐富。因霧天昏暗，中波紅外圖像質(zhì)量明顯降低。彩色融合圖像能還原出天空的藍(lán)色、樹的綠色，車輛等在中、長紅外圖像中灰度值較大的目標(biāo)偏紅色，與樹、天空等冷色調(diào)可明顯地區(qū)分開。

通過海面與陸地的實(shí)驗(yàn)可知，四波段共光路成像實(shí)驗(yàn)平臺獲取了各個(gè)波段目標(biāo)場景的獨(dú)有信息，通過彩色圖像融合，這些獨(dú)有信息呈現(xiàn)出不同的顏色并集成在一幅圖像以不同的顏色信息進(jìn)行展示，方便快速進(jìn)行目標(biāo)探測與識別。同時(shí)，能利用中波和長波紅外圖像快速生成目標(biāo)場景的等效溫度圖像，增加了新的目標(biāo)場景信息。

4 結(jié)　論

本文設(shè)計(jì)并研制了一個(gè)包含可見光+近紅外、短波紅外、中波紅外以及長波紅外的四波段光電成像實(shí)驗(yàn)平臺，通過分束鏡實(shí)現(xiàn)共光軸4個(gè)波段的分離，使用FPGA完成圖像預(yù)處理、雙波段/四波段圖像的融合，可實(shí)時(shí)采集已配準(zhǔn)的四波段圖像序列與各波段融合圖像序列，為多波段圖像處理算法的研究提供了平臺；通過將雙波段的自然感彩色圖像融合算法擴(kuò)展至四波段，給出了一個(gè)多波段圖像處理方案。

通過盲元校正、兩點(diǎn)非均勻性校正以及低頻輻射非均勻性校正環(huán)節(jié)優(yōu)化各通道的成像質(zhì)量，采用自然感彩色融合方法對雙/多個(gè)波段圖像進(jìn)行融合，先在YUV空間中對4個(gè)波段圖像進(jìn)行線性疊加獲得初始彩色化圖像，再將彩色參考圖像的色彩傳遞給初始彩色化圖像，得到符合人眼視覺特性的自然感彩色圖像。使用中、長波紅外圖像實(shí)時(shí)生成場景溫度圖像。并通過IRTS-300型黑體對測溫誤差進(jìn)行了分析，在20～80 ℃內(nèi)，雙波段紅外測溫的準(zhǔn)確度明顯高于單波段紅外測溫，雙波段測溫誤差小于3.5%，單點(diǎn)溫度波動幅度小于0.7%。外場實(shí)驗(yàn)表明，四波段共光軸成像實(shí)驗(yàn)平臺能將目標(biāo)在不同波段的信息轉(zhuǎn)換為顏色信息集成在一幅融合圖像中，方便后續(xù)的目標(biāo)探測與識別。

非制冷型中波紅外機(jī)芯雖然已達(dá)到可用的要求，但與長波紅外機(jī)芯相比成像質(zhì)量還有差距，信噪比需要進(jìn)一步提升。在成像質(zhì)量受器件工藝限制提升緩慢的情況下，可通過圖像去噪、圖像增強(qiáng)等算法優(yōu)化圖像質(zhì)量。高性能成像可使用制冷型紅外成像機(jī)芯。

雙波段測溫盡管可減小輻射發(fā)射率的影響，其結(jié)果仍受物體反射率等因素的影響。由于實(shí)際成像場景各異，很難用一個(gè)合適的常系數(shù)修正中波/長波輻射關(guān)系。為了提高雙波段紅外測溫的精度，可利用多波段場景信息，通過場景先驗(yàn)知識或分類深度學(xué)習(xí)算法獲取目標(biāo)信息實(shí)現(xiàn)基于場景的輻射修正；再通過添加距離校正因子優(yōu)化校正模型，減小不同景深大氣對測溫的影響。

［1］ 許洪，王向軍. 多光譜、超光譜成像技術(shù)在軍事上的應(yīng)用［J］. 紅外與激光工程， 2007， 36（1）： 13-17.

XU H， WANG X J. Applications of multispectral/hyperspectral imaging technologies in military［J］.， 2007， 36（1）： 13-17.（in Chinese）

［2］ 戴立群，唐紹凡，徐麗娜，等. 從可見光到熱紅外全譜段探測的星載多光譜成像儀器技術(shù)發(fā)展概述［J］. 紅外技術(shù)， 2019， 41（2）： 107-117.

DAI L Q， TANG SH F， XU L N，. Development overview of space-borne multi-spectral imager with band range from visible to thermal infrared［J］.， 2019， 41（2）： 107-117.（in Chinese）

［3］ 李靜，宋廣，董珊，等. 非制冷紅外焦平面探測器研究進(jìn)展與趨勢［J］. 紅外， 2020， 41（10）： 1-14， 24.

LI J， SONG G， DONG SH，. Research progress and trend of uncooled infrared focal plane detectors［J］.， 2020， 41（10）： 1-14， 24.（in Chinese）

［4］ 汪良衡，李云濤，雷華偉，等. InAs/GaSb超晶格長波紅外探測器［J］. 紅外技術(shù)， 2018， 40（5）： 473-476.

WANG L H， LI Y T， LEI H W，. Long-wavelength super lattice infrared detectors based on InAs/GaSb［J］.， 2018， 40（5）： 473-476.（in Chinese）

［5］ 李雪，邵秀梅，李淘，等. 短波紅外InGaAs焦平面探測器研究進(jìn)展［J］. 紅外與激光工程， 2020， 49（1）： 64-71.

LI X， SHAO X M， LI T，. Developments of short-wave infrared InGaAs focal plane detectors［J］.， 2020， 49（1）： 64-71.（in Chinese）

［6］ 駱媛，王嶺雪，金偉其，等. 微光（可見光）/紅外彩色夜視技術(shù)處理算法及系統(tǒng)進(jìn)展［J］. 紅外技術(shù)， 2010， 32（6）： 337-344.

LUO Y， WANG L X， JIN W Q，. Developments of image processing algorithms and systems for LLL（vis.）/IR color night vision［J］.， 2010， 32（6）： 337-344.（in Chinese）

［7］ 張洪偉，丁亞林，馬迎軍，等. 紅外雙波段雙視場成像告警系統(tǒng)設(shè)計(jì)［J］. 光學(xué)精密工程， 2020， 28（6）： 1283-1294.

ZHANG H W， DING Y L， MA Y J，. Design of infrared dual-band/dual-FOV imaging early warning system［J］.， 2020， 28（6）： 1283-1294.（in Chinese）

［8］ 史世明，王嶺雪，金偉其，等. 基于YUV空間色彩傳遞的可見光/熱成像雙通道彩色成像系統(tǒng)［J］. 兵工學(xué)報(bào)， 2009， 30（1）： 30-35.

SHI SH M， WANG L X， JIN W Q，. A dual-band color imaging system for visible and thermal IR images based on color transfer in YUV color space［J］.， 2009， 30（1）： 30-35.（in Chinese）

［9］ 駱媛，金偉其，劉效東. 基于顏色查找空間的自然感彩色融合算法及DSP實(shí)時(shí)實(shí)現(xiàn)［J］. 紅外與激光工程， 2012， 41（8）： 2241-2246.

LUO Y， JIN W Q， LIU X D. Color look-up space based natural color fusion algorithm and DSP real-time implementation［J］.， 2012， 41（8）： 2241-2246.（in Chinese）

［10］ 范永杰，金偉其，李力，等. 基于FPGA的可見光/紅外雙通道實(shí)時(shí)視頻融合系統(tǒng)［J］. 紅外技術(shù)， 2011， 33（5）： 257-261.

FAN Y J， JIN W Q， LI L，. Real time fusion system for visible and IR video based on FPGA［J］.， 2011， 33（5）： 257-261.（in Chinese）

［11］ 楊桄，童濤，陸松巖，等. 基于多特征的紅外與可見光圖像融合［J］. 光學(xué)精密工程， 2014， 22（2）： 489-496.

YANG G， TONG T， LU S Y，. Fusion of infrared and visible images based on multi-features［J］.， 2014， 22（2）： 489-496.（in Chinese）

［12］ SUN C Q， ZHANG C， XIONG N X. Infrared and visible image fusion techniques based on deep learning： a review［J］.， 2020， 9（12）： 2162.

［13］ CAO Y P， TISSE C L. Single-image-based solution for optics temperature-dependent nonuniformity correction in an uncooled long-wave infrared camera［J］.， 2014， 39（3）： 646-648.

［14］ 金偉其，賈曉婷，高紹姝，等. 彩色融合圖像的質(zhì)量主觀評價(jià)［J］. 光學(xué)精密工程， 2015， 23（12）： 3465-3471.

JIN W Q， JIA X T， GAO SH SH，. Subjective evaluation of quality for color fusion images［J］.， 2015， 23（12）： 3465-3471.（in Chinese）

［15］ 高紹姝，金偉其，王嶺雪，等. 基于場景理解的雙波段彩色融合圖像質(zhì)量評價(jià)［J］. 紅外與激光工程， 2014， 43（1）： 300-305.

GAO SH SH， JIN W Q， WANG L X，. Quality evaluation for dual-band color fusion images based on scene understanding［J］.， 2014， 43（1）： 300-305.（in Chinese）

［16］ 張勇，金偉其. 夜視融合圖像質(zhì)量客觀評價(jià)方法［J］. 紅外與激光工程， 2013， 42（5）： 1360-1365.

ZHANG Y， JIN W Q. Objective assessment method of night vision fusion image quality［J］.， 2013， 42（5）： 1360-1365.（in Chinese）

［17］ 張林，張志杰，李巖峰. 雙波段比色測溫技術(shù)的應(yīng)用［J］. 現(xiàn)代電子技術(shù)， 2019， 42（8）： 1-5.

ZHANG L， ZHANG ZH J， LI Y F. Application of dual-waveband colorimetric temperature measurement technology［J］.， 2019， 42（8）： 1-5.（in Chinese）

［18］ 邢冀川，劉廣榮，金偉其，等. 雙波段比色測溫方法及其分析［J］. 紅外技術(shù)， 2002， 24（6）： 73-76.

XING J CH， LIU G R， JIN W Q，. Dual waveband chromatic thermometry and its analysis［J］.， 2002， 24（6）： 73-76.（in Chinese）

Four-band coaxial imaging experimental platform and its image fusion methods

LIU Zhihao1，JIN Weiqi1*，LI Li1，SHA Mozhou2，GUO Qin2

（1，，，100081，；2，100074，），：

To obtain and make full use of the multi-spectrum information of the scene， and to lay the foundation for the research of multi-band image algorithms， a four-band coaxial imaging experimental platform of visible light + near infrared， short wave infrared， mid-wave infrared and long-wave infrared was developed based on uncooled infrared focal plane array （IRFPA）. Image processing cases based on the four-band imaging experimental platform were presented. FPGA was used in the preprocessing of each channel of image and the fusion of multi-band image. The image quality of each band was optimized by the preprocessing procedure， that included the blind point correction of the visible sensor and nonuniformity correction of the mid-wave and long-wave infrared sensors based on grad-filtering. Dual-band and four-band image fusion enhanced the color of the fusion image obtained by linear combination in the YUV color space by color transfer， thus resulting in a natural color fusion image as well as ensuring the operating efficiency of the algorithm. Dual-band infrared temperature measurement was performed using medium and long-wave infrared. The blackbody experiment shows that in the temperature range of 20-80 ℃， the accuracy of dual-band temperature measurement is significantly higher than that of single-band temperature measurement， the error of dual-band temperature measurement is less than 3.5%， and the single-point temperature fluctuation range is less than 0.7%. The outfield experiment results show that information fusion images can effectively enhance the human eye’s understanding of scene information. The four-band imaging experimental platform can easily obtain the four-band information of the scene， and image fusion and dual-band temperature measurement can strengthen the understanding of scene information.

photoelectric imaging； multi-band infrared imaging； un-cooled infrared focal plane array（IRFPA）； image fusion； dual-band temperature measurement

TN216

A

10.37188/OPE.20223001.0001

1004-924X（2022）01-0001-11

2021-08-27；

2021-10-15.

精導(dǎo)十三五重點(diǎn)預(yù)研項(xiàng)目（No.41415020102）；國家自然科學(xué)基金資助（No.61871034）

劉志豪（1996），男，湖北潛江人，博士研究生，2017年于北京理工大學(xué)獲得學(xué)士學(xué)位，主要從事多波段紅外成像技術(shù)及相關(guān)算法的研究。E-mail：840064852@qq.com

金偉其（1961），男，上海人，教授，博士生導(dǎo)師，光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室主任，1982年于北京工業(yè)學(xué)院獲得學(xué)士學(xué)位，1990年于北京理工大學(xué)獲得博士學(xué)位，主要從事夜視與紅外技術(shù)、光電圖像處理、光電檢測與儀器方面的研究。E-mail：jinwq@bit.edu.cn