孫愛平，郭 亮，楊紹明，龔楊云，浦恩昌，雷旭峰，李澤民，汪陳躍

光學(xué)被動熱補償方式實現(xiàn)紅外與可見光圖像融合物鏡設(shè)計

孫愛平，郭 亮，楊紹明，龔楊云，浦恩昌，雷旭峰，李澤民，汪陳躍

（北方夜視科技研究院集團有限公司，云南 昆明 650223）

圖像融合的配準(zhǔn)精度是關(guān)系到圖像融合質(zhì)量的一個重要性能指標(biāo)。本文所述的紅外與可見光圖像融合物鏡系統(tǒng)采取平行光路布局、光學(xué)被動熱補償?shù)姆绞教岣邎D像融合的配準(zhǔn)精度。本文首先分析對比了機械熱補償方式與光學(xué)熱補償方式對提高圖像配準(zhǔn)精度的貢獻(xiàn)；其次根據(jù)圖像融合物鏡系統(tǒng)的性能指標(biāo)對紅外物鏡和可見光物鏡進(jìn)行光學(xué)被動熱補償?shù)膬?yōu)化設(shè)計，并分析了對可見光物鏡進(jìn)行光學(xué)被動熱補償設(shè)計的必要性；第三從光學(xué)布局型式及畸變變化來分析圖像融合物鏡系統(tǒng)的圖像配準(zhǔn)精度；最后根據(jù)圖像融合物鏡系統(tǒng)的成像質(zhì)量和圖像配準(zhǔn)效果，可得出融合圖像質(zhì)量好、能滿足指標(biāo)要求的結(jié)論。

可見光物鏡；紅外物鏡；圖像融合；圖像配準(zhǔn)

0 引言

隨著復(fù)雜戰(zhàn)場環(huán)境中目標(biāo)的偽裝和隱身能力的不斷增強，如何快速準(zhǔn)確偵查到敵方目標(biāo)顯得尤其重要[1-2]。戰(zhàn)場光電設(shè)備常用的波段為可見光、微光、近紅外、中波紅外和長波紅外等幾個波段。根據(jù)單一波段光電設(shè)備特有的成像機制，發(fā)展出對應(yīng)的對抗措施，依此減小目標(biāo)被探測到的幾率。因此對兩個或兩個以上使用不同波段的光電設(shè)備進(jìn)行圖像融合處理，融合后的圖像相應(yīng)地具有識別一定偽裝的能力，提高探測目標(biāo)的概率。

圖像融合是指將同一目標(biāo)場景的兩幅或多幅圖像按特定的準(zhǔn)則進(jìn)行融合，使合成后的單幅圖像包含更全面的信息[3]。紅外與可見光圖像融合是當(dāng)前圖像融合研究的熱點之一，被廣泛應(yīng)用于軍事、航空、安防監(jiān)控等領(lǐng)域[4]。紅外圖像依賴于目標(biāo)與環(huán)境的溫度差，不受外界光照度的影響，故紅外圖像對比度較高，但不能突顯所觀察場景中的細(xì)節(jié)信息；可見光圖像具有較強的細(xì)節(jié)信息表現(xiàn)能力，但易受外界光照度的影響，光照度較差時目標(biāo)難以分辨，因此紅外與可見光圖像融合具有十分重要的意義[5-6]。

孫愛平等對共光路與平行光路兩種圖像融合光學(xué)布局型式的優(yōu)劣做出相關(guān)論述，受工藝條件的限制，現(xiàn)在大部分圖像融合光學(xué)裝置為平行光路布局[7]。為了補償溫度變化帶來的焦面位移，平行光路布局的紅外與可見光圖像融合光學(xué)系統(tǒng)可采用機械熱補償和光學(xué)被動熱補償兩種方式，其中光學(xué)被動熱補償?shù)膱D像融合光學(xué)系統(tǒng)具有更好的圖像配準(zhǔn)精度。據(jù)此本文采用平行光路布局型式，光學(xué)被動熱補償?shù)脑O(shè)計型式設(shè)計了一款紅外和可見光圖像融合物鏡，并對圖像配準(zhǔn)精度展開相應(yīng)分析。

1 圖像融合光學(xué)系統(tǒng)熱補償方式的比較

光學(xué)元件的尺寸、折射率和鏡筒的尺寸隨溫度的變化而變化，引起像面位移造成成像模糊。為了補償溫度變化所引起的像面位移可采用機械熱補償方式和光學(xué)被動熱補償方式，其中機械熱補償方式可分為外調(diào)焦熱補償方式和內(nèi)調(diào)焦熱補償方式，如圖1所示。

圖1 機械熱補償

外調(diào)焦熱補償方式即鏡頭組整組前后移動，改變鏡頭與探測器靶面的間隔實現(xiàn)熱補償。對于紅外與可見光圖像融合光學(xué)系統(tǒng)，受加工、裝配精度的影響，紅外鏡頭和可見光鏡頭整組前后移動的過程中，二者的光軸發(fā)生漂移，造成圖像配準(zhǔn)精度的降低。

內(nèi)調(diào)焦熱補償方式即鏡頭組其中一件光學(xué)元件或者一組光學(xué)元件作為補償組沿光軸前后移動，在環(huán)境溫度變化時實現(xiàn)像面與探測器靶面的重合。由于其中一件光學(xué)元件或者一組光學(xué)元件沿光軸前后移動，改變了原來的光學(xué)成像關(guān)系，使鏡頭組的焦距發(fā)生改變即放大倍率改變，造成目標(biāo)所成圖像的大小不一致，進(jìn)而降低圖像配準(zhǔn)精度；受加工、裝配精度的影響，補償組沿軸向移動，二者光軸發(fā)生漂移，造成圖像配準(zhǔn)精度的降低。

光學(xué)被動熱補償方式即鏡頭組選擇合適的光學(xué)材料、鏡筒材料及面型類型，在不移動任何光學(xué)元件的條件下，實現(xiàn)環(huán)境溫度變化時像面與探測器靶面的重合。隨著工作溫度的變化，鏡頭組采取光學(xué)被動熱補償方式時其放大倍率一致并且無活動的光學(xué)元件，光軸相對位置基本無變化，圖像配準(zhǔn)精度很高。

紅外與可見光圖像融合光學(xué)系統(tǒng)采取光學(xué)被動熱補償方式比機械熱補償方式具有更高的圖像配準(zhǔn)精度，故本文采取光學(xué)被動熱補償方式開展紅外與可見光圖像融合物鏡的設(shè)計。

2 融合物鏡設(shè)計分析

2.1 設(shè)計指標(biāo)

可見光物鏡選用800×600、18mm的低照度CMOS，設(shè)計波段為0.6mm～0.95mm，此波段相對于可見光常用的0.48mm～0.65mm彩色波段，具有一定的透霧功能，配合透霧算法可提高可見光物鏡觀察場景的細(xì)節(jié)能力。圖像融合系統(tǒng)光學(xué)設(shè)計參數(shù)見表1。

2.2 紅外物鏡光學(xué)被動熱補償設(shè)計

紅外物鏡采取四片式設(shè)計型式，光學(xué)布局型式見圖2。紅外物鏡光學(xué)透鏡材料選擇Ge和IRG206，鏡筒材料選擇鋁合金，面型選擇常用的球面、非球面和二元衍射面，其中二元衍射面放置在第二透鏡的后表面上。通過以上措施實現(xiàn)在環(huán)境溫度變化時紅外物鏡的像面與紅外機芯的靶面相重合，在工作溫度范圍內(nèi)成像清晰。

紅外物鏡在低溫（－40℃）、常溫（20℃）和高溫（60℃）條件下的點列圖及傳遞函數(shù)曲線如圖3所示。紅外物鏡的傳遞函數(shù)（MTF）在奈奎斯特頻率（30lp/mm）處除邊緣視場外對比度均在0.4以上，中心視場區(qū)域的對比度接近衍射極限；依據(jù)點列圖所示，0.7視場內(nèi)的能量均在一個像素內(nèi)，其余視場約有80%的能量在一個像素內(nèi)。綜上所述紅外物鏡在工作溫度范圍內(nèi)像差校正效果較好。

表1 圖像融合系統(tǒng)光學(xué)設(shè)計參數(shù)

2.3 可見光物鏡光學(xué)被動熱補償設(shè)計

可見光物鏡采用類高斯的設(shè)計形式，如圖4所示?？梢姽馕镧R的光學(xué)透鏡選用成都光明生產(chǎn)的環(huán)保材料，面型均為球面，鏡筒材料選擇鋁合金。通過優(yōu)化選擇球面半徑和透鏡材料實現(xiàn)在工作溫度范圍內(nèi)可見光物鏡的像面與CMOS（Complementary Metal-Oxide Semiconductor）靶面相重合，成像清晰。

可見光物鏡在低溫（－40℃）、常溫（20℃）和高溫（60℃）條件下的點列圖及傳遞函數(shù)曲線如圖5所示。可見光物鏡的MTF（Modulation Transfer Function）在奈奎斯特頻率（28lp/mm）處除邊緣視場外對比度均在0.6以上；依據(jù)點列圖所示，所有視場約有80%的能量在一個像素內(nèi)。綜上所述可見光物鏡在工作溫度范圍內(nèi)像差校正效果較好。

圖2 紅外物鏡光學(xué)布局

圖3 紅外物鏡的MTF曲線和點列圖

圖4 可見光物鏡光學(xué)布局

Fig.4 Optical layout of visible objective lens

圖5 可見光物鏡的MTF曲線和點列圖

2.4 可見光物鏡進(jìn)行光學(xué)被動熱補償?shù)谋匾苑治?/h3>

可見光物鏡在大部分場合使用機械熱補償方式，很少見到光學(xué)被動熱補償?shù)溺R頭。對于圖像融合光學(xué)系統(tǒng)，為了提高圖像配準(zhǔn)的精度，不僅紅外物鏡需要進(jìn)行光學(xué)被動熱補償設(shè)計，可見光物鏡也需要進(jìn)行光學(xué)被動熱補償設(shè)計。

以一種天塞型變形型式的照相物鏡為例，分析在圖像融合光學(xué)系統(tǒng)中進(jìn)行光學(xué)被動熱補償設(shè)計的必要性。此天塞型照相物鏡的焦距為44.8mm，F(xiàn)數(shù)為3.5，工作波段為0.48mm～0.65mm，成像器件為1/3英寸的CCD（WAT-600CX，像元大小6.5mm×6.25mm），光學(xué)透鏡材料為成都光明環(huán)保材料，面型均為球面，鏡筒材料為鋁合金，設(shè)計布局型式見圖6，各個溫度點的傳遞函數(shù)曲線見圖7。由圖7可知此照相物鏡在常溫工作環(huán)境下MTF曲線在奈奎斯特頻率處（80lp/mm）對比度在0.6以上，在低溫和高溫工作環(huán)境下，MTF性能嚴(yán)重下降。在常溫工作環(huán)境中，如果此照相物鏡的性能使用到奈奎斯特頻率或者接近此頻率點時，在低溫和高溫工作環(huán)境中，照相物鏡具有不能達(dá)到常溫性能指標(biāo)的缺陷。

據(jù)以上分析，紅外與可見光圖像融合光學(xué)系統(tǒng)中的可見光物鏡采用光學(xué)被動熱補償設(shè)計非常必要，同時對于定焦使用的可見光或者微光物鏡，如果工作環(huán)境溫度變化較大，也需要進(jìn)行光學(xué)被動熱補償設(shè)計。

3 圖像配準(zhǔn)精度的分析

3.1 引起圖像配準(zhǔn)精度降低的因素

圖像配準(zhǔn)精度的高低是決定圖像融合效果的一個重要因素，因此圖像配準(zhǔn)精度是設(shè)計圖像融合光學(xué)系統(tǒng)的一個與圖像質(zhì)量同等重要的設(shè)計指標(biāo)。對于平行光路布局、紅外與可見光圖像融合光學(xué)系統(tǒng)，從理論上分析影響圖像配準(zhǔn)精度的因素有以下兩個方面：

一是平行光路布局引起的圖像配準(zhǔn)精度的降低。由于紅外物鏡與可見光物鏡的光軸平行但不重合，二者之間具有一定的間隔，造成隨著觀察距離的遠(yuǎn)近不同，配準(zhǔn)精度也隨之變化。

二是紅外物鏡與可見光物鏡的畸變造成圖像配準(zhǔn)精度的降低。在圖像融合光學(xué)系統(tǒng)中紅外物鏡與可見光物鏡的畸變是需要關(guān)聯(lián)的，為了提高圖像配準(zhǔn)的精度，紅外物鏡與可見光物鏡的畸變在相同視場點需要具有相同的畸變值，依此來消除畸變帶來的圖像配準(zhǔn)誤差。

圖6 照相物鏡光學(xué)布局

圖7 照相物鏡的MTF曲線

3.2 平行光路布局圖像配準(zhǔn)精度分析

紅外和可見光圖像融合物鏡采取平行光路布局型式，由于二者的光軸具有一定的間隔，因此同一個目標(biāo)分別經(jīng)過紅外物鏡和可見光物鏡成像后成像于各自的探測器上，像點距離各自探測器中心的間隔隨觀察距離的變化而變化，造成圖像配準(zhǔn)精度的降低。

為了簡化分析，假設(shè)目標(biāo)在可見光物鏡的光軸上，距離可見光物鏡間隔為，則經(jīng)過可見光物鏡成像于CMOS靶面的中心CMOS。目標(biāo)與紅外物鏡的光軸間隔為，經(jīng)紅外物鏡成像于紅外機芯的IR處，IR距離紅外機芯的間隔為D，如圖8所示。此D為平行光路布局帶來的圖像配準(zhǔn)誤差：

紅外物鏡與可見光物鏡光軸間距為0.02m，則對應(yīng)不同距離的圖像配準(zhǔn)精度如表2所示。由表2可知此圖像融合光學(xué)系統(tǒng)在45.5mm～無窮遠(yuǎn)的觀察范圍內(nèi)，圖像配準(zhǔn)精度在一個像素內(nèi)，并且所觀察的目標(biāo)越遠(yuǎn)，圖像配準(zhǔn)精度越高。在圖像配準(zhǔn)誤差大于一個像素的觀察范圍內(nèi)，可以采取單通道觀察如紅外通道或者可見光通道。

3.3 畸變影響圖像配準(zhǔn)精度分析

紅外圖像和可見光圖像在同一個監(jiān)視器上顯示時，由于受畸變的影響，實際目標(biāo)圖像與理論目標(biāo)圖像具有一定的錯位，造成圖像配準(zhǔn)精度的降低，因此在進(jìn)行紅外物鏡和可見光物鏡設(shè)計時需要對其畸變大小進(jìn)行控制，使其畸變大小相一致。

紅外物鏡和可見光物鏡在進(jìn)行像質(zhì)優(yōu)化時，由于是光學(xué)被動熱補償系統(tǒng)，只需控制常溫下的畸變值相一致，其余工作溫度下畸變值相對常溫下的畸變值變化非常小，即紅外物鏡和可見光物鏡在其余工作溫度下畸變值大小也一致，畸變變化情況見表3和圖9。由表3和圖9可知，以常溫20℃的工作條件分析畸變帶來圖像配準(zhǔn)的誤差即可。

假定紅外圖像和可見光圖像都在同一個微型OLED上顯示（800×600、15mm），以對角線一半長度做為像方理論像高進(jìn)行分析。圖像處理不會對紅外圖像和可見光圖像產(chǎn)生畸變，則在進(jìn)行圖像融合時各個視場點圖像配準(zhǔn)的誤差見表4所示。由表4可知，紅外圖像與可見光圖像的畸變帶來的配準(zhǔn)精度誤差不超過1mm，即在進(jìn)行像質(zhì)優(yōu)化設(shè)計過程中通過控制紅外物鏡和可見光物鏡的畸變值，可以基本消除畸變帶來的圖像配準(zhǔn)誤差。

表2 隨距離變化的圖像配準(zhǔn)精度

表3 紅外物鏡與可見光物鏡的畸變

圖9 紅外物鏡和可見光物鏡的場曲與畸變曲線

表4 紅外物鏡和可見光物鏡的圖像配準(zhǔn)誤差

4 公差分析

紅外物鏡和可見光物鏡分別按表5、表6分配零件公差，焦面位移作為補償（補償量±0.5mm），以平均概率分布方式分配實際裝配及加工時的公差值，并采用蒙特卡羅分析方法模擬50套加工裝配后的虛擬鏡頭，分析虛擬鏡頭的MTF變化，依此判斷實際鏡頭的成像效果。

表7的蒙特卡羅分析結(jié)果表明90%的紅外鏡頭在奈奎斯特頻率處MTF值不小于0.135的；表8的蒙特卡羅分析結(jié)果表明90%的可見光鏡頭在奈奎斯特頻率處MTF值不小于0.301的。常規(guī)的加工及裝配工藝均能滿足表5、表6的公差要求，公差分配合理且整個鏡頭的成像質(zhì)量較好。

表5 紅外物鏡零件公差表

表6 可見光物鏡零件公差表

表7 紅外物鏡公差分析結(jié)果

表8 可見光物鏡公差分析結(jié)果

5 結(jié)論

本文介紹了平行光路布局、光學(xué)被動熱補償方式實現(xiàn)紅外與可見光圖像融合物鏡的設(shè)計理論和方法。通過對產(chǎn)生圖像配準(zhǔn)誤差因素的分析，采取相應(yīng)的措施減小或消除圖像配準(zhǔn)的誤差，說明紅外物鏡和可見光物鏡采取光學(xué)被動熱補償方式的設(shè)計方案能夠提高圖像配準(zhǔn)的精度，改善圖像融合效果。通過采取光學(xué)被動熱補償方式進(jìn)行紅外與可見光圖像融合物鏡的設(shè)計，為其它進(jìn)行圖像融合研究的相關(guān)人員提供參考。

[1] 安福, 楊風(fēng)暴, 李偉偉, 等. 基于DWT的紅外偏振與光強圖像的融合[J]. 光電技術(shù)應(yīng)用, 2013, 28(2): 18-23.

AN Fu, YANG Fengbao, LI Weiwei, et al. Fusion of Infrared Polarization and Intensity Images Based on DWT[J]., 2013, 28(2): 18-23.

[2] 曾朝陽, 程相正, 陳杭, 等. 基于改進(jìn)SURF算子的高低分辨率圖像配準(zhǔn)方法[J]. 激光與紅外, 2014, 44(2): 207-212.

ZENG Zhaoyang, CHENG Xiaozheng, CHEN Hang, et al. Registrantion method of high-low resolution images based on improved SURF[J]., 2014, 44(2): 207-212.

[3] 郭李華. 基于金字塔和HIS變換的圖像融合研究[J]. 微計算機應(yīng)用, 2010, 31(11): 67-72.

GUO Lihua. Research of Image Fusion Based on Laplacian-Pyramid and HIS-Transform[J]., 2010, 31(11): 67-72.

[4] 韓澤, 藺素珍, 趙競超, 等. 基于直覺模糊集的多波段圖像融合[J]. 紅外技術(shù), 2018, 40(3): 253-258.

HAN Ze, LIN Suzhen, ZHAO Jingchao, et al. Multi-band Image Fusion Based on Intuitionistic Fuzzy Set Theory[J]., 2018, 40(3): 253-258.

[5] 李博博, 馬泳, 張曉曄, 等. 基于BMA濾波器和邊緣的紅外與可見光圖像融合[J]. 紅外技術(shù), 2018, 40(2): 139-145.

LI Bobo, MA Yong, ZHANG Xiaoye, et al. Infrared and Visible Image Fusion Based on BMA Filter and Edge[J]., 2018, 40(2): 139-145.

[6] 張俊舉, 常本康, 張寶輝, 等. 遠(yuǎn)距離紅外與微光/可見光融合成像系統(tǒng)[J].紅外與激光工程, 2012, 41(1): 20-24.

ZHANG Junju, CHANG Benkang, ZHANG Baohui, et al. Long-distance image fusion system for infrared and LLL/visible bands[J]., 2012, 41(1): 20-24.

[7] 孫愛平, 龔楊云, 朱尤攀, 等.微光與紅外圖像融合手持觀察鏡光學(xué)系統(tǒng)設(shè)計[J]. 紅外技術(shù), 2013, 35(11): 712-717.

SUN Aiping, GONG Yangyun, ZHU Youpan, et al. Optical System Design of Low-light-level and Infrared Image Fusion Hand-held Viewer[J]., 2013, 35(11): 712-717.

Design of Objective Lens for Infrared and Visible Image Fusion by Optical Passive Thermal Compensation

SUN Aiping，GUO Liang，YANG Shaoming，GONG Yangyun，PU Enchang，LEI Xufeng，LI Zemin，WANG Chenyue

(North Night Vision Science & Technology Research Institute Group Co., Ltd, Kunming 650223, China)

The registration accuracy of image fusion is an important performance index that is related to the quality of image fusion. The infrared and visible image fusion objective optical system in this study adopts a parallel optical path layout and an optical passive thermal compensation method to improve the registration accuracy of image fusion. First, the contributions of mechanical thermal compensation and optical thermal compensation are analyzed and compared to improve the image registration accuracy. Second, according to the performance index of the image fusion objective system, the optical passive thermal compensation designs of the infrared objective and visible objective are optimized. Moreover, the necessity of optical passive thermal compensation design of the visible objective is analyzed. Finally, according to the imaging quality and image registration effect of the image fusion objective system, it is concluded that the quality of the fused image is high and that the requirements of the index can be achieved.

visible lens, infrared lens, image fusion, image registration

TN216，TN223

A

1001-8891(2020)11-1028-09

2019-12-19；

2020-09-07.

孫愛平（1980-），男，碩士，高級工程師，研究方向：紅外整機系統(tǒng)設(shè)計及光學(xué)系統(tǒng)設(shè)計。E-mail：50973525@qq.com。