李 敏，解鴻文，徐中外，邢宇航

一種基于實(shí)測(cè)數(shù)據(jù)溫差擾動(dòng)的紅外圖像實(shí)時(shí)生成方法

李 敏，解鴻文，徐中外，邢宇航

（火箭軍工程大學(xué)908室，陜西 西安 710025）

紅外制導(dǎo)武器在研制中，需要大量的紅外場(chǎng)景數(shù)據(jù)做測(cè)試保障。本文由紅外圖像的成像機(jī)理出發(fā)，提出了一種基于實(shí)測(cè)數(shù)據(jù)溫差擾動(dòng)的二維紅外圖像實(shí)時(shí)生成方法。該方法將圖像區(qū)域平均灰度與環(huán)境溫度直接關(guān)聯(lián)，用整體分塊的方法代替逐像素的繁瑣計(jì)算，在提高運(yùn)算速度的同時(shí)，生成不同時(shí)段的紅外圖像。實(shí)驗(yàn)表明，本文方法生成的紅外圖像，不僅能保證運(yùn)算實(shí)時(shí)性，而且目標(biāo)與背景具有與實(shí)測(cè)圖像相同的溫度變化趨勢(shì)和較好的逼真度，是一種行之有效的方法。

紅外圖像生成；實(shí)測(cè)數(shù)據(jù)；溫差擾動(dòng)

0 引言

紅外成像制導(dǎo)方式因其全天候、全時(shí)段、穿透性強(qiáng)等優(yōu)點(diǎn)，已成為精確制導(dǎo)武器的首選。紅外仿真技術(shù)可以彌補(bǔ)外場(chǎng)試驗(yàn)的不足，為武器裝備研制和測(cè)試提供大量的紅外數(shù)據(jù)保障[1]。目前紅外仿真技術(shù)已成為國內(nèi)外學(xué)者研究的熱點(diǎn)和難點(diǎn)。

目前主流的紅外仿真方法，是根據(jù)目標(biāo)的熱輻射收支情況，建立熱平衡方程，求解得到目標(biāo)表面溫度，進(jìn)而得到紅外圖像[2]。浙江大學(xué)石川凌運(yùn)用基于材質(zhì)模型的陸地紅外場(chǎng)景仿真方法和基于第一原理的海面艦船紅外仿真方法，編程實(shí)現(xiàn)了一個(gè)海陸紅外綜合仿真系統(tǒng)[3]。這種方法需按像素計(jì)算目標(biāo)表面輻出度，運(yùn)算量大，對(duì)于實(shí)時(shí)性要求較高的仿真系統(tǒng)而言難以接受。為減少計(jì)算量、充分利用實(shí)測(cè)數(shù)據(jù)的真實(shí)性高、逼真性好等優(yōu)點(diǎn)，基于實(shí)測(cè)數(shù)據(jù)的仿真方法被提出和廣泛應(yīng)用。Jean-Pierre等人[4]利用實(shí)際拍攝的紅外背景圖像，根據(jù)拍攝的實(shí)際環(huán)境對(duì)其進(jìn)行處理，最后得到不同條件下的紅外圖像。國內(nèi)學(xué)者近幾年也開展了一系列基于實(shí)測(cè)數(shù)據(jù)的紅外仿真研究。張健等人利用實(shí)測(cè)數(shù)據(jù)得到了仿真的紅外圖像，并與其他軟件得到的仿真圖像進(jìn)行分析，證明了該方法的有效性[5]。宋福印[6]探索了利用實(shí)測(cè)數(shù)據(jù)參數(shù)擬合求解大氣透過率的方法。近幾年，隨著研究的深入，研究人員越來越重視實(shí)時(shí)仿真的重要性[7-9]，逐像素的仿真方法大多難以滿足實(shí)時(shí)性的需要。2016年，楊壹斌將紅外紋理的灰度值與灰度平均值做差，得到溫差擾動(dòng)，進(jìn)而提出一種紅外紋理生成方法[10]，該方法將實(shí)測(cè)數(shù)據(jù)與計(jì)算機(jī)仿真有效結(jié)合，提高了紅外紋理的逼真度，但對(duì)于環(huán)境條件特別是溫度對(duì)紅外紋理的影響未考慮。

本文從紅外圖像生成機(jī)理出發(fā)，將環(huán)境溫度作為一個(gè)重要因素，探索其與灰度值的映射關(guān)系，用分塊計(jì)算的方法代替對(duì)圖像進(jìn)行逐像素的仿真，提高了運(yùn)算速度。實(shí)驗(yàn)結(jié)果表明，本文方法可快速、逼真地生成不同時(shí)間段的紅外圖像，真實(shí)感較強(qiáng)，取得了很好的效果。

1 基于實(shí)測(cè)數(shù)據(jù)溫差擾動(dòng)的紅外圖像實(shí)時(shí)生成方法

1.1 算法原理

圖像中每一區(qū)域的灰度平均值是此區(qū)域輻射量的集中反映，具有很強(qiáng)的代表性，而溫度是紅外圖像紋理的重要決定因素。對(duì)同一材質(zhì)而言，雖然其整體溫度（均值）隨時(shí)間變化，但其表面局部均值的溫差分布可近似認(rèn)為不隨時(shí)間變化[11]?；谝陨显?，本文以建筑物目標(biāo)為研究對(duì)象，在對(duì)目標(biāo)和背景材質(zhì)劃分的基礎(chǔ)上，將建筑物不同材質(zhì)紅外圖像區(qū)域灰度平均值與整體溫度相擬合，根據(jù)擬合曲線，得到灰度與溫度的映射關(guān)系，從而可以預(yù)測(cè)未來一段時(shí)間內(nèi)某時(shí)刻目標(biāo)區(qū)的紅外圖像。

在實(shí)際情況中，大多數(shù)場(chǎng)景中包含草叢、樹木等元素，對(duì)于這些元素，由于草叢、樹木等有機(jī)體能在一定范圍內(nèi)調(diào)節(jié)自身溫度，而且本文算法是建立在材質(zhì)分割的基礎(chǔ)上，那么對(duì)于材質(zhì)分割后的樹木、草叢元素等，不管氣溫變化如何，其自身灰度值變化較小，因此在做擬合的時(shí)候，灰度值-溫度曲線近似是一條水平線，那么得到的仿真時(shí)刻的灰度值就是原時(shí)刻的灰度值，再加上灰度值波動(dòng)，那么得到的還是原實(shí)測(cè)時(shí)刻灰度值，這與實(shí)際情況相符。本文算法原理如圖1所示。

1.2 基于紅外成像機(jī)理的灰度計(jì)算

由紅外成像機(jī)理可知，目標(biāo)紅外成像主要是由目標(biāo)表面溫度和材質(zhì)發(fā)射率共同決定的[12]。物體的輻照度值可由普朗克公式積分得到[13]，具體計(jì)算方法為：

式中：1為第一輻射常數(shù)，其值為3.7418×10－14W×m2；2為第二輻射常數(shù)，其值為1.43879×10－2m×K；0是物體的輻射發(fā)射率；代表波長(zhǎng)?？紤]到仿真的實(shí)時(shí)性要求，本文采用了如式(2)的近似公式[14]，式中，在一定的允許誤差范圍內(nèi)，將復(fù)雜的積分運(yùn)算簡(jiǎn)化為多項(xiàng)式計(jì)算，從而大大減少了計(jì)算復(fù)雜度，提高計(jì)算速度。

根據(jù)物體輻照度，可確定各個(gè)物體在紅外圖像中的灰度值，設(shè)定其最高溫度max和最低溫度min，將其帶入公式(3)中，得到目標(biāo)表面灰度值pixel：

目標(biāo)表面所接收和輻射出的能量差是決定目標(biāo)溫度變化的關(guān)鍵。由目標(biāo)熱平衡方程可知，物體自身溫度與輻射出射度正相關(guān)，而在可預(yù)見的短時(shí)間內(nèi)，目標(biāo)對(duì)太陽輻射的反射和對(duì)大氣環(huán)境輻射的發(fā)射可近似認(rèn)為是不變的。由公式(1)可知，目標(biāo)自身溫度與自身發(fā)出的輻射量有關(guān)，進(jìn)而與目標(biāo)紅外圖像的溫度有關(guān)。對(duì)于長(zhǎng)波波段，自身輻射所占比重較大，而太陽輻射、大氣輻射所占比重幾乎可以忽略不計(jì)[15]。

1.3 基于實(shí)測(cè)數(shù)據(jù)的溫度相關(guān)溫差擾動(dòng)建模

由于不同的材質(zhì)有著不同的物理特性，發(fā)射率對(duì)物體自身紅外輻射量有影響，反射率對(duì)紅外輻射的反射特性有影響。因此，不同材質(zhì)對(duì)溫度有不同的敏感性，對(duì)仿真結(jié)果有重要的影響，不能將所有材質(zhì)按同一個(gè)標(biāo)準(zhǔn)進(jìn)行處理。所以在計(jì)算紅外圖像平均灰度值之前需要進(jìn)行材質(zhì)分類，即將同類材質(zhì)劃分為一個(gè)區(qū)域。正確對(duì)場(chǎng)景中的元素進(jìn)行材質(zhì)分割是得到逼真仿真結(jié)果的前提和基礎(chǔ)，對(duì)于可見光場(chǎng)景，由于其有色彩對(duì)比度等不同的特征，可以采用多種分割方法。例如：閾值法、聚類法、卷積神經(jīng)網(wǎng)絡(luò)分割法等等。但對(duì)于紅外灰度圖像，其只有灰度值特征，因此大多根據(jù)各材質(zhì)灰度值的差異和灰度直方圖分布進(jìn)行分割。目前，K均值聚類算法是一種經(jīng)典算法，由于其技術(shù)成熟、算法簡(jiǎn)便，又很早提出，在科學(xué)和工業(yè)領(lǐng)域中應(yīng)用廣泛，能滿足大多數(shù)情況下的材質(zhì)分割需要[14]。因此本文直接用這一算法進(jìn)行材質(zhì)的分割。本文方法思路如下：首先將一系列不同時(shí)刻的實(shí)測(cè)紅外圖像進(jìn)行材質(zhì)劃分，求得各區(qū)域的平均灰度和灰度差值波動(dòng)（即各點(diǎn)與平均溫度的差值）；其次，利用一系列平均灰度和當(dāng)時(shí)環(huán)境溫度條件擬合，做出擬合曲線，得到灰度值與溫度的映射關(guān)系；進(jìn)而，利用仿真時(shí)刻實(shí)際環(huán)境溫度，求得仿真時(shí)刻此區(qū)域的平均灰度；最后，將平均灰度與最近時(shí)刻實(shí)測(cè)紅外圖像的灰度差值波動(dòng)相疊加，得到仿真時(shí)刻的紅外圖像。

基于實(shí)測(cè)數(shù)據(jù)溫差擾動(dòng)的紅外圖像實(shí)時(shí)生成方法具體實(shí)現(xiàn)步驟如下：

Step 6：同理可得到其他所有區(qū)域的灰度圖像。

2 實(shí)驗(yàn)結(jié)果及對(duì)比分析

2.1 實(shí)驗(yàn)說明

本文針對(duì)建筑物的不同條件下的紅外圖像仿真，分別做了兩組實(shí)驗(yàn)。硬件平臺(tái)為Inter(R) Core(TM)i7 -4790 CPU@3.60GHz，安裝內(nèi)存16.0GB，所用的Matlab軟件版本為R2012a。本文實(shí)驗(yàn)所用到的圖像分別拍攝于2017年2月28日和2017年6月4日，地點(diǎn)為西安市區(qū)（東經(jīng)109.07°、北緯34.27°）。實(shí)驗(yàn)一，全天的天氣狀況是陰，且無明顯變化，空氣質(zhì)量為輕度污染，平均風(fēng)力為1級(jí)，采集數(shù)據(jù)時(shí)的濕度為43%，氣溫變化如圖2所示。實(shí)驗(yàn)二，天氣為雨，氣溫大約為17℃。所用的紅外熱像儀是Fluke TiX640紅外熱像儀，分辨率為640×480。

圖2 西安地區(qū)2月28日氣溫變化

2.2 實(shí)驗(yàn)分析

利用計(jì)算機(jī)仿真方法生成的紅外圖像，評(píng)價(jià)有多種指標(biāo)和方法[16-18]。本文不僅直觀展示實(shí)測(cè)圖像與仿真圖像的對(duì)比結(jié)果，而且將生成圖像的溫度值作為縱坐標(biāo)做出3D圖，以便仿真圖像和實(shí)測(cè)圖像進(jìn)行充分對(duì)比。同時(shí)利用灰度分布圖，表現(xiàn)仿真圖像的逼真度。

實(shí)驗(yàn)一中分別于2月28日上下午17:00、18:00、19:00實(shí)測(cè)目標(biāo)建筑物紅外圖像，如圖3(a)～(c)所示。利用本文方法仿真得到的20:00紅外紋理與實(shí)際測(cè)得的20:00的紅外圖像對(duì)比如圖4所示。直觀上看，仿真圖像紋理細(xì)節(jié)清楚，能滿足工程應(yīng)用的需要。

圖5為仿真圖像與實(shí)測(cè)圖像的溫度值3D圖對(duì)比情況，圖6為灰度分布對(duì)比情況。從圖中可以看出，仿真圖像溫度整體偏低，灰度值偏小，這是由于傍晚氣溫逐漸下降，建筑物處于放熱過程，實(shí)際氣溫會(huì)比建筑物稍低，而仿真方法使用的是理論氣溫值，因此，仿真圖像氣溫稍低，與實(shí)際情況相符。從灰度圖中可以看出，雖然仿真圖像灰度值整體偏小，但整體趨勢(shì)與實(shí)測(cè)圖像相近，仿真效果較好。

圖3 實(shí)驗(yàn)一不同時(shí)刻實(shí)測(cè)圖像

圖4 實(shí)驗(yàn)一實(shí)測(cè)圖像與仿真圖像的對(duì)比

圖5 實(shí)驗(yàn)一溫度值3D圖對(duì)比

圖6 實(shí)驗(yàn)一灰度分布圖

實(shí)驗(yàn)二中分別于6月4日10:30、12:00、13:30實(shí)測(cè)目標(biāo)建筑物紅外圖像，如圖7中(a)～(c)所示。利用本文方法仿真得到的15:30紅外紋理與實(shí)際測(cè)得的15:30的紅外圖像對(duì)比如圖8所示。直觀上看，細(xì)節(jié)紋理較清楚，能滿足一般工程需要。

圖9為仿真圖像與實(shí)測(cè)圖像的溫度值3D圖對(duì)比情況，圖10為灰度分布對(duì)比情況。從實(shí)驗(yàn)結(jié)果來看，下雨對(duì)成像效果影響較大，紅外圖像變得模糊。本文的算法生成的紅外圖像也稍有模糊，與實(shí)際是相符的，說明了本算法的有效性。這是因?yàn)楸疚牡乃惴☉?yīng)用了最近時(shí)刻的灰度差值波動(dòng)。從溫度值3D圖和灰度值分布圖也可以看出，仿真結(jié)果與實(shí)測(cè)結(jié)果非常接近。說明本文算法的有效性。

圖7 實(shí)驗(yàn)二不同時(shí)刻實(shí)測(cè)圖像

圖8 實(shí)驗(yàn)二仿真圖像與實(shí)測(cè)圖像的對(duì)比

圖9 實(shí)驗(yàn)二溫度值3D圖對(duì)比

圖10 實(shí)驗(yàn)二灰度分布圖

3 結(jié)論

本文探索了一種將紅外圖像區(qū)域平均灰度值與溫度之間關(guān)聯(lián)的仿真方法。通過本方法生成的紅外圖像，逼真性強(qiáng)，速度較快，可滿足實(shí)時(shí)仿真系統(tǒng)的需要，是一種行之有效的方法。本文中，由于實(shí)際拍攝的紅外圖像距離熱像儀距離較近，故可暫時(shí)忽略大氣傳輸效應(yīng)和太陽輻射的影響。但在其他方面的應(yīng)用上，大氣效應(yīng)可能對(duì)仿真結(jié)果有較大的影響。因此下一步，將充分考慮大氣和太陽輻射變化。

[1] 王霞, 汪昊, 徐超, 等. 紅外場(chǎng)景仿真技術(shù)發(fā)展綜述[J]. 紅外技術(shù), 2015, 37(7): 537-543.

WANG Xia, WANG Hao, XU Cha. Overview on development of infrared scene simulation[J].2015, 37(7): 537-543.

[2] 江樂, 白廷柱, 丁艷, 等. 基于典型目標(biāo)反射率的近紅外場(chǎng)景仿真[J]. 光子學(xué)報(bào), 2014, 43(8) : 132-137.

JIANG Le, BAI Tingzhu, DING Yan. Near infrared scene simulation based on reflectance of typical target[J]., 2014, 43(8) : 132-137.

[3] 石川凌. 海陸場(chǎng)景的紅外實(shí)時(shí)仿真研究[D]. 杭州: 浙江大學(xué), 2016.

SHI Chuanling. Real-time Simulation of Infrared Land and Sea Scene[D]. Hangzhou : Zhejiang University, 2016.

[4] Gambotto J P. Combining image analysis and thermal models for infrared scene simulations[C]//, 1994, 1: 710-714.

[5] 張健, 張建奇, 邵曉鵬. 基于測(cè)量數(shù)據(jù)的紅外場(chǎng)景生成方法及實(shí)現(xiàn)[J].系統(tǒng)仿真學(xué)報(bào), 2005, 17(10): 2399-2402.

ZHANG Jian, ZHANG Jianqi, SHAO Xiaopeng.Method of synthetic infrared scene generation based on measure data and its implementation[J]., 2005, 17(10): 2399-2402.

[6] SONG F, LU Y, QIAO Y, et al. Simulations of infrared atmospheric transmittance based on measured[C]//, 2016: 101571E.

[7] MU Chengpo, PENG Mingsong, GAO Xiang, et al. Infrared image simulation of ground maneuver target and scene[J]., 2014, 716-717(2): 932-935.

[8] LI N, SU Z, CHEN Z, et al. A real-time aircraft infrared imaging simulation platform[J]., 2013, 124(17): 2885-2893.

[9] LI N, HUAI W, WANG S, et al. A real-time infrared imaging simulation method with physical effects modeling of infrared sensors[J]., 2016, 78: 45-57.

[10] 楊壹斌, 李敏, 盧羿. 基于溫差擾動(dòng)補(bǔ)償?shù)募t外紋理生成新方法[J]. 激光與紅外,2016, 46(12) : 1501-1507

YANG Yibin, LI Min, LU Yi. New method of infrared texture generation based on temperature difference disturbance compensation [J].,2016, 46(12): 1501-1507.

[11] 胡海鶴, 白廷柱, 郭長(zhǎng)庚, 等. 零視距地物長(zhǎng)波紅外特征場(chǎng)景仿真研究[J]. 光學(xué)學(xué)報(bào), 2012, 32(10): 94-102.

HU Haihe, BAI Tingzhu, GUO Changgeng. Long wave infrared scene simulation research based on zero stadia of landmark[J]., 2012, 32(10): 94-102.

[12] 胡海鶴, 白廷柱, 韓強(qiáng), 等. 基于Blinn-Phong模型的紅外輻照模型及其紅外場(chǎng)景仿真[J].光學(xué)學(xué)報(bào), 2013, 33(6): 80-86.

HU Haihe, BAI Tingzhu, HAN Qiang. Infrared illumination model and infrared scene simulation based on Blinn-Phong model[J]., 2012, 32(10): 94-102.

[13] 黃曦. 高真實(shí)感紅外場(chǎng)景實(shí)時(shí)仿真技術(shù)研究[D]. 西安: 西安電子科技大學(xué), 2014.

HUANG Xi. Study on Realistic Real-time Infrared Scene Simulation[D]. Xi'an: XIDIAN UNIVERSITY, 2014.

[14] 程瓊. 可見光圖像轉(zhuǎn)紅外圖像仿真[D]. 武漢: 華中科技大學(xué), 2008.

CHENG Qiong. Simulation of Infrared Image from Visible Image [D]. Wuhan: Huazhong University of Science and Technology, 2008.

[15] 汪昊. 紅外場(chǎng)景仿真技術(shù)研究及仿真系統(tǒng)開發(fā)[D]. 北京: 北京理工大學(xué), 2016.

WANG Hao. Research on Infrared Scene Simulation and the Development of Simulation System[D].Beijing: Beijing Institute of Technology, 2016.

[16] 王鵬, 孫繼銀, 巨西諾. 前視紅外圖像質(zhì)量評(píng)價(jià)指標(biāo)研究[J]. 彈箭與制導(dǎo)學(xué)報(bào), 2012, 32(1): 53-56.

WANG Peng, SUN Jiyin, JU Xinuo. Criteria for FLIR image quality assessment[J].,,, 2012, 32(1): 53-56.

[17] 付宏明. 紅外成像末制導(dǎo)系統(tǒng)指標(biāo)評(píng)價(jià)方法[J]. 紅外與激光工程, 2008(s2):451.

FU Hongming. Evaluation method of index guidance system for infrared imaging[J]., 2008(s2):451.

[18] 李浩. 紅外場(chǎng)景仿真及像質(zhì)評(píng)估技術(shù)研究[D]. 北京: 北京理工大學(xué), 2016.

LI Hao. The Research on Infrared Scene Simulation and Image Quality Evaluation[D].Beijing: Beijing Institute of Technology, 2016.

Real-time Infrared Image Generation Method Based on Measured Data Temperature Difference Disturbance

LI Min，XIE Hongwen，XU Zhongwai，XING Yuhang

(908,,710025,)

For the development of infrared-guided weapons, a large number of infrared scenes are needed for testing. Beginning with the mechanism of infrared images, a real-time infrared image generation method based on measured temperature difference disturbance is proposed. From this method, the average gray-level region of the image is correlated to the ambient temperature, and the block pixel calculation method is used, instead of pixel-to-pixel. Experiments show that the proposed method not only decreases real-time calculation, but also achieves better performance. This method is both feasible and effective when the target and the background have the same temperature-changing trend in the measured images.

infrared image generation，measured data，temperature difference disturbance

TP391.9

A

1001-8891(2017)10-0914-06

2017-04-11；

2017-06-16.

李敏（1971-），女，河南扶溝人，博士研究生導(dǎo)師，主要研究方向：紅外圖像處理與目標(biāo)識(shí)別。E-mail：clwn@163.com。

國家自然科學(xué)基金項(xiàng)目（61102170），國家社科基金項(xiàng)目（15GJ003-243）。