周 強，白廷柱，劉明奇，邱 純

?

基于可見光圖像的近紅外場景仿真

周 強，白廷柱，劉明奇，邱 純

（北京理工大學(xué)光電學(xué)院 光電成像技術(shù)與系統(tǒng)教育部重點實驗室，北京 100081）

利用地物光譜儀采集了晴天條件下典型地物在380～1100nm的光譜反射率，并利用經(jīng)過定標(biāo)后的CMOS相機采集典型地物不同時段的可見光、近紅外圖像，結(jié)合相機輻射定標(biāo)結(jié)果和地物目標(biāo)的反射率建立了可見光、近紅外圖像灰度值的映射關(guān)系，且對簡單場景進(jìn)行圖像分割，并通過查找表快速將可見光圖像轉(zhuǎn)化為近紅外圖像。建立了太陽輻射模型，在反演精度要求不是很高的條件下，可以反演一天內(nèi)任意時刻的近紅外圖像。仿真結(jié)果表明，本文方法可生成真實感較好的近紅外圖像，為后續(xù)的各時段、各種天氣條件及多種地物的近紅外場景仿真奠定基礎(chǔ)。

可見光；近紅外；場景仿真；光譜反射率；太陽輻射模型

0 引言

鑒于景物在近紅外波段成像的特點[1-2]及在軍事領(lǐng)域的潛在應(yīng)用，受到國內(nèi)外從事相關(guān)研究人員的普遍重視[3-5]，本文就近紅外圖像仿真工作存在的一些問題，對近紅外圖像仿真方法做了改進(jìn)，結(jié)合實驗室定標(biāo)結(jié)果和野外實拍圖像對相機進(jìn)行定標(biāo)，提高了反演的近紅外圖像逼真度。通過建立查找表對反演算法進(jìn)行優(yōu)化，提高了反演速度。利用太陽輻射模型仿真了晴天條件下典型目標(biāo)一天中不同時刻的近紅外圖像，本文方法可獲得較好的近紅外場景仿真圖像，為以后仿真不同天氣任意時段內(nèi)的近紅外場景仿真提供參考。

1 典型地物目標(biāo)可見-近紅外光譜反射特性分析

利用ISI921VF-512型號地物光譜儀采集了典型地物目標(biāo)法線方向的光譜反射率[4]數(shù)據(jù)，統(tǒng)計結(jié)果如圖1、圖2及表1所示。本節(jié)選擇具有代表性的草坪和墻面作為研究對象，從圖1、圖2可以看出春、夏、秋草坪的光譜反射率變化趨勢基本一致，冬季枯草體內(nèi)幾乎不含葉綠素，因此冬季的反射率曲線和其它季節(jié)差別較大；不同季節(jié)的墻面的光譜反射率在可見和近紅外波段內(nèi)基本不變，主要是因為人工地物物理化學(xué)特性和外部結(jié)構(gòu)比較穩(wěn)定。表1是2013年4月12日的光譜反射率數(shù)據(jù)，從中可以得出典型地物目標(biāo)平均反射率在上、下午變化很小，并利用這一特性反演某一天不同時刻的近紅外圖像。

2 晴天太陽輻射模型及其分析

獲得太陽輻射數(shù)據(jù)主要有實地測量和理論模擬計算。由于實測的工作量大，而我國的太陽輻射觀測站點很稀疏，所以一般均借助理論計算，文獻(xiàn)[6-9]提供了各種計算晴天太陽輻射的模型，在文獻(xiàn)[6-7]中驗證了HOTTEL模型的精度，通過HOTTEL模型計算的太陽輻射值與實測值誤差一般小于5%，符合本文仿真計算要求。根據(jù)HOTTEL模型得到水平面瞬時太陽總輻射：

＝cb＋cd(1)

式中：cb為水平面瞬時太陽直射輻射；cd為水平面瞬時太陽散射輻射。

采用MATLAB計算平臺對HOTTEL模型進(jìn)行編程，計算了太陽瞬時總輻射值。計算結(jié)果如圖3所示。

3 基于可見光圖像的近紅外圖像反演

典型地物目標(biāo)在可見光和近紅外波段均是通過反射外界光來實現(xiàn)不同的照度分布，不象長波紅外波段還有自身輻射，因此對于同一材質(zhì)的可見光紋理和近紅外紋理在空間上具有相同的統(tǒng)計分布特性[10-11]，所以可用可見光圖像反演近紅外圖像。

3.1 可見光場景圖像的分割

在一幅場景中可能存在不同的地物目標(biāo)，它們的反射率并不相同，因此通過目標(biāo)反射率特性反演近紅外圖像時需要對場景進(jìn)行圖像分割，如圖4(a)可見光原圖像由墻面背景和灌木組成，本文采用一種簡單有效的圖像分割方法：閾值法。利用最大類間法[12]獲取圖像自適應(yīng)閾值，再將圖像分成背景和目標(biāo)兩部分。分割結(jié)果如圖4(b)和(c)。

圖1 不同季節(jié)同一時段草坪的光譜反射率曲線

圖2 不同季節(jié)同一時段墻面的光譜反射率

表1 各種地物光譜平均反射率

圖3 太陽輻照度隨當(dāng)?shù)靥枙r變化曲線

圖4 可見光圖像分割結(jié)果

3.2 相機在實驗室的輻射定標(biāo)

根據(jù)相機成像原理及文獻(xiàn)[13]中的分析，相機最終輸出的圖像灰度值（DN）可簡化表示為：

DN＝×＋1(2)

式中：是受多種因素影響的綜合函數(shù)；1為光電轉(zhuǎn)換過程中的暗電流噪聲；是相機入瞳處的輻亮度。

本文所用相機為德國某公司生產(chǎn)的近紅外增強CMOS相機，相機響應(yīng)波段為250nm～1100nm，在采集可見、近紅外圖像時，分別采用可見濾光片（透光波段380nm～760nm，透過率為0.95）和近紅外濾光片（透光波段760nm～1100nm，透過率為0.95）。通過輻射定標(biāo)實驗和最小二乘法線性擬合的方法可確定相機輸出的圖像灰度值和入射輻亮度的數(shù)值關(guān)系。在中國計量科學(xué)研究院對所用相機進(jìn)行輻射定標(biāo)，定標(biāo)時相機CMOS增益為1倍、曝光時間為4ms、鏡頭光圈數(shù)為22，定標(biāo)結(jié)果如下：

vr＝3.4495×10－7DNvr3＋1.6044×10－4DNvr2＋

0.0298DNvr－0.4610 (3)

nir＝3.9297×10－5DNnir3－0.0027DNnir2－

0.2131DNnir＋12.0182 (4)

式中：vr和nir分別為相機入瞳處接收到的可見、近紅外光的輻亮度；DNvr和DNnir分別為相機輸出的可見光、近紅外圖像的灰度值。由于定標(biāo)時積分球所用溴鎢燈光源和太陽光譜曲線不同，以及輻亮度計和相機響應(yīng)光譜曲線的影響，在實驗室標(biāo)定的相機接收輻亮度和灰度之間的對應(yīng)關(guān)系式(3)、(4)在野外并不精確，通過室外實驗驗證：式(3)在野外仍然成立，而式(4)誤差較大，因此需要對相機在近紅外波段的定標(biāo)進(jìn)行修正，提高仿真精度。

3.3 相機輻射定標(biāo)的室外修正

根據(jù)大氣輻射傳輸理論，相機入瞳處探測到的可見光、近紅外波段的輻亮度和兩波段目標(biāo)反射率之間滿足如下關(guān)系：

＝×￠×(5)

式中：￠為太陽輻射到目標(biāo)上的輻亮度；是相機入瞳處目標(biāo)反射的輻亮度；是被測目標(biāo)的反射率；是大氣透過率，可用大氣輻射傳輸軟件MODTRAN計算得之，在相機與目標(biāo)景物較近的情況下，大氣透過率的影響可以忽略，文中相機到景物距離為8m，大氣透過率在0.99以上。

設(shè)vr￠和nir￠分別是太陽輻射到目標(biāo)上的可見光和近紅外波段的輻亮度，nir￠/vr￠[14]的比值為1/3.58。

室外采集不同太陽輻照度下，同一時刻白板的可見光和近紅外圖像，通過圖像灰度值及式(3)、(5)可計算出該時刻下目標(biāo)的可見光波段輻亮度，進(jìn)而用nir￠/vr￠算出目標(biāo)近紅外波段的輻亮度。隨著太陽輻照度的變化，可以得到近紅外圖像灰度值和近紅外波段積分輻亮度值一一對應(yīng)的數(shù)組。利用最小二乘法線性擬合，確定相機輸出的圖像灰度值和入射輻亮度的數(shù)值關(guān)系如下：

nir＝－7.6993×10－6DNnir3＋2.7×10－3DNnir2－

0.1492DNnir＋3.3724 (6)

3.4 近紅外圖像反演算法

結(jié)合式(3)、式(5)以及式(6)，就可以得到相同條件下近紅外、可見光圖像灰度值之間的關(guān)系，如下：

在用式(7)反演時，涉及高次運算，對圖像逐像素點采用上式計算，運算量會非常大，因此在反演過程中先建立一個查找表，將可見光圖像灰度值0～255分別用式(7)計算，所得近紅外灰度值存入表中，表中可見、近紅外灰度值具有一一映射關(guān)系。

仿真前對可見光圖像進(jìn)行分割，分割后不同目標(biāo)對應(yīng)不同的查找表，最后對仿真得到的近紅外圖像進(jìn)行合成。

應(yīng)用查找表[15]可將可見光圖像迅速反演成近紅外圖像，在其它條件相同時，對一幅512×640的可見光圖像反演，文獻(xiàn)[5]需要8h，而用本文提出的算法耗時10s。且用修正后的定標(biāo)關(guān)系，近紅外仿真圖像的逼真度有了很大的提高。

3.5 不同時刻近紅外圖像生成

根據(jù)成像原理，影響近紅外圖像灰度值的主要因素是目標(biāo)反射率和太陽輻射照度，第1節(jié)的實驗結(jié)果表明典型地物目標(biāo)的反射率在一天中幾乎不變，因此在反演精度不是非常高的情況下可以用太陽輻照度的變化來反映近紅外圖像灰度值的變化，不同時刻近紅外圖像生成具體算法如下：

2）設(shè)所要生成近紅外圖像的目標(biāo)時刻為goal，同樣應(yīng)用式(1)可求出該時刻的太陽輻照度goal，進(jìn)而得到goal時刻的近紅外圖像平均灰度值為：

3）goal時刻近紅外圖像中對應(yīng)像素點(,)的灰度值為：

4 仿真的實現(xiàn)與結(jié)果分析

為了驗證本文提出的仿真理論和算法，利用MATLAB軟件反演了瀝青路面、灰色地磚、綠色草坪、灌木和墻面的近紅外圖像，仿真結(jié)果如圖5～圖8所示，其中，(a)、(b)及(c)是13:00的圖像；(d)和(e)是16:00的圖像。本文實拍圖像拍攝于2014年8月7日，天氣情況：晴；能見度：10km。可見光圖像與近紅外圖像兩者拍攝角度略有差別。

圖5 瀝青路面的仿真結(jié)果

圖6 灰色地磚的仿真結(jié)果

圖7 灌木和墻面的仿真結(jié)果

圖8 綠色草坪的仿真結(jié)果

由仿真結(jié)果可以看出，利用本文算法可以較好地表現(xiàn)近紅外場景特征。在仿真速度和圖像的逼真度上都比前人的算法有了很大的提高，而且在仿真精度要求不高時，可以仿真一天中任意時刻的近紅外圖像。圖5中的目標(biāo)種類比較單一且均勻沒有遮擋，所以仿真效果較好。圖6中的一小撮綠草和圖7中灌木和墻面背景的交界處的一小枝灌木仿真的灰度均偏暗，這是由于反演時用的不是綠色植被的近紅外與可見光反射率比值，實際上綠色植被近紅外與可見光反射率比值遠(yuǎn)大于墻面及地磚，因此仿真的那一小枝植被灰度比實拍圖像暗；圖7(e)的右下角有陰影，而仿真的圖7(d)并沒有，這是由于灌木結(jié)構(gòu)和不同時刻太陽輻射角度的影響造成。圖8中實拍草地近紅外圖像局部有許多陰影，而仿真的卻沒有，這是由于仿真時用的是綠草的近紅外與可見光反射率比值，而實際上陰影部分灰度值是受土壤和綠草共同影響的。

5 結(jié)論

本文根據(jù)相機成像原理確定了相同條件下的可見光圖像灰度值和近紅外圖像灰度值之間的映射關(guān)系，基于可見光圖像仿真出近紅外圖像，又通過建立晴天太陽輻射模型，反演了同一天中不同時刻的近紅外圖像。仿真結(jié)果表明文中提出的方法可以快速仿真出有真實感的近紅外場景圖像。后續(xù)工作將考慮同一場景中不同地物的精確分割、周圍環(huán)境對地物目標(biāo)的影響，地物目標(biāo)本身的散射特性、地物的方向反射率特性、天氣條件等因素影響下的近紅外場景仿真，提高仿真算法的適用性和仿真的逼真度。

[1] 張健, 張建奇, 邵曉鵬. 基于Vega+Prime的紅外場景生成技術(shù)在成像制導(dǎo)仿真系統(tǒng)中的應(yīng)用[J]. 紅外技術(shù), 2005, 27(2): 124-128.

[2] 顧聚興. 近紅外成像與熱成像[J]. 紅外, 2005, 26(12): 40-42.

[3] J. Q. Sun, D. Messinger, M. Gartley. Enhanced DIRSIG scene simulation by incorporating process models[C]//, 2009, 8158: 81580F.

[4] Yang Huilei, Ding Yan, Zhang Zhemin. A NIR scene simulation method based on reflection properties of target[C]//, 2013, 8783: 87830A.

[5] 江樂. 基于地物反射波譜的近紅外場景仿真技術(shù)研究[D]. 北京: 北京理工大學(xué), 2014.

[6] 后尚, 田瑞, 閆素英. 呼和浩特地區(qū)太陽輻射模型分析[J]. 可再生能源, 2008, 27(2): 79-82.

[7] 邱國全, 夏艷君, 楊鴻毅. 晴天太陽輻射模型的優(yōu)化計算[J]. 太陽能學(xué)報, 2001, 22(4): 456-460.

[8] 王亞吉. 太陽輻射光譜的測量與應(yīng)用研究[D]. 南京: 南京信息工程大學(xué), 2011.

[9] 徐青山, 藏海祥, 卞海紅. 太陽輻射實用模型的建立與可行性研究[J]. 太陽能學(xué)報, 2011, 32(8): 1180-1185.

[10] 胡海鶴, 白廷柱, 郭長庚, 等. 零視距地物長波紅外特征場景仿真研究[J]. 光學(xué)學(xué)報, 2012, 32(10): 1011002.

[11] 邵曉鵬, 張建奇, 徐軍. 一種自然紅外紋理的生成方法[J]. 西安電子科技大學(xué)學(xué)報, 2003, 35(5): 613-616.

[12] Ostu N A. Threshold Selection Method from Gray-Level Histograms[J]., 1979, 9(1): 62-66.

[13] 任建偉, 萬志, 李憲圣, 等. 空間光學(xué)遙感器的輻射傳遞特性與校正方法[J]. 光學(xué)精密工程, 2007, 15(8): 1186-1190.

[14] 江樂, 白廷柱, 丁艷, 等. 基于典型目標(biāo)反射率的近紅外場景仿真[J]. 光子學(xué)報, 2014, 43(8): 08100041-08100046.

[15] 胡海鶴, 郭長庚, 胡海燕. 基于數(shù)據(jù)庫查找表技術(shù)的實時紅外場景仿真[J]. 紅外技術(shù), 2013, 35(6): 329-333.

Near Infrared Scene Simulation Based on Visual Image

ZHOU Qiang，BAI Ting-zhu，LIU Ming-qi，QIU Chun

(,,100081,)

In this paper we used a spectrometer to collect the spectral reflectance of typical ground objects at 380-1100nm under sunny conditions and a calibrated CMOS camera to collect images of the typical objects in visible and near infrared wavelengths at different time of the day. We established a gray value mapping relationship between visible images and near-infrared images, combining camera radiation calibration results and different reflection characteristics of ground objects. Also we exerted segmentation on simple scenes and converted visible images to near infrared images by the above established mapping relationship. In addition, we built a solar radiation model. We could inverse near infrared images at any time in a day, if the requirement of inversion accuracy is not very high. The simulation results show that the method we proposed could generate realistic near infrared images and lay a solid foundation for the subsequent near infrared scene simulation of different ground objects on different weather conditions and at different time of the day.

visible spectrum，near-infrared，scene simulation，spectral reflectance，solar radiation model

O436；TP391.9

A

1001-8891(2015)01-0011-05

2014-10-06；

2014-11-13.

周強（1988-），男，江西省上饒市，碩士研究生，主要研究方向為近紅外仿真和圖像處理。E-mail: zqljj1111@163.com。

白廷柱（1955-），男，北京，教授，主要研究方向為光電成像技術(shù)、紅外仿真、紫外通信等。E-mail: tzhubai@bit.edu.cn。

國家部委預(yù)研項目，編號：110010202。