李 敏,解鴻文,徐中外,邢宇航
(火箭軍工程大學(xué)908室,陜西 西安 710025)
高光現(xiàn)象指的是圖像中的高亮度光照在物體表面形成的高亮度反射現(xiàn)象,對(duì)圖形的進(jìn)一步處理和研究有非常大的影響。因此很多學(xué)者投身于對(duì)高光現(xiàn)象的研究中。紅外圖像的高光反射現(xiàn)象同樣對(duì)圖像的真實(shí)感有著非常大的影響,是不可回避的問題,尤其是運(yùn)動(dòng)中的物體局部熱量集中,引發(fā)的高光現(xiàn)象,比如運(yùn)動(dòng)中的坦克履帶和水面紅外圖像仿真模擬中存在的高光現(xiàn)象。
可見光的高光反射技術(shù)研究開展比較早,已經(jīng)比較成熟,目前有許多高光去除方法,傳統(tǒng)上一般使用補(bǔ)色的方法[1]進(jìn)行去除,近年來引入雙邊濾波器[2-3],效果得到了有效的提升。
與可見光領(lǐng)域的高光現(xiàn)象不同的是:一般可見光中對(duì)于高光的研究大多集中在高光現(xiàn)象的去除上[4-5]。在可見光高光現(xiàn)象繪制方面,主要是仿真海面或水面的高光現(xiàn)象[6]。但在紅外成像仿真領(lǐng)域,情況有所不同,需要盡可能的生成與實(shí)際圖像相近的仿真圖像,以便給人以更真實(shí)的感受。
在國(guó)內(nèi),王章野等提出了基于量子光學(xué)的紅外成像輻照模型,該模型基于可見光Phong光照模型,速度較快,但高光部分的模擬不夠真實(shí)[7];李宏寧等[8-9]在計(jì)算機(jī)圖形學(xué)中最常用的光照模型基礎(chǔ)上引入了自發(fā)輻射和探測(cè)器噪聲的處理。胡海鶴等提出一種基于幾何特征的反射區(qū)域輻射能量計(jì)算方法,來模擬高光現(xiàn)象[10],但是不同入射角度下的反射率是不同的,簡(jiǎn)單地利用反射率來計(jì)算反射輻射,導(dǎo)致圖像的真實(shí)感還有一定的提升空間。
本文在文獻(xiàn)[10]研究工作的基礎(chǔ)上,根據(jù)紅外輻射傳輸過程,重點(diǎn)考慮高光現(xiàn)象的成因,即紅外輻射在物體表面反射的情況,引入雙向反射分布函數(shù),將其與光線跟蹤算法結(jié)合起來,利用光線跟蹤的方法確定對(duì)高光現(xiàn)象有貢獻(xiàn)的輻射分量,并減少計(jì)算量;在計(jì)算反射輻射時(shí),用仿真模擬的雙向反射分布函數(shù)代替簡(jiǎn)單的反射率,更加準(zhǔn)確真實(shí)地計(jì)算各種輻射源與物體表面間輻射能量的傳遞關(guān)系,使物體表面的光照效果符合相應(yīng)規(guī)律,并以此來計(jì)算物體的輻照強(qiáng)度,實(shí)現(xiàn)了更細(xì)致的高光現(xiàn)象仿真。實(shí)驗(yàn)表明,本文的方法,在沒有對(duì)運(yùn)算速度造成大的損失的前提下,提高了仿真圖像真實(shí)感,取得了一定的效果。
本文首先根據(jù)光源及紅外成像設(shè)備的位置,根據(jù)光線跟蹤算法確定對(duì)高光現(xiàn)象有貢獻(xiàn)的光線及所經(jīng)過的反射點(diǎn),利用雙向反射分布函數(shù)模型,計(jì)算BRDF的值,最后計(jì)算經(jīng)過反射的紅外輻射總量,從而繪制形成紅外圖像。具體過程如圖1所示。
圖1 本文算法示意圖
在大多數(shù)高光現(xiàn)象發(fā)生的時(shí)候,物體的表面材質(zhì)不同、入射角不同,導(dǎo)致得到的BRDF數(shù)據(jù)差別較大[11]。加之從微觀上看,大多數(shù)的反射平面都凹凸不平,不能將其看作反射率、反射角恒定的平面,這就造成紅外高光現(xiàn)象的模擬較為困難,也是紅外場(chǎng)景仿真研究的一個(gè)重要方面[12]。
雙向反射分布函數(shù)[13]可以用來描述光如何在物體表面進(jìn)行反射,電磁波是一種特殊的“光”,故可將其擴(kuò)展用于熱輻射的傳播過程中,描述紅外輻射在不同材質(zhì)表面的反射過程。如圖2所示,其定義為:當(dāng)一束光均勻投射到足夠大的均勻且各向同性的材質(zhì)表面上時(shí),材質(zhì)表面的反射幅亮度與入射幅亮度的比值:
(1)
其中,dLr(θr,φr,λ)為(θr,φr)方向的反射幅亮度;dEi(θi,φi,λ)為(θi,φi)方向的入射幅亮度[14]。它是關(guān)于入射角、反射角和波長(zhǎng)的函數(shù),量綱為sr-1。在實(shí)際應(yīng)用過程中,有各種不同的模型,適用于不同場(chǎng)景和不同精度[15]。
圖2 雙向反射分布函數(shù)示意圖
本文利用光線跟蹤算法確定對(duì)高光現(xiàn)象有貢獻(xiàn)的光線和反射點(diǎn),盡量減少計(jì)算量,提高仿真速度。再通過反射點(diǎn)的雙向反射分布函數(shù)更為精確地計(jì)算每一條光線經(jīng)過反射后的紅外輻射量。在雙向反射分布函數(shù)的簡(jiǎn)化和應(yīng)用方面,具體做法是:以材質(zhì)反射率為基礎(chǔ),利用擬合的思想,根據(jù)材質(zhì)的雙向發(fā)射分布函數(shù)的二維等值線圖,考慮平面不平整造成的反射角度不同,以及大小不同,用如下公式作為擬合公式模擬雙向反射分布函數(shù)[16]:
f(θi,φi;θr,φr)=a1+a2cosφ+a3sinθ+a4cos2φ+a5sinθcosφ+a6sin2θ+…
光線跟蹤是一種真實(shí)表現(xiàn)物體的方法,它源于幾何光學(xué)的一項(xiàng)通用技術(shù):跟蹤觀察者眼睛出發(fā)的光線而不是光源發(fā)出的光線,以逆向的方法確定場(chǎng)景中物體的顏色等特征[17]。目前,光線跟蹤方法是一種有效的模擬方法,在可見光領(lǐng)域取得了巨大的成功[18],被引入紅外場(chǎng)景仿真領(lǐng)域后,同樣得到了很好的效果[19],Bordival M等[20]利用光線跟蹤算法來模擬半透明熱塑性塑料的溫度分布,仿真誤差率小于5%,取得了較好的效果。
本文在實(shí)際應(yīng)用時(shí)的具體做法是跟蹤紅外輻射,假設(shè)紅外成像設(shè)備采樣平面上的每一個(gè)點(diǎn)可以發(fā)出射線,跟蹤每一條射線,當(dāng)某射線經(jīng)過多次反射或折射后與場(chǎng)景中的高輻射強(qiáng)度光源有交點(diǎn)時(shí),就保存此反射點(diǎn)或折射點(diǎn)的信息,并繼續(xù)跟蹤此光線的反射光線和折射光線,直到所有光線與高輻射強(qiáng)度光源都不相交或者達(dá)到最大跟蹤深度[21]。
光線跟蹤算法如下:
(1)利用普朗克公式計(jì)算光源紅外輻射量;
(3)
(2)根據(jù)紅外成像設(shè)備的鏡頭和光源的位置,計(jì)算紅外成像設(shè)備成像平面每一個(gè)感光點(diǎn)“發(fā)出”的光線經(jīng)過反射平面得到的反射光線,只有當(dāng)反射光線或者多次反射后的光線能夠經(jīng)過光源的時(shí)候,將這樣的光線及經(jīng)過的反射點(diǎn)進(jìn)行標(biāo)記,在以后的計(jì)算中,只計(jì)算標(biāo)記過的光線的紅外反射輻射量;
(3)計(jì)算每一個(gè)反射點(diǎn)的雙向反射函數(shù)值;
(4)計(jì)算每一條反射光線(或經(jīng)過多次反射的反射光線)的紅外輻射量;
(5)計(jì)算所有感光點(diǎn)的紅外輻射總量,進(jìn)行灰度映射,并繪制和顯示整個(gè)紅外圖像。
為了驗(yàn)證所提出的仿真方法,構(gòu)建了簡(jiǎn)單實(shí)驗(yàn)場(chǎng)景。在鐵皮材質(zhì)表面放置裝滿熱水的紙杯,熱水的溫度約為70 ℃。實(shí)驗(yàn)在室內(nèi)進(jìn)行,無其他明顯熱源,室溫約為20 ℃,鐵皮材質(zhì)的表面溫度也約為20 ℃。所采用的紅外成像設(shè)備為德國(guó)Fluke公司生產(chǎn)的TiX640紅外熱像儀,分辨率為640×480。光譜響應(yīng)范圍為8~12 μm。在拍攝過程中,熱紙杯置于表面的時(shí)間較短,可認(rèn)為并沒有影響材質(zhì)表面溫度,其仍然分布均勻,且與室溫相同。
實(shí)驗(yàn)結(jié)果如圖3所示。圖3(a)為利用本文提出的算法得到的實(shí)驗(yàn)結(jié)果,圖3(b)為利用紅外成像設(shè)備實(shí)際測(cè)量得到的結(jié)果,圖3(c)為不使用本文提出的光線跟蹤和雙向反射函數(shù)模擬的方法生成的結(jié)果圖。圖3(d)、(e)、(f)分別上述圖中最具有代表性的一列像素(豎線標(biāo)示部分)灰度值變化圖。矩形框內(nèi)為本文的主要研究對(duì)象,即紅外高光現(xiàn)象。
圖3 實(shí)驗(yàn)結(jié)果對(duì)比圖
從中可以看出,在主觀上,圖中仿真圖像與實(shí)測(cè)圖像非常相似,尤其是高光反射現(xiàn)象灰度值的下降趨勢(shì)相似。實(shí)測(cè)灰度值突降,是由于杯口溫度值較低,仿真圖像中并沒有這一情況發(fā)生。與改進(jìn)前的算法結(jié)果相比,本文算法生成的結(jié)果,過度自然,與實(shí)際更相符。改進(jìn)前的算法高光現(xiàn)象表現(xiàn)的十分生硬。在像素值曲線圖中,曲線陡降之后的曲線是紅外高光現(xiàn)象的仿真情況。差別主要體現(xiàn)在紙杯杯口杯底邊沿的模擬上,實(shí)拍圖像灰度值在杯口和底邊有一個(gè)明顯的下降。而由于仿真圖像是理論計(jì)算得到的,因此并不能完全仿真溫度稍低的邊沿的效果。
從算法消耗的時(shí)間上看,采用本文提出的算法,完成上述實(shí)驗(yàn)中的圖片渲染,需要的時(shí)間為15 s,而不采用光線跟蹤算法,由于需要計(jì)算全局光線,所需時(shí)間較長(zhǎng),達(dá)到了83 s。
為提高紅外圖像中高光現(xiàn)象的真實(shí)性,解決仿真中存在的將光源看作點(diǎn)光源以及使用恒定反射率造成的真實(shí)感不強(qiáng)的問題,本文用模擬的雙向反射分布函數(shù)代替反射率,將光線跟蹤與雙向反射分布函數(shù)相結(jié)合,改進(jìn)了紅外高光反射仿真方法。與用紅外成像設(shè)備實(shí)拍的真實(shí)紅外圖像對(duì)比表明,該仿真結(jié)果能夠較為真實(shí)的反映紅外高光現(xiàn)象,是一種行之有效的方法。
[1] Tan P, Lin S,Quan L,et al.Highlight removal by illumination-constrained inpainting[C]//IEEE International Conference on Computer Vision,IEEE,2003:164-169.
[2] Yang Q, Wang S,Ahuja N.Real-time specular highlight removal using bilateral filtering[C]//European Conference on Computer Vision,Springer-Verlag,2010:87-100.
[3] Jung C, Jiao L,Qi H.Specular Highlight Removal Using Reflection Component Separation and Joint Bilateral Filtering[J].Chemical Physics,2011,292(2-3):295-309.
[4] WANG Chengjie.Multi-view Based Specular Removal Technique and Its Application[D].Shanghai:Shanghai JiaoTong University,2014.(in Chinese)
汪鋮杰.基于多視角的去高光技術(shù)及應(yīng)用[D].上海:上海交通大學(xué),2014.
[5] Wang H, Xu C,Wang X,et al.Light field imaging based accurate image specular highlight removal[J].Plos One,2016,11(6):e0156173.
[6] ZHAO Pengyu. Research on rendering specular highlight on the water surfaces[D].Changsha:Hunan University,2011.(in Chinese)
趙鵬玉.水面鏡面反射高光效果繪制方法研究[D].長(zhǎng)沙:湖南大學(xué),2011.
[7] WANG Zhangye,JIANG Zhaoyi,BAO Hujun,et al.A quantity optics based illumination model for infrared image synthesis[J].Chinese Journal of Computers,2002,25(9):897-903.(in Chinese)
王章野,江照意,鮑虎軍,等.基于量子光學(xué)的紅外成像光照模型[J].計(jì)算機(jī)學(xué)報(bào),2002,25(9):897-903.
[8] LI Hongning, BAI Tingzhu,MA Shuai,et al.Infrared imaging simulation system by ray tracing method[J].Journal of System Simulation,2011,23(7):1387-1391.(in Chinese)
李宏寧,白廷柱,馬帥,等.光線跟蹤方法實(shí)現(xiàn)紅外視景成像仿真系統(tǒng)[J].系統(tǒng)仿真學(xué)報(bào),2011,23(7):1387-1391.
[9] LI Hongning, BAI Tingzhu,CAO Fengmei,et al.Infrared imaging model for scene simulation and its validation[J].Journal of Infrared and Millimeter Waves,2010,29(1):57-62.(in Chinese)
李宏寧,白廷柱,曹峰梅,等.用于場(chǎng)景仿真的紅外成像模型及其有效性分析[J].紅外與毫米波學(xué)報(bào),2010,29(1):57-62.
[10] HU Haihe, BAI Tingzhu,HAN Qiang,et al.Infrared illumination model and infrared scene simulation based on Blinn-Phong model[J].Acta Optica Sinica,2013,33(6):80-86.(in Chinese)
胡海鶴,白廷柱,韓強(qiáng),等.基于Blinn-Phong模型的紅外輻照模型及其紅外場(chǎng)景仿真[J].光學(xué)學(xué)報(bào),2013,33(6):80-86.
[11] WANG Qiushi, MA Lizhuang,ZENG Zhou.Image-based BRDF acquisition for 3D objects with specular reflection[J].Journal of System Simulation,2008,20(11):2931-2934.(in Chinese)
王秋實(shí),馬利莊,曾洲.基于圖像的三維高光物體雙向反射分布函數(shù)測(cè)量[J].系統(tǒng)仿真學(xué)報(bào),2008,20(11):2931-2934.
[12] MA Wenwei. Experimental and model study on surface BRDF for several typical materials[D].Wuhan:Huazhong University of Science & Techology.2014.(in Chinese)
馬文維.幾種典型材料表面的雙向反射特性建模與實(shí)驗(yàn)測(cè)量研究[D].武漢:華中科技大學(xué),2014.
[13] ZHANG Jianqi. Infrared Physics[M].Xi′an:Xidian University Press,2013.(in Chinese)
張建奇.紅外物理.第2版[M].西安:西安電子科技大學(xué)出版社,2013.
[14] Renhorn I G E, Hallberg T,Boreman G D.Efficient polarimetric BRDF model[J].Optics Express,2015,23(24):31253.
[15] Guarnera D, Guarnera G C,Ghosh A,et al.BRDF Representation and Acquisition[J].Computer Graphics Forum,2016,35(2):625-650.
[16] Yu C, Lee S W.Reliable estimation of anisotropic BRDF[J].Electronics Letters,2016,52(12):1024-1026.
[17] GUO Chenguang. Research on method of high realistic infrared scene simulation system based on ray tracing[D].Xi′an:Xidian University,2013.(in Chinese)
郭晨光.基于光線跟蹤的高真實(shí)感紅外三維場(chǎng)景仿真方法研究[D].西安:西安電子科技大學(xué),2013.
[18] Shidner J. An efficient ray-tracing method for determining terrain intercepts in EDL simulations[C]//IEEE Aerospace Conference,IEEE,2016:1-9.
[19] TIAN limin. High realistic infrared scene simulation based on ray tracing[D].Xi′an:Xidian University,2014.(in Chinese)
田利敏.基于光線跟蹤的高真實(shí)感紅外場(chǎng)景生成[D].西安:西安電子科技大學(xué),2014.
[20] Bordival M, Schmidt F M,Maoult Y L,et al.A ray tracing method to simulate the infrared heating of semi-transparent thermoplastics[J].International Journal of Material Forming,2010,3(1):809-812.
[21] YUE Tianshuang, ZHAO Huaici,HUA Haiyang.Research on CUDA-based opitmised ray tracing algorithm and its realisation[J].Computer Applications and Software,2015,32(1):161-162.(in Chinese)
岳田爽,趙懷慈,花海洋.基于CUDA的光線追蹤優(yōu)化算法研究與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用與軟件,2015,32(1):161-162.