張衛(wèi)國，劉華軍，王玉坤

(91550部隊92分隊，遼寧 大連116023)

1 引言

由于紅外成像與可見光相比具有夜視及受霧氣影響較小的特點，目前紅外成像技術已廣泛運用在軍事、航天等多個領域，?？毡尘皸l件下獲得的紅外圖像對比度低、噪聲干擾大，主要原因有三方面:一是紅外成像器件［1］的像素數(shù)分辨率(常用的320×256和640×480)低引起的清晰度差，如果采用640×480(像素尺寸20μm)紅外成像器件，圖像的分辨率有所提高;二是紅外成像器件的非均勻性引起的圖像干擾現(xiàn)象［2］，目前采用的紅外圖像非均勻干擾校正方法只是針對于特定使用的，對于背景變化較大環(huán)境，抑制干擾效果不明顯;三是高動態(tài)范圍紅外圖像［3］(像素灰度為14位)顯示失真問題。14位的紅外數(shù)字圖像直接采用線性移位的色調映射算法按8位灰度值在電腦顯示器顯示，這種方法無法保留圖像區(qū)域的細節(jié)信息，造成圖像失真。由此本文針對以上問題，采用了圖像濾波、圖像子區(qū)域增強及圖像超分辨率重構方法等算法，以及一種改進的色調映射算法，設計了紅外數(shù)字圖像清晰化顯示系統(tǒng)，并通過實驗驗證:圖像質量明顯提高，取得了滿意的紅外數(shù)字視頻圖像顯示效果。

2 系統(tǒng)組成及原理

紅外圖像清晰化顯示系統(tǒng)實時接收紅外數(shù)字圖像，并進行濾波、圖像增強、超分辨率重構以及色調映射等處理，送出顯示，同時可以通過圖像輸出卡將數(shù)字視頻圖像變換成模擬視頻信號輸出。

2．1 硬件平臺

該系統(tǒng)由工控機、以SOLIOS數(shù)字圖像采集卡、VIO圖像輸出卡、綜合圖像處理軟件等部分構成。工控機和綜合圖像處理軟件用于完成紅外圖像處理，數(shù)字圖像采集卡用于采集紅外數(shù)字圖像。圖像輸出卡用于數(shù)字圖像與模擬視頻的轉換，送出模擬視頻。系統(tǒng)硬件原理框圖如圖1所示。

圖1 系統(tǒng)硬件原理框圖

采用SOLIOS數(shù)字圖像采集卡方案的優(yōu)點是可以實現(xiàn)多傳感器的數(shù)據(jù)融合處理，而且DSP的運算程序存儲在計算機中，上電后計算機向圖像處理板加載運算程序，有利于系統(tǒng)調試與維護，有利于以后升級與擴充。

VIO圖像輸出卡是PCI－X卡，用于不同制式模擬視頻圖像的采集轉換，數(shù)字與模擬圖像的轉換。模擬的高清(HD)、標清(SD)及其SDI輸入/輸出，模擬和數(shù)字圖像輸出同步。

2．2 系統(tǒng)軟件結構

系統(tǒng)軟件基于VC編程，分為圖像濾波處理模塊、圖像增強模塊、超分辨率重構模塊、色調映射模塊等，可以根據(jù)圖像特征在操作界面上選擇濾波器的模型和增強算法模型，軟件結構如圖2所示。紅外數(shù)字圖像顯示控制軟件如圖3所示。

圖2 系統(tǒng)軟件結構圖

圖3 紅外數(shù)字圖像顯示控制軟件

3 圖像的濾波及增強算法

3．1 紅外圖像去噪與背景抑制

紅外熱像儀依靠場景的輻射特性成像，其成像器件自身具有不均勻性，雖然在每次使用前，可以通過非均勻校正，進行非均勻的消除和減弱，但是隨著時間的推移，外界環(huán)境的變化，器件的非均勻性仍會逐漸增強，造成紅外圖像背景的干擾。器件自身噪聲和成像環(huán)境干擾也會造成圖像的噪聲影響等，這些干擾和噪聲對圖像的觀察和分析、處理都是不利因素，需要盡可能的去除。

從圖像角度來說，不管是由于什么機理和原因造成的干擾和噪聲，反應到圖像上，都是一種疊加到圖像上的灰度分布，我們統(tǒng)一用下式來表達:

式中，Is為真正的場景圖像;In為噪聲圖像;Ia為非均勻圖像，理想的結果時該式中僅包含Is，因此，需要盡可能去除In和Ia分量圖像，但由于兩者對圖像的影響機理不同，所以需要區(qū)別對待。

噪聲具有隨機特性，同時從經(jīng)驗來說，圖像中包含的噪聲大多數(shù)為散粒噪聲，這種噪聲采用中值濾波［4］、平滑濾波、高斯濾波及拉普拉斯銳化等方式去除。

非均勻圖像是由于器件自身特性和受周圍環(huán)境影響造成的一種干擾，因此，這是一種緩變化數(shù)據(jù)，從短時間內看，可以認為其灰度分布是不變的，同時由于非均勻性是反應在自身器件上的，因此，不隨相機的運動而變化。這些是非均勻圖像區(qū)別于目標圖像的前提，依據(jù)此前提，即可進行非均勻圖像的去除處理。

這里利用幀間運動檢測技術［5］，檢測圖像中的變動區(qū)域，其他區(qū)域即可認為是器件自身造成的非均勻區(qū)域。

3．2 子區(qū)域增強算法［6］

紅外圖像較多采用直方圖均衡化或直方圖拉伸處理［7］，使其14位數(shù)據(jù)轉化為8位數(shù)據(jù)，由于量化位數(shù)的減少，帶來的一個問題是，圖像中小范圍的紅外灰度波動在轉換后會被弱化，甚至導致無法觀察到。為了避免這種問題，采用了子區(qū)域增強處理，首先在原始的14位灰度圖像中，計算梯度分布，這里采用數(shù)學形態(tài)學方法實現(xiàn)。

設Ie和Id分別為腐蝕和膨脹的圖像，求兩者的差，得到梯度圖像為:

依據(jù)整個圖像區(qū)域的梯度走向，對整幅圖像進行子區(qū)域分割處理，為了防止圖像復雜內容造成的分割區(qū)域過于繁雜，在分割后進行區(qū)域合并處理，使得整幅圖像保持在10個子區(qū)域以下。

分割后的各個子區(qū)域分別進行直方圖均衡或直方圖拉伸［8］。

4 超分辨率重構方法［9］

這里采用圖像的細節(jié)增強運算，其基本原理是通過對圖像進行超分辨率的重構［6，10］，強化細節(jié)紋理走向，達到細節(jié)增強的目的。

根據(jù)目標像素點與對應的源圖像的位置關系得到源圖像中的兩組像素點(均包含三個相鄰像素)，分別求出其二階差分值，自動選取一組源像素作為二階牛頓插值的輸入，從而求得目標像素點的灰度值。

已知函數(shù)f(x)在等距節(jié)點xi上的函數(shù)值為f(xi)=fi(i=0，1，…，n)。則稱:為一階差分，而K階差分表示為:，n 次牛頓插值公式表示為:

式中，h為步長，已知一維函數(shù)f(x)的(n+1)個等距節(jié)點上的值，即可求出f(x)的任意一點的值，其中n取值越大，其計算結果的誤差越小，而計算量也隨之增加。在數(shù)字圖像處理中，可將離散的二維圖像信號在水平方向進行一維插值，然后對所得的信號在垂直方向進行一維插值，即可完成該二維信號的插值處理，其中步長h為1。

將相鄰三個點的二階差分的絕對值作為衡量該三個點的相關性大小的標準，絕對值越小，相關性越大，反之亦然。目標像素點N的值由一組相關性較大的源像素通過插值比采用相關性較小的一組更為合理。這是因為，相關性大，表明各像素處在同一圖像區(qū)域的可能性越大。

對于二維圖像的插值［11］，在硬件實現(xiàn)時為了避免采用幀緩沖區(qū)，通常將圖像在水平方向進行插值，然后將插值結果在垂直方向進行插值得到目標圖像。將低分辨率圖像放大，然后采用前向－后向擴散對圖像的強邊緣進行增強，對圖像的弱邊緣進行平滑。這樣插值得到的圖像具有非常清晰的邊

緣結構。

差值得到了比原圖像分辨率高出1倍或n倍的結果，此時，將超分辨率圖像再次返回到原分辨率圖像，抽點過程中，在每點的周圍3鄰域區(qū)域內計算梯度最高的點偏移量(d i，d j)，則有:

5 改進的色調映射算法［3］

紅外數(shù)字圖像為高動態(tài)范圍圖像，其一般的量化位數(shù)為14位，即灰度范圍為0～16383，而目前的顯示設備均為8位顯示設備，即紅綠藍灰度最高量化位數(shù)為8位，因此，紅外圖像必須進行縮放使之變換低動態(tài)范圍圖像轉化后，方可送往顯示設備輸出，這種圖像亮度的壓縮調節(jié)技術叫做色調映射［12］(tonemapping)。工程中常用的算法有在全局映射算法、局部映射算法等多種算法。全局算法使用同一種映射曲線作用域圖像中的所有像素，在效率上有一定優(yōu)勢，但不能對圖像的局部區(qū)域進行有效修正，圖像效果一般。局部映射算法考慮到圖像像素的亮度分布，在局部區(qū)域作相關調整，盡可能地改善映射后的圖像效果，避免出現(xiàn)全局映射算法中的圖像顯示問題。

本系統(tǒng)從工程需求出發(fā)，要求色調映射算法滿足條件:一是算法不復雜，滿足數(shù)字視頻處理的實時性要求;二是符合人眼視覺系統(tǒng)［8］規(guī)律，圖像效果滿足要求。在傳統(tǒng)的對數(shù)映射算法的基礎上進行改進，首先使用平方操作后，可以適當?shù)乩焖鼈兊牟罹?，其次對局部區(qū)域惡進行適當處理，使得數(shù)據(jù)分布較多的區(qū)域能夠擴大映射范圍，數(shù)據(jù)分布較少的區(qū)域惡能夠縮小映射范圍，在這兩段區(qū)間上使用不同的含參數(shù)的映射曲線，實現(xiàn)了全局映射與局部映射算法的組合［13－14］，表達式如下:

其中，lb表示以2為底的對數(shù)，?」表示向下取整。令:

考慮這兩條曲線滿足三個初始條件:

為了確定上面4個參數(shù)，還需要一個初始條件。引入漸變系數(shù)α:

其中，Ni為亮度值分布在第i個區(qū)間內的像素個數(shù)，漸變系數(shù)值反映了每個區(qū)間像素分布的遞增趨勢。具體操作過程如下:

首先，需要選取合適的拐點值2m和常數(shù)c，考慮數(shù)據(jù)分布大多數(shù)集中在低數(shù)值區(qū)域，拐點值的選取不宜太大，常數(shù)c選取較為麻煩。由于新算法的曲線始終露在線性函數(shù)和對數(shù)函數(shù)之間，所以

令:

其中，取 2m=128，s=1，t=4。

劃分為兩個映射區(qū)間后的曲線表達式為:

6 實驗結果

試驗采用了長波紅外圖像，像素數(shù)為640×480(像素尺寸為20μm)，處理幀頻為25 Hz。圖4所示為非均勻噪聲圖像經(jīng)中值濾波和幀間運動檢測相結合方法進行處理前后圖像效果比較。圖5為經(jīng)超分辨率構建增強算法處理后圖像效果比較。圖6為經(jīng)圖像自區(qū)域增強、超分辨

圖4 圖像去噪與背景抑制處理前后效果

圖5 超分辨率增強前后效果圖

圖6 組合處理后前后效果圖

7 結論

針對紅外圖像質量存在的不足之處，設計了紅外數(shù)字圖像清晰化顯示系統(tǒng)，采用了先進硬件平臺及圖像處理算法，經(jīng)外場的驗證取得了較明顯的圖像顯示效果，滿足數(shù)字視頻圖像的要求，具有一定的推廣應用價值。針對不同背景下的建立圖像濾波增強算法庫實現(xiàn)算法自適應化是下一步的研究方向。

［1］ Mai Lübo．Outline on developmentand application of FPA thermal imaging sets［J］．Infrared Technology，2006，28(9):497 －501．(in Chinese)麥綠波．焦平面熱像儀的發(fā)展與應用綜述［J］．紅外技術，2006，28(9):497 －501．

［2］ Xu Huihui，Zhang Guilin，Jiang Jin．Analysis of scence based non-uniformity correction for IR FPA［J］．Computer＆ Digital Engineering，2007，28(9):27 － 29．(in Chinese)許慧慧，張桂林，姜瑾．基于場景的紅外探測器非均勻性校正方法的分析［J］．計算機與數(shù)字工程，2007，28(9):27－29．

［3］ Xie Yisong，F(xiàn)ang Junyong．Development and prospect of tonemapping techniques for HDRI［J］．China Illuminating Engineering Journal，2011，22(5):11 －17．(in Chinese)謝一淞，方俊永．高動態(tài)范圍圖像色調映射技術的發(fā)展與展望［J］．照明工程學報，2011，22(5):11 －17．

［4］ Rafael C Gonzalez，Richard EWoods．Digital image processing［M］．2nd．ed．Beijing:Publishing House of Electronics Industry，2010:93 －98．(in Chinese)Rafael C Gonzalez，Richard E Woods．數(shù)字圖像處理［M］．2版．北京:電子工業(yè)出版社，2010:93－98．

［5］ Ali Homaei，Ehsan Koohestani．Implematation a new realtime structure for driving an IRFPA and image enhancement［J］．Proc．of SPIE，2007，6616:1 －7．

［6］ Dong Liquan，Jin Weiqi，Sui jing．Research on the self-adaptive denoise and enhancement algorithm forinfrared image under ground-sky back ground［J］．Optical Technique，2009，35(1):109 －112．(in Chinese)董立泉，金偉其，隋婧．自適應地空背景紅外圖像降噪增強方法［J］．光學技術，2009，35(1):109 －112．

［7］ Wang Liying，Jing Yadong，Luo Fengwu，et al．New self-adaptive image enhancement algorithm for infrared image［J］．Signal Processing，2009，25(12):1836 － 1839．(in Chinese)王利穎，蔣亞東，羅鳳武，等．一種自適應紅外圖像增強新算法［J］．信號處理，2009，25(12):1836 －1839．

［8］ Deng Yue，Wang Yanjie，Li Jingyu，et al．Improvement of enhancement algorithm for aerial image［J］．Laser＆ Infrared，2012，42(9):1080 －1085．(in Chinese)鄧玥，王延杰，李靜宇，等．天空區(qū)域圖像的增強算法的改進［J］．激光與紅外，2012，42(9):1080 －1085．

［9］ Bian Jueping．Research on regression-based super-resolution image recomstruction technique［D］．Nanjing:Nanjing University of Posts and Telecommunications，2012:14 －28．(in Chinese)卞玨平．基于回歸的圖像超分辨率重建技術研究［D］．南京:南京郵電大學，2012:14－28．

［10］ W Dong，G Shi，L Zhang，et al．Super-resolution with nonlocal regularized sparse representation［C］．SPIE Visual Communications and Image Processing，2010．

［11］ H Q Luong，T Ruzic，A Pizurica，et al．Single-image super-resolution using sparisity constraints and non－local similarities antmultiple resolution scales［C］．SPIE Optics，Photonics，and Digital Technologics for Multimedia Applications，2010．

［12］ Tan Ruishen．Research of high dynamic range vide［D］．Hefei:University of Science and Technology of China，2008:11 －18．(in Chinese)譚銳莘．高動態(tài)范圍視頻研究［D］．合肥:中國科技大學，2008:11－18．

［13］ Scheel A，et al．Tone reproduction for interactive walkthroughs［J］．Computer Graphics Forum，2009，19(3):301－312．

［14］ Shen Jianbing，F(xiàn)ang Shiaofen，Zhao Hanli，et al．Fast approximation of trilateral filter for tonemapping using a signal processing approach ［J］．Singal Process，2009，89(5):901－907．