李思儉,樊 祥,程正東,朱 斌

(電子工程學院脈沖功率技術國家重點實驗室,安徽 合肥 230037)

1 引 言

隨著各種無人飛行器技術的發(fā)展,無人機的武器化研究愈發(fā)重要,針對這類飛行器的紅外對空探測系統(tǒng)的研究和改進工作就日益受到研究人員的重視[1]。該系統(tǒng)以被動方式工作,輸出紅外視頻,利用圖像處理方法從背景中檢測并識別圖像中的目標[2]。為有效提高紅外探測系統(tǒng)的探測距離,需要為空域檢測及目標識別處理提供充分的響應時間[3]。該系統(tǒng)探測的目標多為空中飛行器,運動速度相對較快,留給系統(tǒng)的探測窗口時間有限,這就要求系統(tǒng)時刻處于360°全空域運動搜索過程中,使得探測器與目標之間的相對運動較為劇烈[4]。綜合這些因素,紅外圖像在形成、傳輸、存儲、記錄和顯示過程中,不可避免地會存在質量退化,尤其是空中目標高速運動造成的運動模糊,這種退化給系統(tǒng)后端的圖像處理、航跡關聯(lián)等增加了許多困難[5]。運動模糊圖像復原算法大致可以分為時間域、空間域和頻率域三個大的方向,但是應用于紅外空域監(jiān)測系統(tǒng)時卻各有缺陷,紅外相機需要始終以較快的速度掃描空域,使采集到的目標圖像產生了較為嚴重的運動模糊難以分辨,因此已有的目標檢測算法就不能滿足使用條件[6-8]；由于近些年空氣質量和天氣情況惡化,霧、霾等極端天氣在全年天氣中占比越來越高,采集到的原始圖像普遍存在噪聲問題,抑噪成為算法中不可或缺的一環(huán)；當跟蹤空域中飛行速度較快的飛行器,要求相機的幀頻較高,這又對算法的處理速度提出較高要求；存在運動模糊的目標具有拖尾效應,目標經(jīng)常存在中變形的問題,這就給目標檢測造成困難[9]。

針對這些問題,本文提出在對采集到的紅外視頻處理過程中引入運動模糊復原技術,并利用多幀圖像之間的相關信息,從中提取圖像的先驗信息并相互補充以提高復原效果并滿足后續(xù)算法的使用條件,從而再對目標圖像做濾波處理,進一步地提高目標的信噪比,改善圖像質量,增強監(jiān)測系統(tǒng)的作用效能。

2 運動模糊圖像復原基本原理

獲取圖像的瞬間,所拍攝的目標與相機發(fā)生相對運動,稱為運動模糊。在所有的運動模糊中,由勻速直線運動造成圖像模糊的復原問題更具有一般性和普遍意義,非勻速直線運動可近似為勻速直線運動,或者可以分解為多個勻速直線運動[10-12]。

圖1 基本圖像退化復原模型

當H是一個線性、空不變的過程時,空間域中的退化圖像可由下式給出:

g(x,y)=h(x,y)*f(x,y)+n(x,y)

(1)

式中,f(x,y)為原始圖像；g(x,y)是退化圖像；n(x,y)是加性噪聲項；h(x,y)是退化函數(shù)的空間表示,符號“*”表示空間卷積。

因為空間域中的卷積等于頻率域中的乘積,因此可以把式(1)中的模型等價于頻率域表示:

G(u,v)=H(u,v)F(u,v)+N(u,v)

(2)

式(2)中的大寫字母表示式(1)中對應項的傅里葉變換。

3 點擴散函數(shù)估計方法

3.1 系統(tǒng)運動模糊模型

上文簡要闡述了運動模糊的一般原理,具體到本文中的對空偵察系統(tǒng)對飛行器的探測過程時,先以探測器靜止,飛行器運動為例。當飛行器以速度V在空域中飛行時,如圖2所示,飛行器從A點以速度V運動至B點,則在CCD感光面上A的像點a以速度v運動到B的像點b,根據(jù)成像原理,有:

(3)

式中,V為飛行器飛行速度；v為飛行器的像在CCD感光面移動的速度；H為飛行高度；f為探測器鏡頭的焦距。

圖2 基本圖像退化復原模型

在CCD相機的一個積分時間Δt內,像移的距離Δl=Δt×v。

像移Δl造成了運動模糊,Δl越大則運動模糊就越嚴重,當探測系統(tǒng)工作時,飛行器的飛行速度V是不可控量,則要降低Δl的一個方法就是盡量減小積分時間Δt,這就要選擇高幀頻的CCD,這將會使整個系統(tǒng)的成本和造價抬高,而且積分時間減小后就要求目標的紅外輻射足夠強,這就使系統(tǒng)的探測距離隨之降低。以上只是探測器靜止的情況,實際應用中探測器為了探測整個空域還會以一定的角速度做360°的轉動,這就進一步的增大了Δl。

3.2 點擴散函數(shù)的估計

當空中目標以圖2所示的方式運動時,采集到的運動模糊圖像為:

(4)

其傅里葉變換為:

(5)

根據(jù)傅里葉變換的位移定理,式(5)變換為:

(6)

令:

(7)

則有:

G(u,v)=H(u,v)F(u,v)

(8)

由式可知,當x0和y0已知時,點擴散函數(shù)PSF可以直接計算出來。由于本文中涉及的探測系統(tǒng)的工作方式是水平360°旋轉,所以由探測器旋轉所產生的運動模糊只存在于x方向,移動距離為Δl,有:

(9)

將式(9)代入式(8)中,得:

(10)

4 視頻圖像復原算法

視頻圖像又稱動態(tài)圖像或者序列圖像,它是若干幅有序排列的靜態(tài)圖像按照一定的關系連續(xù)變換產生的,是二維圖像在一維時間軸上構成的序列圖像[13]。動態(tài)圖像中的一幀就是指相對靜止的一幅圖像,通過確定每秒鐘播放的單幀靜止圖像數(shù)量確定視頻圖像的刷新速度,利用視覺暫留原理,使人眼無法辨別單幅靜態(tài)圖像,看似連續(xù)平滑的視覺效果。運動模糊復原的一個重要的步驟就是構建點擴散函數(shù)(PSF),對于單幀的運動模糊圖像由于獲取的先驗知識不足,預估的點擴散函數(shù)就不準確,復原效果自然不會很好[14]。為了克服這一問題,本文的方案是先用紅外攝像機采集目標視頻,然后通過對序列圖像各幀之間的相關信息來估算點擴散函數(shù),再用點擴散函數(shù)進行反卷積運算復原圖像。

4.1 視頻影像分幀處理

由于攝像機的幀頻較高,計算機運算速率難以滿足,本文通過等間隔抽取的方式對視頻分幀處理,從而降低處理數(shù)據(jù)量,達到用普通計算機模擬高性能計算機的目的。

目前紅外攝影機采集到的圖像主要保存為AVI格式、MOV格式和RMVB格式,幀頻為30 f/s或60fps(frames per second),單幀圖像常用格式為JPEG格式、BMP格式、PNG格式等。本文實驗用相機的圖像格式 AVI(Audio Video Interleaved)視頻和BMP(Bitmap)圖片,其中BMP又叫位圖格式,圖像的位深可選,不存在任何壓縮,最大限度保留圖像原始信息。AVI格式的全稱為音頻視頻交錯格式,其中包括文件頭、數(shù)據(jù)塊和索引塊,每幀數(shù)據(jù)按時間順序存儲,調用方便且圖像質量很高,缺點就是每幀的數(shù)據(jù)量大且?guī)l較高導致短視頻占用很大的體積,對此,我們在復原過程中采用等間隔采樣分幀,將視頻降頻處理為序列圖像再復原,從而滿足計算機處理條件[15]。

4.2 圖像預處理

視頻影像的采集依賴于紅外CCD,在采集的過程中會不可避免地引入噪聲項,而且在發(fā)生運動模糊退化時,加性噪聲項也會隨之退化,變得更加復雜。維納濾波算法是在逆濾波的基礎上針對噪聲項加以改進的算法,它可以在復原過程中較好地抑制噪聲,提高處理效果[16]。

(11)

其中,E{·}是參數(shù)的期望值。誤差函數(shù)的最小值在頻率域中由式(12)給出:

(12)

當處理白噪聲時,譜|N(u,v)|2是一個常數(shù),當未退化圖像的功率譜未知或不可估計時,用式(13)來近似式(12):

(13)

式中,K是一個加到|H(u,v)|2的所有項上的特定常數(shù)。

4.3 算法設計流程

視頻圖像是靜止圖像每秒連續(xù)變換特定幀數(shù),因此對視頻模糊圖像的處理,可以轉換為靜止圖像的處理,我們將視頻模糊圖像處理過程分為三個具體的步驟,具體算法設計流程如圖3所示。

圖3 算法設計流程

①將視頻圖像轉化為一序列單幀靜止圖像進行保存；

②利用上文中測得的PSF,依次對單幀圖像序列進行復原處理；

③對處理完成的單幀圖像序列,采用函數(shù)轉化為視頻,實現(xiàn)視頻模糊圖像復原的效果。

5 實驗結果與分析

為了驗證研究思路并比較復原前后圖像效果,設計并進行了如下實驗。

以尺寸為450 mm的四旋翼無人機來模擬大型飛行目標(文中以美國的“捕食者”無人偵察機為例),具體參數(shù)對比如表1所示。

表1 參數(shù)對照表

實驗中,以焦距為100 mm、像元尺寸為17 μm的長焦紅外攝影機作為視頻采集設備,實驗過程中無人機懸停于空中,紅外鏡頭架設在地面的云臺上,云臺高度相對于無人機的懸停高度可以忽略不計。無人機起飛位置距攝影機為366 m,垂直起飛的懸停高度為100 m,由勾股定理可知懸停的無人機與紅外鏡頭的直線距離l約為379 m,根據(jù)相機成像原理可以算得無人機在感光元件上成像大小約為0.1187 mm,約占7個像元。

利用本文算法對采集到的紅外視頻進行處理,視頻的幀頻為30 f/s,編碼格式為RGB(32bit),其中單幀圖像尺寸為640×480像素,通過兩組不同背景下包含目標的紅外圖像序列來對本文算法進行處理實驗。圖4為兩組不同天空背景紅外目標的原始圖像序列與復原處理后的圖像序列的效果圖,其中白色光斑為無人機目標。

圖4 圖像序列復原效果對比圖

通過圖4中模糊圖像和復原圖像的對比,憑肉眼可以看出,經(jīng)過運動模糊復原處理之后的序列圖像中的目標相對于背景更加凸顯,邊緣更加清晰,并且復原處理后的背景邊緣形狀也更加分明。為了進一步驗證復原處理對圖像質量的提升效果,鑒于以上圖像評價較為主觀,使用峰值信噪比PSNR(Peak Signal to Noise Ratio)和均方差MSE(Mean Square Error)這一對判定指標對復原處理效果做進一步證明,PSNR和MSE是兩種常見的、廣泛使用的圖像質量客觀評測參數(shù),根據(jù)PSNR和MSE的定義,PSNR值越大或MSE值越小,則該處理后的圖像與標準圖像匹配效果越好,即該處理方法效果越好[17]。

若模糊圖像為I,復原圖像為K,那么它們的均方差MSE定義為:

(12)

峰值信噪比PSNR定義為:

(13)

其中,MAXI,K表示圖像點灰度的最大數(shù)值,由于上述實驗中已將圖像位數(shù)設置為8位,所以該值為255。

結構相似性(Structural Similarity)是衡量兩幅圖像相似度的指標,自然圖像具有極高的結構性,表現(xiàn)在圖像的像素間存在著很強的相關性,尤其是在空間相似的情況下。這些相關性在視覺場景中攜帶著關于物體結構的重要信息。我們假設人類視覺系統(tǒng)主要從可視區(qū)域內獲取結構信息。所以通過探測結構信息是否改變來感知圖像失真的近似信息。

完整的相似測量函數(shù)為:

SSIM(x,y)=f[I(x,y),c(x,y),s(x,y)]

(14)

結構相似性SSIM的范圍是(-1,1),當兩張圖一模一樣時,SSIM=1。

根據(jù)經(jīng)驗公式,我們應用平均SSIM指數(shù)(MSSIM)作為整個圖像的估計質量評價:

(15)

為了驗證運動模糊復原技術對視頻圖像序列的作用效果,將本文所用方法與常用的傳統(tǒng)檢測方法,即高通濾波算法(high pass filtering，HPF),作對比實驗如下[18]。

以紅外相機靜止狀態(tài)下采集的視頻,抽取同一序列圖像為標準圖像,對相機以30°/s的速度旋轉產生的兩對模糊圖像分別用本文算法和高通濾波算法處理后求出各自MSE和PSNR值,測得的兩組圖像序列的MSE和PSNR曲線如圖5所示。

圖5 PSNR對照曲線及MSE對照曲線

圖5為這兩種方法分別應用于同一圖像序列的復原效果參數(shù)對比,其中圖(a)中的實線為本文算法的PSNR曲線,曲線上的每一個點均高于對照組的HPF算法,圖(b)中的實線為本文算法的MSE曲線,曲線上的每個點都低于對照組的HPF算法。

從圖5中的數(shù)據(jù)可以看出,相機以30°/s的轉速工作時,使用本文的復原算法的PSNR值都大于高通濾波算法的PSNR值,MSE值都小于對照算法的MSE值,根據(jù)PSNR和MSE的定義,PSNR越大則圖像質量越高,MSE越小則圖像質量越高,因此可以證明實驗采集的運動模糊的視頻序列圖像經(jīng)去模糊復原處理后,絕大多數(shù)的幀圖像質量得到了提高。

下面我們換一個評價參數(shù),用前文介紹過的MSSIM對復原圖像進行評價,觀測復原效果如圖6所示。

圖6 MSSIM對照曲線

從圖6中的數(shù)據(jù)可以看出,相機以30°/s的轉速工作時,使用本文的復原算法的MSSIM值基本穩(wěn)定在[0.95,0.96]中,并且使用對照的全局維納濾波算法復原后圖像序列的MSSIM值波動較大,波動范圍在[0.91,0.94],均小于本文算法,這就說明經(jīng)本文算法復原后的圖像與清晰圖像的相似度更高,復原效果更好,絕大多數(shù)的幀圖像質量得到了提高,這也與圖4中人眼的觀察結果相匹配。

6 結 論

本文在分析了紅外空域監(jiān)測系統(tǒng)工作過程中遇到的問題和困難后,針對當前算法中存在的缺陷,提出將多幀信息融合與點擴散函數(shù)估計的方法引入該空域監(jiān)測系統(tǒng)的視頻運動模糊復原問題中,并將維納濾波算法用于原始圖像序列的預處理,實現(xiàn)去除運動模糊、增強目標的效果,從而提高系統(tǒng)對空域目標的監(jiān)測效果。通過搭建模擬實驗平臺,將視頻數(shù)據(jù)處理后做對比分析以及引入PSNR和MSE等評價參數(shù)與傳統(tǒng)算法相互驗證等方法來探索解決方案,驗證算法。實驗結果表明:(1)與采集到的原始視頻相比,經(jīng)過運動模糊復原技術處理后的圖像序列中目標與背景的邊緣更加清晰,同時目標的亮度更高；(2)在與高通濾波算法的對比中,本文算法在轉臺轉速為30°/s的實驗條件下,PSNR值達到37以上,MSE值不高于9,均優(yōu)于高通濾波算法,且MSSIM值也均高于對照組。因此將改進后的運動模糊復原技術引入空域監(jiān)測系統(tǒng)能夠提高圖像質量,對于提高系統(tǒng)的作用距離和監(jiān)測效果具有現(xiàn)實意義和應用前景。

[1] LU Huimin,XU Ming,LI Xun.Image deblurring with adaptive signal-noise ratio estimation for computation imaging system [J].Acta Optica Sinica,2014,34(8):119-126.(in Chinese)

盧惠民,徐明,李迅.用于計算成像系統(tǒng)的基于信噪比自適應估計的圖像去模糊研究[J].光學學報,2014,34(8):119-126.

[2] HOU Jie,XIN Yunhong.Detection of infrared small targetbased on the wavelettransformation and image enhance-ment technology[J].Laser & Infrared,2013,43(6):683-688.(in Chinese)

侯潔,辛云宏.基于小波變換與圖像增強技術的紅外小目標檢測[J].激光與紅外,2013,43(6):683-688.

[3] ZHAO Chunhui,YAO Xifeng,ZHANG Lili.Target detection sparse algorithm by recursive dictionary updating and GPU implementation[J].Acta Optica Sinica,2016,36(8):0828002.(in Chinese)

趙春暉,姚淅峰,張麗麗.采用字典遞歸更新的目標檢測稀疏算法及GPU實現(xiàn)[J].光學學報,2016,36(8):0828002.

[4] LIU Zhenguo,HU Xiaomei,LUJin.An improved neural network non-uniformity correction for IRFPA[C].SPIE,2009,7383:788330.

[5] ZHANG Jiao,LI Junshan,SUI Zhongshan,et al.Blind turbulence degraded image restoration algorithm basedon hybrid regularization constraint[J].Laser & Infrared,2017,47(7):884-888.(in Chinese)

張姣,李俊山,隋中山,等.混合正則化約束的湍流退化圖像復原算法[J].激光與紅外,2017,47(7):884-888.

[6] ZHANG Dongxiao,et al.Study on background radiation measurementin the adaptive infrared stealth[J].Laser & Infrared,2015,45(8):964-969.(in Chinese)

張冬曉,等.自適應紅外隱身背景輻射測量研究[J].激光與紅外,2015,45(8):964-969.

[7] ZHANG Ning,SHEN Xiangheng,YE Lu,et al.Influence of high frequency spectrum of photoelectric measurement equipment images to the subjective evaluation[J].Acta Optica Sinica,2016,36(4):0411002.(in Chinese)

張寧,沈湘衡,葉露,等.光電測量設備圖像高頻頻譜對主觀評價的影響[J].光學學報,2016,36(4):0411002.

[8] WU Bin,JI Hongbing,LI Peng.New method for moving dim target detection based on third-order cumulate in infrared image[J].Infrared Millim.Waves,2014,43(5):1690-1696.(in Chinese)

吳斌,姬紅兵,李鵬.基于三階累積量的紅外弱小運動目標檢測新方法[J].紅外與毫米波學報,2014,43(5):1690-1696.

[9] Bar,ABrook,NSchen,et al.Deburring of color images corrupted by salt-and-peppernoise[J].IEEE Trans.Image Process,2007,16:1101-1111.

[10] J Cai,R Chan,M Nikolova.Two-phase methods for deburring images corrupted by impulse plus gaussian noise[J].AIMS Journal on Inverse Problems and Imaging,2008,2(2):187-204.

[11] TXiao,XXu,and KLiao.Characterization of non-linearelasticityandinstability in single-walled carbonNano tubes[J].Journal of Applied Physics,2004,95:8145.

[12] ZHANG Ning,XIN Yunhong.Infrared small target detection based on wavelet transformand improved Top-Hat filter[J].Laser & Infrared,2017,47(7):884-888.(in Chinese)

張寧,辛云宏.基于小波變換和改進Top-Hat濾波的紅外小目標檢測[J].激光與紅外,2016,46(11):1432-1436.

[13] Hek,Rhemhan C,Rother C,et al.A global sampling method for alpha matting[C].Computer Vision and Pattern Recognition(CVPR),IEEE,2011:2049-2056.

[14] Shahren E,Rajan D,Prince B,et al.Improving image matting using comprehensive sampling sets[C].Computer Vision and Pattern Recognition(CVPR),IEEE,2013:636-643.

[15] Gastal E S L,Oliver M M.Shared sampling for realtime alpha matting[C].Computer Graphics Forum.Blackwell Publishing Ltd,2010,29(2):575-584.

[16] Levin A,Weiss Y,Durand F,et al.Understanding and evaluating blind deconvolution algorithms[C].IEEE,2009:1964-1971.

[17] NAN Yibing,GAO Kun,NI Guoqiang.Hyperspectral image blind correction method based on band selection and PSF estimation[J].Infrared Millim.Waves,2016,(6):715-722.(in Chinese)

南一冰,高昆,倪國強.基于波段選擇估計PSF的高光譜圖像運動模糊盲校正方法[J].紅外與毫米波學報,2016,(6):715-722.

[18] FENG Yunsong,LU Yuan,FAN Bin,et al.Realizationand analysis of a dynamic infrared stealth technique[J].Laser & Infrared,2017,47(7):884-888.(in Chinese)

馮云松,路遠,范彬,等.一種動態(tài)紅外隱身技術的實現(xiàn)與分析[J].激光與紅外,2007,37(6):558-560.