王 玥，付 強(qiáng)，吳 艷

(1.柳州工學(xué)院 信息科學(xué)與工程學(xué)院,廣西 柳州 545616；2.柳州鐵道職業(yè)技術(shù)學(xué)院 建筑技術(shù)學(xué)院，廣西 柳州545616；3.廣西科技大學(xué) 電氣工程與計算機(jī)學(xué)院,廣西 柳州 545001)

0 引言

圖像模糊[1]在傳感器獲取圖像的過程中時有發(fā)生，如平臺的轉(zhuǎn)動、振動都有可能造成像素的疊加和偏移，去模糊處理是圖像處理領(lǐng)域的熱門研究課題。與一般CCD相機(jī)相比，紅外成像系統(tǒng)中的模糊更加常見。其中，萬向節(jié)是穩(wěn)定紅外成像的傳統(tǒng)機(jī)制，一般由軸上的電機(jī)、回饋傳感器以及驅(qū)動電路組成[2]。在紅外目標(biāo)跟蹤系統(tǒng)中，萬向節(jié)系統(tǒng)常用于保持紅外探測器的朝向，以保持目標(biāo)在成像系統(tǒng)的視場內(nèi)。因此，突然的平臺移動、振動、機(jī)械沖擊都會影響萬向節(jié)的性能，從而造成紅外圖像的模糊。

為了盡可能減少模糊，增強(qiáng)清晰度，已有很多學(xué)者對其進(jìn)行了研究。目前，圖像去模糊方法一般可分為兩大類：確定性方法和概率方法。確定性方法包括逆濾波[3]和最小二乘，以及正則化方法[4]。這類方法通過直接分析或數(shù)值計算得出，不進(jìn)行隨機(jī)或概率運(yùn)算?；诘娜ツ：椒ㄒ部蓺w入此類。概率方法包括維納濾波(一種后驗(yàn)解決方案)和迭代卡爾曼濾波器方法等[5]，這類方法依賴于統(tǒng)計數(shù)據(jù)。

文獻(xiàn)[6]基于圖像數(shù)據(jù)的保真度和正則化項，提出慣性測量單元(Inertial Measurement Unit,IMU)保真度代價的概念，懲罰不太可能產(chǎn)生IMU測量值的模糊核，對曝光時間內(nèi)的相機(jī)運(yùn)動軌跡進(jìn)行估計。文獻(xiàn)[7]通過典型的稀疏字典學(xué)習(xí)方法消除噪聲，減少特征系數(shù)的訓(xùn)練時間，利用雙邊濾波器實(shí)現(xiàn)POCS算法中點(diǎn)擴(kuò)散函數(shù)估計，雖然該方法較好地保持了圖像的邊緣細(xì)節(jié)，但整體復(fù)雜度較高。文獻(xiàn)[8]通過參數(shù)化維納濾波器方法，對取自微測熱輻射計紅外探測器的紅外圖像進(jìn)行去模糊，該方法假定移動目標(biāo)造成紅外圖像模糊，但運(yùn)動模糊的點(diǎn)擴(kuò)散函數(shù)(Point Spread Function,PSF)必須是一個指數(shù)衰減函數(shù)，且為獲得準(zhǔn)確PSF，目標(biāo)的速度和方向必須為先驗(yàn)知識。

還有一些研究提出了嵌入式系統(tǒng)的實(shí)時圖像去模糊方法。文獻(xiàn)[9]提出了Richardson-Lucy去模糊的FPGA實(shí)施方法，在兼顧圖像恢復(fù)效果的同時，加速處理效率。文獻(xiàn)[10]利用2個實(shí)時RL迭代以進(jìn)行PSF估計，并可在智能手機(jī)上實(shí)施去模糊算法。文獻(xiàn)[11]研究了30 幀/秒的全高清圖像的實(shí)時圖像去模糊，使用傅里葉小波正則化反卷積算法對離焦圖像進(jìn)行去模糊，并在后續(xù)研究中給出了嵌入式系統(tǒng)的解決方案，但硬件平臺上的優(yōu)化依然有待提高。

本文研究了FPGA上的圖像去模糊算法，濾波器采用維納濾波器，PSF估計根據(jù)IMU檢測到的紅外探測器軌跡進(jìn)行計算。通過優(yōu)化硬件的方式達(dá)到實(shí)時處理要求，使得整個算法具有實(shí)際應(yīng)用價值。

1 提出的方法

1.1 圖像模糊模型

若紅外探測器在積分時間中發(fā)生移動，則獲取的圖像是模糊的。可通過2種方法對成像系統(tǒng)移動所造成的模糊進(jìn)行建模：空間不變和空間變化型模糊模型[12]。線性卷積被用于空間不變型模型，也被稱為均勻模糊。根據(jù)該模型，模糊會均勻地退化整個圖像，這意味著在所有像素中存在著相同的模糊量。大部分研究中，相機(jī)移動被認(rèn)為會對圖像造成均勻的模糊影響。失真圖像一般描述為PSF和清晰圖像的線性卷積。由此，模糊圖像或失真圖像可表示為：

b=i?k+n，

(1)

式中，b表示模糊圖像(或觀測圖像)；i表示原圖像；k表示點(diǎn)擴(kuò)散函數(shù)；n表示噪聲項?，F(xiàn)實(shí)環(huán)境中，成像系統(tǒng)的移動非常復(fù)雜，僅當(dāng)相機(jī)沒有滾動移動，且相機(jī)移動位于圖像傳感器平面內(nèi)的情況下，空間不變型的案例才是有效的[13]。因此，卷積可能不足以完成對現(xiàn)實(shí)中的紅外探測器移動的建模。另一方面，空間變化型更加復(fù)雜，但能夠更好地對相機(jī)的移動進(jìn)行建模。在空間變化案例中，整個圖像所受到的模糊并不是相同量級和相同方向的?，F(xiàn)實(shí)中，相機(jī)移動造成的大部分模糊圖像會受到空間變化模糊的影響。

空間變化方法考慮圖像的不同區(qū)域有著不同的模糊量。該方法中，不能通過PSF和凈圖像的直接線性卷積來定義模糊圖像?？臻g變化型模糊可以被建模為向量矩陣乘法，因?yàn)閳D像的每個像素有不同的濾波器。

為了對紅外探測器在圖像上造成的畸變和模糊效應(yīng)進(jìn)行建模，有必要理解在3D場景中一個點(diǎn)源的紅外輻射是如何通過相機(jī)的光學(xué)系統(tǒng)的，以及紅外輻射落入焦平面陣列(Focal Plane Array,FPA)的方式。來自場景中的一個3D點(diǎn)(X,Y,Z)的紅外輻射通過一些光學(xué)元件，其后通過FPA中的像素區(qū)域(x,y)對其進(jìn)行觀測。通常使用成像系統(tǒng)模型來表示該投影過程。小孔相機(jī)模型是廣泛采用的成像系統(tǒng)模型[14]。該投影過程可表示為：

(x,y,1)T=Pt(X,Y,Z,1)T。

(2)

若紅外探測器在積分時間內(nèi)有移動，則投影矩陣Pt具有時變性。投影矩陣包含紅外探測器的內(nèi)部參數(shù)和外部參數(shù)。內(nèi)部參數(shù)為焦距、光心和傾斜系數(shù)。外部參數(shù)為探測器旋轉(zhuǎn)和平移移動。若探測器在積分時間中有移動，則式(2)右側(cè)的Pt矩陣中的旋轉(zhuǎn)和平移項將會發(fā)生變化。由此，基于探測器的運(yùn)動軌跡，運(yùn)動軌跡上若干個3D點(diǎn)的紅外光束將會在FPA上形成一個2D像素區(qū)域，在圖像上產(chǎn)生了模糊效應(yīng)[14]。積分時間中的軌跡移動為像素點(diǎn)的PSF。若將運(yùn)動軌跡分割為足夠小的間隔，則可將整個軌跡表示為線性移動之和。若已知探測器在每個時間間隔的相對位置或位移，則可以計算出探測器的運(yùn)動軌跡。本文利用積分時間中探測器的角位置來計算PSF。

本文利用單應(yīng)性矩陣，以理解在積分時間開始時從一個像素區(qū)域接收到的紅外輻射在探測器運(yùn)動過程中是如何落入不同像素區(qū)域的。單應(yīng)性矩陣是指相機(jī)從某個角度拍攝圖像中的一個點(diǎn)，到相機(jī)從另一個角度拍攝的圖像中的同一個點(diǎn)的轉(zhuǎn)換,針對每個像素點(diǎn)進(jìn)行該轉(zhuǎn)換。因此，單應(yīng)性矩陣也可用于尋找造成模糊的點(diǎn)擴(kuò)散函數(shù)。單應(yīng)性會隨著時間而變化，取決于探測器的旋轉(zhuǎn)/平移移動和場景深度。例如，在經(jīng)過時間t處的單應(yīng)性Ht(d)轉(zhuǎn)換后，時間t= 0處的圖像上的點(diǎn)(x0,y0)被轉(zhuǎn)換為另一個點(diǎn)(xt,yt)，表示如下：

(xt,yt,1)T=Ht(d)(x0,y0,1)T。

(3)

為了計算在不同時間間隔處每個姿態(tài)之間的關(guān)系，本文使用單應(yīng)性矩陣。單應(yīng)性方法是利用相同探測器從不同角度得到圖像的2D轉(zhuǎn)換方法。利用紅外探測器的單應(yīng)性矩陣，可計算總運(yùn)動軌跡：

(4)

式中，C為內(nèi)部探測器矩陣；Rt為探測器旋轉(zhuǎn)矩陣；Tt為平移探測器矩陣；N為到圖像平面的法線向量；d為場景深度。從紅外探測器光學(xué)設(shè)計中可以很容易得到式(5)給出的內(nèi)部參數(shù),fx和fy為焦距，cx和cy為光心：

(5)

相機(jī)移動造成的模糊，大部分是由相機(jī)的旋轉(zhuǎn)移動引起的。因此，可以忽略式(4)給出的平移運(yùn)動項。由于場景深度在整個圖像中幾乎不變，因此，可將相機(jī)的單應(yīng)性矩陣簡化為：

Hd(t)=CRtC-1。

(6)

本文利用IMU來計算式(6)中紅外探測器的旋轉(zhuǎn)矩陣。利用來自IMU的偏航(yaw)、俯仰(pitch)和翻滾(roll)得出旋轉(zhuǎn)項。式(3)給出了像素區(qū)域的轉(zhuǎn)換。由此，對于一個當(dāng)前像素索引，可利用單應(yīng)性轉(zhuǎn)換計算出在發(fā)生已知的相機(jī)移動后的新像素索引。根據(jù)通過式(3)計算出的當(dāng)前像素的移動，選擇內(nèi)插像素。對于整個圖像的所有像素，使用單應(yīng)性和雙線性內(nèi)插信息的系數(shù)矩陣轉(zhuǎn)換：

it=ati，

(7)

式中，i表示凈圖像的向量形式，也是時間t處模糊圖像的向量形式；at表示系數(shù)矩陣形式中時間t處的模糊模型,at的每行均包含少數(shù)權(quán)值(由于雙線性內(nèi)插，最多4個)，以通過凈圖像i的內(nèi)插像素來計算時間t處的像素(xt,yt)的強(qiáng)度。因此，at稱為轉(zhuǎn)換矩陣。一般，在積分時間中記錄下的IMU樣本越多，計算出的模糊濾波器的準(zhǔn)確度越高。

由于積分時間過程中的每個時間間隔處捕捉一個新的中間圖像。因此，可將觀測到的模糊圖像建模為探測器積分時間中運(yùn)動軌跡的每個時間間隔處捕捉到的中間圖像之和。這種情況下，觀測到的整體模糊圖像可表示為積分時間T過程中每個時間間隔處凈圖像的單應(yīng)性轉(zhuǎn)換之和：

(8)

紅外探測器在每個時間間隔中的朝向被稱為紅外探測器的姿態(tài)。若已知在每個時間間隔的探測器朝向，則可計算出旋轉(zhuǎn)矩陣，并得出每個時間間隔的單應(yīng)性。本文通過實(shí)施上文描述的模糊建模算法，利用IMU樣本計算每個像素的PSF濾波器k。圖1給出了一些像素的PSF濾波器。

圖1 一些像素的PSFFig.1 PSF of some pixels

由圖1可以看出，不同像素的PSF濾波器幾乎相同，因此，這種類型的模糊被稱為空間不變模糊。利用這一合成模糊圖像和計算出的PSF，可以得到去模糊后的圖像。

1.2 圖像去模糊

本文利用FPGA IP核，在Xilinx系統(tǒng)發(fā)生器中實(shí)施維納濾波。使用維納濾波的一個原因是在實(shí)施維納濾波時可以使用快速傅里葉變換(Fast Fourier Transform,FFT)算法。但維納濾波器的一個限制是其僅適用于移除空間不變型模糊。在空間不變模糊中，整個圖像會有幾乎同等程度的失真。因此，可使用卷積或?yàn)V波方法移除空間不變模糊，因?yàn)橐粋€PSF濾波器可用于整個圖像。如前文所述，通過IMU數(shù)據(jù)和基于單應(yīng)性的算法得到PSF濾波器，即退化濾波器。因此，應(yīng)從合成模糊圖像中移除空間不變型模糊。

前文已計算出紅外探測器運(yùn)動引發(fā)的PSF模糊濾波器k和由該移動所產(chǎn)生的合成模糊圖像b?，F(xiàn)在，必須求出凈圖像i。如式(10)所示，可通過模糊濾波器直接分割模糊圖像，由此得出凈圖像，即，逆濾波：

B(u,v)=I(u,v)K(u,v)+N(u,v)，

(9)

(10)

式中，如果噪聲不是已知的，可能無法計算出完全的凈圖像。即使噪聲為已知，如果模糊濾波器包含零值或非常接近零的數(shù)值，N(x,y)/K(x,y)可能會成為主導(dǎo)項。逆濾波作為高通濾波器，可以增強(qiáng)圖像邊緣和圖像結(jié)構(gòu)。

另一方面，由于逆濾波方法不能有效處理高噪聲圖像，可采用維納濾波方法[15]。如式(11)所示，去模糊程序中考慮了噪聲的統(tǒng)計特征。如圖像中的噪聲是未知的，則將維納濾波切換為逆濾波。

(11)

式中，Sn(x,y)表示噪聲的功率譜密度；Si(x,y)表示圖像的功率譜密度。為進(jìn)行維納濾波，需要得到圖像和噪聲的功率譜密度信息。除單獨(dú)計算這2個數(shù)值之外，也可直接使用觀測圖像的信噪比(Signal to Noise Ratio,SNR)。

圖2 本文方法示意Fig.2 Schematic diagram of the proposed method

2 FPGA硬件實(shí)施與實(shí)驗(yàn)分析

2.1 本文FPGA設(shè)計

維納濾波方法更適用于實(shí)時實(shí)施，維納濾波算法包括模糊圖像和PSF模糊濾波器的2D-FFT、復(fù)數(shù)乘法以及逆2D-FFT。本文在Xilinx系統(tǒng)生成器工具中使用Xilinx FPGA IP核實(shí)施了這些步驟。使用FPGA IP核將維納濾波方法集成到電子硬件中，可直接利用FPGA IP核及Xilinx系統(tǒng)生成器工具，在RTL層設(shè)計和驗(yàn)證數(shù)字硬件。該工具能夠生成并合成用于數(shù)字設(shè)計的HDL代碼。同時，使用相同工具，還可對特定算法的FPGA資源利用率進(jìn)行監(jiān)測。Xilinx系統(tǒng)生成器工具的主要優(yōu)點(diǎn)是能夠結(jié)合Matlab和Simulink對設(shè)計的硬件進(jìn)行協(xié)同仿真。本文針對不同圖像進(jìn)行了仿真，并為維納濾波器提供了現(xiàn)成RTL設(shè)計。若利用直接線性卷積完成，則復(fù)雜度約為O(n2)。若使用FFT完成，則算法復(fù)雜度為O(n·lbn)。為此，必須使用傅里葉變換，將模糊濾波器和模糊圖像轉(zhuǎn)換到頻域。

2.1.1 硬件平臺

本小節(jié)將說明2D-FFT實(shí)時實(shí)施中的關(guān)鍵問題，包括計算復(fù)雜度、存儲規(guī)劃和計算時間等，并分析為實(shí)施維納濾波，在實(shí)時數(shù)字信號處理中可能會使用的平臺，例如CPU、GPU和FPGA。FPGA常與CPU或GPU一起被用于實(shí)時數(shù)字信號處理中，以加快處理負(fù)荷較大的復(fù)雜運(yùn)算。Xilinx的ZYNQ系統(tǒng)SOC結(jié)合了CPU和FPGA，以快速執(zhí)行復(fù)雜運(yùn)算。ZYNQ集成電路封裝了雙核ARM Cortex A9處理器。FPGA可在處理器速度不夠時提供更快的并行處理。通過協(xié)議高級可擴(kuò)展接口確保FPGA和CPU之間的通信。本文實(shí)時平臺的組織結(jié)構(gòu)如圖3所示，僅在Xilinx系統(tǒng)生成器工具的FPGA側(cè)實(shí)施了維納濾波算法，即圖3右側(cè)。由此可觀察維納濾波算法使用了多少FPGA資源，從而正確選擇包含足夠FPGA資源的ZYNQ器件號。系統(tǒng)通過軟件處理一些任務(wù)，如圖3左側(cè)所示，包括圖像捕捉、IMU數(shù)據(jù)讀取、紅外探測器移動是否超過限制并在積分時間中產(chǎn)生模糊的判斷，使用IMU傳感器樣本計算PSF模糊濾波器，為此，本文建立一個中斷控制軟件架構(gòu)，以讀取IMU傳感器的樣本。

圖3 本文實(shí)時平臺的組織圖結(jié)構(gòu)Fig.3 Organization structure of real-time platform

眾所周知，慣性傳感器中存在漂移問題。若IMU漂移處于較高水平，對于較長的曝光時間和積分時間，使用慣性傳感器進(jìn)行的PSF估計容易出現(xiàn)誤差。本文使用校準(zhǔn)后的IMU數(shù)據(jù)，估計并校正了隨機(jī)和確定性誤差參數(shù)。因此，所提紅外成像模型中不考慮IMU漂移。

2.1.2 存儲規(guī)劃

存儲器是實(shí)時圖像處理系統(tǒng)的一個關(guān)鍵。實(shí)時圖像處理中大多使用2種類型的存儲器：SDRAM和SRAM。SRAM存儲器成本較高，因此大部分信號處理研究傾向于采用SDRAM，但SDRAM本質(zhì)上存在按列尋址限制。此限制會導(dǎo)致2D-FFT處理速度的下降。在將SDRAM用作基本圖像處理存儲器時，轉(zhuǎn)置存儲(Corner Turn Memory,CTM)方法非常適用于2D-FFT[16]。在Xilinx系統(tǒng)生成器仿真中，使用FPGA的雙口塊RAM存儲器IP核，其作用類似于外部存儲器。

使用該方法是因?yàn)橥獠看鎯卧姆抡骐y度較大。首先，要處理的圖像大小是決定要使用的存儲器類型和容量多少的關(guān)鍵。假定探測器能夠捕捉1 024×1 024分辨率的圖像，每個像素16位；由此，單幀圖像需要1 024×1 024×16 = 16 MB的存儲。實(shí)時圖像處理中，使用3幀(而非1幀)以實(shí)現(xiàn)連續(xù)非中斷的圖像處理流。將來自紅外探測器的3個連續(xù)圖像保存在存儲器中，作為輸入幀緩沖。同理，對于處理后的圖像，在存儲空間(稱為輸出幀緩沖)中保留3幀圖像。圖像處理流程的中間步驟得到的圖像可以保存在存儲器中。此外，要考慮到FFT運(yùn)算所需的存儲空間。在存儲器使用中需要考慮到上述所有情況。SDRAM能夠滿足這些存儲需求。

2.1.3 2D-FFT的實(shí)施

2D-FFT是維納濾波算法最重要部分，本文在Xilinx系統(tǒng)生成器中實(shí)施了2D-FFT。利用Xilinx提供的1D-FFT IP核獲得2D-FFT。首先，對整個紅外圖像逐行進(jìn)行1D-FFT。然后，向結(jié)果應(yīng)用按列1D-FFT，得到2D-FFT。使用SDRAM，按下文描述的次序?qū)崟r實(shí)施改程序：① 將圖像逐行寫入SDRAM存儲器。對存儲器中保存的每行執(zhí)行1D-FFT；② 將結(jié)果按列再寫入存儲器。該過程等效于對圖像進(jìn)行轉(zhuǎn)置。再一次執(zhí)行逐行1D-FFT后，得到圖像的2D-FFT。

在SDRAM存儲器的寫入/讀取之前，必須選擇或激活行地址。在寫入/讀取后，或行地址發(fā)生變化時，需要刷新或重新加載SDRAM存儲器。當(dāng)執(zhí)行直接轉(zhuǎn)置時，DRAM控制器必須識別相應(yīng)的行或列中的變化，并對該行或列進(jìn)行預(yù)充電。SDRAM使用行寫列讀或列寫行讀的原理。由此，在轉(zhuǎn)置操作過程中，寫入和讀取速度之間會產(chǎn)生嚴(yán)重不匹配。SDRAM存儲器的過度使用會降低整個圖像處理流程的速度，這是實(shí)時圖像處理的一個瓶頸。因此，本文利用CTM方法以進(jìn)行快速高效的實(shí)時圖像處理，由此可縮小寫入和讀取步驟之間的速度差異。通過使用Xilinx系統(tǒng)發(fā)生器中FPGA的內(nèi)部存儲器來實(shí)施CTM方法。使用CTM的2D-FFT操作如圖4所示。在實(shí)施轉(zhuǎn)角矩陣法時，使用了Xilinx系統(tǒng)發(fā)生器提供的參考設(shè)計[17]。在Xilinx系統(tǒng)發(fā)生器中實(shí)施256點(diǎn)的2D-FFT需要約196 000個時鐘周期。將時鐘頻率選擇為150 MHz，則計算256-點(diǎn)的2D-FFT過程需要約1.3 ms。

圖4 使用CTM的2D-FFT操作Fig.4 2D-FFT operation diagram using CTM

2.2 去模糊結(jié)果分析

本節(jié)對本文去模糊結(jié)果進(jìn)行展示和分析，同時，對比了幾種同類方法的去模糊結(jié)果和PSF估計情況，這些方法有文獻(xiàn)[9，11，13]。其中，文獻(xiàn)[9]提出了Richardson-Lucy去模糊的FPGA實(shí)施方法。文獻(xiàn)[11]研究了30 幀/秒的全高清圖像的實(shí)時圖像去模糊，使用傅里葉小波正則化反卷積算法對離焦圖像進(jìn)行去模糊。文獻(xiàn)[13]提出了頻域優(yōu)化的圖像去模糊方法。

2.2.1 去模糊圖像的邊緣檢測

本文利用圖像4個角的像素，執(zhí)行圖像去模糊測試，利用PSNR度量對去模糊圖像的質(zhì)量進(jìn)行量化評估。在Matlab中利用偏航、俯仰和翻滾樣本計算出PSF；在Xilinx系統(tǒng)生成器中通過維納濾波RTL設(shè)計執(zhí)行去模糊仿真。圖5給出了去模糊圖像的邊緣檢測結(jié)果，之所以進(jìn)行邊緣檢測，是因?yàn)閳D像邊緣信息對于圖像去模糊后的結(jié)果至關(guān)重要。由圖5可以看出，去模糊后的圖像邊緣更加明晰且有輪廓性，PSNR值得到了明顯改善，圖像整體看起來更加清晰。

圖5 本文方法去模糊結(jié)果的邊緣檢測情況Fig.5 Edge detection of deblurring results for the proposed method

2.2.2 圖像去模糊效果比較

本文去模糊方法采用ZYNQ Ultrascale+設(shè)備，處理的域?yàn)轭l率。表1給出了PSF估計方法的比較，相關(guān)研究表明[16]，利用基于IMU的方法計算模糊PSF能夠提升紅外成像的性能。文獻(xiàn)[9,11,13]方法依賴于空間不變或空間可變型PSF，但本文設(shè)計能夠計算2種類型的PSF，這是所提方法的主要優(yōu)勢所在。

表1 PSF估計方法的比較Tab.1 Comparison of PSF estimation methods

為了從更多定性的角度對比各方法的去模糊效果，本文利用一些模糊的紅外交通視頻進(jìn)行實(shí)驗(yàn)。如果去模糊后的效果越好，則汽車被檢測出的準(zhǔn)確率越高，反之則越低。各方法去模糊后的汽車檢測準(zhǔn)確率比較如圖6所示?？梢钥闯?，如文獻(xiàn)[9]可以較好地對正在行駛的汽車進(jìn)行去模糊，去模糊效果位列第二，但對較大模糊程度的圖像區(qū)域處理并不好；文獻(xiàn)[11，13]的紅外去模糊效果較差；本文方法的去模糊效果最佳，主要得益于所提方法可以處理空間不變和空間可變型的2種PSF，可以精確估計每個像素的PSF。

(a) 原模糊圖像

(b) 文獻(xiàn)[9]去模糊結(jié)果

(c) 文獻(xiàn)[11]去模糊結(jié)果

(d) 文獻(xiàn)[13]去模糊結(jié)果

(e) 本文去模糊結(jié)果圖6 各方法去模糊后的汽車檢測準(zhǔn)確率比較Fig.6 Comparison of vehicle detection accuracy after debluring by various methods

2.2.3 各方法的運(yùn)行效率比較

各方法的運(yùn)行效率比較如表2所示，比較了總處理時間和平均幀率。可以看出，所提方法在處理時間、每秒幀數(shù)方面實(shí)現(xiàn)了顯著性能提升。FFT處理是硬件環(huán)境中運(yùn)行圖像處理算法的一大難題，但本文利用轉(zhuǎn)角轉(zhuǎn)置進(jìn)行2D-FFT，大大縮減了總的處理時間。

表2 各方法的運(yùn)行效率比較Tab.2 Comparison of operation efficiency for each method

PSF的計算時間很大程度上決定了方法的運(yùn)行效率，在Xilinx系統(tǒng)生成器的結(jié)果中，當(dāng)PSF濾波器使用2D-FFT塊時，耗時約2.6 ms。如果將逆2D-FFT和復(fù)數(shù)乘法納入考量，則整個維納濾波設(shè)計對256×256 的模糊紅外圖像的處理約耗時4 ms。這表明即使在最差情況下，對于以30 Hz提供圖像的紅外探測器，提出的方法也可實(shí)現(xiàn)實(shí)時處理。

3 結(jié)束語

本文利用紅外成像系統(tǒng)在積分時間中的IMU數(shù)據(jù)，計算空間不變和空間變化型模糊，在Xilinx系統(tǒng)生成器工具中針對實(shí)時應(yīng)用成功設(shè)計了維納濾波，即空間不變?nèi)ツ：夹g(shù)，并在Matlab中對RTL設(shè)計進(jìn)行了快速測試驗(yàn)證。與標(biāo)準(zhǔn)HDL測試平臺相比，這是一種更直接的測試方法。與當(dāng)前先進(jìn)方法相比，提出的基于FPGA硬件的紅外圖像去模糊設(shè)計實(shí)現(xiàn)了較大性能提升，能夠從合成模糊圖像中成功移除空間不變模糊。本文方法的PSF估計依賴于IMU檢測到的紅外探測器軌跡，但I(xiàn)MU會積累誤差，長時間的視頻去模糊會造成較大的誤差，如何在長時間去模糊的過程中保持合理的誤差范圍將是本文未來研究的方向?？赡艿姆椒ㄊ窃O(shè)定收集數(shù)據(jù)的有效時間間隔，或者利用軟件算法對IMU誤差進(jìn)行校準(zhǔn)，從而保證長時間工作。