陳 崢

(中國(guó)空空導(dǎo)彈研究院,河南 洛陽(yáng) 471009)

1 引 言

紅外熱成像系統(tǒng)在實(shí)際工作中,隨著器件工作溫度、環(huán)境溫度的改變,光信號(hào)在傳輸過(guò)程中受到的隨機(jī)干擾,電路中的隨機(jī)噪聲等多重因素的共同影響,致使紅外圖像普遍存在目標(biāo)與背景對(duì)比度低、細(xì)節(jié)模糊等問(wèn)題[1]。因此,有必要采用紅外圖像細(xì)節(jié)增強(qiáng)處理算法對(duì)圖像進(jìn)行加工,改善圖像目標(biāo)細(xì)節(jié)與場(chǎng)景間的對(duì)比度,突出圖像中的特征信息,削弱或者消除干擾信號(hào)[2]。

傳統(tǒng)的圖像增強(qiáng)方法中,分空域圖像增強(qiáng)和頻域圖像增強(qiáng)?？沼驁D像增強(qiáng)包括直方圖均衡化、平臺(tái)直方圖均衡化等;頻域圖像增強(qiáng)中,常用的有高通濾波器、同態(tài)濾波[3-4]等。這類算法簡(jiǎn)單有效、易于硬件實(shí)現(xiàn),但對(duì)于低對(duì)比度紅外圖像的細(xì)節(jié)部分增強(qiáng)效果有限,更難以為后續(xù)圖像處理工作提供高效識(shí)別。而效果較好的紅外圖像處理算法通常計(jì)算量較大,不易實(shí)時(shí)實(shí)現(xiàn)。近年來(lái),隨著FPGA技術(shù)的發(fā)展,器件性能不斷提高。由于其靈活高效、并行處理能力強(qiáng)的優(yōu)點(diǎn),廣泛應(yīng)用于信號(hào)處理領(lǐng)域。本文結(jié)合雙邊濾波算法和平臺(tái)直方圖均衡算法的優(yōu)點(diǎn),在FPGA中實(shí)現(xiàn)了一種實(shí)時(shí)紅外圖像細(xì)節(jié)增強(qiáng)算法,能夠有效提升紅外圖像的清晰度和對(duì)比度。

2 平臺(tái)直方圖均衡算法

平臺(tái)直方圖均衡算法是常用的圖像增強(qiáng)算法之一,它是對(duì)直方圖均衡化法的一種改進(jìn)。該算法的基本原理是:通過(guò)選擇一個(gè)合適的平臺(tái)閾值P,對(duì)統(tǒng)計(jì)直方圖進(jìn)行修正,如果某直方圖的灰度級(jí)小于平臺(tái)閾值P,就保持不變；如果大于平臺(tái)閾值P,則將其直方圖值置為P。對(duì)于目標(biāo)成分較少的圖像,平臺(tái)值P可以取得適當(dāng)?shù)鸵稽c(diǎn),而對(duì)于目標(biāo)成分較多的圖像,P值可以適當(dāng)取得高一點(diǎn),以突出目標(biāo)的對(duì)比度[5]。

圖像的平臺(tái)直方圖[6]:

(1)

圖像的累積直方圖:

(2)

圖像的平臺(tái)直方圖均衡化后的灰度值:

(3)

式中,k表示圖像的灰度級(jí),k∈[0,L-1],PT(k)是圖像的平臺(tái)直方圖,Ρ(k)是圖像的統(tǒng)計(jì)直方圖,Ρ為平臺(tái)閾值。式(2)中,FT(k)即為圖像的累積平臺(tái)直方圖；式(3)中,DT(k)是灰度為k的像素經(jīng)過(guò)平臺(tái)直方圖均衡化后的灰度值,DT(k)∈[0,255],? 」表示取整。

3 雙邊濾波算法

雙邊濾波器的概念最早是由Tomasi和Manduci在1998年提出的,它是一種非線性的邊緣保持平滑濾波器。雙邊濾波器利用局部的加權(quán)平均,在2維鄰域內(nèi)的加權(quán)系數(shù)由兩部分因子乘積組合而成,一部分由像素間的空間距離決定,稱之為空間鄰近度因子；另一部分由像素間的亮度值之差決定,稱之為亮度相似度因子[7-8]。

考慮到在數(shù)字圖像處理系統(tǒng)中的實(shí)現(xiàn),離散型的雙邊濾波的算法公式為:

(4)

其中,Sx,y表示中心點(diǎn)(x,y)的(2N+1)×(2N+1)大小的鄰域。公式等號(hào)右邊就是中心像素點(diǎn)鄰域內(nèi)像素亮度值的加權(quán)平均。對(duì)該鄰域內(nèi)的每一個(gè)像素點(diǎn)g(i,j),其加權(quán)系數(shù)W(i,j)由兩部分因子的乘積組成:

(5)

和

(6)

權(quán)重因子核函數(shù)WS(i,j)和Wr(i,j)均為高斯函數(shù),WS(i,j)是空間鄰近度因子,Wr(i,j)是亮度鄰近度因子。

從式(4)～(6)可以看出,雙邊濾波器的加權(quán)系數(shù)是空間鄰近度因子WS和亮度鄰近度因子Wr的非線性組合。前者隨著像素點(diǎn)與中心點(diǎn)之間歐幾里德距離的增加而減小,后者隨著兩像素亮度值之差的增大而減小。在圖像變化平緩的區(qū)域,鄰域內(nèi)像素亮度值相差不大,雙邊濾波轉(zhuǎn)化為高斯低通濾波器,在圖像灰度值突變的區(qū)域,濾波器利用邊緣點(diǎn)附近亮度值相近的像素點(diǎn)的亮度值平均代替原來(lái)的亮度值。因此,雙邊濾波既平滑濾波了圖像,又保持了圖像的邊緣,圖像增強(qiáng)效果良好[9]。

4 基于FPGA的算法設(shè)計(jì)與實(shí)現(xiàn)

4.1 雙邊濾波處理過(guò)程

原始紅外圖像數(shù)據(jù)進(jìn)入FPGA后,首先經(jīng)過(guò)雙波濾波算法處理。算法流程如圖1所示。

圖1 算法FPGA設(shè)計(jì)流程圖

探測(cè)器輸出的14位原始圖像先儲(chǔ)存于圖像存儲(chǔ)RAM中,然后按列讀出圖像數(shù)據(jù),計(jì)算在3×3鄰域中每個(gè)像素點(diǎn)與中心點(diǎn)的灰度差值,在亮度相似度因子查找表中查找到該灰度差值對(duì)應(yīng)的亮度相似度因子；然后與已知的空間臨近度因子對(duì)應(yīng)相乘,得到3×3的濾波系數(shù)矩陣。然后計(jì)算出3×3圖像數(shù)據(jù)與濾波系數(shù)之乘積作為分子,濾波系數(shù)之和作為分母,二者相除得到處理后的圖像。

4.1.1空間鄰近度因子WS計(jì)算

根據(jù)式(5),σs的值控制著空間鄰近度因子WS的衰減程度,一般選擇圖像對(duì)角線像素?cái)?shù)量的2.5%。在此,根據(jù)選用探測(cè)器的像元數(shù),選擇σs=20。而且,考慮到運(yùn)算的復(fù)雜度及可編程器件的運(yùn)算能力,選取3×3掩膜來(lái)實(shí)現(xiàn)。對(duì)于卷積運(yùn)算,可以調(diào)用FPGA乘累加器IP來(lái)實(shí)現(xiàn)。如圖2所示,空間臨近度因子為一恒定系數(shù)矩陣,可事先計(jì)算好,直接存儲(chǔ)在FPGA的ROM中以供調(diào)用。

圖2 空間鄰近度因子的系數(shù)矩陣

4.1.2 亮度相似度因子Wr計(jì)算

根據(jù)式(6),σr的值控制著亮度相似度因子Wr的衰減程度。由于當(dāng)前像素參與計(jì)算,Wr需要實(shí)時(shí)產(chǎn)生,指數(shù)運(yùn)算在FPGA中可通過(guò)映射表的方式實(shí)現(xiàn),即在1個(gè)時(shí)鐘周期內(nèi)查表得到指數(shù)運(yùn)算結(jié)果,并將結(jié)果寄存。采用3×3的矩陣進(jìn)行處理,要求緩存三行數(shù)據(jù)。如圖3所示,在FPGA內(nèi)部建立三個(gè)FIFO用于緩存數(shù)據(jù)和進(jìn)行計(jì)算。

圖3 數(shù)據(jù)和緩存示意圖

如圖4所示,設(shè)定當(dāng)前點(diǎn)的數(shù)據(jù)為reg5,采用多個(gè)寄存器,通過(guò)一個(gè)乘法器和指數(shù)的查找表即可獲得3×3的亮度相似度因子Wr矩陣。查找表深度為16384,位寬16。

圖4 Wr計(jì)算時(shí)序

4.2 算法處理時(shí)序設(shè)計(jì)

4.2.1 圖像數(shù)據(jù)I/O時(shí)序

該平臺(tái)的熱像儀采用ULIS公司生產(chǎn)的640×480像元多晶硅探測(cè)器,該探測(cè)器可以配置為單路或者雙路數(shù)據(jù)輸出。

采用合理的時(shí)序設(shè)計(jì)將雙邊濾波算法作為數(shù)據(jù)模塊嵌入到FPGA中,適當(dāng)提高主時(shí)鐘頻率,能夠在一幅圖像傳輸完成后,即可獲得灰度映射表,保證數(shù)據(jù)的輸出顯示。在數(shù)據(jù)處理時(shí),采用乒乓切換技術(shù)對(duì)SRAM進(jìn)行復(fù)用。如圖5所示,采用兩片大容量SRAM交替緩存輸入原始圖像,數(shù)據(jù)交替輸入輸出過(guò)程。

圖5 數(shù)據(jù)交替輸入輸出過(guò)程

在目前的數(shù)據(jù)流中,雙邊濾波算法涉及大量的乘加運(yùn)算,對(duì)FPGA的資源需求和時(shí)序優(yōu)化提出了很高的要求。根據(jù)設(shè)計(jì)要求,需要在40 ms內(nèi)完成一幅圖像的處理,為了盡量提高圖像處理速度,處理方式采用了流水線設(shè)計(jì)。

4.2.2 流水線設(shè)計(jì)

如圖6所示,雙邊濾波圖像處理算法流水線。算法共分為以下7個(gè)步驟:讀取列數(shù)據(jù)、計(jì)算灰度差值、查表得Wr和Ws、計(jì)算Wr和Ws乘積、計(jì)算公式(4)分母以及因子W與灰度值乘積、計(jì)算公式(4)分子、分子分母相除得到灰度值。所以在FPGA中用7級(jí)流水線實(shí)現(xiàn)。

圖6 流水線設(shè)計(jì)雙邊濾波圖像處理算法

由于每次載入一列新數(shù)據(jù)后需要對(duì)3×3鄰域的周圍8個(gè)點(diǎn)進(jìn)行空間臨近度因子Ws和亮度相似度因子Wr的計(jì)算,所以每8個(gè)周期可以完成1個(gè)像素值的濾波運(yùn)算,并載入一列新的圖像數(shù)據(jù)。由于除法運(yùn)算延時(shí)較大,所以流水線總延時(shí)為30個(gè)周期。采用的圖像處理時(shí)鐘速率為80 MHz,完成一幅圖像處理的總時(shí)間為30.72 ms,滿足實(shí)時(shí)性要求。

4.2.3 PE模塊

如圖7所示,PE模塊處理流程設(shè)計(jì)。完成雙邊濾波處理的14位圖像數(shù)據(jù)先存儲(chǔ)于RAM中,得到整幅圖像數(shù)據(jù)后,從RAM中將數(shù)據(jù)逐個(gè)讀出進(jìn)行PE算法處理。首先對(duì)所有數(shù)據(jù)進(jìn)行直方圖統(tǒng)計(jì),得到圖像直方圖數(shù)據(jù)并存入平臺(tái)直方圖RAM。然后對(duì)每個(gè)灰度級(jí)進(jìn)行平臺(tái)直方圖運(yùn)算,得到新的8 bit灰度級(jí)并存入RAM建立灰度查找表。最后從圖像存儲(chǔ)RAM中將每個(gè)數(shù)據(jù)讀出,根據(jù)原始灰度從查找表中查找出新灰度并輸出。PE模塊同樣采用80 MHz時(shí)鐘,總處理時(shí)間為7.88 ms。

圖7 PE模塊流程圖設(shè)計(jì)

5 實(shí)驗(yàn)結(jié)果與分析

綜上所述,紅外圖像細(xì)節(jié)增強(qiáng)算法在FPGA中采用流水線設(shè)計(jì),可在40 ms內(nèi)實(shí)現(xiàn)完成。器件采用Xilinx Virtex-5系列XC5VLX50 FPGA芯片,該芯片片內(nèi)資源豐富,包含7200邏輯單元、48×36 Kb的ram容量以及48個(gè)乘法單元,完全能夠滿足資源需求。

實(shí)驗(yàn)驗(yàn)證中,分別采用平臺(tái)直方圖均衡算法和本文提出紅外圖像細(xì)節(jié)增強(qiáng)算法對(duì)14 bit原始圖像進(jìn)行增強(qiáng)。實(shí)驗(yàn)結(jié)果如圖8所示,采用凝視型中波640×480紅外熱像儀采集原始紅外圖像。由于平臺(tái)直方圖均衡算法在處理大動(dòng)態(tài)范圍的圖像時(shí),無(wú)法同時(shí)保留圖像低溫區(qū)和高溫區(qū)的細(xì)節(jié)信息,因此均衡后的細(xì)節(jié)損失較大(大多數(shù)是被合并掉的灰度級(jí)),圖像對(duì)比度較小,目標(biāo)的邊緣部分不清晰；而經(jīng)過(guò)紅外圖像細(xì)節(jié)增強(qiáng)算法處理后,目標(biāo)圖像與場(chǎng)景間的對(duì)比度要明顯優(yōu)于單獨(dú)用PE算法處理的圖像,而且在濾除圖像噪聲時(shí)不會(huì)由于過(guò)度壓縮而導(dǎo)致視頻圖像細(xì)節(jié)的丟失。

圖8 平臺(tái)直方圖均衡算法和本文算法圖像顯示效果對(duì)比

6 結(jié) 論

本文提出的基于FPGA的紅外圖像細(xì)節(jié)增強(qiáng)算法能夠有效提升紅外圖像的清晰度和對(duì)比度,處理后圖像具有良好的視覺(jué)效果。在算法實(shí)現(xiàn)中,充分利用FPGA并行運(yùn)算的特點(diǎn),通過(guò)乒乓操作、多級(jí)流水線設(shè)計(jì)等,能夠滿足紅外視頻圖像處理的實(shí)時(shí)性要求,具備良好的應(yīng)用前景。