雷 茂, 郭 鋒, 秦明偉

(西南科技大學 信息工程學院,四川 綿陽 621010)

0 引 言

太赫茲(THz)波于19世紀80年代正式命名,在此之前被統(tǒng)稱為遠紅外射線。因其具有安全性、良好穿透性等特性,太赫茲成像在安全檢查、通信、雷達探測以及醫(yī)療診斷等方面具有廣泛應用前景[1,2]。太赫茲掃描成像實驗中,受到衍射極限限制,得到的圖像通常分辨率差,信噪比低,邊緣模糊嚴重,這樣的原始圖像并不能滿足人們對圖像的正常視覺和后續(xù)研究需求。解決這一問題最直接的方法就是提升硬件系統(tǒng),但受限于目前的技術,并且升級系統(tǒng)硬件成本較高,因此,研究改善太赫茲圖像分辨率的軟件方法能夠彌補現(xiàn)有設備部分的不足。

目前超分辨率重建方法可分為插值法、重建法和基于深度學習的方法[2]。插值法最為簡單,但插值法重建出來的圖像高頻信息缺失非常嚴重。重建法包括頻域法和空域法,頻域法最早的研究工作是由Tsai和Huang于1984年進行的[2]；空域法主要包括凸集投影(projection onto convex set,POCS)、迭代反投影、非均勻空間樣本內插等?；谏疃葘W習的方法需要大量的數(shù)據(jù)集,而現(xiàn)在沒有太赫茲圖像公開的數(shù)據(jù)集,這也決定了在目前為止使用學習的方法有一定的困難度。凸集投影重構算法的原理是利用投影到凸集,直觀有效,是目前最有前途的空域算法之一。

POCS算法是在圖像重建領域的經典算法,Stark H和Oskoui P最早將POCS算法應用于圖像的超分辨率重建[3]。Eren P E將Patti的方法推廣到多運動目標場景中[4]。

李慧芳等人提出改進點擴散函數(shù)系數(shù),在圖像水平、垂直、正對角線、負對角線上使用不同的點擴散函數(shù)系數(shù)提高圖像邊緣質量[5]；禹晶等人提出在點擴散與指數(shù)型權值相乘,使修改后的函數(shù)沿邊緣正交減小[6]。房垚鑫等人[7]提出在邊沿處點擴散函數(shù)(point spread function,PSF)函數(shù)水平和垂直兩個方向使用不同權重值,但該算法在圖像邊緣處理上存在不足,本文方法在其基礎上進行改進,使重建圖像能更好保持邊緣信息。

本文中使用傳統(tǒng)POCS算法對太赫茲圖像進行重建實驗,發(fā)現(xiàn)重建后高分辨率圖像存在邊緣質量模糊等問題,因此對算法進行改進。實驗結果表明,改進算法提升了重建圖像的質量。

1 算法原理概述

1.1 圖像觀測模型

一幅高分辨率圖像經過附加噪聲、幾何運動、降采樣和光學模糊等降低圖片質量過程可產生與之對應的多幅低分辨率圖像。常用的觀測模型可表示為

gi=DBMiF+n

(1)

式中gi為第i幅低分辨率圖像,F為所求的高分辨率圖像,Mi為幾何運動矩陣,B為模糊矩陣,D為降采樣矩陣,n為附加噪聲,DBMi也可以合稱為點擴散函數(shù)(PSF)。

1.2 POCS算法概述

POCS算法充分利用先驗知識,它認為高分辨率圖像解空間包含在閉合凸形約束集合中。重建圖像的一個估計就是這些凸形約束集合的交集內一點[8]。高分辨率估計圖像的獲取就是把任意一個初始估計向這些凸形約束集合進行投影。

凸集投影圖像超分辨率重建算法具體執(zhí)行過程如下[8]:

步驟1 進行運動估計。

1)把一幅低分辨率圖像g(i,j)用雙線性插值放大為與高分辨率圖像相同尺寸；

2)用高斯函數(shù)對上一步的圖像進行平滑處理；

3)對平滑處理后的圖像和參考幀K進行運動估計。

步驟2 定義集合G(i,j),并計算每一像素點的模糊函數(shù)A(r,s︰i,j)。

步驟3 插值圖像運動補償后作為初始估計zk(r,s)。其他低分辨率圖像也做相同的運動估計,并以此估計zk(r,s)的邊緣。

步驟4 對定義過約束集合G(i,j)所有點(i,j)計算殘差,并使用修正算子進行修正。

hi(m1,m2;n1,n2)

(2)

P(n1,n2;i,k)[xi(m1,m2)]=

(3)

(4)

(5)

步驟5 用式(6)中的算子進行幅度約束

(6)

步驟6 如果滿足終止判決條件,則停止迭代,否則轉到步驟4。

2 改進的POCS算法

2.1 初始圖像獲取

從POCS算法重建過程可以看出,初始估計圖像對算法的可行性影響很大。傳統(tǒng)POCS算法采用雙線性插值獲取初始圖像,但雙線性插值并不區(qū)分平滑區(qū)域和邊緣區(qū)域,僅僅將低分辨率圖像上各點映射到放大圖像的各點上,這是重建圖像邊緣模糊的原因之一。因此對初始圖像的邊緣做正則化處理,即用新的邊緣指導插值(new edge-directed interpolation,NEDI)算法來代替POCS算法中雙線性插值獲取初始圖像[8～10]。 該算法可以避免跨邊緣插值,不會引入邊緣細節(jié)退化,可以顯著提升圖像視覺效果。

NEDI算法雖然實現(xiàn)了方向上的自適應,但它的計算復雜度較高。由于邊緣像素僅占整幅圖像的10 %～30 %,因此為了降低計算復雜度,本文使用混合插值,首先采用邊緣檢測算子檢測圖像邊緣區(qū)域；邊緣檢測算子有多種,Canny算子具有抗噪能力強的優(yōu)點,因此,文中采用Canny邊緣檢測算子對原始圖像進行檢測,從而將原始圖像劃分為邊緣和平坦區(qū)域。對平坦區(qū)域使用三次樣條插值,對邊緣區(qū)域使用NEDI算法。

2.2 優(yōu)化點擴散函數(shù)

圖像重建過程中POCS算法會使用點擴散函數(shù)對圖像進行修正,傳統(tǒng)POCS算法中對邊緣區(qū)域和平坦區(qū)域使用相同的PSF修正,計算邊緣深色點像素時因PSF函數(shù)作用域內有淺色像素點,會導致邊緣深色一側像素顏色更深,同樣對于淺色一側顏色更淺,這也是導致圖像邊緣模糊的原因。常用的點擴散函數(shù)如下所示

x,y∈Sh

(7)

式中h(x,y)為PSF模板,(a,b)為點擴散函數(shù)中心坐標,Sh為5×5的支撐域。

基于以上導致邊緣模糊的原因分析,本文對POCS算法作出改進:在迭代優(yōu)化前進行邊緣檢測,圖像平坦區(qū)域使用經典的PSF,邊緣區(qū)域的像素使用改進的PSF。

對于高分辨率初始圖像做邊緣檢測,本文使用Canny邊緣檢測算子,基于檢測到的圖像邊緣使用Sobel模板計算其與軸(水平)方向的夾角α,Gx,Gy分別表示水平、垂直方向偏導數(shù)的近似值。夾角α計算公式如下

α=arctan(Gy/Gx)

(8)

當夾角α接近0時,表示邊緣趨近水平方向,需要PSF模板中水平方向權重更大;當α接近π/2時,表示邊緣趨近與垂直方向,需要模板中垂直方向權重更大。并且PSF函數(shù)需要隨夾角改變而自適應變化,因此可以得到如下改進的PSF

exp(-0.5d)

(9)

式中d=|f(x,y)-f(a,b)|為像素f(x,y)與模板中心像素f(a,b)差的絕對值。

3 實驗結果與分析

3.1 評價標準

圖片質量評價指標可以分為兩種,即主觀標準和客觀標準。主觀標準是通過肉眼觀察圖像清晰度來評價,客觀標準本文采用平均絕對誤差(MAE)、峰值信噪比(PSNR)和結構相似度(SSIM)來評價。平均絕對誤差越小,與原圖像差異越小；峰值信噪比越大,重建圖像質量越高；結構相似度越接近1,重建圖像質量越好。計算公式如下

(10)

式中h(i,j)為待評估圖像灰度值,l(i,j)為標準圖像灰度值,m,n為行數(shù)、列數(shù)

(11)

(12)

式中 MSE為原圖像與處理圖像之間的均方誤差,p(i,j)為重建后的圖像,I(i,j)為原始圖像,大小均為M×N。Imax(i,j)為原始圖像中像素的最大值

(13)

式中μa,μb分別為圖像a,b均值,σ為標準差。

3.2 實驗結果分析

3.2.1 實驗一

本實驗選用4幀大小為20×50的字牌圖像,重建出一幀40×100的高分辨率圖像。點擴散函數(shù)為高斯函數(shù),其支撐域大小5×5,標準差為1,迭代次數(shù)設為5次。使用雙線性插值、NEDI、傳統(tǒng)POCS算法、參考文獻[6]中的算法和改進的POCS算法進行重建實驗,重建結果的放大圖像如圖1所示。

圖1 字牌超分辨率重建結果

由圖1可知,雙線性插值、NEDI、傳統(tǒng)POCS算法、參考文獻[6]中的算法和本文算法重建后圖像視覺效果均有提升,圖像更加清晰,細節(jié)更為豐富,但文獻[6]算法相較于傳統(tǒng)POCS算法重建效果反而變差了,本文算法與傳統(tǒng)POCS算法和文獻[6]算法相比,重建效果最好,從圖1重建結果中字母‘p’可以看出,本文算法重建后字母‘p’更加清晰。表1中的數(shù)據(jù)也反映本文算法重建效果最好,平均絕對誤差比傳統(tǒng)POCS算法減少了2.71,結構相似度基本不變,峰值信噪比增加了1.2 dB。

表1 實驗結果客觀指標

3.2.2 實驗二

本實驗采用太赫茲掃描成像系統(tǒng)生成4幀大小為150×100的刀具圖像,重建出一幀300×200的高分辨率圖像。點擴散函數(shù)為高斯函數(shù),其支撐域大小5×5,標準差為1,迭代次數(shù)設為5次。

本文利用雙線性插值、NEDI插值、傳統(tǒng)POCS算法、參考文獻[6]中的算法和改進的POCS算法進行重建實驗,并比較原始圖像、原始圖像重建圖像質量。重建結果如圖2所示。

圖2 超分辨率重建結果

從視覺效果上來說,本文改進的POCS算法與雙線性插值、NEDI插值算法相比,圖像質量有了明顯提升,細節(jié)更加突出,但是本文改進POCS算法與傳統(tǒng)POCS算法相比,視覺效果沒有肉眼可見的提升。但通過放大圖像,展現(xiàn)局部細節(jié),如圖3所示。

圖3 圖像細節(jié)

從圖2中可以看出,本文提出的改進POCS算法較傳統(tǒng)POCS算法和文獻[6]方法有較大提升,圖像細節(jié)更加清晰,還可以從客觀指標表現(xiàn)圖像質量,如表2所示。

表2 實驗結果客觀指標

太赫茲圖像和重建后圖像的平均絕對誤差、峰值信噪比及結構相似度如表2所示。平均絕對誤差反映重建圖像與原太赫茲圖像差異,值越小重建結果越理想。峰值信噪比反映重建后圖像與原太赫茲圖像件像素誤差,其值越大,說明圖像重建效果越好,由表2數(shù)據(jù)可知,本文算法的平均絕對誤差較傳統(tǒng)算法降低了0.96,結構相似度基本不變,峰值信噪比提升了1.02 dB,這說明改進后的POCS算法重建圖像與原圖像更為接近,重建質量更好,細節(jié)更加豐富。

4 結 論

本文使用改進后的POCS算法對太赫茲圖像進行高分辨率重建實驗,與傳統(tǒng)POCS算法相比,該算法重建圖像在清晰度方面有了較為明顯提升。改進后的算法對圖像邊緣部位特殊處理,采用新的邊緣指導插值算法代替雙線性插值來獲取初始圖像；同時改進點擴散函數(shù),對中心像素在邊緣的模板加權,使重建后圖像邊緣保持更好,細節(jié)更為豐富。應用該算法于太赫茲安檢領域,能有效提升對危險目標的檢測識別能力。