席志紅，海濤,2

(1.哈爾濱工程大學 信息與通信工程學院，黑龍江 哈爾濱 150001；2.南陽師范學院 物理與電子工程學院，河南 南陽 473000)

1 引言

圖像放大是一種提高圖像分辨率的處理方法，又稱單幅圖像超分辨率重建，具有較高的實用價值。傳統(tǒng)線性圖像放大方法如：最近鄰域方法、雙線性插值方法、雙三次插值方法具有運算速度快的優(yōu)點，缺點是圖像高頻即邊緣部分重建效果較差[1]。非線性放大方法能夠較好地重建圖像邊緣部分，如基于邊緣插值的圖像放大方法[2]。最近，正則化方法廣泛用于圖像非線性放大，如采用變換域正則化方法實現(xiàn)圖像放大[3]，采用偏微分方程直接在時域實現(xiàn)圖像放大[4,5]，前者的處理圖像不考慮抗混疊濾波器，后者的處理圖像考慮抗混疊濾波器?？疾齑幚淼头直媛蕡D像獲取模型中是否有抗混疊濾波器，對應的放大算法也可分為2種情況，其中，對光電轉換設備獲取圖像作為低分辨率圖像進行放大，必須考慮抗混疊濾波器，如照相機的點擴散函數(shù)(PSF，point spread function)相當于抗混疊濾波器，本文放大算法的處理圖像考慮抗混疊濾波器。

Guichard F提出連續(xù)圖像退化模型[1,5]：v=h*u(i′,j′)。其中，u 是原始圖像，v是得到的低分辨率圖像，h為低通抗混疊濾波器，(i′,j′)為低分辨率圖像的量化操作。用一個離散的高分辨率圖像 u(i,j)作為連續(xù)圖像u的近似，h(i,j)作為h的離散化處理，上述模型變?yōu)槿缦码x散模型。

其中，↓為下采樣。該模型沒有考慮噪聲，加上噪聲的低分辨率圖像模型為

用字典排序方法將 v(i′,j′)、u(i,j)、n(i′,j′)分別排列成列向量，用v、u、n表示，同樣方法H表示包含下采樣操作M的h(i,j)，可分別得到2種模型的矩陣表示方法：v=Hu，v=Hu +n。

近年來，采用偏微分方程方法進行圖像放大取得了較好的放大效果[4]，這些算法針對無噪模型設計，沒有考慮式(1)加噪聲的退化圖像模型。復擴散模型具有易于得到擴散圖像的二階導數(shù)的特點，利用圖像的二階導數(shù)耦合沖激濾波器，具有增強邊緣的同時保持圖像中斜坡結構的優(yōu)點[6,7]。本文改進了復擴散模型在擴散初期邊緣和細節(jié)為線性擴散的缺點，并用于圖像放大。本文算法根據(jù)像素的局部方差自適應決定擴散參數(shù)，消除平滑部分噪聲，保持邊緣，同時使用自適應沖激濾波器增強邊緣。

2 復擴散耦合沖激濾波器

Gilboa G和 Sochen N提出復擴散[6]

其中，arctan()為反正切函數(shù)，Im()為取虛部運算，c0、α 為正實數(shù)，θ的取值保證實部為正，λ=|λ|ejθ,?π/2＜θ＜π/2，λ1為正數(shù)。式(4)中，在梯度方向以|λ|線性正向擴散，雖然可以保持斜坡結構，邊緣仍被模糊。為此Ludusan C提出混合沖激濾波器[9]，本文提出了另一種方案解決此問題，并用于圖像放大。

3 基于復擴散耦合沖激濾波器的圖像放大

基于偏微分方程的圖像放大算法[4～6]先對退化圖像進行線性插值放大作為初始圖像，進行非線性擴散的同時采用不同方法實現(xiàn)約束模型。非線性處理的任務是增強被模糊的初始圖像邊緣，光滑由于初始圖像放大而造成邊緣的鋸齒效應，實現(xiàn)約束模型的作用是限制得到的圖像逼近真值圖像。本文對無噪聲圖像放大和有噪聲圖像放大問題進行討論，采用復擴散耦合沖激濾波器的偏微分方程方法增強邊緣和雙正交映射實現(xiàn)約束模型。

3.1 改進復擴散模型的無噪放大算法

放大圖像無噪聲或者噪聲較小時，改進的復擴散放大算法如式(5)所示。

σw2(i,j)是以(i,j)鄰域的局部方差，w為窗口大小。k針對圖像特征自適應改變：細節(jié)邊緣部分局部方差較大，k為較小值；平滑部分局部方差較小，k為較大值。G是H關于下采樣M的雙正交濾波器矩陣表示，即G滿足HG=I。式(5)右邊的前三項為正則項，對圖像邊緣和細節(jié)進行非線性增強，最后一項為保真項，對放大圖像進行雙正交映射操作，確保放大圖像滿足無噪圖像退化模型。式(5)中第一項為局部曲線梯度方向的擴散，d1(Im(u))為改進的擴散系數(shù)，由式(3)可知，d1(Im(u))消除了擴散時間對式(2)中d(Im(u))的影響，使式(5)在局部曲線梯度方向一直保持非線性擴散。式(5)第二項為沿局部曲線切線方向的擴散，擴散系數(shù)λ1為常數(shù)，用來平滑邊緣放大產生的鋸齒效應。式(5)第三項為基于復擴散的沖激濾波器對邊緣進行銳化，相對于式(4)的復擴散沖激濾波器，使用代替消除了擴散時間對沖激濾波器的影響。最后一項為采用雙正交濾波器G的保真項，分步實現(xiàn)正則項和保真項，可保證得到的圖像完全滿足約束模型[10]。

3.2 自適應非線性復擴有噪放大算法

對于加噪聲的圖像模型如式(1)，偏微分方程放大算法[4～6]很少考慮噪聲，利用復擴散在擴散開始時線性擴散具有較強的去除噪聲特點，放大的同時提高對噪聲的頑健性，放大算法如式(6)所示。

式(6)第三項為改進的沖激濾波器，其強度受局部方差約束而自適應改變，即使在擴散初始階段，邊緣和細節(jié)部分也能夠自適應地增強。Dong Y Q采用置信區(qū)間方法給出噪聲的最大局部方差估計Bw,m=τσ2(w為局部方差的窗口，m為w內像素總數(shù)，σ2為退化圖像真實噪聲方差)，τ值與m和圖像像素總數(shù)有關[11]。退化圖像像素局部方差大于Bw,m時，該像素以概率P是細節(jié)或邊緣部分，給出了P=0.8558時τ的具體數(shù)值曲線，m=7×7時，τ ≈ 2.25。由于本文中σ2每次擴散后發(fā)生變化，用最小局部方差近似σ2，實際上σ2要略小于min(σw2(i,j))，因此τ值是本文β取值的上限，在認為最小局部方差所在窗口內只有噪聲的情況下，可以得到β的取值下限為1，因此1≤β≤2.25。β越大則判定細節(jié)和邊緣的準確性越高，同時漏判的細節(jié)和邊緣也越多，β越小準確性越低，同時漏判也越少，噪聲誤判為細節(jié)增多，本文β取值為1.5。需要指出，式(6)中第一項在擴散初始時刻為線性擴散，在一定程度上彌補β取值較小帶來的缺陷。式(6)中第四項為保真項，作用為實現(xiàn)約束模型，λ0取決于噪聲方差，其他擴散系數(shù)也受方差影響。

4 自適應復擴散耦合自適應沖激濾波器圖像放大算法實現(xiàn)

總結對無噪圖像和有噪圖像放大算法的具體實現(xiàn)。

對無噪聲圖像放大，本文對正則項和雙正交映射操作分步執(zhí)行，其中，由H得到關于采樣矩陣雙正交的濾波器G，滿足HG=I。迭代實現(xiàn)以u0為初始圖像，即 u0=(((v)↑M)﹡G)，迭代實現(xiàn)如式(7)所示。

其中，最后的式子為雙正交映射實現(xiàn)，結合初始圖像和每次迭代的雙正交映射操作，可以保證得到的圖像即擴散結果的實部滿足約束條件，即 v(i′,j′)=(h(i,j)﹡u(i,j))↓M，矩陣表示：v=Hu。用數(shù)學歸納法證明如下。

n=0時，u0=u0=Gv，

由HG=I，Hu0=H(Gv)=HGv=v

假設Hun=v成立，證明n=n＋1也成立。

應用雙正交條件HG=I，

H(real(un+1))=H{real[un+1?HG(H(real(un+1))?v)]}=H(real(un+1))?HG(H(real(un+1)))+HGv=v

證畢。

式(7)中的d1(Im(u))如式(5)所示，4倍放大時參數(shù)取值為c0=0.5，α=1，θ≤π/10，對于無噪圖像(σ≤1)，d1(Im(un))中|λ|=λ1∈[0.02,0.05]可以取得較好的效果。

有噪聲圖像放大算法迭代實現(xiàn)如式(8)所示，同樣以 u0為初始圖像，即 u0=(((v)↑M)·G)。

4倍放大時對應參數(shù)設定為c0=0.5，α=1，θ≤π/10，λ0、λ1和 d2(Im(un))中的 λ受退化圖像噪聲方差 σ2約束(σ≥1)：|λ|=λ1∈[0.02σ,0.05σ]，噪聲越大，正則項擴散系數(shù)越大，λ0∝1/σ2。由圖 1可以看出，局部方差窗口越大，包含噪聲的平滑部分局部方差越小，同時邊緣部分變粗，因此需要選擇合適的窗口值，本文選擇窗口大小為7×7。2種算法中 a+b≤1,本文取 a=0.25,b=0.75，采用諾曼邊界條件，Δt是時間步長，n是迭代次數(shù)。Araújo A證明了復擴散穩(wěn)定性條件[12]，Bernardes R證明了采用變步長復擴散滿足式(8)中Δt的穩(wěn)定性[13]。

圖1 不同窗口尺寸局部方差

5 實驗結果及分析

為了與其他方法比較，設計以下實驗方案：選擇高分辨率無噪圖像作為參考圖像，圖2所示為本文仿真的參考圖像（方框部分顯示放大效果），對參考圖像進行抗混疊低通濾波和下采樣操作，對得到的低分辨率圖像進行放大和加噪聲后放大?？够殳B濾波器h設定為一個σ0=0.5的3×3高斯低通模板(實際的h由圖像獲取硬件特性決定)[14]。

h由一維濾波器h1=(0.1063,0.7874,0.1063)的張量積得到，h1關于2倍下采樣雙正交濾波器為[10]g1=(?0.0339,0.2511,0.5656,0.2511,?0.0339)，張量積可得二維濾波器g，矩陣表示為G。對得到的低分辨率圖像進行放大處理，仿真中本文算法參數(shù)為：c0=0.5，α=1，θ=π/10，|λ|=λ1=0.035，4 倍放大擴散時間為2.5 s，為了保證參數(shù)的一致性，16倍放大采用兩次4倍放大級聯(lián)實現(xiàn)，每次參數(shù)不變。最近，基于模型的圖像放大算法效果較好的有Aly等提出的基于改進的總變差(TV,total variation)算法[15](簡稱AD算法)、Roussos等提出的算法簡稱RM算法[4]、Getreuer P提出的放大算法[16](簡稱PG算法)和Xi等提出的放大算法[10](簡稱XH算法)。仿真實驗中為了保證比較的公平性，AD算法、XH算法直接采用退化濾波器h，PG算法中參數(shù)PSF取[0.135,0]，是h的一維濾波器h1對h1(2)歸一化的結果，因此也是同一退化濾波器，RM算法的特點是要求放大算法中的h方差要小于真實退化濾波器的方差，因此取σ=0.45，略小于本文退化濾波器h方差0.5。AD的其他參數(shù)λ=0.05，error=0.01Δt=0.1，XH算法采用文獻[10]中的參數(shù)數(shù)值。

圖2 參考圖像

圖3是部分Lena圖像局部圖像的4倍放大。觀察圖像帽檐和帽子與臉部相接的 3條邊緣，AD算法圖中3條邊緣被模糊，邊緣的橫向過渡帶相對于參考圖像被拉長，RM算法邊緣本身雖然有較好的效果，但在強邊緣的鄰域卻出現(xiàn)過增強的陰影形狀，PG算法邊緣存在稍微的模糊效果，XH算法對邊緣模糊有一定的改善，明顯看出本文算法能夠較好地逼近原始圖像的對應邊緣，邊緣定位最好。

圖4為部分Peppers圖像的局部圖像16倍放大，觀察邊緣部分，AD算法得到的圖像邊緣模糊更明顯，RM算法得到的圖像強邊緣陰影形狀更明顯。PG算法結果中強邊緣附近出現(xiàn)雜亂的虛假紋理，這主要因為PG算法采用小波濾波器組實現(xiàn)約束條件，當對邊緣的高頻部分進行較多補償時（16倍放大），小波濾波器組對高頻部分的相位錯位造成的。本文算法的16倍放大結果的邊緣效果也是最好的，圖3中在其他細節(jié)部分如眼睫毛的放大效果，本文算法也是最好的，進一步驗證了本文算法具有較好的性能。

圖3 4倍部分Lena圖像的局部圖像放大

圖5是在不加噪聲和加σ=10的零均值高斯噪聲情況下，使用圖2作為參考圖像得到的不同算法的峰值信噪比(PSNR,peak signal to noise ratio)和平均結構相似性測度(MSSIM,mean structural similarity measure)[17]。

PSNR在平方意義上反映放大圖像和參考圖像的誤差，其定義為式(9)所示，MSSIM 側重于反映參考圖像和放大圖像在邊緣細節(jié)的誤差。圖5(a)和圖5(c)在無噪聲情況下，本文算法具有最高的PSNR，本文算法中包含較多細節(jié)圖像的 MSSIM 稍小于RM算法，主要由于RM算法放大的初始圖像是頻域零插值方法得到，能夠保留退化圖像的全部細節(jié)部分，但強邊緣存在由于吉普斯效應增強后造成的波紋陰影；而平滑圖像如部分Peppers的MSSIM本文算法則最高。

圖4 部分Peppers圖像16倍放大比較

圖5 算法峰值信噪比和平均結構相似性測度比較

圖6為退化下采樣后的圖像加σ=10的零均值高斯噪聲后，進行4倍放大的結果。PG算法和RM算法在平滑的窗框上出現(xiàn)錯誤的紋理，對噪聲圖像放大的視覺效果都比較差，PG算法邊緣較RM算法受噪聲影響小一些。AD算法結果顯示有一定的去除噪聲能力，但邊緣也被模糊。XH算法和本文算法的結果最接近，但還是弱于本文算法去除噪聲能力，并且其邊緣效果也不如本文算法。圖5(b)和圖 5(d)為峰值信噪比和平均結構相似性測度的比較，可見本文算法無論在視覺效果還是峰值信噪比和平均結構相似性測度比較上本文算法都是最好，反映了本文算法在加噪聲情況下具有較好的性能。

圖6 局部Flower噪聲(σ=10)圖像放大

分析XH算法原理是低梯度部分正向擴散，中高梯度部分逆擴散，因此隨著噪聲強度的增強，其去噪性能必定減弱，因此，σ=15的高斯噪聲圖像進行仿真比較如圖7所示，可以看出XH方法抗噪能力明顯下降，而本文算法可以較好地去除噪聲，同時保持較強邊緣，圖7(b)驗證了復擴散可以較好地保持斜坡結構并去除噪聲。

圖7 σ=15的噪聲圖像放大

6 結束語

本文提出了基于非線性復擴散耦合復沖激濾波器的圖像放大算法，無噪聲放大算法和有噪聲放大算法都具有較好的效果，由于采用復擴散沖擊濾波器，對邊緣的增強效果較好，解決了邊緣錯位問題。無噪聲圖像放大算法中，本文采用梯度方向改進的非線性復擴散，在整個擴散過程中均為非線性擴散，同時受局部方差約束，能夠較好地保持邊緣和小邊緣，沖激濾波器的幅度與二階導數(shù)Δu有關，有效地銳化了邊緣。算法引入了雙正交映射，使得放大圖像的視覺效果更好，并且相對于其他算法有較高的峰值信噪比。有噪聲圖像放大算法以局部方差對擴散系數(shù)和沖激強度進行自適應約束，在消除噪聲的同時增強邊緣；擴散初始階段的近似線性擴散能夠去除噪聲但同時平滑了微小邊緣，局部方差的自適應約束處理方法能夠在一定程度上彌補這一不足。需要指出的是，本文算法采用自適應步長擴散，為保證方法的穩(wěn)定性，本文采用的擴散步長Δt相對于臨界步長有較大的富裕量。確定一個合適的擴散時間是放大算法在實際應用中的一個重要問題，對于4倍圖像放大的擴散時間，本文設定參數(shù)取2～3 s是合適的，對于任意倍數(shù)放大擴散時間的閉式確定是本文算法的一個難題，是今后工作改進的方向。

[1]MALGOUYRES F,GUICHARD F. Edge direction preserving image zooming: a mathematical and numerical analysis[J]. Journal of Numerical Analysis,2001,39(1):1-37.

[2]LI X,ORCHARD M T. New edge-directed interpolation[J]. IEEE Transactions on Image Processing,2001,10(10):1521-1527.

[3]MALLAT S,YU G S. Super-resolution with sparse mixing estimators[J]. IEEE Transactions on Image Processing,2010,19(11):2889-2900.

[4]ROUSSOS A,MARAGOS P. Reversible interpolation of vectorial images by an anisotropic diffusion-projection PDE[J]. International Journal of Computer Vision,2009,84(2):130-145.

[5]BELAHMIDI A,GUICHARD F. A partial differential equation approach to image zoom[A]. Proceedings of International Conference on Image Processing[C]. Washing DC,USA,2004.649-652.

[6]GILBOA G,SOCHEN N,ZEEVI Y Y. Image enhancement and denoising by complex diffusion processes[J]. IEEE Transactions Pattern Analysis and Machine Intelligence,2004,26(8):1020-1036.

[7]GILBOA G,SOCHEN N,ZEEVI Y Y. Zeevi,regularized shock filters and complex diffusion[A]. European Conference on Computer Vision 2002,Lecture Notes in Computer Science[C]. Springer Berlin Heidelberg,2002. 399-413.

[8]OSHER S,RUDIN L. Feature-oriented image enhancement using shock filters[J]. SIAM Journal on Numerical Analysis,1990,27:919-940.

[9]LUDU?AN C,LAVIALLE O,TEREBE? R. Image enhancement using hybrid shock filters[A]. 2010 IEEE International Conference on Automation Quality and Testing Robotics (AQTR)[C]. 2010.1-6.

[10]席志紅，海濤，肖易寒.多尺度模型結合改進前向后向擴散的圖像放大[J]. 計算機輔助設計與圖形學學報，2012,24(9):1197-1203.XI Z H,HAI T,XIAO Y H. Image enlargement based on multi-scale model coupling of the improved forward-and-backward diffusion[J].Journal of Computer-Aided Design and Computer Graphics,2012,24(9):1197-1203.

[11]DONG Y Q,HINTERMüLLER M,MONSERRAT RINCON-CAMA -CHO M. Automated regularization parameter selection in multi-scale total variation models for image restoration[J]. Journal of Mathematical Imaging and Vision,2011,40(1):82-104.

[12]ARAúJO A,BARBEIRO S,SERRANHO P. Stability of finite difference schemes for complex diffusion processes[J]. SIAM Journal on Numerical Analysis,2012,50(3):1284-1296.

[13]BERNARDES R,MADURO C,SERRANHO P. Improved adaptive complex diffusion despeckling filter[J]. Optics Express,2010,18(23):24048-24059.

[14]ALY H A,DUBOIS E. Specification of the observation model for regularized image up-sampling[J]. IEEE Trans on Image Process,2005,14(5):567-576.

[15]ALY H A,DUBOIS E. Image up-sampling using total-variation regularization with a new observation model[J]. IEEE Transactions on Image Processing,2005,14(10):1647-1659.

[16]GETREUER P ,STENCILS C. Total variation along curves for adaptive image interpolation[J]. SIAM J on Imaging Sciences,2011,4(3):954-979.

[17]WANG Z,BOVIK A C,SHEIKH H R. Image quality assessment:from error visibility to structural similarity[J]. IEEE Trans on Image Processing,2004,13(4):600-612.