陳為龍，郭 黎

(1.四川師范大學數字媒體學院，成都610068;2.湖北民族學院信息工程學院，湖北恩施445000)

1 引言

目前對于空間域的超分辨率重建最為典型的有最大后驗概率(MAP)[1]、迭代反投影(IBP)[2－3]、凸集投影(POCS)[4]等算法，文獻[5 －6]也對超分辨率技術進行了研究。這些方法有效地提高了視頻幀的配準精度，提升了視頻重建效果，但是大多是基于理想的情況進行求解，這與超分辨率圖像重建的實際應用是不完全符合的。在實際應用中，由于配準誤差、噪聲、低分辨率圖像數量不足、退化模型估計誤差等原因，使得超分辨率重建成為一個典型的病態(tài)問題。為了更有效地求解這類病態(tài)問題，通常在求解的過程中引入正則化的方法，利用解的先驗知識構造附加約束，以確保解的存在、唯一和連續(xù)，從而把病態(tài)問題轉成良態(tài)。大多數的正則化重建，正則化系數的估計都靠經驗選取，很可能因為系數選取的不準確造成重建效果不理想。本文提出了一種基于L曲線的自適應正則化系數計算方法，可以通過算法自適應計算出正則化系數，提高了正則化系數選取的準確性。

2 超分辨率重建中的正則化

超分辨率重建是從已知的低分辨率圖像序列{yk，k=1，2，…，m}中求出未知的高分辨率圖像的過程，它是一個不適定的反問題，不滿足Hadamard條件，即解的存在性、解的唯一性和解的連續(xù)性［7－8］。超分辨率重建中的低分辨率觀測模型為

其中，X表示原始的高分辨率圖像向量，y為低分辨率圖像序列向量。將超分辨率重建的目標函數進行簡化成為

其中，‖·‖p為距離范數，高分辨率估計X是經排序后的Nx×1維列向量，低分辨率圖像y是經排序后的Ny×1維列向量。超分辨率重建是一個逆向求解的問題，需要加入一個懲罰函數來抑制噪聲等的影響，加入懲罰函數的方法就是正則化。加入正則化項的超分辨率重建如式(3)所示:

式中，‖AX－Y‖2是數據擬合項，代表數據的相似性;‖γX‖2為正則化項，它在一定程度上控制解的擾動;λ是正則化系數，它用來平衡上式中的第一項(數據擬合項)和第二項(正則化項)在求解中的貢獻，通常為標量。當λ值增加，會使重建圖像的平滑度增大。在低分辨率圖像數量不足、運動估計存在誤差以及存在噪聲等情況下，較大的λ值能夠有效提高重建圖像的質量。但同時，對λ的取值不能過大，否則容易造成重建圖像過于平滑。常用的正則化方法主要有 Tikhonov正則化［9－10］、截斷奇異值分解正則化等方法［11－12］。

3 基于L曲線的自適應時空正則化視頻超分辨率重建

為解決超分辨率重建中的病態(tài)問題，在超分辨率重建中通常引入空間正則化算子來得到較為精確的解，避免重建過程中放大噪聲以及出現空間振鈴現象。對于視頻而言，除了空間信息，視頻各幀在時間上也存在幀間相關信息。因此，本文在視頻超分辨率重建中引入時空聯合正則化算子，通過圖像本身的空間平滑信息和視頻相鄰幀的幀間相關先驗信息的引入，有效提高解的質量。另外，在正則化重建中通過L曲線自適應計算得到最合適的正則化系數，由此得到較好的重建結果。

3.1 時空正則化算子的提出

為了更好地利用視頻的時空聯合特性，提出了時空聯合正則化算子Γ，重建的代價函數如式(4):

式中，Y是輸入的低分辨率視頻幀序列，A是重建的權值矩陣，Γ是正則化算子，X代表重建后的高分辨率視頻序列，λ是時空聯合正則化系數。此目標函數中將L1范數和L2范數聯合起來使用，第一項(數據擬合項)中的L2范數用于加強對于數據重建的真實度;第二項(正則化項)采用L1范數用于提高梯度域的稀疏性，產生在時間和空間上更銳化的邊緣并且避免振鈴效應。其中，時空聯合正則化算子Γ如下:

3.2 基于L曲線的正則化系數的確定

在超分辨率重建過程中引入的正則化方法都包含對數據忠實性的一種折衷考慮，因此，在式(3)中的正則化系數λ是可變的。如何確定一個最優(yōu)的λ就是需要解決的問題。事實上，當λ變化時，關于λ‖γX‖2對于‖AX－Y‖2可以在lg－lg尺度上得到圖形的表示，這種圖形表示的曲線稱為L曲線［13］。特別注意的是，λ是一個沿著這條曲線的參數。

在L曲線水平和垂直部分相交的地方有一個拐點，此處定義了過正則化和欠正則化的合理過渡，即在這兩種極端情況下的一種合理平衡，該拐點處對應的正則化系數λ的值則是最合適的正則化系數的數值。圖1中，在曲線上對應拐點處的最合適的正則化系數用λ*來表示。λ*通常采用如下定義，即用于表示優(yōu)化的λ必須等于下面曲率函數的最大值:

式中，R(λ)=lg‖γX(λ)‖2，S(λ)=lg‖AX － Y‖2。

圖1 L_Curve示意圖Fig.1 The L_Curve diagram

3.3 本文算法的提出

基于前面的分析，本文所提出的基于L曲線的自適應時空正則化超分辨率重建算法步驟描述如下(其中，Framenum是低分辨率視頻的總幀數):

Step 1:令i=1(當前要重建的是低分辨率視頻的第i幀);

Step 2:對當前的i和j(此處的j=i…i+num，是參與此次重建的所有高分辨率幀的編號)進行如下操作;

Step 3:輸入低分辨率視頻中的圖像序列構成向量Y;

Step 4:構造每個高分辨率像素點對每個低分辨率像素點的相對貢獻權值，即構造稀疏矩陣A;

Step 5:構造正則化矩陣Γ;

Step 6:根據 Y、A、Γ，采用3.2 節(jié)的方法計算出當前i對應的最合適的正則化系數λ;并把Y、A、Γ和λ代入式(4)，計算得到X;

Step 7:因為X中包含了num幀高分辨率幀的信息，取第i幀高分辨率幀對應的信息，得到Xi即為重建后的第i幀高分辨率幀(其中，num是參與時空正則化的幀數，num越大，時間正則化越明顯;num越小，時間正則化越弱。本文中取num=2);

Step 8:i=i+1。當i=Framenum時停止，得到重建的高分辨率視頻;否則，繼續(xù)Step 2～Step 8。

4 實驗

為了更好地證明算法的有效性，我們采用如下一系列的實驗來進行驗證。實驗中，我們將基于稀疏矩陣的自適應時空正則化重建的結果分別與雙三次插值、正則化系數過大的重建結果和正則化系數過小的重建結果進行對比。本文實驗平臺為Win7 64位操作系統，Matlab2010版本，英特爾賽揚雙核處理器(2.6 GHz)，4 GB內存。

4.1 模擬視頻序列重建實驗

首先對模擬的多幅低分辨率圖像序列進行超分辨率重建，本實驗使用了字母圖像進行實驗。首先對圖像進行平移和旋轉產生10幅低分辨率觀測圖像，然后對模擬的圖像序列采用大小為7×7、方差為0.5的高斯點擴展函數進行空間模糊，再進行2倍的空間下采樣，然后加入信噪比為40 dB的隨機噪聲，并將它們作為觀測得到的低分辨率圖像序列。對該模擬圖像序列進行2倍超分辨率重建，取出第6幀的重建結果如圖2所示。

圖2 重建視頻的第6幀Fig.2 The 6th frame in reconstructed video sequence

圖2 中(a)為原始高分辨率的圖像，(b)為模擬低分辨率序列的第6幀，(c)為雙三次2倍插值放大的結果，(d)為正則化系數過小的超分辨率重建結果(λ=0.000 5)，(e)是正則化系數過大的超分辨率重建結果(λ=0.003)，(f)為自適應時空正則化超分辨率重建結果(λ =0.001 7)，(g)、(h)、(i)和(j)分別為(c)、(d)、(e)和(f)的局部放大圖。從實驗結果可以看到，雙三次插值和正則化系數過大的重建結果都很模糊，正則化系數過小，導致圖像太過銳化，字母和其他形狀邊緣會有明顯的振鈴效應(字母或其他圖像的邊緣處有明顯的高亮區(qū)域)。采用本文提出的算法計算得到的正則化系數，可以得到更好的重建效果。圖3是重建序列第6幀時得到的L曲線圖及最優(yōu)的正則化系數值。

圖3 重建視頻第6幀時的L曲線Fig.3 The L_Curve of the SR reconstruction(the 6th frame)

4.2 真實視頻序列重建實驗

采用“MissAmerica”視頻序列，圖4中(a)和(b)分別是該視頻序列的第1幀和第12幀。

我們對輸入的低分辨率視頻序列進行2倍的空間重建，效果對比如圖4所示。其中，(c)是對視頻序列第1幀雙線性2倍插值放大的結果，(d)為正則化系數過小的超分辨率重建結果(λ=0.000 8)，(e)是正則化系數過大的超分辨率重建結果(λ=0.003 6)，(f)為自適應時空正則化超分辨率重建結果(λ=0.001 9)，(g)～(j)是對視頻序列第 12幀的實驗結果。

圖4 重建視頻的部分幀Fig.4 Some frames in reconstructed video sequence

從實驗結果可以看到，雙三次插值和正則化系數過大的重建結果都很模糊。正則化系數過小，導致圖像太過銳化，圖像中多處有明顯的振鈴現象。基于L曲線的自適應時空正則化重建結果則明顯好于其他幾種方法。圖5(a)和(b)是重建序列第1幀和第12幀時得到的L曲線圖及最優(yōu)的正則化系數值。

圖5 重建視頻得到的L曲線圖Fig.5 The L_Curve of the SR reconstruction(the 1st and 6th frame)

5 總結

為解決超分辨率重建的病態(tài)問題，提高解的穩(wěn)定性，必須引入正則化的方法。在正則化重建過程中，正則化系數的確定是一個難點:過大的正則化系數會導致重建圖像過度平滑;正則化系數過小，又可能會導致圖像的過度銳化，也不能有效克服噪聲等因素對重建效果的影響。本文根據不同算子所具有的特點，并結合視頻序列的時間特性，在重建過程中引入了時空正則化算子。同時，算法中提出了一種基于L曲線的自適應時空正則化系數計算方法，用以自動計算出最優(yōu)的正則化系數。通過模擬視頻序列和真實視頻序列的重建實驗證明了所提算法的有效性。

使用基于L曲線的方法可以自動計算得到合適的正則化系數，有效地解決了如何確定正則化系數這一難點問題。但因為基于L曲線的方法本質是在數據項和正則化項之間尋找一種數值折衷，是基于數值的客觀分析，再考慮到不同的圖像給人的視覺感受不同等因素，該方法并不能保證對所有的視頻重建都能得到最優(yōu)的視覺效果，但基于L曲線的方法對絕大多數的重建效果都是優(yōu)異的。

[1]Shen H F，Zhang L P，Huang B，et al.A map approach for joint Motion estimation segmentation，and super resolution[J].IEEE Transactions on Image Processing，2007，16(2):479－490.

[2]Irani M，Peleg S.Motion analysis for image enhancement resolution，occlusion，and transparency [J].Journal of Visual Common Image Represent，1993(4):324 －335.

[3]曹聚亮，呂海寶，譚曉波，等.基于實時幀迭代反投影算法的圖像序列超分辨率處理[J].光學技術，2004，30(5):558－563.CAO Ju － liang，LV Hai－ bao，TAN Xiao － bo，et al.Superresolution of image sequences based on real－time frame iterative back － projection algorithm[J].Optical Technique，2004，30(5):558 －563.(in Chinese)

[4]范沖，龔健雅，朱建軍.一種基于去混疊影像配準方法的POCS超分辨率序列圖像重建[J].測繪學報，2006，35(11):358 －363.FAN Chong，GONG Jian － ya，ZHU Jian － jun.POCS Super－resolution Sequence Image Reconstruction Based on Image Registration Excluded Aliased Frequency Domain[J].Acta GeodaetICA et Cartographica Sinica，2006，35(11):358 －363.(in Chinese)

[5]張進，王仲，李雅潔，等.高精度影像測量系統中圖像的超分辨率重建[J].光學精密工程，2011，19(1):168 －174.ZHANG Jin，WANG Zhong，LI Ya － jie，et al.Super－ resolution reconstruction of image in high accuracy image measuring system[J].Optics and Precision Engineering，2011，19(1):168 －174.(in Chinese)

[6]Chen W L，He X H，Song H Y.An improved sequence －to－sequence alignment method combined with featurebased image registration algorithm[J].Journal of Information Science and Engineering，2012，28(3):617 －630.

[7]Borman S.Topics on multiframe superresolution restoration[D].Indiana，IN:University of Notre Dame，2004.

[8]Guo K，Yang X，Zha H，et al.Multiscale semilocal interpolation with antialiasing[J].IEEE Transactions on Image Processing，2012，21(2):615 －625.

[9]Chung J，Eldad N，James N.Numerical methods for coupled super － resolution[J].Inverse Problems，2006，22(4):1261－1272.

[10]商俊國，焦斌亮.多幀圖像的Tikhonov正則化重建算法研究[J].計算機應用研究，2011，28(2):785 －791.SHANG Jun － guo，JIAO Bin － liang.Research on Tikhonov regularization multiframe images reconstruction algorithm[J].Application Research of Computers，2011，28(2):785 －791.(in Chinese)

[11]Vogel C R.Computational methods for inverse problems[M].Philadelphia:SIAM，2002:97－126.

[12]Bovik A C.Handbook of image and video processing[M].London:Academic Press，2009:141 －160.

[13]王宏志，趙爽，胡艷君.基于L－曲線正則化的MAP超分辨率圖像復原[J].吉林大學學報(理學版)，2008，46(2):275 －278.WANG Hong － zhi，ZHAO Shang，HU Yan － jun.Super－resolution on Image Resolution with MAP Based on L－ Curve[J].Journal of Jilin University(Science Edition)，2008，46(2):275 －278.(in Chinese)