李春宇， 安海彬， 楊宇紅

(1.中國(guó)人民公安大學(xué)刑事科學(xué)技術(shù)系，北京 100038;2.北京市公安局刑偵總隊(duì)，北京 100000)

0 引言

最近，圖像插值或者單幀超分辨率在刑事圖像處理、計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形領(lǐng)域逐漸成為研究的熱點(diǎn)。常用的圖像插值算法，例如最近鄰、雙線性和雙三次插值等，雖然速度較快，但很難消除放大后圖像中存在的鋸齒狀輪廓和過(guò)度平滑等現(xiàn)象。因此，研究人員提出了很多改進(jìn)算法，參見(jiàn)文獻(xiàn)［14］。顯然，這些算法是假設(shè)在自然的圖像中，高頻分量不是等概率的，如果低頻分量是已知，那么有一個(gè)很好的算法能夠得出比使用更高分辨率的傳感器更好的重建圖像。出于這個(gè)原因，一些研究人員提出了基于訓(xùn)練集的圖像復(fù)原的統(tǒng)計(jì)模型。像文獻(xiàn)［2］及文獻(xiàn)［5］中提出的方法，根據(jù)本身的邊緣外觀分類，依據(jù)分類結(jié)果運(yùn)用不同的插值策略。文獻(xiàn)［6，9－10］同樣是基于訓(xùn)練集的超分辨率方法，文獻(xiàn)［8］中提出了一種不使用訓(xùn)練圖像的方法，而基于學(xué)習(xí)的方法需要使用先驗(yàn)信息，雖然圖像的重建效果較好，但是計(jì)算量非常高。

在實(shí)際應(yīng)用中，逼真的高頻重建并非唯一要考慮的問(wèn)題，還需要考慮插值的方法以及計(jì)算效率，尤其是在實(shí)時(shí)應(yīng)用的情況下(即提高視頻流的視覺(jué)質(zhì)量)?？焖俪直媛史椒ㄔ噲D獲得比簡(jiǎn)單的多項(xiàng)式插值更好的效果，它通常不是基于統(tǒng)計(jì)模型的，而是利用自身的插值函數(shù)來(lái)估計(jì)低分辨率的圖像邊緣。最簡(jiǎn)單的邊緣自適應(yīng)方法［3－4，13］可以很容易地達(dá)到實(shí)時(shí)處理，但是它重建出來(lái)的圖像看起來(lái)并不自然，并經(jīng)常引入噪聲。另一方面，更有效的非迭代自適應(yīng)邊緣檢測(cè)方法，像新的邊緣導(dǎo)向插值(NEDI)［11］或改進(jìn)NEDI(iNEDI)［1］，其計(jì)算復(fù)雜性甚至比許多基于學(xué)習(xí)的方法還要高。

在本文中，我們提出新的圖像實(shí)時(shí)放大增強(qiáng)算法，能夠獲得較為逼真的放大圖像，并且保持圖像中的邊緣和紋理特征。該方法首先采用雙線性插值的方法將原始圖像進(jìn)行放大，然后利用圖像的曲率約束(即沿邊緣方向的圖像亮度值的二階導(dǎo)較低，但垂直邊緣方向的圖像亮度值的二階導(dǎo)變化劇烈)來(lái)對(duì)插值后的圖像進(jìn)行迭代處理，細(xì)化那些通過(guò)雙線性插值得到的像素點(diǎn)的亮度值。最后，考慮到多次迭代細(xì)化會(huì)對(duì)圖像造成一定程度的模糊，因此，在迭代過(guò)程結(jié)束后，我們通過(guò)拉普拉斯算子對(duì)圖像進(jìn)行銳化處理，以進(jìn)一步提高圖像的視覺(jué)質(zhì)量。通過(guò)大量的實(shí)驗(yàn)結(jié)果表明，本文所提出的方法不僅視覺(jué)效果及峰值信噪比(PSNR)要高于傳統(tǒng)的雙三次插值及NEDI方法，同時(shí)計(jì)算復(fù)雜度也要遠(yuǎn)低于NEDI方法。處理增強(qiáng)后，雖然PSNR值有所下降，但圖像的視覺(jué)質(zhì)量得到了進(jìn)一步的提高。

1 NEDI方法回顧

我們著重分析“邊緣”插值算法，每一次插值，大約倍增圖像的大小，通過(guò)復(fù)制原始像素(索引i和j)到放大的矩陣中(索引2i和2j)，然后填補(bǔ)這些空白點(diǎn)，通過(guò)比較鄰域像素的加權(quán)平均值與本身的邊緣檢測(cè)得出的結(jié)果來(lái)獲得這些空白值。這種算法是眾所周知的數(shù)據(jù)依賴型三角網(wǎng)［13］和 NEDI［11］，但類似的技術(shù)在其他文獻(xiàn)中也有所描述［3－4，7］。

在這些方法中，高分辨率的點(diǎn)通常分兩個(gè)步驟填補(bǔ)：第一，由兩個(gè)奇數(shù)值索引的像素(如圖1中較暗的像素)由四個(gè)對(duì)角鄰域的加權(quán)平均值計(jì)算得出(對(duì)應(yīng)于原始圖像的像素);第二，其余的空像素點(diǎn)以相同的規(guī)則進(jìn)行四鄰域加權(quán)平均值(在水平和垂直方向)填充。

例如，對(duì)于第一步，通常插值計(jì)算為：

其中，插值權(quán)重向量 α=(α0，α1，α2，α3)= 的值可以通過(guò)不同的統(tǒng)計(jì)回歸方法來(lái)進(jìn)行估計(jì)。例如，在NEDI方法［11］中，權(quán)重的計(jì)算是假設(shè)圖像局部方差(即向量α)在一個(gè)大鄰域內(nèi)近似是常量。在這樣的假設(shè)下，可以通過(guò)最小二乘算法求解一個(gè)超定方程來(lái)獲得這個(gè)系數(shù)。用這種方法對(duì)圖像插值，在視覺(jué)上可以比那些先前所描述的方法獲得更好的效果。然而，即使只在圖像的邊緣處應(yīng)用該規(guī)則，而且在別處換成簡(jiǎn)單的線性插值［1，11］，這個(gè)過(guò)程的計(jì)算復(fù)雜度也相當(dāng)高。并且對(duì)于圖像中的紋理區(qū)域，該假設(shè)并不成立，因此采用NEDI方法來(lái)對(duì)紋理圖像插值，往往會(huì)對(duì)插值后的圖像帶來(lái)很大的失真。

圖1 基于4鄰域加權(quán)平均的兩步插值

2 基于圖像曲率約束的快速插值增強(qiáng)算法

2.1 算法概述

基于圖像曲率的快速插值算法(Curvature-based Fast Interpolation Algorithm，CBFI)的思想非常簡(jiǎn)單：即前面所述的“兩步填充法”，用一個(gè)簡(jiǎn)單的規(guī)則計(jì)算新的像素值之后(在我們的例子中，采取的是雙線性插值算法)，我們?cè)诿總€(gè)新像素的位置定義了一個(gè)能量函數(shù)，當(dāng)二階導(dǎo)數(shù)是常數(shù)時(shí)，它是局部極小值。然后，我們?cè)诓粩嗟倪^(guò)程中，試著減少整幅圖像的能量函數(shù)值，來(lái)修改插值點(diǎn)的像素值。在第二次插值步驟之后，重復(fù)相同的過(guò)程。

首先第一步，應(yīng)用雙線性插值算法進(jìn)行第一次初始化;然后，在一個(gè)迭代的過(guò)程中，修改通過(guò)雙線性插值得到的像素點(diǎn)的亮度值，以降低能量函數(shù)的函數(shù)值。加入此能量函數(shù)的作用是為了計(jì)算每一個(gè)插值像素點(diǎn)的貢獻(xiàn)，根據(jù)本身的二階導(dǎo)數(shù)的連續(xù)性和其他所需圖像屬性所能達(dá)到的最低數(shù)量。通過(guò)改變插值點(diǎn)的亮度值，這些插值點(diǎn)組成部分的總和總的來(lái)說(shuō)會(huì)減少。雖然整個(gè)過(guò)程的計(jì)算復(fù)雜度較高，但是由于我們采用的是一個(gè)貪婪算法，它僅通過(guò)迭代求取每個(gè)像素點(diǎn)的局部最小值。因此，當(dāng)初值選擇較為合理時(shí)，算法的收斂速度是很快的。

總體來(lái)說(shuō)，我們所采用的基于圖像曲率最小的能量泛函由三項(xiàng)構(gòu)成，即

其中，Pc、Pe和Pi分別反映了圖像在每個(gè)像素位置(2i+1，2j+1)的“曲率的連續(xù)性”，“曲率的強(qiáng)度”以及“各向同性的平滑程度”。下面我們來(lái)具體介紹每一個(gè)約束項(xiàng)的形式。

2.2 算法的實(shí)現(xiàn)細(xì)節(jié)

曲率的連續(xù)性反映為與當(dāng)前像素點(diǎn)相鄰的像素點(diǎn)的二階導(dǎo)數(shù)的變化量，因此約束項(xiàng)Pc的定義如下：

此處，I11和I22是二階方向?qū)?shù)的局部近似值，定義如下：

這個(gè)能量組將二階導(dǎo)數(shù)的局部方向變化做總和。權(quán)重ωi設(shè)置為1，在相應(yīng)方向上的一階導(dǎo)數(shù)不大于閾值T，否則為0。采用這種帶閾值的處理方式，可以避免將圖像中出現(xiàn)的強(qiáng)烈變化的間斷點(diǎn)平滑掉。當(dāng)局部灰度級(jí)變化很小時(shí)，二階導(dǎo)數(shù)可以被近似為沿曲率剖面方向的亮度值的變化。因此，該能量函數(shù)可以認(rèn)為是對(duì)圖像沿曲率變化方向的平滑。

優(yōu)化能量函數(shù)Pc的過(guò)程是降低了曲率的總和，雖然能夠有效地消除圖像中的振鈴等偽像，但往往會(huì)導(dǎo)致圖像的過(guò)度平滑。因此，我們?cè)诳傮w能量函數(shù)中加入第二項(xiàng)能量泛函Pe，通過(guò)該項(xiàng)來(lái)提高圖像中二階導(dǎo)數(shù)的絕對(duì)值，從而生成更清晰的圖像。Pe的定義如下：

另一個(gè)我們測(cè)試用來(lái)減少偽像的能量函數(shù)項(xiàng)與迭代平滑有關(guān)。該項(xiàng)由［12］推導(dǎo)得出，文中提出了一個(gè)等照度的迭代平滑法，與 I11，I22，I12，I1，I2的二階方向?qū)?shù)作為局部近似。我們采用的相關(guān)的能量函數(shù)的形式為

I11和I22按照先前的公式計(jì)算，其余方向?qū)?shù)的計(jì)算公式如下：

通過(guò)使用前面所提出的總體能量函數(shù)，第一步迭代插值校正(調(diào)整兩個(gè)奇值的像素值)最終實(shí)現(xiàn)如下簡(jiǎn)單的貪婪最小化過(guò)程：原始像素位置(2i，2j)處替換，并且在位置(2i+1，2j+1)處插入粗插值后，計(jì)算每一個(gè)新像素點(diǎn)的能量函數(shù)P(2i+1，2j+1)和兩個(gè)修正后的能量函數(shù) P+(2i+1，2j+1)和P－(2i+1，2j+1)，即能量函數(shù)值通過(guò)加上或減去一個(gè)很小的δ到局部圖像值I(2i+1，2j+1)中。然后將與較低能量函數(shù)值相應(yīng)的亮度值，賦值到該像素中。此過(guò)程反復(fù)迭代多次，直到在當(dāng)前的迭代修改后的像素總和，比固定的閾值低或者達(dá)到迭代的最大數(shù)量為止。迭代次數(shù)也可以是固定值，以適應(yīng)計(jì)算復(fù)雜的時(shí)序約束。

2.3 銳化后處理

通過(guò)采用前面所述的能量泛函的約束，使得我們所提出的CBFI算法能夠很好地保持圖像中的邊緣信息，并能消除由于雙三次立方插值帶來(lái)的一些圖像失真。但是，由于迭代次數(shù)以及約束項(xiàng)中的平滑作用，不可避免地會(huì)帶來(lái)一定程度的圖像模糊。因此，對(duì)采用CBFI插值后得到的放大圖像進(jìn)行一定程度的銳化也是非常必要的。

本文中采用一種較為成熟的圖像銳化算法，即提升Laplace濾波器，來(lái)對(duì)CBFI插值后的圖像進(jìn)行銳化。設(shè)輸入圖像為f(x，y)，銳化后的輸出圖像g(x，y)可通過(guò)下式計(jì)算得到：

圖2 采用不同方法放大的結(jié)果比較

其中：(a)最近鄰插值，圖像存在明顯的鋸齒;(b)雙三次插值，雖然鋸齒減弱了，但出現(xiàn)了振鈴現(xiàn)象;(c)NEDI插值，邊緣雖然較好，但紋理區(qū)失真較嚴(yán)重;(d)CBFI插值，邊緣和紋理都取得不錯(cuò)的效果，但圖像略有模糊;(e)對(duì)(d)中的結(jié)果采用銳化后處理得到的結(jié)果，圖像中的細(xì)節(jié)有了明顯的增強(qiáng)。

3 實(shí)驗(yàn)及結(jié)果分析

為了驗(yàn)證本文所提出的圖像放大算法的有效性與實(shí)用性，本文將分別對(duì)仿真圖像和實(shí)際圖像進(jìn)行兩組實(shí)驗(yàn)比較。參與測(cè)試的算法包括：雙三次插值和主流的保持邊緣的插值方法(NEDI［11］)，本文提出的CBFI方法以及采用銳化后處理的CBFI方法，記為En-CBFI方法。進(jìn)行比較的圖片文件均為三通道的彩色圖像，每個(gè)通道的色彩深度都是8位。在之前的所有的公式中，我們認(rèn)為灰度圖像，彩色圖像都可以以同樣的方式放大，通過(guò)在每個(gè)顏色通道單獨(dú)的重復(fù)程序操作，或者通過(guò)計(jì)算圖像亮度插值系數(shù)，他們還可被用于其他顏色通道，減少計(jì)算成本和避免色彩失真。

3.1 仿真圖像

在仿真實(shí)驗(yàn)中，我們使用大量具有代表性的自然圖像，如建筑物、動(dòng)物、自然景物等，進(jìn)行了相關(guān)實(shí)驗(yàn)。在仿真實(shí)驗(yàn)中，我們通過(guò)下采樣原始圖像，然后用不同的方法放大它們，再和原有的圖像進(jìn)行比較，通過(guò)計(jì)算它們的峰值信噪比(PSNR)來(lái)對(duì)不同的算法進(jìn)行比較。參與仿真的圖像如圖3中所示，我們對(duì)圖像進(jìn)行2倍和4倍下采樣后作為輸入圖像，再對(duì)輸入圖像放大后與原始圖像進(jìn)行比較，比較結(jié)果匯總在表1中。

圖3 參與實(shí)驗(yàn)比較的4幅圖像，從左往右依次記為：F-16、Lena、Pepper和Boats

表1 通過(guò)約2×或者4×因子與參考圖像的放大圖像的比較獲得圖像峰值信噪比(dB)

表1中給出了這些方法的比較結(jié)果。從中可以發(fā)現(xiàn)，對(duì)于大部分的圖像在不同的放大倍數(shù)下而言，CBFI算法的PSNR值要高于雙三次插值算法和NEDI算法。同時(shí)在計(jì)算時(shí)間上，CBFI也要遠(yuǎn)少于NEDI算法。雖然En-CBFI算法在PSNR指標(biāo)方面不如CBFI算法，但是從視覺(jué)質(zhì)量上的比較中可以發(fā)現(xiàn)En-CBFI算法要優(yōu)于CBFI算法。在圖4中給出了對(duì)于圖3中圖像所示區(qū)域的細(xì)節(jié)部分放大4倍后，圖像視覺(jué)質(zhì)量的比較。從圖中可以發(fā)現(xiàn)，采用CBFI及En-CBFI算法放大后得到的圖像要明顯優(yōu)于雙三次插值及NEDI方法得到的結(jié)果。同時(shí)，En-CBFI算法能夠?qū)D像的細(xì)節(jié)進(jìn)行增強(qiáng)，因此相比于CBFI算法能夠獲得更好的視覺(jué)效果。

圖4 不同放大方法的比較結(jié)果，從左到右所采用的方法依次為：雙三次插值，NEDI插值，CBFI插值及En-CBFI插值

3.2 真實(shí)圖像

在該部分實(shí)驗(yàn)中，我們從實(shí)際監(jiān)控視頻中截取了兩個(gè)實(shí)際車牌圖像，并對(duì)它們放大2倍來(lái)進(jìn)行比較，比較結(jié)果如圖5中所示。由于實(shí)際圖像中原始高清圖像無(wú)法獲得，因此無(wú)法比較各種方法的PSNR值，我們只能比較通過(guò)各種算法放大后圖像的視覺(jué)效果。從圖5中可以發(fā)現(xiàn)，采用CBFI及En-CBFI算法對(duì)真實(shí)圖像插值后的結(jié)果要優(yōu)于雙三次插值及NEDI方法得到的結(jié)果。在雙三次插值方法得到的結(jié)果中，車牌上的大部分?jǐn)?shù)字都難以辨認(rèn)，而在En-CBFI插值方法得到的結(jié)果中，兩張車牌中的數(shù)字均基本能夠看清。并且，在實(shí)際圖像中，圖像的細(xì)節(jié)往往能夠提供較重要的信息，因此，相比與CBFI算法，En-CBFI算法更加適合于實(shí)際圖像的處理。

4 結(jié)語(yǔ)

圖5 真實(shí)圖像放大2倍結(jié)果比較，從左到右所采用的方法依次為：雙三次插值，NEDI插值，CBFI插值及En-CBFI插值

在本文中，討論了關(guān)于從低分辨率原始數(shù)據(jù)構(gòu)建高質(zhì)量放大圖像的問(wèn)題。首先，我們發(fā)現(xiàn)，通過(guò)消除求解過(guò)約束方程組的必要性可以對(duì)諸如NEDI等保持邊緣的插值方法進(jìn)行微調(diào)，并且獲得同等圖像質(zhì)量。然后，我們發(fā)現(xiàn)修改約束后的NEDI與我們所提出的CBFI插值技術(shù)中的約束項(xiàng)在一定程度上是相關(guān)的。新提出的插值算法主要利用了一個(gè)假設(shè)，那就是圖像亮度的二階導(dǎo)數(shù)沿差值方向是連續(xù)的并且能獲得非常好的結(jié)果，并能夠很容易地進(jìn)行相應(yīng)的圖像后處理操作以獲得更好的視覺(jué)效果。該插值算法基于盡量減少在定義的能量函數(shù)插值像素位置，并且不像基于樣本庫(kù)學(xué)習(xí)的放大算法或NEDI算法那樣具有高昂的計(jì)算時(shí)間復(fù)雜度，因此很容易通過(guò)GPU等技術(shù)實(shí)現(xiàn)算法的并行計(jì)算。如何進(jìn)一步提高算法的實(shí)時(shí)性以及并行計(jì)算的實(shí)現(xiàn)也將是我們下一步的研究方向。

［1］ Asuni N，Giachetti A.Accuracy improvements and artifacts removal in edge based image interpolation［C］∥Proc.3rd Int. Conf. Comput. Vis. Theory Appl.(VISAPP)，2008：58－65.

［2］ Atkins C B，Bouman C A，Allebach J P.Optimal image scaling using pixel classification［C］∥Proc.IEEE Int.Conf.Image Process.，2001，3：864 －867.

［3］ Battiato S，Gallo G，Stanco F.A locally-adaptive zooming algorithm for digital images［J］.Image and Vision Computing，2002，2011：805－812.

［4］ Chen Mei Juan，Huang C H，Lee W L.A fast edge-oriented algorithm for image interpolation［J］.Image and Vision Computing，2005，23(9)：791 －798.

［5］ Thurnhofer S，Mitra S K.Edge-enhanced image zooming［J］.Opt.Eng.，1996，35：1862 －1870.

［6］ Freeman W T，Jones T R，Pasztor E C.Example-based super-resolution［J］.IEEE Comput.Graph.Appl.，2002，22(2)：56－65.

［7］ Giachetti A，Asuni N.Fast artifact free image interpolation［C］∥Proc.Brit.Machine Vis.Conf.(BMVC)，2008：123－132.

［8］ Glasner D，Bagon S，Irani M.Super-resolution from a single image［C］∥Proc.12th Int.Conf.Comput.Vis.，2009：349－356.

［9］ Kamimura K，Tsumura N，Nakaguchi T，et al.Video super-resolution using texton substitution［C］∥Proc.ACM SIGGRAPH Posters，New York，2007：63.

［10］ Kim K I，Kwon Y.Example-based learning for singleimage super-resolution［C］∥Proc.30th DAGM Symp.Pattern Recognit.，Berlin，Heidelberg，2008：456 －465.

［11］ Li X，Orchard M T.New edge-directed interpolation［J］.IEEE Trans.Image Process.，2001，10(10)：1521－1527.

［12］ Morse B S，Schwartzwald D.Image magnification using level-set reconstruction［C］∥Proc.IEEE Conf.Comput.Vis.Pattern Recognit.，2001，3：333 －340.

［13］ Su D，Willis P.Image interpolation by pixel level datadependent triangulation［J］.Comput.Graph.Forum，2004，23(2)：189－201.

［14］ van Ouwerkerk J D.Image super-resolution survey［J］.Image Vis.Comput，2006，24(10)：1039 －1052.