陳 瑋，徐 憲

(上海理工大學光電信息與計算機工程學院，上海 200093)

圖像放大時增加圖像分辨率可以使其有更好的觀察體驗，因此圖像插值［1］算法具有廣泛應用范圍。通常用兩個標準來評估每formance of an image interpolator，namely perceptual quality一種圖像插值的性能，即感知的質(zhì)量and computational complexity.和計算復雜度。如文獻［2］中所提出像傳統(tǒng)的最近鄰插值、雙線性［3］和雙三次線性算子image interpolation are relatively simple and fast，圖像插值是相對較簡單和快速的，但通常在圖像的邊緣有鋸齒偽影，主要是沒有考慮到圖像的局部特征。因此，文獻［4］中根據(jù)不同的自適應圖像插值［5－7］，利用更精確的模型更好地保護圖像的邊緣。但該模型的弊端在于:(1)自適應系數(shù)的迭代導致較高的計算復雜度。例如，由于迭代的性質(zhì)和自適應系數(shù)十分復雜的估計，即使采用混合算法減少復雜性，整體的計算成本也明顯比線性插值高。(2)在其邊緣方向上的利用有局限性，從而影響了模型的準確性。(3)許多插值算法放大倍數(shù)被限制在2X，不便于實現(xiàn)其他放大比率。針對上述問題，本文所提算法對在放大圖像時某些固定的位置生成高分辨率圖像時的丟失像素，通過文獻［8］提出的對低分辨率圖像的梯度擴散確定其像素值，然后被插值的圖像通過差分投影被迫連續(xù)，本文稱此方法為定向插值器。由于其適應性和一致性，所述的定向插值器在不同的方向保護邊緣。此外，本算法插值比可以是任意整數(shù)，克服了比率的限制，同時本文使用特殊方法對圖像進行去噪［9］，使其圖像有更好的視覺效果。

實驗結果表明，此方法與最近鄰插值和雙線性插值相比，得到的放大圖像可以達到更好的感知和客觀的質(zhì)量，并且此插值算法的復雜度也相對較低。

1 典型傳統(tǒng)插值算法

本文研究將一個低分辨率的圖片X，尺寸為H×W;轉(zhuǎn)變成一個高分辨率圖片Y，尺寸為nH×nW的算法。為了簡潔和不失一般性，該示例使用n=3，即采用3X插值為例，進而擴展到其他nX插值。

1.1 最近鄰插值法

最近鄰插值法是最簡單的一種插值方法，該方法的原理為在待求象素的四鄰象素中，將距離待求象素最近的鄰象素灰度賦給待求象素。設i+u，j+v(i，j為正整數(shù)，u，v為＞0，＜1的小數(shù)，下同)為待求象素坐標，則待求象素灰度值f(i+u，j+v)如圖1所示。

圖1 最近鄰插值

如果(i+u，j+v)落在 A 區(qū)，即 u＜0.5，v＜0.5，則將左上角象素的灰度值賦給待求象素，同理，落在B區(qū)則賦予右上角的象素灰度值，落在C區(qū)則賦予左下角象素的灰度值，落在D區(qū)則賦予右下角象素的灰度值。最近鄰算法計算量小，但會造成插值生成圖像灰度上的不連續(xù)，在灰度變化的地方可能出現(xiàn)明顯的鋸齒狀。此算法得到3X效果如圖2所示。

圖2 最鄰近插值算法3X效果圖

1.2 雙線性插值法

雙線性內(nèi)插法是利用待求象素4個鄰象素的灰度在兩個方向上作線性內(nèi)插，其坐標如圖3所示。

圖3 雙線性插值

A(i，j)B(i，j+1)C(i+1，j+1)D(i+1，j)對于(i，j+v)，f(i，j)到 f(i，j+1)的灰度變化為線性關系，則有

從 f(i，j+v)～f(i+1，j+v)的灰度變化為線性關系，由此可推出待求象素灰度的計算式如下

雙線性內(nèi)插法的計算比最鄰近點法復雜，計算量大，但其克服了灰度不連續(xù)的缺點，圖像效果較好。但其具有低通濾波性質(zhì)，使高頻分量受損，因此圖像輪廓可能會略微模糊［12－14］。此算法得到3X效果圖如圖4所示。

圖4 雙線性插值算法3X效果

2 差分投影快速定向圖像插值算法

本文提出的算法是通過二次線性插值。第一次插值中，第一組缺失象素的像素值是基于原始像素值內(nèi)插所得。第二次插值中，第二組缺失象素的像素值是基于原始像素值和第一組像素值插值所得。第一組像素包含塊內(nèi)點像素，每個塊內(nèi)點對應一個像素位置，每個塊內(nèi)點像素是由原來的4個原始像素形成。第二組像素包含塊上點像素，每個塊上點像素對應邊緣的一個像素位置，是由兩個原始像素形成。如圖5所示黑點代表圖片X的原始像素;灰點和白點是被插到像素空間的丟失的像素。相鄰的4個黑色的點形成的正方形(通過虛線標記)，在虛線塊中的灰色像素為“塊內(nèi)點”(in－block)像素。白點是由兩個相鄰像素的邊緣上形成的(在虛線上)，并且稱為“塊上點”(on－block)像素。

圖5 高分辨率圖像布局

本文為得到圖Y丟失像素的梯度，首先計算X的梯度，然后采用雙線性插值來計算高分辨率像素，這個過程在此稱作“梯度擴散”。在獲得高分辨率的梯度，四個“in －block”像素被插值如圖7 的 I0，I1，I2，I3。因其幾何對稱，在此采用I0為例。如圖6過有一條線/垂直于梯度方向，沿著該方向的局部變化最小。這條線與原始像素A，B，C，D組成的正方形有兩個交點P和Q，根據(jù)的不同坡度(用表示)，有3種類型的P和Q的分布。根據(jù)I0的梯度，可以計算k和P，Q的位置。P和Q是通過其所在的正方形邊的兩個頂點雙線性插值所得，然后P和Q線性插值生成I0。

此處通過Sobel算子來計算X與Y的梯度，進而由Y的梯度值得到有效像素的系數(shù)k，通過以上分析可以推導出插值公式

圖6 插值求塊內(nèi)點

圖7 in－block

圖8 插值求塊上點

圖9 on－block

由于幾何對稱性，可以通過鏡像A，B，C，D和I使用相同的權重求出I1，I2，I3。表1給出了相應的權重與，表2為可用的像素的序列和轉(zhuǎn)換斜率。

表1 in－block插值權重

表2 in－block像素序列與斜率

當塊內(nèi)點像素生成時，在兩個六邊形的塊上點像素由原像素和塊內(nèi)點像素進行插值。塊上點插值步驟與塊內(nèi)點插值方法類似。表3給出了相應的權重與k，表4為可用的像素序列和轉(zhuǎn)換斜率，其插值公式為

表3 on－block插值權重

表4 on－block像素序列與斜率

由于原始的算法沒有保護好原始像素和插值像素的連續(xù)性。針對此問題，在此采用“差分投影”。

圖10 差分投影

由于低分率圖片X的原始像素是可用的，即不直接修改高分辨率圖片Y的連續(xù)性。而是根據(jù)方程(6)由原始像素插值得出插值像素，進而由插值得出的像素再次進行插值，得到“原始虛擬”像素，最后計算出原始像素與“原始虛擬”像素之間的差異值。這種差異值通過再次采用定向插值器傳播到其他像素，進而得到預期差值，在此所采用的梯度與之前相同。其使用的求值公式為

圖11 虛擬插值布局

表5 虛擬插值權重

通過“差分投影”求出差異值，在此設F表示inblock和on－block混合插值，F(xiàn)+包括原始虛擬插值和F。X～為高分辨率圖片，該圖片由從圖片X的黑色圓點、灰色和白色點復制而來。由圖可知，預期差異值加到插值像素后，原有像素會被迫連續(xù)而其值持續(xù)不變。在這里所用的求值公式如下:

此算法得到3X效果如圖12所示。

圖12 差分放大投影插值算法3X效果圖

3 差分投影插值算法的優(yōu)化

通過圖2，圖4和圖12對比可知，圖12明顯有更好的感知和客觀的質(zhì)量。但圖12仍然存在噪點。傳統(tǒng)去噪方法是對圖像所有像素點做統(tǒng)一處理，不會針對某一點做單獨處理，由于本文所提算法的特殊性，在此針對特殊的點做特殊處理。

由于“塊內(nèi)點”和“塊上點”皆由原始像素插值而來，所以其像素值與原始像素的插值相差較小，經(jīng)實驗驗證，出現(xiàn)噪點的位置皆是差值出的“塊內(nèi)點”和“塊上點”對應的位置，因此對每個插值出來的點做處理:若“塊內(nèi)點”對應的位置有噪點，進而使用其對應的周圍四個原始像素點的均值代替。判斷是否為噪點，應由該“塊內(nèi)點”與上述均值相比，若差值超過一定閾值，即判定此塊上點是噪點。若“塊上點”對應的位置有噪點，方法同上。

圖13 塊內(nèi)點

圖14 塊上點

此算法去噪后得到3X效果如圖15所示。

圖15 差分放大投影去噪3X效果圖

4 結束語

本文提出一個快速定向插入器，其可以發(fā)現(xiàn)和利用任意邊緣梯度來確定丟失像素的權重。此外，文中提出的“差分投影”方法可以提高一階插值缺乏的連續(xù)性，使被插值的圖像被迫連續(xù)。由于其適應性和一致性，所描述的定向插值器在不同的方向保護邊緣。此算法不僅與其他自適應算法相比計算量較小，同時它可以擴展到任何整數(shù)放大比率。以此算法為基礎，通過去除噪點對該算法進行優(yōu)化，使得放大圖像有更好的感性質(zhì)量，給觀察者一種更好的觀察體驗。

［1］ 趙榮椿．數(shù)字圖像處理導論［M］．西安:西北工業(yè)大學出版社，1995．

［2］ 龔奕剛．圖像放大算法研究［D］．無錫:江南大學，2008．

［3］ 王森，楊克儉．基于雙線性插值的圖像縮放算法的研究與實現(xiàn)［J］．自動化技術與應用，2008，27(7):44 －45．

［4］ Zhang L，Wu X．An edge － guided image interpolation algorithm via directional filtering and datafusion ［J］．IEEE Transactions on Image Process，2006，15(8):2226 －2238．

［5］ 楊云峰，蘇志勛，胡金燕．一種保持邊緣特性的圖像插值方法［J］，中國圖象圖形學報，2005，10(10):47 －50．

［6］ 張雄，畢篤彥，楊寶強．一種保持圖像邊緣的插值方法［J］．空軍工程大學學報，2007(3):78 －83．

［7］ 程光權，成禮智．基于小波的方向自適應圖像插值［J］．電子與信息學報，2009，31(2):265 －269．

［8］ 江雯，陳更生，揚帆，等．基于Sobel算子的自適應圖像縮放算法［J］．計算機工程，2010，36(7):214 －216．

［9］ 王民，文義玲．常用圖像去噪算法的比較與研究［J］．西安建筑科技大學學報:自然科學版，2010，42(6):895－898．

［10］ Cao S，Jiang J，Zhang G，et al．An edge － based scale and affine invariant algorithm for remote sening image registration［J］．International Journal of Remote Sensing，2013，34(7):2301－2326．

［11］ Tang Y，Yuan Y，Yan P，et al．Single － image super－ resolution based on semi－ supervised learning［C］．Asian Conference on Pattern Recognition，2011，52 －56．

［12］ Hung K W，Siu W C．Fast image interpolation using the bilateral filter［J］．Image Processing IET，2013，6(7):877 －890．

［13］ Asamwar R S，Bhurchandi K，Gandhi A S．Successive image interpolation using lifting scheme approach ［J］．Journal of Computer Science，2010，6(9):961 －970．

［14］ Sun Jian，Xu Zongben．Gradient Profile Prior and Its Applications in Image Super－ Resolution and Enhancement［J］．IEEE Transactions on Image Processing，2011，20(6):1529－1542．