田 洲，孫玉秋，謝先招張麗玲，邢 耀

（長江大學(xué)信息與數(shù)學(xué)學(xué)院 湖北 荊州434023）

超分辨率復(fù)原技術(shù)是由一些低分辨率變形圖像 （或視頻序列）來估計一幅較高分辨率的非變形圖像，同時還能夠消除加性噪聲的一項技術(shù)［1］。它在視頻信號來打印超分辨率靜態(tài)圖像、采集軍事與氣象遙感圖像、醫(yī)學(xué)成像系統(tǒng)等領(lǐng)域中被廣泛運用。近年來，超分辨率圖像復(fù)原技術(shù)已成為信號處理領(lǐng)域的一個研究熱點，國內(nèi)外一些專家學(xué)者為圖像重建復(fù)原相關(guān)領(lǐng)域的研究和發(fā)展做出了巨大的貢獻，其中一方面是關(guān)于圖像頻譜外推、混疊效應(yīng)消除的研究，另一方面是關(guān)于復(fù)原算法的改進［2，3］。

基于偏最小二乘法 （PLS）的超分辨率圖像復(fù)原已在國內(nèi)外被研究學(xué)者所試驗，在全局約束性的人臉圖像復(fù)原的效果上取得了不錯的成效，比傳統(tǒng)的圖像插值放大復(fù)原方法效果要更好，經(jīng)過研究分析，在基于偏最小二乘法的超分辨率技術(shù)［4，5］過程中采用最簡單、快速的最近鄰插值放大預(yù)處理方法存在可行性改進。圖像插值放大算法有很多，比如傳統(tǒng)的插值算法有最近鄰插值、雙線性插值、雙立方插值。目前有學(xué)者提出小波雙立方配比插值放大算法，該算法按照一定的比例將小波插值結(jié)果和雙立方插值結(jié)果進行配比混合，通過試驗證明這種方法取得的放大后圖像效果是顯著的。

筆者分析研究將小波雙立方配比插值法與基于PLS的超分辨率復(fù)原技術(shù)結(jié)合的算法，并將最近鄰、雙線性、雙立方插值放大算法與基于PLS的超分辨率復(fù)原算法結(jié)合，并采用人臉進行試驗比較。

1 基于偏最小二乘算法的人臉超分辨率技術(shù)

1.1 基于偏最小二乘法的超分辨率復(fù)原技術(shù)

基于偏最小二乘法的超分辨率復(fù)原技術(shù)將高低分辨率之差和低分辨率圖像的高頻信息的關(guān)系看作為一種函數(shù)關(guān)系。設(shè)中頻信息 （低分辨率圖像的高頻信息）為Xi，高低分辨率之差（高頻信息）為Yi（Yi為向量而不是標(biāo)量），中頻信息與高頻信息之間的關(guān)系可以表示為（x1，y1），（x2，y2），…，（xn，yn），利用這些數(shù)據(jù)建立回歸模型：

進行超分辨率復(fù)原時，只需要輸入待復(fù)原的低分辨率圖像的高頻信息X，利用已建立好的模型進行回歸，即可獲得高低分辨率之差Y，然后將高頻信息與待復(fù)原的低分辨率圖像進行求和，即可獲得最終的高分辨率圖像。

1.2 基于PLS回歸的超分辨率復(fù)原算法

算法分為2個過程，即訓(xùn)練過程和復(fù)原過程。

1）訓(xùn)練過程 ①對原始高分辨圖像進行降質(zhì)處理，使其成為低分辨率圖像，從而得到降質(zhì)圖像。將得到的降質(zhì)圖像進行插值 （最近鄰、雙線性、三次樣條、小波雙立方配比插值）放大2倍，得到插值放大圖像，對插值放大后的圖像提取拉普拉斯特征，并對特征圖像進行8×8分塊，將每一個圖像塊表示為一個向量BlockLi，j，k，其中i，j表示塊在圖像中的位置，k表示第k個訓(xùn)練樣本對應(yīng)的像塊。所有樣本中位置為（i，j）的圖像塊都可以構(gòu)成一個向量矩陣BLi，j＝ ｛BlockLi，j，k｝，其中，k＝1，2，…，N，這里，N 為樣本數(shù)。②將高分辨率圖像與低分辨率插值放大的圖像進行差分，得到差分圖像，并對差分圖像進行8×8分塊，每一塊可以將其表示為一個向量Block Hi，j，k。所有樣本中位置為（i，j）的圖像塊可以構(gòu)成一個向量矩陣BHi，j＝ ｛Block Hi，j，k｝，其中，k＝1，2，…，N，這里，N 為樣本數(shù)。③ 將位置為（i，j）的向量矩陣BLi，j和BHi，j作為X，Y代入PLS回歸算法進行計算，以獲得位置為（i，j）上的PLS回歸系數(shù)矩陣B和E。

2）復(fù)原過程 利用訓(xùn)練過程第1步的方法得到復(fù)原圖像的插值放大圖像以及拉普拉斯特征圖像。

將特征圖像進行8×8分塊，對于位置為（i，j）塊，將其表示為一個向量BlockTi，j，k。通過式（2）計算PLS回歸結(jié)果：

將每一個圖像塊的回歸復(fù)原向量BlockRi，j，k轉(zhuǎn)換為二維圖像塊，并將其與插值復(fù)原圖像塊進行對應(yīng)求和，得到復(fù)原后的高分辨率圖像塊，再將其按照順序拼接，即可獲得最終的高分辨率圖像。

2 幾種插值放大方法

2.1 傳統(tǒng)圖像放大算法

1）最近鄰插值 最近鄰插值是最簡單的插值放大算法，輸出像素的值為輸入和其最鄰近的采樣點的像素值。設(shè)插值點（i，j）到周邊4個鄰點fk（i，j）（k＝1，2，3，4）的距離為dk（k＝1，2，3，4），則：

其優(yōu)點是計算簡單，并且在很多情況的輸出效果很好。所以最近鄰插值在很多軟件上被廣泛使用。然而，當(dāng)圖像中包含像素之間灰度級變化的細微結(jié)構(gòu)時，最近鄰插值算法會在圖像中產(chǎn)生人為的加工痕跡，而且鋸齒現(xiàn)象較嚴(yán)重。

2）雙線性插值 雙線性插值是對最近鄰插值的一種改進，也就是線性插值算法，即假設(shè)原圖的灰度在兩個像素之間呈線性變化，這是一種比較合理的假設(shè)。雙線性插值的原理就是根據(jù)A（x0，y0）點及其上下左右2個相鄰點灰度值，計算出f（x0，y0）值［6，7］。具體步驟如下：

先根據(jù)f（x，y）以及f（x＋1，y）插值求出f（x0，y）：

再根據(jù)f（x，y＋1）以及f（x＋1，y＋1）插值來求出f（x0，y＋1）：

最后根據(jù)f（x0，y）以及f（x0，y＋1）插值求出f（x0，y0）：

在以上的計算過程中，實際上f（x0，y0）是根據(jù)f（x，y），f（x＋1，y），f（x，y＋1），f（x＋1，y＋1）這4個整數(shù)點的灰度值作2次線性插值，也就是所謂的雙線性插值而得到的。f（x0，y0）也可以寫成：

雙線性插值算法比最近鄰插值算法計算量大，但縮放后圖像質(zhì)量高，不會出現(xiàn)像素值不連續(xù)的情況，這樣就可以獲得一個令人滿意的結(jié)果。

3）三次樣條插值 由于雙線性插值方法考慮到了f（x0，y0）點的直接鄰點對它的影響，對此在一般情況下可以得出相對滿意的插值效果；從幾何角度來看，雙線性插值的平滑度作用會使圖像的細節(jié)退化，而其斜率的不連續(xù)性則往往會導(dǎo)致變換，得到不希望的結(jié)果。三次樣條插值法是高階插值算法中常用的方法，它對周圍16個像素進行插值計算。其優(yōu)點是可以消除鋸齒現(xiàn)象，插值質(zhì)量高且效果好。但它的缺點是放大時邊緣模糊現(xiàn)象還是比較嚴(yán)重并且計算量大，運算時間長，在需要實時性較高的場合很難實現(xiàn)［8，9］。

2.2 小波雙立方配比插值法

小波雙立方配比插值方法是一種較新的插值方法，將小波插值和雙立方插值進行線性組合，由于小波插值結(jié)果含有較多的高頻信息，但是邊緣仍存在一定的鋸齒現(xiàn)象，而雙立方插值的優(yōu)點是可以消除鋸齒現(xiàn)象，插值效果好，所以將這2種插值方法進行線性組合，利用雙立方的低頻成分來補償小波插值的不足。即按照一定的比例將小波插值結(jié)果和雙立方插值結(jié)果進行配比混合［10］。

該算法步驟如下：對低分辨率圖像進行小波變換；在小波變換域內(nèi)對高頻子圖進行插值獲得原低分辨率圖像大小的3個高頻分量HL、LH、HH，以原低分辨率圖像作為低頻分量子圖LL；對LL、HL、LH、HH，進行小波反變換得到高分辨率圖像I；對低分辨率圖像進行雙立方插值得到高分辨率插值圖像J；對高分辨率圖像I和J進行混合配比得到最終結(jié)果圖像X。

3 基于PLS小波雙立方配比插值算法

基于PLS的超分辨率圖像復(fù)原取得了比較好的效果，而其中的插值放大的效果影響了圖像復(fù)原的效果。而小波雙立方配比插值是一種新的插值方法，其插值放大的效果比傳統(tǒng)的插值法效果更好。所以筆者將2者結(jié)合提出了基于PLS小波雙立方配比插值。

1）訓(xùn)練過程 ①將低分辨率圖像利用小波雙立方配比插值放大得到插值圖像，再對插值圖像提取拉普拉斯特征得到特征圖像；②將高分辨率圖像與插值放大的圖像進行差分得到差分圖像；③將特征圖像進行分塊，根據(jù)前面闡述的分塊方法，構(gòu)成一個向量矩陣BLi，j＝ ｛BlockLi，j，k｝，其中，k＝1，2，…，N，這里，N為樣本數(shù)；④將差分圖像分別進行分塊，根據(jù)前面闡述的分塊方法，構(gòu)成一個向量矩陣BHi，j＝｛Block Hi，j，k｝，其中，k＝1，2，…，N，這里，N為樣本數(shù)；⑤ 將位置為（i，j）的向量矩陣BLi，j和BHi，j作為X，Y代入PLS回歸算法進行計算，以獲得位置為（i，j）上的PLS回歸系數(shù)矩陣B和E。

2）復(fù)原過程 ①將待復(fù)原的圖像利用小波雙立方配比插值放大得到插值圖像，再對插值圖像提取拉普拉斯特征得到復(fù)原特征圖像；②將特征圖像進行8×8分塊，對于位置為（i，j）塊，將其表示為一個向量BlockTi，j，k。通過式（2）計算PLS回歸結(jié)果。③ 將每一個圖像塊的回歸復(fù)原向量BlockRi，j，k轉(zhuǎn)換為二維圖像塊，并將其與插值復(fù)原圖像塊進行對應(yīng)求和，得到復(fù)原后的高分辨率圖像塊，再將其按照順序拼接，即可獲得最終的高分辨率圖像。

4 試驗分析

圖1 原始測試圖像

使用MIT＿ORL＿YALE三大人臉數(shù)據(jù)庫中的人臉圖像，并將其歸一化成大小為80×80，然后將大小80×80的人臉圖像作為高分辨率圖像，并對其進行降質(zhì)處理，降質(zhì)為大小為40×40的圖像，將其作為低分辨率圖像，為了消除邊緣的方塊效應(yīng)，試驗為每個原始人臉圖像（高低分辨率圖像）加上了邊框，并作為高分辨率圖像，再對加框后的高分辨率圖像進行隔行隔列的降質(zhì)處理，并作為低分辨率圖像。

試驗選取了所有不帶眼鏡、中性表情的人臉圖像75張，其中用8幅圖像作為測試樣本，原始測試圖像1如圖1所示。剩下的67幅作為訓(xùn)練樣本。將最近鄰插值放大算法、雙線性插值放大算法、三次樣條插值放大算法以及小波雙立方配比插值法運用到PLS回歸算法中，試驗結(jié)果如圖2所示。

圖2 試驗結(jié)果

從圖2可以看出，把最近鄰插值放大算法加入到PLS回歸算法中復(fù)原出來的圖像鋸齒狀最嚴(yán)重，雙線性和三次樣條插值效果較最近鄰好些但是仍然模糊，而小波雙立方配比插值法運用到PLS算法中復(fù)原出來的圖像效果最好，高頻細節(jié)更為豐富。對其他7幅測試圖像進行試驗，得到相似結(jié)果。

為了對試驗結(jié)果進行客觀分析，分別計算了采用不同算法得到的復(fù)原圖像的峰值信噪比，結(jié)果如表1所示。從8幅測試圖像的峰值信噪比可以看出，基于PLS的最近鄰插值算法的峰值信噪比最低，基于PLS的雙線性插值算法的峰值信噪比較高，而筆者提出的基于PLS小波雙立方插值的峰值信噪比最高。

表1 圖像關(guān)于不同算法運用到PLS中的峰值信噪比

5 結(jié) 語

首次將基于PLS回歸的超分辨率復(fù)原算法和小波雙立方配比插值放大算法進行結(jié)合，取得了較好效果，具有一定的創(chuàng)新性。通過分析基于PLS回歸的超分辨率復(fù)原算法得知其中的插值放大算法對復(fù)原效果有影響，并將不同的插值放大算法 （最近鄰插值、雙線性插值、三次樣條插值以及小波雙立方配比插值）運用到PLS回歸算法中。通過試驗分析表明，基于PLS的小波雙立方配比插值放大的超分辨復(fù)原算法取得的復(fù)原圖像效果最好，獲得的峰值信噪比最高。

［1］曹楊，李曉光，卓力，等 .基于區(qū)域自適應(yīng)學(xué)習(xí)的人臉圖像超分辨率復(fù)原 ［J］.測控技術(shù)，2009，28（5）：28－32.

［2］方逵，鄧四清，譚德松，等 .三次有理托付校條曲線曲面 ［J］.計算機應(yīng)用與軟件，2011，28（7）：22－24.

［3］王仁宏，數(shù)值逼近 ［M］.北京：高等教育出版社，1999.

［4］吳煒，楊曉敏，陳默，等 .基于偏最小二乘算法的人臉圖像超分辨率技術(shù) ［J］.光子學(xué)報，2009，38（11）：3025－3034.

［5］黃東軍，考特斯·維安尼·奧古斯汀 .人臉圖像超分辨率非線性學(xué)習(xí)算法 ［J］.計算機工程，2010，36（3）：203－207.

［6］蔡念，張海員，張楠 .基于Contourlet的改進雙線性插值圖像超分辨率算法 ［J］.傳感技術(shù)學(xué)報，2011，24（1）：59－65.

［7］吳桂萍，吳巍，王成，等 .基于雙線性插值的魚眼圖像校正方法 ［J］.計算機應(yīng)用與軟件，2012，29（2）：122－126.

［8］王昊京，王建立，王鳴浩，等 .采用雙線性插值收縮的圖像修復(fù)方法 ［J］.光學(xué)精密工程，2010，18（5）：1234－1241.

［9］王森，楊克儉 .基于雙線性插值的圖像縮放算法的研究與實現(xiàn) ［J］.自動化技術(shù)及應(yīng)用，2008，27（7）：44－35.

［10］浦利，金偉其，劉玉樹，等 .基于小波雙立方配比插值的圖像插值放大算法研究 ［J］.紅外技術(shù)，2006，28（8）：453－455.