王源圓，蘇秉華，2，邱文勝

（1.北京理工大學(xué) 光電學(xué)院，北京100081；2.北京理工大學(xué) 珠海學(xué)院，廣東 珠海519085；3.深圳大學(xué) 光電工程學(xué)院，廣東 深圳518060）

引言

近年來，隨著數(shù)字媒體技術(shù)的發(fā)展，人們對高分辨率視頻和圖像的需求越來越強(qiáng)烈，尤其在醫(yī)學(xué)成像、軍事信息采集、公共安全、遙感圖像等領(lǐng)域，對視頻和圖像的分辨率要求很高。要提高所得圖像和視頻的分辨率，傳統(tǒng)方法是通過選用高分辨率的成像器件、增加光學(xué)鏡頭的孔徑和焦距來實現(xiàn)，但是這種方法受到器件工藝、成本、研發(fā)周期等限制。超分辨率圖像復(fù)原技術(shù)正是在這種情況下應(yīng)運而生［1］，通過對低分辨率圖像進(jìn)行處理，恢復(fù)圖像中的細(xì)節(jié)和信息，在不改變硬件條件的情況下提高所得視頻和圖像的分辨率。

1 超分辨率復(fù)原算法

1.1 幾種非線性算法

1.1.1 Bayes分析法

Bayes分析法是一種非線性隨機(jī)統(tǒng)計復(fù)原方法，其基本思想是：假設(shè)圖像是一個隨機(jī)場，因此可把原物f（x，y）和退化圖像g（x，y）均看作隨機(jī)場，在圖像為g的條件下原物f的概率為

式中：P（f／g）被稱為后驗概率；P（g／f）為已知原物f是圖像g的概率；P（f）、P（g）分別為f、g的先驗概率。在已知圖像g的情況下，原物f的最優(yōu)估計可以表示為［1］

兩邊同時取對數(shù)，則（2）式等價于：

對（3）式求最大的方法：

1）最大后驗概率法（MAP）

導(dǎo)數(shù)等于0時為最大后驗概率下的目標(biāo)估值。

各種最大后驗概率估計算法的差別主要在于先驗?zāi)Ｐ偷倪x擇，其中典型的是 Huber－Markov［2］模型及其改進(jìn)形式［3］。

2）最大似然法（ML）如果取：

所求得的f為最大似然估計下的目標(biāo)估值，最大似然法可以看成是最大后驗概率法的一種特殊情況。

1.1.2 凸集投影法

凸集投影法［4，12］（POCS－projection onto convex sets）是一種利用先驗知識來提高復(fù)原質(zhì)量的方法，把每個先驗知識都定義為一個閉凸集，那么圖像復(fù)原的解就是這些閉凸集的交集，POCS就是把空間中的任意一點投影到這個交集上的過程。計算中，一般先對圖像進(jìn)行雙線性插值作為初始估計圖像，然后從估計圖像上的某一點開始，將當(dāng)前估計值投影到凸集上，判斷該估計值是否滿足所有的約束，若不滿足，則將其殘差反投影到估計圖像上進(jìn)行修正，通過多次迭代使最終得到的解落在交集上。

POCS的優(yōu)點在于簡單直觀，能夠?qū)⒏鞣N靈活的空域觀測模型、運動模型、降質(zhì)模型綜合考慮到其中，利用各種先驗知識對圖像進(jìn)行復(fù)原。缺點在于解的不唯一性，對初始值具有較強(qiáng)的依賴性，并且由于需要對圖像進(jìn)行多次迭代，所以計算量較大，很難完成實時處理。

1.2 基于小波變換的超分辨率復(fù)原

小波變換是一種工具，它把數(shù)據(jù)、函數(shù)或算子分解成不同頻率下的成分，然后再用分解的方法去研究對應(yīng)尺度下的成分［5］。要使圖像放大，最常用的是對圖像進(jìn)行插值［6］。所謂圖像插值是利用已知的相鄰像素灰度值計算未知像素點灰度值，使原始圖像生成高分辨率圖像［7］，傳統(tǒng)的插值方法有：最近鄰域插值、雙線性插值和雙立方的插值。這3種插值方法都是利用相鄰像素灰度值的連續(xù)性來實現(xiàn)的，計算量不大，但由于插值算子具有低通特性，圖像插值后經(jīng)常會出現(xiàn)方塊效應(yīng)或細(xì)節(jié)退化（邊緣模糊）［8］，而我們的方法就是要利用小波變換消除這種細(xì)節(jié)退化。

由于離散小波變換（DWT）具有平移不變性和冗余性這2個特性，使得其系數(shù)具有內(nèi)在可插值性的可能［9］。因此，算法中選取離散小波變換（DWT）來保持圖像的高頻信息。與此同時，我們還使用另外一種小波變換即平穩(wěn)小波變換（SWT）。SWT與DWT相似，只是沒有經(jīng)過下采樣，所以其得到的子圖像與原圖像尺寸是相同的。DWT的下采樣，會造成子圖像信息的部分丟失，使用平穩(wěn)小波彌補這些丟失的信息。

圖1是本文選擇的算法的流程框架圖。首先輸入低分辨率圖像并插值放大，然后對放大圖像進(jìn)行離散小波變換（使用Haar小波基），得到4個對應(yīng)的子圖像LL、LH、HL、HH［10］，與此同時，對原始低分辨率圖像進(jìn)行平穩(wěn)小波變換（SWT），也獲得4個對應(yīng)的子圖像LL、LH、HL、HH。LL是圖像的低頻成分，包括了圖像的大部分信息，LH、HL、HH是圖像的高頻信息。將平穩(wěn)小波變換（DWT）和離散小波變換（SWT）得到的高頻圖像信息進(jìn)行修正后再與低頻圖像進(jìn)行小波重構(gòu)得就可以獲得高分辨率圖像。備訪問提供了通用接口，V4L2驅(qū)動的video設(shè)備節(jié)點路徑通常為／dev／videoX。利用V4L2采集視頻的過程如圖3表示。

圖1 基于小波變換的超分辨率復(fù)原算法框圖Fig.1 Block diagram of super－resolution restoration algorithm based on wavelet transform

圖2 超分辨率視頻復(fù)原系統(tǒng)Fig.2 Super－resolution video restoration system

圖3 V4L2視頻采集流程Fig.3 V4L2 video capture process

2 系統(tǒng)組成

ZedBoard上使用的操作系統(tǒng)采用嵌入式Linux操作系統(tǒng)，該Linux系統(tǒng)是Digilent官網(wǎng)給出的一個完整的、ZedBoard可運行的Linux系統(tǒng)［11］，包含了ZedBoard上的幾個重要的設(shè)備驅(qū)動如串口、USB、以太網(wǎng)、OLED、HDMI等。當(dāng)Linux在ZedBoard上運行起來后，ZedBoard就是一個小型的嵌入式系統(tǒng)，使用SDK及Xilinx ARM Linux工具鏈（arm－xilinx－linux－gnueabi）編譯生成的可執(zhí)行文件可以在這個系統(tǒng)執(zhí)行。整個超分辨率復(fù)原系統(tǒng)由3部分組成：視頻采集、視頻處理以及輸出顯示。先通過USB攝像頭采集視頻，在ZedBoard中經(jīng)過轉(zhuǎn)換格式、超分辨率復(fù)原等處理后由HDMI輸出，最終顯示到顯示器上，如圖2所示。

視頻采集利用V4L2（video for Linux 2）來完成。V4L2是V4L的升級版，它是Linux內(nèi)核中關(guān)于視頻設(shè)備的內(nèi)核驅(qū)動，它為Linux中視頻設(shè)

首先使用open函數(shù)打開設(shè)備，這個過程和訪問普通設(shè)備一樣。配置設(shè)備，使用VIDIOC＿QUERYCAP查詢驅(qū)動功能，主要檢查一下是否為視頻采集設(shè)備V4L2＿CAP＿VIDEO＿CAPTURE以及是否支持流IO操作V4L2＿CAP＿STREAMING；使用VIDIOC＿S＿FMT設(shè)置像素格式，使用攝像頭支持的YUYV格式。然后配置內(nèi)存，使用VIDIOC＿REQBUFS和結(jié)構(gòu)體 V4L2＿requestbuffers申請緩存區(qū)，并將mmap申請到的緩存區(qū)映射到用戶空間。使用VIDIOC＿STREAMON即可開始采集視頻，使用命令VIDIOC＿DQBUF來讀取緩存區(qū)，VIDIOC＿QBUF來更新緩存區(qū)。要停止采集的時候，先使用VIDIOC＿STREAMOFF停止采集，然后munmap取消緩存的映射，并關(guān)閉設(shè)備。

圖像采集完成后即可開始圖像處理過程，由于從緩存中取出來的數(shù)據(jù)是YUYV格式，為了方便接下來處理，我們先把它轉(zhuǎn)化為RGB24，然后對這張圖的R、G、B 3個分量進(jìn)行超分辨率復(fù)原，復(fù)原結(jié)果得到的R、G、B三個分量結(jié)合起來就是我們超分辨率復(fù)原得到的結(jié)果。使用小波的方法來進(jìn)行超分辨率復(fù)原，并同時使用雙線性插值、雙立方插值得到了結(jié)果，比較它們的復(fù)原效果。最后，使用Qt制作的圖形用戶界面將處理得到的結(jié)果在顯示器上顯示出來，為了在圖形用戶界面中顯示視頻，使用QLabel、QPixmap和loadfromdata函數(shù)將采集的數(shù)據(jù)轉(zhuǎn)為QPixmap中的數(shù)據(jù)，并顯示到QLabel上。當(dāng)新的一幀圖像顯示時，觸發(fā)paintEvent事件，重繪QLabel中的內(nèi)容，于是就能在界面上看到連續(xù)的視頻了，為了方便比較處理效果，我們還同時將處理前的低分辨率視頻顯示到了圖形用戶界面中。

3 測試結(jié)果

對超分辨率算法的效果進(jìn)行測試，測試方法：1）采用一幅高分辨率圖像作為原圖像；2）利用插值或降采樣等方法將原圖像長寬均縮小到原來的1／2，同時添加噪聲獲得低分辨率降質(zhì)圖像；3）使用不同的算法將低分辨率圖像進(jìn)行超分辨率復(fù)原處理，得到復(fù)原圖像；4）通過復(fù)原圖像與原圖像的比較，求出它們的均方差（MSE）與峰值信噪比（PSNR）。由均方差（MSE）和峰值信噪比（PSNR）的定義我們知道，MSE越小，PSNR越大，則復(fù)原圖像越接近原圖，復(fù)原的效果越好。在PC機(jī)上，我們使用了雙線性插值、雙立方插值與小波變換復(fù)原算法，分別處理了多張圖像，其復(fù)原結(jié)果如圖4、圖5及表1所示。

為了驗證移植后的算法能否保持復(fù)原效果，我們將小波變換算法分別移植到ZedBoard和Tiny210系統(tǒng)上對Lena圖像進(jìn)行處理，其處理結(jié)果如表2和圖6所示。

圖4 Lena復(fù)原結(jié)果Fig.4 Restoration results of Lena

圖5 復(fù)原結(jié)果Fig.5 Restoration results of Baoon

表1 PC機(jī)算法效果對比Table 1 Contrast of algorithms effect in PC

表2 不同平臺下復(fù)原效果對比Table 2 Comparison of restoration effect in different platforms

圖6 不同平臺下的處理結(jié)果Fig.6 Restoration results in different platforms

可以看出，在ZedBoard上的處理結(jié)果與Tiny210上的處理結(jié)果相同，而與PC機(jī)上處理結(jié)果的PSNR僅有0.1331的差異，在誤差范圍內(nèi)，這是由于ARM與PC上的CPU架構(gòu)不同所導(dǎo)致的誤差。

為了驗證小波變換算法對彩色圖像的復(fù)原效果，在PC機(jī)上對彩色Lena和Baboon圖像進(jìn)行了處理。處理方式為先將圖像分為R、G、B 3個通道分別進(jìn)行小波復(fù)原處理，然后將處理后的3個通道組合為復(fù)原圖像。處理后的復(fù)原效果如表3所示，處理后的圖像如圖7所示。可以看出，彩色圖像的復(fù)原效果略差于灰度圖，這是由于R、G、B 3個分量的誤差相疊加所導(dǎo)致的。

圖7 彩色圖像復(fù)原結(jié)果Fig.7 Restoration results of color images

表3 彩色圖像復(fù)原結(jié)果Table 3 Restoration results of color images

基于ZedBoard的超分辨率視頻復(fù)原系統(tǒng)的構(gòu)建過程如下：先將嵌入式Linux系統(tǒng)移植到ZedBoard開發(fā)板上，然后將編譯生成的Qt運行庫鏡像掛載到嵌入式Linux操作系統(tǒng)上，為Qt應(yīng)用程序搭建運行環(huán)境。運行環(huán)境搭建完成后，就可以運行我們編譯生成的Qt應(yīng)用程序，在HDMI輸出口所連接的顯示器上顯示攝像頭實時拍攝的視頻圖像以及經(jīng)過超分辨率復(fù)原放大之后的視頻圖像，如圖8所示。

4 結(jié)論

圖8 超分辨率視頻復(fù)原系統(tǒng)顯示效果Fig.8 Display of super－resolution video restoration system on ZedBoard

本系統(tǒng)基于ZedBoard開發(fā)板上的輕量級嵌入式Linux操作系統(tǒng)，利用V4L2驅(qū)動USB攝像頭采集視頻信息，用基于小波變換的超分辨率復(fù)原算法處理所采集到的視頻及Qt制作一個圖形用戶界面，將處理后的視頻顯示到用戶界面中，并通過ZedBoard開發(fā)板上的HDMI接口顯示到顯示器上。采用雙線性、雙立方傳統(tǒng)算法和本文提出的小波變換算法通過PC機(jī)對Lena圖像進(jìn)行復(fù)原處理。通過本文提出的基于ZedBoard系統(tǒng)對Lena圖像進(jìn)行復(fù)原處理，實驗結(jié)果與PC機(jī)相一致。彩色圖像復(fù)原結(jié)果的PSNR值稍差于灰度圖像。上述結(jié)果表明，小波變換的超分辨率復(fù)原方法的復(fù)原效果優(yōu)于傳統(tǒng)的插值方法，且移植到ZedBoard系統(tǒng)之后能夠保持復(fù)原效果。

［1］ Zhou Rongbiao.Study on restoration and recognition of the doorplate number image degraded by linear motion［D］.Tianjin：Tianjin University，2006.周榮彪.門牌號的運動模糊圖像復(fù)原及識別方法研究［D］.天津：天津大學(xué)，2006.

［2］ Komatsu T，Igarashi T，Aizawa K，et al.Very high resolution imaging scheme with multiple different aperture cameras［J］.Signal Processing Image Communication，1993，5：511－526.

［3］ Elad M，F(xiàn)euer A.Super－resolution restoration of an image sequence：adaptive filtering approach［J］.IEEE Trans IP，1999，8（3）：387－395.

［4］ Elad M，F(xiàn)euer A.Restoration of a single super resolution image from several blurred，noisy，and undersampled measured images［J］.IEEE Trans IP，1997，6（12）：1646－1658.

［5］ Wu Xiaobing.The algorithm research of sequence image super－resolution enhancement［D］.Beijing：Beijing Institute of Technology，2011.吳曉兵.序列圖像超分辨率增強(qiáng)的算法研究［D］.北京：北京理工大學(xué)，2011.

［6］ Li Juan.Research of super－resolution image enhance－ment based on FPGA［D］.Beijing：Beijing Institute of Technology，2012.李娟.基于FPGA超分辨率圖像增強(qiáng)研究［D］.北京：北京理工大學(xué)，2012.

［7］ 符祥，郭寶龍.圖像插值技術(shù)綜述［J］.計算機(jī)工程與設(shè)計，2009，30（1）：141－144.Fu Xiang，Guo Baolong.Overview of image interpolation technology［J］.Computer Engineering and Design，2009，30（1）：141－144.

［8］ Jia Liang.Research on image super－resolution reconstruction［D］.Jiangsu：Nanjing University of Aeronautics and Astronautics，2008.賈亮.圖像超分辨率重建技術(shù)研究［D］.江蘇：南京航空航天大學(xué)，2008.

［9］ Lin Rimao.Super－resolution enhancement and display of sequence image based on OMAP3530［D］.Beijing：Beijing Institute of Technology，2011.藺日茂.基于OMAP3530的序列圖像超分辨率增強(qiáng)與顯示［D］.北京：北京理工大學(xué)，2011.

［10］Dai Guangzhi，Chen Tiequn，Qiu Dongmei.Research on super resolution algorithms applied in ultrasonic image based on combining wavelet with interpolation［J］. Nondestructive Testing，2009，31 （4）：251－255.戴光智，陳鐵群，邱棟美.小波和插值結(jié)合應(yīng)用于超聲圖像的超分辨率算法［J］.無損檢測，2009，31（4）：251－255.

［11］He Bin.Design guide of Xilinx all programmable Zynq－7000SoC［M］.Beijing：Tsinghua University Press，2013.何賓.Xilinx all programmable Zynq－7000SoC設(shè)計指南［M］.北京：清華大學(xué)出版社，2013.

［12］Zhang Yifei，Li Liangfu，Wang Jiaoying，et al.Image enhancement algorithm based on super resolution reconstruction［J］.Journal of Applied Optics，2011，32（2）：250－255.張翼飛，李良福，王嬌穎，等.基于超分辨率重建的圖像增 強(qiáng) 算 法 研 究 ［J］.應(yīng) 用 光 學(xué)，2011，32（2）：250－255.