韓玉兵，金文清，徐夢娜

（南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院，江蘇 南京210094）

0 引 言

在圖像處理、視頻處理和計算機視覺等領(lǐng)域，經(jīng)常遇到圖像去噪、圖像反卷積、圖像插值和超分辨率重建［1］等問題，為方便起見，本文統(tǒng)稱為圖像重建，它們都屬于病態(tài)反問題的范疇，需要進(jìn)行正則化處理，比如對于采用標(biāo)準(zhǔn)Tikhonov正則化的方法，其存在的不足之處就是會使得圖像邊緣模糊不清。為了保證較好的邊緣細(xì)節(jié)，文獻(xiàn) ［2］中提到的總變分 （total variation，TV）正則化的方法對此問題進(jìn)行了改善，其能夠保持圖像邊緣的相關(guān)信息。近年來小波 （wavelet）分析作為一種多分辨率處理的時頻分析工具，因其獨特的優(yōu)良特性，越來越多地應(yīng)用在圖像重建中，文獻(xiàn) ［3］提出了一種將二元樹與小波結(jié)合的概念，將小波收縮、形態(tài)小波等一系列概念結(jié)合在一起形成一種新的圖像正則化框架。另一方面，相比于灰度圖像，彩色圖像的不同顏色通道間的信號是高度相關(guān)的，存在許多冗余和互補信息，所以彩色圖像的信號重建顯得更為復(fù)雜。通常的圖像重建方法都是將這3 個通道分別進(jìn)行單獨處理，然后結(jié)合各個通道的結(jié)果，但這種方法往往造成通道間不一致和圖像邊緣色彩抖動等問題［4］。

最近，基于微分流形的圖像處理方法得到很大的發(fā)展，如Sochen等將圖像表示為兩個黎曼微分流形間的嵌入映射，引入Nambu泛函表示嵌入流形曲面的 “面積”度量，并提出基于Beltrami流的圖像處理框架；文獻(xiàn) ［5］針對去噪問題提出兩種Crank－Nicolson半隱式格式LOD （locally one－dimensional）和AOS （additiveoperator splitting），但并沒有將該方法應(yīng)用到圖像插值、去模糊和超分辨重建等圖像重建場合；王澤龍，Sidi和Wetzler等［6－8］則研究了圖像微分流形模型在圖像去噪和紋理分割中的應(yīng)用。

本文主要針對彩色圖像的去噪、反卷積、插值和超分辨重建，提出一種基于Nambu泛函的微分流形彩色圖像重建正則化模型，具體內(nèi)容組織將在下文中進(jìn)行論述。

1 圖像重建的正則化模型

圖像在外界環(huán)境各式各樣的影響下，會受損降質(zhì)，我們用一數(shù)學(xué)模型來表示這一過程

式中：Y——受損圖像；X——原圖像；N——在受損過程中隨機產(chǎn)生的高斯白噪聲，設(shè)其期望為0、標(biāo)準(zhǔn)差為σ；H——降質(zhì)算子，降質(zhì)算子的不同就代表受損的方式不同。當(dāng)H＝I時，即為一個基本的去噪模型；當(dāng)H＝B 時，其中B 是模糊卷積算子，即為一個去模糊或者是反卷積模型；當(dāng)H＝D 時，其中D 是降采樣算子，即為一個圖像插值模型。我們的目標(biāo)就是盡可能將受損圖像Y 恢復(fù)為原圖像X，此過程即為圖像重建。

圖像重建過程是一個病態(tài)問題，所謂病態(tài)問題就是觀測值的微小變動將會導(dǎo)致解的巨大變動。這種病態(tài)現(xiàn)象是我們必須得克服的。然而也必須使所求解最大程度接近真實解，為了同時達(dá)到這兩個要求，即需要找到一個平衡點。為了處理這個問題，找到一個叫正則化［9，10］的方法。基于正則化處理的圖像重建可歸結(jié)為如下泛函的極小化問題

圖像處理是個病態(tài)問題，對于病態(tài)的研究主要是兩個處理點：一是上式中正則項R（X）的確定，用來衡量圖像信號的某種奇異性，該項的確定對于恢復(fù)圖像的細(xì)節(jié)起著相當(dāng)大的作用；二是正則化參數(shù)的確定。本文將針對第一個問題展開研究，提出一種基于Nambu泛函的彩色圖像正則化模型，并將其運用到彩色圖像的各種信號重建中。

2 基于Nambu泛函的彩色圖像重建正則化模型

引入兩個黎曼微分流形∑，Μ，且其維數(shù)dim∑＝m，dimΜ＝n，∑，Μ的局部坐標(biāo)為（σ1，…，σm），（x1，…，xn）。設(shè)有∑，Μ上的度量為（guv），（πij），兩流形的坐標(biāo)間距分別為和為便于以下說明，記G ＝（guv）u，v＝1，…，m，Π ＝（πij）i，j＝1，…，n，g ＝｜G｜，G－1＝（guv）u，v＝1，…，m。由微分流形的經(jīng)典理論可以知道，嵌入度量Π ＝（πij）和導(dǎo)出度量G ＝（guv）之間具有如下拉回 （Pullback）關(guān)系：，其中Θ ＝（Θ1，…，Θn）：∑→M 為一嵌入映射。

下面簡單介紹彩色圖像的微分流形模型，彩色圖像是一個二維流形∑到五維空間MR5的嵌入映射Θ，即

不難看出，當(dāng)i＝1時，即為灰度圖像處理模型。觀察可以發(fā)現(xiàn)，式 （5）的面積微元由兩大部分組成，一部分是各自通道的項，另一部分是交叉項該項體現(xiàn)了不同通道之間的相互影響，而Nambu泛函則可以使不同通道之間的影響最小，從而較好的解決彩色圖像的邊緣色彩抖動問題。

通過彩色圖像的Nambu泛函和微分流形模型，從而探究彩色圖像的信號重建問題。假設(shè)各通道的降質(zhì)機理相同，其降質(zhì)模型為

式中：Ni——不同通道的觀測噪聲，i——3 個通道指標(biāo)，并都假設(shè)其是服從分布Ni～N（0，σ2I）的高斯白噪聲。將其進(jìn)行正則化處理后歸結(jié)為下列泛函極小化問題

3 數(shù)值計算

本節(jié)討論優(yōu)化問題式 （7）的數(shù)值計算求解，這是一個包含微分和積分算子的高度非線性方程。首先給出如下引理。

采用標(biāo)準(zhǔn)的變分原理［11］，可得泛函J（X）的Euler－Lagrange方程為

借鑒鄰近算子的前向后向迭代算法，引進(jìn)參數(shù)γ ＞0，式 （10）等價于

經(jīng)過整理，可得到

其中Ui＝Xi＋γ（HTYi－HTHXi）為前向迭代步。顯然式（12）等價于如下極小化問題的Euler－Lagrange方程

上式是一個簡單的圖像去噪問題，關(guān)于它的求解，引入一個人工變量t，將式 （12）與一組偏微分方程嵌入在一起，化成以下的形式

此處我們借鑒文獻(xiàn) ［5］的方法，對混合偏導(dǎo)采用顯式格式進(jìn)行離散，對非混合偏導(dǎo)采用隱式格式進(jìn)行離散。并采用LOD 算子分裂方法得到如下的半隱式Crank－Nicolson后向迭代格式

綜上可得優(yōu)化問題式 （7）的數(shù)值求解算法：

算法：基于Nambu泛函的彩色圖像正則化重建算法：

步驟1 設(shè)定迭代初始值Xi（0），迭代次數(shù)k＝0；

步驟2 進(jìn)行前向迭代得Ui（k）＝Xi（k）＋γ［HTYi－HTHXi（k）］；

步驟3 根據(jù)式（15），進(jìn)行半隱式后向迭代得Xi（k＋1）；

步驟4 判斷是否收斂或滿足停止條件，如果不滿足則令k＝k＋1轉(zhuǎn)步驟2；

注：上述步驟3中可以迭代直至收斂，也可以適當(dāng)?shù)鷶?shù)次即可，仿真結(jié)果證明迭代較少次就具有良好的收斂效果。

4 實驗研究

選用標(biāo)準(zhǔn)的Lena、Baboon、Pepper和Couple彩色測試圖像研究圖像的去噪、反卷積、插值和超分辨率重建。圖像重建方法采用基于Nambu泛函的正則化方法、基于小波正則化方法［3］、基于TV 正則化方法［2］以及雙三次插值方法等。原始圖像大小為256×256，圖像反卷積和超分辨率重建中的模糊算子為標(biāo)準(zhǔn)差為1的7×7高斯模糊核，圖像插值和超分辨率重建中的寬和高方向的降采樣因子為2。將圖像歸一化為 ［0，1］，所有降質(zhì)模型中均添加均值0、標(biāo)準(zhǔn)差σ＝0.02的加性高斯白噪聲。重建評價指標(biāo)采用常見的峰值信噪比PSNR。

圖1為圖像去噪重建結(jié)果，從上至下，從左至右依次為原始圖像，降質(zhì)圖像，小波正則化、TV 正則化和Nambu泛函正則化方法的重建圖像，其中Nambu泛函正則化模型中的正則化參數(shù)為0.00045，嵌入度量參數(shù)為β1 ＝β2 ＝β3＝50，小波和TV 正則化參數(shù)為0.04，小波變換層數(shù)為3。小波正則化去噪圖像、TV 正則化去噪圖像和基于Nambu泛函正則化去噪圖像的PSNR 分別為35.9761dB、35.6685dB和36.1282dB。

圖1 圖像去噪重建結(jié)果

圖2為圖像反卷積重建結(jié)果，從上至下，從左至右依次為原始圖像，降質(zhì)圖像，小波正則化、TV 正則化和Nambu泛函正則化方法的重建圖像，其中Nambu泛函正則化模型中的正則化參數(shù)為0.000035，嵌入度量參數(shù)為β1 ＝β2＝β3 ＝30，小波變換層數(shù)為3，小波正則化參數(shù)為0.01，TV 正則化參數(shù)為0.02。小波正則化、TV 正則化和基于Nambu泛函正則化重建圖像的PSNR 分別為24.2548 dB、24.0324dB和24.8336dB。

圖3為圖像插值重建結(jié)果，從上至下，從左至右依次為原始圖像，降質(zhì)圖像，小波正則化、TV 正則化、雙三次插值和基于Nambu泛函正則化模型的插值重建圖像，其中Nambu泛函正則化模型中的正則化參數(shù)為0.00045，嵌入度量參數(shù)為β1＝β2 ＝β3 ＝50，小波變換層數(shù)為3，小波正則化參數(shù)為0.06，TV正則化參數(shù)為0.02。小波正則化、TV 正則化、雙三次插值和基于Nambu泛函正則化重建圖像的PSNR分別為26.7588dB、27.0232dB、26.5684dB和27.4687dB。

圖4為圖像超分辨率重建結(jié)果，從上至下，從左至右依次為原始圖像，降質(zhì)圖像，小波正則化、TV 正則化、雙三次插值和基于Nambu泛函正則化的超分辨率重建圖像，其中Nambu泛函正則化模型中的正則化參數(shù)為0.00035，嵌入度量參數(shù)為β1 ＝6，β2 ＝40，β3 ＝10，小波變換層數(shù)為3，小波正則化參數(shù)為0.01，TV 正則化參數(shù)為0.02。小波正則化、TV 正則化、雙三次插值和基于Nambu泛函正則化超分辨率重建圖像的PSNR 分別為28.8675dB、29.8068 dB、29.3259dB和29.8123dB。

由圖1至圖4可以看出：對于典型的圖像去噪、圖像反卷積、圖像插值和圖像超分辨率重建，相比小波正則化、TV 正則化和雙三次插值方法，本文提出的基于Nambu泛函的圖像正則化重建方法具有更高的PSNR；從主觀視覺上看，本文方法具有很強的圖像去噪和細(xì)節(jié)保持性能，重建圖像顯得更加光滑柔和，各個通道間的色彩一致性保持很好，從而能夠有效克服彩色圖像的邊緣色彩抖動。

圖2 圖像反卷積重建結(jié)果

圖3 圖像插值重建結(jié)果

5 結(jié)束語

提出一種彩色圖像的正則化重建方法，給出基于Nambu泛函的正則化重建框架，詳細(xì)推導(dǎo)了相應(yīng)正則化泛函的Euler－Lagrange 方程，采用Crank－Nicolson 半隱式LOD格式對彩色圖像的去噪問題進(jìn)行分裂求解，在此基礎(chǔ)上結(jié)合鄰近算子理論完成彩色圖像的反卷積、插值和超分辨率重建問題的數(shù)值算法設(shè)計。該算法可以方便處理高維圖像信號的各種重建問題，能夠很好地克服了各通道單獨處理時帶來的圖像邊緣色彩抖動問題。實驗結(jié)果驗證了該方法的有效性，重建圖像具有良好的去噪和細(xì)節(jié)保持性能。

［1］LU Qingchun.Research for super－resolution image reconstruction algorithm based on regularization ［D］.Hefei：University of Science and Technology of China，2010 （in Chinese）.［路慶春.正則化超分辨率圖像重建算法研究 ［D］.合肥：中國科學(xué)技術(shù)大學(xué)，2010.］

［2］Goldstein T，Osher S.The split bregmanmethod for L1－regularized problems ［J］.SIAM Journal on Imaging Science，2009，2 （2）：323－343.

圖4 圖像超分辨率重建結(jié)果

［3］Xiang ZJ，Ramadge PJ.Edge－preserving image regularization based on morphological wavelets and dyadic trees ［J］.IEEE Transactions on Image Processing，2012，21 （4）：1548－1560.

［4］Nancy E，Sumandeep K.Image enhancement techniques：A selected review ［J］.IOSR Journal of Computer Engineering，2013，9 （6）：84－88.

［5］Rosman G，Dascal L，Tai XC，et al.On semi－implicit splitting schemes for the Beltrami color image filtering ［J］.Journal of Mathematical Imaging and Vision，2011，40：199－213.

［6］WANG Zelong，ZHU Jubo.Beltrami flow and its application in image denoising ［J］.Journal of National University of Defense Technology，2012，34 （5）：137－141 （in Chinese）.［王澤龍，朱炬波.Beltrami流及其在圖像去噪中的應(yīng)用 ［J］.國防科技大學(xué)學(xué)報，2012，34 （5）：137－141.］

［7］Idrissi Sidi Yassine，Samir Belfkih.Texture image segmentation using a new descriptor and mathematical morphology ［J］.The International Journal of Information Technology，2013，10（2）：204－208.

［8］Aaron W，Ron K.Efficient Beltrami flow in patch－space［G］.LNCS 6667：Scale Space and Variational Methods in Computer Vision.Berlin：Springer Berlin Heidelberg，2012：134－143.

［9］XIAO Liang，WEI Zhihui.Research on non－local regularization model and algorithms for image super－resolution reconstruction［J］Chinese Journal of Computers，2011，34 （5）：932－940（in Chinese）.［肖亮，韋志輝.圖像超分辨率重建的非局部正則化模型于算法研究 ［J］.計算機學(xué)報，2011，34 （5）：932－940.］

［10］CHENG Guangquan，CHENG Lizhi.Regular directional based compressed image quality assessment ［J］.Journal of Electronics ＆Information Technology，2010，32 （6）：1316－1320 （in Chinese）.［程光權(quán)，成禮智.基于正則化方向失真的壓縮圖像質(zhì)量評價 ［J］.電子與信息學(xué)報，2010，32 （6）：1316－1320.］

［11］Aubert G，Kornprobst P.Mathematical problems in image processing：Partial differential equations and the calculus of variations［M］.2nd ed.New York：Springer，2010.