海 濤 ，鮑宜帆 ，潘浩浩

(1.南陽師范學(xué)院 機(jī)電工程學(xué)院，河南 南陽 473061；2.河南省毫米波無線通信射頻前端及天線工程研究中心，河南 南陽 473061；3.河南省車輛零部件智能制造工程研究中心，河南 南陽 473061；4.南京理工大學(xué) 光電學(xué)院，江蘇 南京 210094；5.南陽農(nóng)業(yè)職業(yè)學(xué)院，河南 南陽 473061)

0 引言

圖像放大實現(xiàn)了單幅圖像分辨率增強(qiáng)，在圖像處理中有廣泛應(yīng)用。利用全變分TV 模型(Total Variation，TV)對圖像進(jìn)行放大[1]，在圖像邊緣處理上有較好的處理效果，在平滑圖像存在階梯效應(yīng)的不足。Bredies 提出了廣義全變分(Total Generalized Variation，TGV)，是對全變分模型擴(kuò)展的新模型[2]，解決了圖像在平滑區(qū)域的階梯效應(yīng)，可以逼近高階多項式，并且具備下半連續(xù)性，凸性和旋轉(zhuǎn)不變性。TGV 在圖像放大中得到應(yīng)用，并取得了較好的效果[3]。

TGV 雖然較好地避免了階梯效應(yīng)，但是在弱邊緣和細(xì)節(jié)部分處理效果提升并不大[4]。文獻(xiàn)[5]采用TGV 和剪切波相結(jié)合的方法改善弱邊緣和細(xì)節(jié)的增強(qiáng)；文獻(xiàn)[6]提出了加權(quán)TGV 模型用于圖像放大，增強(qiáng)其對弱邊緣和細(xì)節(jié)的處理效果，通過非局部廣義全變分實現(xiàn)對光流圖形進(jìn)行處理，很好地解決了弱邊緣和細(xì)節(jié)處理效果。本文通過實現(xiàn)TGV 與非局部變換模型相結(jié)合的方法實現(xiàn)對圖像弱邊緣和細(xì)節(jié)的分辨率增強(qiáng)。

1 非局部變換域模型

文獻(xiàn)[7]提出了三維塊匹配(Block-Matching and 3D filtering，BM3D)算法，BM3D 是一種非局部思想在變換域?qū)崿F(xiàn)的一種處理方法，其基本思想基于圖像中存在相似的圖像塊，通過尋找相似的圖像塊，集合成一個三維的數(shù)據(jù)組，由于圖像塊的之間的相似性，三維的數(shù)據(jù)在變換域是一個稀疏的分解，利用這種稀疏性進(jìn)行處理。

其中，Φ=Φ3DPJ，Ψ=WΨ3D。

2 基于TGV 耦合非局部變換域模型的圖像放大

TGV 模型改進(jìn)了全變分模型的階梯效應(yīng)，保留了圖像一階線性結(jié)構(gòu)，但并未完全解決偏微分方程恢復(fù)紋理及弱邊緣存在的不足，非局部變換域利用圖像的全局信息，能夠較好地恢復(fù)自然圖像中紋理和弱邊緣，本文提出一種廣義二階全變分自適應(yīng)耦合非局部變換域模型的圖像放大算法。

2.1 低分辨率圖像獲取模型

文獻(xiàn)[9]給出圖像的離散的退化模型如式(2)所示：

其中，h(i，j)是圖像獲取硬件的點擴(kuò)散函數(shù)，為低通濾波器；*為卷積運(yùn)算；↓M 為下采樣矩陣；u(i，j)為理想的高分辨率圖像，而v(i′，j′)為當(dāng)前的低分辨率圖像。各項以字典排序方法轉(zhuǎn)換為矩陣表示法：u(i，j)用u 表示，v(i′，j′)用v 表示，H 表示包涵下采樣操作的h(i，j)，可得到模型的矩陣表示：v=Hu。

由式(2)可得到基于圖像獲取模型的約束能量函數(shù)：

2.2 TGV 耦合非局部變換域的圖像放大模型

TGV 模型在圖像邊緣有較好的實現(xiàn)并且能夠去除平滑圖像的階梯效應(yīng)，非局部變換域模型能夠較好重建細(xì)節(jié)和弱邊緣，綜合其優(yōu)點，得到本文放大模型。偏微分方程的變分模型優(yōu)點之一是能夠很容易實現(xiàn)和其他模型的耦合，具體實現(xiàn)方法是TGV 作為懲罰項直接加入非局部變換域變分模型式(2)，同時增加圖像獲取的約束能量函數(shù)，可以得到本文提出算法的實現(xiàn)模型如式(4)：

取k=2 得到二階TGV 模型，得到式(5)：

最小化J(u，ω)得到放大圖像u 為模型式(5)的最優(yōu)解：(u*，ω*)=minJ(u，ω)。

2.3 TGV 耦合非局部變換域的圖像放大模型實現(xiàn)

式（5）中，兩個約束項u=Ψω 和ω=Φu 是一對可逆的正交變換對，對兩個變量去耦合并除去其常量項可得：

可以看出式(6)為受約束的二階TGV 模型，實現(xiàn)對圖像的銳化操作，而式(7)為p 階非局部變換域模型，本文取p=1 為圖像的去噪操作。

本文放大模型實現(xiàn)通過逐次逼近方法求解式(6)和式(7)最優(yōu)化解即可求得放大模型(5)的鞍點，進(jìn)而得到高分辨率圖像。

2.3.1 受約束的二階TGV 模型實現(xiàn)

式(6)中第二項為退化模型式(3)的約束項，考慮采用文獻(xiàn)[10]提出的拉普拉斯框架下采用雙正交濾波器實現(xiàn)可逆重建，如圖1 所示。

圖1 拉普拉斯重建

公式實現(xiàn)如式(8)所示：

其中，d(i，j)為銳化后圖像與初始圖像相比圖像增加的細(xì)節(jié)和邊緣部分。對正則化處理后的圖像求出d(i，j)，代入式(8)，求出的新圖像完全滿足約束模型式(3)。

式(6)的求解可以轉(zhuǎn)化為在式(8)拉普拉斯雙正交重建框架下求解式(9)的最優(yōu)解。

采用文獻(xiàn)[11]一階原始-對偶算法實現(xiàn)式(9)的最優(yōu)化求解如下：

2.3.2 一階非局部變換域模型實現(xiàn)

一階非局部變換域模型即式(7)p=1 的實現(xiàn)采用文獻(xiàn)[13]的變換域硬閾值法求解，即：

迭代實現(xiàn)為：

2.3.3 本文模型的實現(xiàn)

本文采用逐次逼近方法求解式(6)和式(7)最優(yōu)化解即可求得放大模型(5)的鞍點，得到高分辨率圖像。

具體實現(xiàn)過程如下：

輸入：v(低分辨率圖像)；h(設(shè)備退化函數(shù))。

初始化：確定h →g，Φ，Ψ，u0=(v(i′，j′)↑M)*g(i，j)=Gv，ω0=Φu0，t=0，θ←0，θˉ←0，uˉ←u0，p←0，q←0，δ＞0，τ＞0。重復(fù)以下操作：

(1)銳化：

①迭代實現(xiàn)式(10)；

②拉普拉斯雙正交重建：

(2)去噪聲：

直到uk+1-uk＜ε，結(jié)束迭代；否則，繼續(xù)從步驟(1)開始。

3 仿真實驗結(jié)果及比較

實驗設(shè)計如下：給定高分辨率圖像(標(biāo)準(zhǔn)圖像)如圖2所示，利用給出的低通濾波器h 低通濾波后下采樣，得到退化圖像如式(3)所示，進(jìn)行按給定倍數(shù)進(jìn)行分辨率增強(qiáng)。與給定的高分辨率圖像進(jìn)行比較，比較主觀視覺效果，相應(yīng)的峰值信噪比(Peak Signal to Noise Ratio，PSNR)和平均結(jié)構(gòu)相似性測度(Mean Structural Similarity Measure，MSSIM)用戶驗證算法放大效果[14]。

圖2 仿真圖像

實驗參數(shù)設(shè)置如下，4 倍放大時(縱向2 倍放大，橫向2 倍放大)，根據(jù)文獻(xiàn)[2]正則化參數(shù)λ 約為正則化參數(shù)τ1的1/6，本文正則化參數(shù)選擇為λ=0.001 7，τ1=0.008 7，γ=0.000 55，ξ=1；TGV 正則化求解參數(shù)選擇為δ=τ=1/3，α1=1，α0=4。h(i，j)濾波器由一維濾波器h(i)=(0.5，1，0.5)張量積擴(kuò)展得到，對應(yīng)的g(i，j)由一維濾波器g(i)=(-1/8，2/8，6/8，2/8，-1/8)通過張量積擴(kuò)展得到。16 倍放大由兩個4 倍放大串聯(lián)實現(xiàn)。

為驗證算法的有效性，選擇以下算法進(jìn)行比較：文獻(xiàn)[3]的基于小波變換的TGV 圖像放大算法、文獻(xiàn)[15]的基于BM3D 進(jìn)行放大的算法(簡稱為BM3D 算法)、文獻(xiàn)[16]的TV 耦合非局部均值濾波器(簡稱TV-NLF)算法、文獻(xiàn)[17]的改進(jìn)的復(fù)擴(kuò)散耦合非局部均值濾波器(簡稱ICF-NLF)算法，后兩種算法都運(yùn)用局部的偏微分方程耦合非均值濾波器實現(xiàn)放大，所有比較算法均采用文獻(xiàn)中最佳參數(shù)。

圖3 為Lena 圖像白色方框4 倍放大實現(xiàn)，在原始圖像圖3(a)中的黑框位，TV-NLF 算法(即圖3(d))存在一定的階梯效應(yīng)，其他圖像效果要好一些；TGV 圖像雖然在圖像中帽檐的強(qiáng)邊緣有較好的鋸齒波，但是存在一定彎曲。圖3(c)BM3D 算法邊緣存在模糊現(xiàn)象，本文算法在邊緣有較好效果,主要原因是TGV 耦合了非局部變換域模型較好地去除了邊緣的震蕩引起的扭曲，在眼睫毛處也有較好的細(xì)節(jié)小邊緣處理效果。

圖3 4 倍放大部分Lena 圖像

圖4～圖6 為仿真圖像16 倍放大圖像。由圖5 的帽檐紋理和頭發(fā)可以看出，本文算法較好地保留了小邊緣和紋理細(xì)節(jié)，相對于TGV 算法，帽子上部的紋理和小邊緣效果更好，達(dá)到其他采用非局部方法處理的效果；BM3D 算法中的強(qiáng)邊緣效果較差，存在較大鋸齒波，其他采用二階微分方程的算法不存在這一問題。由圖5 的Pepper 的柄可以看出，本文算法鋸齒波效應(yīng)較小，其他算法存在不同程度的鋸齒波。圖6 同樣顯示了本文算法弱小邊緣的紋理效果最好，可由圖7 的部分放大圖像得到進(jìn)一步驗證。

圖4 16 倍放大Lena 圖像

圖5 16 倍放大Pepper 圖像

圖6 16 倍放大Flower 圖像

由圖7 圖像可以看出，本文算法在頁面的紋理細(xì)節(jié)方面達(dá)到了TV-NLF 算法放大、CF-NLF 算法放大和BM3D 算法良好水平，同時優(yōu)于TGV 算法，本文算法在花蕊柄的邊緣效果更好。放大實驗結(jié)果PSNR 和MSSIM如表1 所示，本文算法在PSNR 和MSSIM 都有最好的仿真結(jié)果。

表1 仿真圖像PSNR 和MSSIM

圖7 16 倍放大部分Flower 圖像

4 結(jié)論

本文提出了一種基于TGV 耦合非局部變換域模型的圖像放大算法，該算法能夠較好地利用TGV 模型和非局部變換域模型的優(yōu)點，得到了較好的放大效果。仿真實驗證明，本文算法改進(jìn)了TGV 算法小邊緣和細(xì)節(jié)處理能力不足的缺點，同時避免了非局部變換域在強(qiáng)邊緣部分的放大處理鋸齒波明顯的不足，具有較好的視覺效果。與其他放大算法進(jìn)行比較，PSNR 和MSSIM 也取得了較好數(shù)值，進(jìn)一步證明本文提出算法具有較好的性能。進(jìn)一步優(yōu)化算法中的各個參數(shù)，以便實現(xiàn)全局信息和局部信息的最佳耦合是該算法下一步努力的方向。