李 亮，郭樹旭，陳國法

（吉林大學 電子科學與工程學院，長春 130012）

基于偏微分方程的圖像修復算法

李 亮，郭樹旭，陳國法

（吉林大學 電子科學與工程學院，長春 130012）

針對TV模型修復算法只沿梯度垂直方向擴散，容易在平滑區(qū)域引入階梯效應，迭代效率低，易產(chǎn)生假邊緣的缺點，分析比較了TV圖像修復模型的性能，提出了一種改進的圖像修復算法。該算法同時結合了各向同性和各向異性擴散，利用區(qū)域頻率差異實現(xiàn)了在不同的區(qū)域使用不同的迭代方程，有效避免了原始算法引入的階梯效應，提高了迭代效率。實驗結果表明，該算法與TV模型算法相比，在具有同樣修復效果的前提下，避免了階梯效應并優(yōu)于TV模型的修復速度。

圖像修復；各向同性；各向異性；TV模型；階梯效應

0 引 言

圖像修復技術［1］是圖像處理［2－4］中的重要組成部分，圖像修復是根據(jù)圖像中的已知區(qū)域的相關信息，恢復信息缺失區(qū)域中的信息。根據(jù)圖像修復理論和方法的不同特點，圖像修復技術大致可以分為兩大類：1）基于結構的圖像修復技術［5－10］；2）基于紋理合成的圖像修復技術［11－15］。基于結構的圖像修復技術適用于對劃痕、污漬和文字等小目標區(qū)域的修復，基于結構的修復算法核心思想是利用物理學中的熱擴散方程將待修補區(qū)域周圍的信息傳播到待修補區(qū)域中。TV模型修復存在平滑區(qū)域修復時易出現(xiàn)階梯效應的缺點。筆者在前人算法基礎上提出了一種改進算法，采用各向同性和各向異性相結合的擴散模式，在像素梯度較小的區(qū)域采用各向同性擴散，提高迭代速度，而在像素梯度值較大的區(qū)域采用基于P-laplace算子［16］的各向異性擴散，避免了圖像平坦區(qū)域修復時出現(xiàn)的階梯效應。實驗結果表明，該算法具有很好的修復效果和良好的收斂性。

1 基于TV模型修復算法

TV模型最早是由Ruin提出的一種圖像去噪模型，他通過擴展基于TV的去噪模型，提出了基于TV模型的圖像修復方法，能在有噪聲的情況下有效地對圖像進行修復。TV模型修復算法主要利用偏微分方程求能量最小化泛函，再利用Lagrange乘子轉(zhuǎn)換成無約束條件的極值問題，然后求解滿足Euler-Lagrange的方程，方程的解就是圖像的修復結果，具體過程如下。

圖1 圖像修復示意圖Fig.1 The sketch map of image inpainting

記D為待修復區(qū)域，E為待修復區(qū)域的鄰域，記修復后的區(qū)域為u，待修復區(qū)及其鄰域為Ω（見圖1）。定義代價函數(shù)

其中R為一非負實函數(shù)，u為圖像。

考慮到圖像可能被噪聲污染，在修復的同時還應去噪，所以需滿足噪聲約束條件

假定初始信號是被白噪聲污染的，σ是白噪聲的標準方差。

要滿足修復邊緣的條件，必須選擇適當?shù)膔函數(shù)，即r函數(shù)有限時邊緣才能修復，這里取r＝（｜▽u｜）＝｜▽u｜［17］。運用拉格朗日乘子法將式（1），式（2）轉(zhuǎn)化為無約束條件極值問題，其新的代價函數(shù)為

式（3）中第1項為正則化項，第2項為保真項，λ為Lagrange乘子。

式（3）對應的能量最小泛函方程為

對于一切z＝（x，y）∈E，z為像素點，lagrange乘子λ滿足

用梯度下降法求解式（4）有

解得u值即為所求的最終修復圖像。

1.1 TV模型的缺點

TV模型修復算法運用了二階偏微分方程，有較完整的數(shù)學理論基礎，數(shù)值實現(xiàn)上較簡單，在保持邊緣的同時達到去噪的目的。但從TV修復方程的迭代過程看，它是一種各向異性擴散的過程。事實上，在圖像特征明顯的區(qū)域應該使用較慢的迭代速度，而在圖像特征不明顯的區(qū)域（如圖像的平滑區(qū)域），其修復的迭代速度應該加快，而TV模型的這種單獨使用各向異性擴散的過程，使其擴散效率較低。再者，TV模型修復過程中，TV是沿著與梯度正交的方向和邊緣方向擴散，反映出沿著不同的方向擴散系數(shù)不同的思想。而實際在圖像的平滑區(qū)域是不存在邊緣方向的，仍沿著邊緣方向擴散，這將導致在平坦區(qū)域的噪聲抑制不充分，甚至出現(xiàn)假邊緣，文獻［18］已證明出現(xiàn)假邊緣原因是擴散系數(shù)不能隨圖像結構特征的變化而取值，產(chǎn)生階梯效應。圖2給出了一組由TV模型修復實驗得到的圖像。

圖2 TV模型修復實驗Fig.2 The experiment of inpainting based on TV

在圖2中（n＝900steps，t＝4.85s），對有劃痕的圖像具有較好的修復，但是在平滑區(qū)域產(chǎn)生假邊緣，存在階梯效應。

2 新算法的改進與實現(xiàn)

圖3 整體坐標與局部坐標示意圖Fig.3 The sketch map of Integral coordinate system and local coordinate system

針對TV模型修復算法中存在的不足，提出一種各向同性和各向異性擴散相結合的圖像修復模型。其基本思想是，首先對圖像進行歸一化處理，利用sobel算子計算待修復點的梯度。設定一像素點梯度閾值，當待修復點梯度小于給定閾值時，采用各向同性擴散；當待修復點梯度值大于給定閾值時，采用基于p-laplace算子的非線性的各向異性擴散。修復方程如下

當1＜p＜2時，方程是沿uζζ和uηη兩個方向同時進行擴散的，｜▽u｜（p－2）和（p－1）｜▽u｜（p－2）分別控制兩個方向的擴散速度，根據(jù)待修復區(qū)域鄰域特征選擇適當?shù)膒值，即可保持圖像的邊緣信息又可平滑噪聲，所以該算法具有較快的修復速度。

2.1 數(shù)值計算

對擴散算子｜▽u｜p－2▽u離散化，令v＝（ν1，ν2）＝｜▽u｜p－2▽u，其中Δt為時間步長；u（n）表示待修復點在nΔt時刻的值。對于散度算子采用半點中心差分法實現(xiàn)。示意圖如圖4所示，∧＝［E，N，W，S］為待修復點O的4鄰域像素點，［e，n，w，s］分別為對應的4鄰域半點像素。

圖4 目標像素O及鄰域點Fig.4 Target pixel Oand its neighbors

記v＝（ν1，ν2）＝｜▽u｜p－2▽u，則▽·v離散化為

其中h為網(wǎng)格大小，一般取h＝1。對半點像素梯度值做進一步計算，下面以半點像素e（i＋，j）為例，e點梯度計算如下

將式（14）代入式（7）第二方程有

使用Gauss-Jacobi迭代算法，則圖像值

經(jīng)一步步迭代即可得到修復后的圖像。

3 實驗結果及分析

筆者算法是在實驗環(huán)境AMD Athon（th）64Processor3000，CPU 2.00GHz，內(nèi)存512MByte硬件條件下，利用Matlab7.4.0編程進行的仿真實驗。分別采用了lena圖像，cameraman圖像和老舊照片做對比實驗（見圖5～圖7）。

圖5 對比實驗1Fig.5 Contrast test 1

圖6 對比實驗2Fig.6 Contrast test 2

圖7 對比實驗3Fig.7 Contrast test 3

由實驗1和實驗2可以看到，TV模型算法在平坦區(qū)域存在假邊緣。實驗1中TV模型算法在帽子處存在明顯的假邊緣，而改進算法避免了假邊緣現(xiàn)象。

表1，表2數(shù)據(jù)是在T＝0.1，p＝1.8時的實驗結果，可看以出，改進算法從迭代時間和峰值信噪比上都優(yōu)于TV模型算法。由對比實驗3看出，當圖像劃痕較小，破損面積較小的時候，改進算法和TV模型算法在修復效果上，不能從視覺上很好地進行判斷，因此當修復結果從視覺上未能清晰區(qū)分修復效果時，應從數(shù)值上量化分析修復效果。理論上，多數(shù)采用峰值信噪比PSNR對修復結果進行評價

其中U為原圖，U0為修復后的圖像，M和N 為圖像的行列值?？梢钥闯?，修復后的圖像，其PSNR的計算結果越大，說明修復的效果越好，即修復后的圖像與原始圖像的差值越小。表1是3組實驗的PSNR值的結果比較，從表1中可以看出，改進算法其PSNR計算結果值都大于TV模型算法的PSNR值，即改進后的算法的修復結果圖更接近原始圖像，修復結果優(yōu)于TV模型算法。表2為TV模型算法和改進算法的修復時間效率對比，從表2中可以看出，改進的算法由于兩個方向同時擴散，大大提高了修復的效率，修復所用時間比TV模型算法少。所以，無論從主客觀上比較，改進算法都要優(yōu)于TV模型算法。

表1 PSNR實驗比較Tab.1 Peak value signal-to-noise ratio experimental comparison

表2 算法效率對比Tab.2 Compared the efficiency of the algorithm

4 結 語

筆者針對TV模型圖像修復算法中存在的不足，提出一種改進算法。該算法中采用了各向同性和各向異性擴散相結合的擴散模式，主要通過計算待修復點的梯度值判斷圖像區(qū)域的平滑度。設定一梯度閾值，從而根據(jù)待修復點梯度閾值的大小選擇修復方程，即在不同的區(qū)域考慮使用不同擴散的修復方程，有效地避免了原始算法在平滑區(qū)域引入的階梯效應，擴散在兩個方向同時進行，提高了修復效率。實驗仿真結果說明，新算法具有較強的修復力和較快的收斂速度。

［1］張紅英，彭啟琮.數(shù)字圖像修復技術綜述［J］.中國圖象圖形學報，2007，12（1）：1-10.

ZHANG Hong－ying，PENG Qi-cong.A Survey on Digital Image Inpainting［J］.Journal of Image and Graphics，2007，12（1）：1-10.

［2］劉樹昌，劉鵬，王延海，等.大容量高速視頻圖像傳輸技術研究［J］.吉林大學學報：信息科學版，2011，29（1）：21-24.

LIU Shu-chang，LIU Peng，WANG Yan-hai，et al.Research on Large-Capacity High-Speed Video Image Transmission Technology［J］.Journal of Jilin University：Information Science Edition，2011，29（1）：21-24.

［3］趙春彥，趙巖，陳賀新.基于邊緣檢測的深度圖與單視圖配準算法［J］.吉林大學學報：信息科學版，2011，29（3）：175-180.

ZHAO Chun-yan，ZHAO Yan，CHEN He-xin.Registration of Depth and Video Data Based on Edge Detection［J］.Journal of Jilin University：Information Science Edition，2011，29（3）：175-180.

［4］邵向鑫，郭樹旭，王朗.基于邊緣擴展相位相關的圖像拼接算法［J］.吉林大學學報：信息科學版，2010，28（1）：95-99.

SHAO Xiang-xin，GUO Shu-xu，WANG Lang.Image Mosaic Algorithm Based on Extended Phase Correlation of Edge［J］.Journal of Jilin University：Information Science Edition，2010，28（1）：95-99.

［5］BERTALMIO M，SAPIRO G，CASELLES V，et al.Image Inpainting［C］∥Proc SIGGRA PH 2000.New Orleans，LA：［s，n.］，2000：417-424.

［6］CHAN T F，SHEN J.Mathematical Models for Local Deterministic Inpaintings［J］.Journal on Applied Mathematics，2002，62（3）：1019-1043.

［7］WANG Wei-wei，F(xiàn)ENG Xiang-chu.Anisotropic Diffusion with Nonlinear Structure Tensor［J］.SIAM Joumal on Multiscale Modeling and Simulation，2008，7（2）：963-977.

［8］MARCELO BERTALMIO，LUMINITA VESE，GUILLERMO SAPIRO，et al.Simultaneous Structure and Texture Image Inpainting［J］.IEEE Trans on Image Processin，2003，12（8）：882-889.

［9］ESEDOGLU S，SHEN J H.Digital Inpainting Based on the Mumford Shah-Euler Image Model［J］.European Journal on Applied Mathematics，2002，13（4）：353-370.

［10］CHAN T F，SHEN J.Non-Texture Inpainting by Curvature-Driven Diffusions（CDD）［J］.Journal on Visual Communication and Image Representation，2001，12（4）：436-449.

［11］周珊珊，趙知勁，葉學義.采用 TV及紋理合成技術的分層圖像修復［J］.計算機工程與應用，2011，47（23）：201-203.

ZHOU Shan-shan，ZHAO Zhi-jin，YE Xue-yi.Total Variation and Texture Synthesis Applied to Multi-Level Image Inpainting［J］.Computer Engineering and Applications，2011，47（23）：201-203.

［12］楊關，馮國燦，陳偉福，等.基于概率模型的圖像紋理模型［J］.中山大學學報：自然科學版，2011，50（2）：6-15.

YANG Guan，F(xiàn)ENG Guo-can，CHEN Wei-fu，et al.Texture Models Based on Probabilistic Graphical Models［J］.Acta Scientiarum Naturalium Universitatis Sunyatseni，2011，50（2）：6-15.

［13］張晴，林家駿，高深.基于色差分析的圖像修復改進算法［J］.華中理工大學學報：自然科學版，2011，37（3）：367-371.

ZHANG Qing，LIN Jia-jun，GAO Shen.An Improved Colors-Analysis-Based Algorithm of Image Inpainting［J］.Journal of East China University of Science and Technology：Natural Science Edition，2011，37（3）：367-371.

［14］魏欣，蔣華偉.基于紋理和結構的圖像修復算法研究［J］.計算機技術與發(fā)展，2010，20（9）：90-93.

WEI Xin，JIANG Hua-wei.Study on Inpainting Algorithm Based on Image Structure and Texture［J］.Computer Technology and Development，2010，20（9）：90-93.

［15］丁西明，段漢根，吳長勤.一種簡單的塊匹配圖像修復算法［J］.計算機技術與發(fā)展，2010，20（11）：80-83.

DING Xi-ming，DUAN Han-gen，WU Chang－qin.Image Inpainting Based on Simple Block Matching［J］.Computer Technology and Development，2010，20（11）：80-83.

［16］張紅英.數(shù)字圖像修復技術的研究與應用［D］.成都：電子科技大學計算機學院，2006.

ZHANG Hong－ying.Research and Application on Digital Image Inpainting［D］.Chengdu：College of Computer，University of Electronic Science and Technology of China，2006.

［17］CHAN T F，SHEN J H.Mathematieal Models for Local Non-Texture Inpainting［J］.SIAM J APPl Math，2001，62（3）：1019-1043.

［18］WEICKERT J.A Review of Nonlinear Diffusion Filtering［C］∥Scale-Space Theory in Computer Vision.London：Springer-Verlag，1997，1252：3-28.

Based on Partial Differential Equations of Image Inpainting

LI Liang，GUO Shu-xu，CHEN Guo-fa
（College of Electronic Science and Engineering，Jilin University，Changchun 130012，China）

TV image inpainting only repairs algorithm along the vertical direction，making diffusion gradient in smooth area into stair step effect，reducing iterative efficiency，producing false edge faults.We analyse and compare the TV image restoration model and repair the performance of the model is put forward in this paper.Puts forward an improved image restoration algorithm，the algorithm in combination with the isotropic and anisotropic diffusion，the use of regional frequency difference in different area realized the use of different iterative equations，effectively avoid the original algorithm introduces ladder effect，to improve the iterative efficiency.The experimental results show that the algorithm and the TV algorithm，have the same effect on the premise of repair，the algorithm avoids the stair step effect at the same time with the model is better than TV repair speed.

image inpainting；isotropic diffusion；anisotropy diffusion；TV model；step effect

TP391.41

A

1671-5896（2012）01-0072-06

2011-11-19

李亮（1980—）男，吉林松原人，吉林大學碩士研究生，主要從事圖像處理、數(shù)字信號處理研究，（Tel）86-18943628007（E-mail）lliang09＠m(xù)ails.jlu.edu.cn；郭樹旭（1959—），男，長春人，吉林大學教授，博士，博士生導師，主要從事信號檢測與信息處理等研究，（Tel）86-13089111921（E-mail）guosx＠jlu.edu.cn。

（責任編輯：劉東亮）