田茂新,田啟川
(太原科技大學(xué) 電子信息工程學(xué)院,山西 太原 030024)
圖像的去模糊是圖像處理中的一個重要分支,在獲取圖像過程中,由于物體與相機之間的相對運動會造成得到的圖像總會有一定程度的模糊。在現(xiàn)實生活中,運動模糊圖像廣泛存在,圖像會因為攝像者與對象之間的角度和物體與相機之間的相對運動速度等的差異而導(dǎo)致所得到的運動模糊圖像有著不同的質(zhì)量,這種差異即為圖像的運動模糊參數(shù)的差異。找出圖像的質(zhì)量與其運動模糊參數(shù)之間的關(guān)系具有重要的意義。因為在去除這些模糊之前往往要通過一定的評價來估計出圖像的質(zhì)量,能否準(zhǔn)確地估計出圖像質(zhì)量對圖像后期的去模糊處理有著重要的意義。
目前大多數(shù)情況下,對模糊圖像的質(zhì)量評價一般采用主觀的評價方法,但是主觀評價不能建立一定的數(shù)學(xué)模型,而且由于主觀差異的存在,不同人的知識背景和主觀目的、興趣等的不同而得出不同的結(jié)論,不能適用于很多場合。而客觀質(zhì)量的評價方法大致可以分為無參考圖像的質(zhì)量評價和有參考圖像的質(zhì)量評價。
圖像的質(zhì)量分析一般為有參考條件下的質(zhì)量分析和無參考條件下的質(zhì)量分析兩種[1-4]。無參考判斷圖像的質(zhì)量評價是指在不借助任何參考圖像的前提下,對模糊圖像的質(zhì)量進行評價。而有參考圖像的質(zhì)量評價是指將模糊的圖像與參考圖像(即原圖像)進行對比,得出圖像的質(zhì)量。
傳統(tǒng)的圖像質(zhì)量分析算法:
(1)梯度函數(shù)。在數(shù)字圖像中,圖像的梯度函數(shù)可以用來對圖像進行圖像的邊緣提取及其圖像的二值化,一般來說,可以認(rèn)為圖像越是清晰,其圖像的灰度就會變化越劇烈,就應(yīng)該具有相對比較大的圖像梯度值。
利用梯度函數(shù)估計圖像的質(zhì)量一般有灰度梯度能量函數(shù)、Robert梯度和拉普拉斯(Laplacian)算子。下面以Laplacian(四鄰域微分)算子和梯度幅值介紹圖像的梯度函數(shù)的評價方法。
對于一幅圖像,對圖像中的每一個像素在2×2的領(lǐng)域內(nèi)采用Laplacian算子,得到四鄰域微分值,然后再將得到的每一個微分值求和。Laplacian算子(四鄰域微分)的方法如下:
這樣就可以得到:
對于一幅模糊圖像,在每一個像素附近的灰度變化越小,則▽值就越小,則可以認(rèn)為這幅圖像的模糊度越大。
另外,可以在計算出每一個像素點的梯度變化值之后,對圖像的梯度值分布情況進行統(tǒng)計,在小梯度值上,模糊圖像的像素數(shù)大于清晰圖像;而在較大的梯度值上,清晰圖像的像素數(shù)明顯大于模糊圖像。為了更加準(zhǔn)確地分析圖像質(zhì)量,通常給判別函數(shù)加上了一個閾值[5],去掉梯度較小的值,這樣就可以突出清晰度較大(即模糊度較小的)圖像,可更加有效地提取出清晰度較大的圖像。如下:
評價函數(shù)如下:
其中,T值越大,圖像越是清晰。但是利用梯度函數(shù)的方法只適用于圖像灰度變化比較大的圖像,對于具有單一內(nèi)容的圖像不是很精確。
(2)相鄰像素灰度方差法(SMD)
利用相鄰像素之間的方差[6]對圖像的質(zhì)量進行分析,圖像質(zhì)量越好,相鄰像素點間的灰度差值就越大,從而S值也就越大。
(3)基于圖像相似度方法
這種方法主要是針對在有參考圖像條件下的圖像質(zhì)量評價,圖像的相似度[7]主要利用均方差誤差、平均絕對值誤差、修正最大范數(shù)、多分辨率誤差、均方信噪比及峰值信噪比等對圖像的質(zhì)量進行判斷。此方法主要是將模糊圖像與參考圖像的各種特征進行比較,二者誤差越小,它們的相似度就越大,然后通過與原始圖像的相似程度來判斷圖像的質(zhì)量。以均方誤差為例,一幅圖像中,其均方差為:
式中,f(x,y)為原始圖像灰度,f(x^,y)為模糊圖像灰度。E值越小,則圖像的質(zhì)量就越好。但這種方法很難客觀地得到運動模糊參數(shù)與圖像質(zhì)量間的關(guān)系。
針對傳統(tǒng)算法的缺陷,本文提出了一種有參考條件下的圖像質(zhì)量分析方法,該方法能準(zhǔn)確評價圖像質(zhì)量并能客觀反映圖像質(zhì)量與運動模糊參數(shù)間的關(guān)系。在無參考條件下,將圖像分塊,避免了傳統(tǒng)的梯度函數(shù)在圖像內(nèi)容單一的情況下不能精確分析圖像質(zhì)量的缺陷。
(1)直線運動模糊圖像的邊緣信息拋出量
在對圖像拍攝過程中,由于物體的相對運動而造成圖像模糊,此過程中由于像素點的運動,一部分像素點會從圖像中損失掉。因像素點運動而損失掉的這部分信息稱之為圖像的邊緣信息拋出量。
如圖 1所示,在一幅 m×n的圖像中,假設(shè)圖像的運動模糊尺度是l,運動模糊方向與橫軸成θ°角,那么在運動方向上末端長度≤l-1的像素點將從圖像內(nèi)跑掉,如圖1中的一系列平行線。在運動方向末端跑掉的像素點為平行線構(gòu)成的陰影部分,即圖像在(x,y)像素點邊緣信息拋出量為 b(x,y):
圖1 圖像的拋出量示意圖
如圖1的圖像的邊緣信息拋出量占圖像總信息量的比例反映了圖像的像素點運動后圖像的模糊度,即定義為圖像的邊緣信息拋出率。邊緣信息拋出率越大,圖像就越模糊;反之,圖像就越清晰。即:
式中,b(x,y)是圖像拋出點的邊緣信息拋出量,I(x,y)是圖像在像素點(x,y)的信息量。一般情況下,通過式(8)在有參考圖像的條件下,只要估計出圖像的運動模糊參數(shù)就可估計出圖像的質(zhì)量。
(2)統(tǒng)計邊緣信息
一幅圖像的主要信息,主要是通過其邊緣信息量的多少來顯示,邊緣不明顯的圖像,可以認(rèn)為其模糊度越大。一幅m×n的圖像,對其進行邊緣提取之后,圖像中所顯示的輪廓信息就是其包含的信息量。即邊緣信息量:
式中,a(i,j)表示統(tǒng)計出的圖像邊緣信息量。在一幅圖像內(nèi),單位面積的邊緣信息分布量(即圖像的活動度)就可以表示為:
μ的大小反了圖像邊緣信息的多少,μ值越小,圖像所包含的邊緣信息就越?。环粗?,圖像就包含較多的邊緣信息。
(3)圖像的質(zhì)量與運動模糊參數(shù)的關(guān)系
分析圖像的質(zhì)量與圖像的運動模糊參數(shù)的關(guān)系實現(xiàn)步驟如下:
①估計出圖像的運動模糊參數(shù)。
②建立如圖1所示的圖像運動模型。
③將原始圖按所建立的模型分塊成圖1中所示的斜線陰影和空白兩個部分。
④分別估算出圖像的陰影部分的信息量及圖像總的信息量。
⑤按照式(8)計算出圖像邊緣信息拋出率η。
⑥根據(jù)得到的邊緣信息拋出率對圖像進行分析并得出圖像的質(zhì)量與η的關(guān)系。
(1)圖像梯度方向的均方差變化量
圖像的運動模糊過程中,由于像素點的移動而導(dǎo)致圖像灰度發(fā)生了變化,損失了一定的邊緣信息,其中較為顯著的變化就是平滑了圖像的灰度,使圖像的邊緣輪廓信息變得模糊。因為圖像的運動而導(dǎo)致的圖像的灰度損失越嚴(yán)重,圖像相鄰像素點間的均方差就越小,圖像就越是模糊。本文采用求取一階微分導(dǎo)數(shù)的方法計算出圖像梯度方向的灰度均方差變化量。為了更加精確,本文算法采取從8個方向分別對圖像進行分析,如圖2所示。
圖2 8個方向的灰度梯度變化
則一小塊的平均均方誤差為:
S的值越大,圖像因為運動而損失的邊緣信息就越少,圖像就越清晰;反之,圖像就越模糊。
(2)圖像質(zhì)量的計算
對于一幅m×n圖像模糊度的計算過程如下:
(1)按圖 2將圖像分成 3×3的小塊。
(2)按式(11)、式(12)分別從 8個方向計算模糊圖像每一個小塊的均方差Si。
(3)按式(9)、式(10)計算圖像的每一小塊動度 Di和邊緣活動度μ。
(4)計算圖像的清晰度:
其中,k為圖像的分塊數(shù),同一幅圖像中,IDD的值越大,圖像的質(zhì)量就越好。
為了驗證圖像的信息拋出率與運動模糊參數(shù)的關(guān)系及其能否對圖像進行客觀反映,選取baboon、woman兩幅圖像,分別進行不同運動模糊參數(shù)的模糊。在試驗圖像中,baboon、woman運動模糊方向取任意角度,分別為0°和 60°, 每一幅圖像模糊尺度均選取 5、10、15、20、25個像素點,結(jié)果如圖3、圖4所示。并將圖像的清晰度與IDD、活動度 μ與 Laplacian(四鄰域微分)算子進行比較,并分別計算出其η。比較結(jié)果分別如表1、表2所示。
圖3 baboon原圖及不同模糊長度的模糊圖
圖4 woman原圖及不同模糊長度的模糊圖
表1 baboon不同算法的結(jié)果比較
表2 woman不同算法的結(jié)果比較
由表1、表 2可看出,在不同算法下,圖像的質(zhì)量呈現(xiàn)出一致的趨勢,說明圖3、圖4中圖像的質(zhì)量從(a)~(f)是由好到差。根據(jù)圖1所示的原理,分別計算它們的η值,其結(jié)果如表3所示。
由表3可以看出,在以(a)圖為參考的情況下,圖3、圖4的變化趨勢與表1、表2中的算法保持一致。為了更好地驗證η的性質(zhì),選取lena和cameraman兩幅圖像分別進行模糊尺度為5和10個像素,模糊方向分別為 30°、45°和 60°的計算。 其結(jié)果分別如表4、表5所示。
表3 baboon和woman原圖及不同模糊圖的η值
從圖3~圖6的實驗結(jié)果中可以看到,圖像的邊緣信息拋出率變化趨勢與圖像中質(zhì)量是呈現(xiàn)出一致的變化趨勢。因此,在比較運動模糊圖像時,可以通過這一規(guī)律快速估計得到圖像質(zhì)量。為了比較圖像的質(zhì)量與圖像的信息拋出率之間的關(guān)系,先將圖3~圖6中能客觀評價圖像質(zhì)量的IDD值進行處理,以圖(a)為參考,e為不同運動模糊圖像質(zhì)量的IDD值與原始圖像質(zhì)量IDD的比值。比較結(jié)果如表6、表7所示。
圖5 lena l=5下,不同模糊方向的模糊圖
表4 lena不同算法的結(jié)果比較
圖6 cameraman l=10,下不同模糊方向的模糊圖
表5 camera不同算法的結(jié)果比較
表6 baboon與woman的值
表7 lena與cameraman的值
通過對圖3~圖6圖像的分析可以看出,在同一幅圖像下,由于運動而導(dǎo)致的模糊圖像中,越是模糊的圖像的邊緣信息拋出率η越大。而對于不同的圖像,可以通過計算η來比較其質(zhì)量,η越小,圖像越清晰,則e越大,與圖像的內(nèi)容沒有關(guān)系。在這一規(guī)律情況下,對有參考條件下的直線運動圖像模糊度估計,只需要估計出圖像的運動模糊參數(shù),就可以通過原始圖像按圖1分塊,計算邊緣信息拋出率即可以估計出圖像的質(zhì)量。而且根據(jù)這一規(guī)律,也可以計算出圖像在哪個方向角具有最大的模糊度,不同的圖像最大模糊度所具有的方向角是不同的,這要看圖像在哪個方向角運動下的η值最大。
本文在分塊和邊緣活動度的基礎(chǔ)上,提出了計算圖像清晰度的方法,并以一種新的通過估計邊緣信息的損失為基礎(chǔ)的方法對圖像進行分析,與各種算法進行比較。實驗表明,該方法能客觀地評價出圖像的質(zhì)量,而且能準(zhǔn)確地估計出同一運動尺度下圖像在哪個方向下具有最大的模糊度。該方法在對于有參考情況下的圖像模糊度評價更直觀,具有很好的效果。
[1]WANG Z,BOVIK A C,LU L.Why is image quality asscessment so difficult[C].ICASSP.Florida: IEEE,2002:3313-3316.
[2]LUKICIC T,GRGIC S.Telecinecalibration and image quality evaluation[C].ELAMAR 05.Zadar, Groatia: IEEE,2005:77-81.
[3]韋學(xué)輝.圖像及視頻的若干研究[D].杭州:浙江大學(xué),2008.
[4]商文.空域無參考的圖像質(zhì)量評價[D].南昌:江西財經(jīng)大學(xué),2006.
[5]朱孔鳳,姜威,王瑞芳,等.一種新的圖像清晰度評價函數(shù)[J].紅外與激光工程,2005,34(4):464-468.
[6]許貴力,劉小霞.一種圖像清晰度評價方法[J].紅外與激光工程,2009,38(1):180-184.
[7]楊春玲,高文瑞.基于機構(gòu)相似的小波域圖像質(zhì)量評價方法的研究[J].電子學(xué)報,2009,37(4):845-849.