趙 月 王來(lái)花 王偉勝 喬麗娟 阮 泉

(曲阜師范大學(xué)軟件學(xué)院 山東 曲阜 273165)

0 引 言

文字作為傳輸信息最重要的載體，一直以來(lái)是人們獲取信息的重要途徑，但隨著數(shù)字圖像的出現(xiàn)和發(fā)展，平面圖像給人們帶來(lái)了文字無(wú)法直接展示的視覺信息，極大地豐富了人們的生活[1]。平面圖像可以給人們帶來(lái)更好的視覺體驗(yàn)，可以更加真實(shí)地再現(xiàn)生活中的場(chǎng)景。圖像在電子商務(wù)、醫(yī)學(xué)診斷、智慧教育等各個(gè)領(lǐng)域都占有重要地位。它成為了人們獲取信息、表達(dá)信息和傳遞信息不可或缺的一部分。在圖像的采集、傳輸[2]、存儲(chǔ)和處理過(guò)程中，會(huì)出現(xiàn)模糊等一系列失真問(wèn)題。高斯模糊會(huì)使得圖像中的對(duì)象不突出，嚴(yán)重的模糊失真無(wú)法辨別圖像中的細(xì)節(jié)。高斯模糊看起來(lái)像是通過(guò)半透明玻璃看圖像的效果，這將使圖像中的對(duì)象不夠突出，嚴(yán)重的模糊失真將使圖像中的細(xì)節(jié)變得難以辨認(rèn)，因此圖像質(zhì)量評(píng)價(jià)已成為重要的研究課題。

在圖像信息工程領(lǐng)域，如何高效、系統(tǒng)地評(píng)價(jià)模糊畸變圖像，引起了越來(lái)越多學(xué)者的關(guān)注[3]。Ferzli等[4]將明顯模糊的概念集成到概率求和模型中。Narvekar等[5]利用概率模型來(lái)估計(jì)檢測(cè)圖像中每個(gè)邊緣模糊的概率。Mitta等[6]推導(dǎo)出了一個(gè)盲目的IQA模型，它只利用自然圖像中觀察到的統(tǒng)計(jì)規(guī)律的可測(cè)量偏差，而沒(méi)有對(duì)人評(píng)定的失真進(jìn)行培訓(xùn)，而且確實(shí)沒(méi)有任何暴露于扭曲的圖像。Leclaire等[7]提出全局相位一致性，對(duì)清晰度指數(shù)及其簡(jiǎn)化版本的了解更深入。Cao等[8]提出了高斯模糊圖像的無(wú)參考清晰度度量。Li等[9]和Yue等[10]利用改進(jìn)的局部二值模式(Local binary pattern，LBP)提取特征來(lái)構(gòu)建預(yù)測(cè)模型。Gu等[11]對(duì)模糊和噪聲混合失真圖像的質(zhì)量進(jìn)行評(píng)價(jià)。文獻(xiàn)[12]提出了一種新的靜止圖像無(wú)參考模糊指數(shù)，該指數(shù)基于以下觀察結(jié)果：在不同程度模糊的圖像版本之間可能很難感知。Li等[13]提出了盲圖像模糊評(píng)估離散Tchebichef矩的快速算法。Marziliano等[14]利用Sobel算子檢測(cè)垂直邊緣，并采用垂直邊緣的寬度來(lái)表征圖像的清晰度。上述方法在圖像質(zhì)量評(píng)價(jià)方面取得了一定的成果，有的還成為了指導(dǎo)立體圖像[15-18]質(zhì)量評(píng)價(jià)的重要依據(jù)。但是大多數(shù)情況下獲取原始參考視圖具有一定難度，而且針對(duì)模糊圖像邊緣檢測(cè)算子Sobel無(wú)法準(zhǔn)確提取圖像中的邊緣。

本文通過(guò)對(duì)圖像上采樣和下采樣來(lái)度量圖像的自相似性，解決了無(wú)法獲得原始參考視圖這一問(wèn)題。將所得的上采樣和下采樣圖片利用分水嶺算法標(biāo)記出連通域，從而計(jì)算連通域的密度差值。之后通過(guò)Tamura紋理特征模型和拉普拉斯算子分別度量圖像的粗糙度和清晰度。最后利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練來(lái)預(yù)測(cè)高斯模糊圖像的質(zhì)量分?jǐn)?shù)。通過(guò)在LIVE II、TID2013數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)表明了本文算法表現(xiàn)優(yōu)于常用的評(píng)價(jià)方法。

1 本文方法

本文建立了一個(gè)無(wú)參考的高斯模糊圖像的質(zhì)量評(píng)價(jià)模型，將失真圖像輸入模型，通過(guò)對(duì)高斯模糊失真圖像特征進(jìn)行提取，然后用建立的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)出圖像的質(zhì)量分?jǐn)?shù)。本文的具體結(jié)構(gòu)框圖如圖1所示，具體步驟如下。

圖1 本文方法框架圖

步驟一將失真圖像上采樣和下采樣，對(duì)所得的兩幅圖像分別提取連通域，對(duì)兩圖像的連通域進(jìn)行差值運(yùn)算從而得到密度差值，并將其作為特征1。

步驟二特征2是Tamura紋理特征中的粗糙度。

步驟三利用拉普拉斯算子提取圖像的清晰度，作為特征3。

步驟四將特征1、特征2、特征3作為輸入進(jìn)行BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練和預(yù)測(cè)，最終輸出圖片的質(zhì)量分?jǐn)?shù)。

步驟五通過(guò)衡量標(biāo)準(zhǔn)對(duì)所得分?jǐn)?shù)以及模型的好壞進(jìn)行評(píng)價(jià)。

1.1 密度特征的提取與度量

像素的灰度值可以很好地反映圖像中的信息，一幅清晰圖像中的顏色要比模糊圖像中顏色更加多樣化。圖2給出了6種不同模糊程度的圖片，圖3給出了這6種圖片對(duì)應(yīng)的灰度直方圖。由圖3不難發(fā)現(xiàn)圖像越模糊，圖像灰度直方圖中顏色變化范圍就越小。因此可以結(jié)合分水嶺算法根據(jù)灰度值的不同，將圖像按照區(qū)域進(jìn)行分割，標(biāo)記出連通域?；叶戎底兓秶蟮膱D像，單位區(qū)域內(nèi)顏色更加多樣化，連通域的數(shù)量更多。從而根據(jù)連通域的密度衡量圖像的模糊程度。

圖2 不同模糊等級(jí)的圖像

圖3 對(duì)應(yīng)的灰度直方圖

圖像的放大和縮小不會(huì)顯著改變像素分布。當(dāng)圖像尺寸增大時(shí)，構(gòu)成圖像的像素的可見性將變高[19]。受結(jié)構(gòu)相似算法原理的啟發(fā)，本文對(duì)失真圖像2倍上采樣獲得放大圖像I,同時(shí)對(duì)其2倍下采樣獲得縮小圖像I′，利用兩幅圖中連通域[20]的密度來(lái)衡量圖片的失真情況。

(1) 通過(guò)模擬浸入過(guò)程，將I和I′中灰度值相同的區(qū)域進(jìn)行分割，從而在邊界處形成分水嶺，計(jì)算公式如下：

T[n]={(x,y)|I(x,y)

(1)

T′[n]={(x,y)|I′(x,y)

(2)

式中：T[n]是I中位于平面I(x,y)=n下方的點(diǎn)的坐標(biāo)集；T′[n]是I′中位于平面I′(x,y)=n下方的點(diǎn)的坐標(biāo)集；根據(jù)實(shí)驗(yàn)篩選設(shè)置n=1。

(2) 分別標(biāo)記T[n]和T′[n]中的連通域：

Yk=(Yk-1⊕τ)∩T[n]k=1,2,…

(3)

(4)

(3) 從圖4中可以觀察到標(biāo)記出的連通域，不難發(fā)現(xiàn)不同程度的模糊，圖片中連通域的密集程度是不同的，圖片越模糊，圖片中連通域的密集程度越小。因此，本文用圖像中連通域的密度來(lái)表示圖片的模糊程度：

(5)

(6)

式中：A是連通域的總數(shù)；M和N分別代表圖像的長(zhǎng)和寬；Ti代表了第i個(gè)連通域；B是上采樣圖片I中連通域的密度；B′是下采樣圖片I′中連通域的密度。

圖4 圖2中圖像的連通區(qū)域

(4) 將上采樣和下采樣后的連通域密度做差，用差值Q1衡量失真圖的模糊程度：

Q1=B-B′

(7)

圖5給出了圖2中6幅圖片的DMOS值和Q1的柱狀圖。DMOS值越大代表圖片的質(zhì)量越好，可以看出兩者具有一致性，說(shuō)明連通域的差值可以很好地反映圖片的質(zhì)量，與人的主觀打分具有很好的一致性。

圖5 DMOS和Q1比較圖

1.2 粗糙度特征的提取與度量

粗糙度影響人類視覺對(duì)于紋理的感知[21]，本節(jié)利用粗糙度指標(biāo)衡量模糊失真圖像的失真程度。

j-2m-1:j+2m-1-1))

(8)

式中：mean()是平均灰度函數(shù)；i和j分別是圖像中像素點(diǎn)的橫縱坐標(biāo)。

(2) 對(duì)每個(gè)像素點(diǎn)分別計(jì)算水平和垂直方向上不重疊窗口之間的平均灰度值的差Ex和Ey：

(9)

(10)

(3) 根據(jù)每個(gè)像素點(diǎn)使Ex和Ey取得最大值時(shí)的m，計(jì)算每個(gè)像素點(diǎn)的最優(yōu)窗口υbest:

υbest(i,j)=2m

(11)

(4) 將所有像素點(diǎn)的最優(yōu)窗口的均值作為整幅圖片的粗糙度Q2：

(12)

圖6給出了圖2中模糊圖片的DMOS值和Q2的柱狀圖。DMOS值越大代表圖片的質(zhì)量越好，可以看出兩者具有一致性，說(shuō)明粗糙度可以很好地反映圖片的質(zhì)量，與人的主觀打分具有很好的一致性。

圖6 DMOS和Q2比較圖

1.3 清晰度特征的提取與度量

拉普拉斯算子具有旋轉(zhuǎn)不變性，是一種二階微分算子，常用來(lái)進(jìn)行邊界檢測(cè)。在一幅未失真的圖片中，由于邊界明顯，因此用拉普拉斯算子計(jì)算后，二階導(dǎo)數(shù)偏大。相反，一幅模糊圖片的二階導(dǎo)數(shù)就會(huì)偏小。本文根據(jù)這個(gè)原理，用拉普拉斯算子來(lái)度量圖片的清晰度。

Q3=-4I0(i,j)+[I0(i+1,j)+I0(i-1,j)+

I0(i,j+1)+I0(i,j-1)]

(13)

式中：Q3是圖片清晰度的質(zhì)量分?jǐn)?shù)。圖片越清晰，二階導(dǎo)數(shù)就會(huì)越大，Q3就越大。

圖7是DMOS值和Q3的直方圖。DMOS值越大，圖片質(zhì)量越好。可以看出，清晰度可以很好地反映圖像的質(zhì)量，并且與主觀評(píng)分具有良好的一致性。

圖7 DMOS和Q3的比較圖

1.4 模型建立

根據(jù)對(duì)連通域、粗糙度和清晰度的分析和度量，本文利用BP神經(jīng)網(wǎng)絡(luò)建立高斯模糊圖像質(zhì)量評(píng)價(jià)模型，來(lái)預(yù)測(cè)最終圖像的質(zhì)量。

BP神經(jīng)網(wǎng)絡(luò)是一種監(jiān)督訓(xùn)練多層網(wǎng)絡(luò)的算法，通過(guò)學(xué)習(xí)能夠使輸出結(jié)果的誤差平方和達(dá)到最小值。其計(jì)算過(guò)程由正向和反向組成[22]。信號(hào)首先從輸入層正向傳播，在輸出層得到輸出結(jié)果，通過(guò)代價(jià)函數(shù)求得與期望值的誤差。再通過(guò)隱含層反向傳播，獲得各隱含層的誤差信號(hào)，并通過(guò)梯度下降法反向計(jì)算誤差信號(hào)從而不斷地修正各隱層的權(quán)值。

本文將數(shù)據(jù)分為訓(xùn)練、測(cè)試兩類，其中訓(xùn)練數(shù)據(jù)占80%，測(cè)試數(shù)據(jù)占20%。為了保證實(shí)驗(yàn)的有效性，隨機(jī)對(duì)數(shù)據(jù)劃分，并將訓(xùn)練次數(shù)重復(fù)500次，最后將所得結(jié)果的中值作為該模型的輸出值。圖8給出了本文方法所采用的BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖。密度差、粗糙度和清晰度是輸入層輸入的3個(gè)特征(特征1、特征2和特征3)，經(jīng)過(guò)隱含層，到達(dá)輸出層，經(jīng)過(guò)反復(fù)的訓(xùn)練，最終得出失真圖像對(duì)應(yīng)的質(zhì)量得分。

圖8 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖

2 實(shí) 驗(yàn)

在實(shí)驗(yàn)過(guò)程中選用LIVE II數(shù)據(jù)庫(kù)[23]和TID2013數(shù)據(jù)庫(kù)[24]兩個(gè)數(shù)據(jù)庫(kù)進(jìn)行測(cè)試。其中，LIVE II數(shù)據(jù)庫(kù)中包含29幅參考圖像，779幅失真圖像。此外，數(shù)據(jù)庫(kù)中還給出了失真圖像對(duì)應(yīng)的DMOS值。TID2013數(shù)據(jù)庫(kù)包含25幅參考圖像和3 000幅扭曲圖像(25幅參考圖像×24種扭曲類型×5種扭曲級(jí)別)。所有的圖像都以位圖格式保存在數(shù)據(jù)庫(kù)中，沒(méi)有任何壓縮。此外，為了驗(yàn)證本文方法的有效性，本文采用了SRCC、PLCC和RMSE三個(gè)評(píng)價(jià)參數(shù)作為衡量標(biāo)準(zhǔn)。SRCC和PLCC的范圍是[0,1]，值越大代表算法性能越好，RMSE范圍是[0,∞]，值越小代表算法性能越好。

為了探究數(shù)據(jù)集的劃分對(duì)實(shí)驗(yàn)結(jié)果的影響。將LIVE II數(shù)據(jù)庫(kù)和TID2013數(shù)據(jù)庫(kù)中的高斯模糊圖片按照10% ∶90%、20% ∶80%、30% ∶70%、40% ∶60%、50% ∶50%、60% ∶40%、70% ∶30%、80% ∶20%和90% ∶10%比例劃分，分別計(jì)算出SRCC的值。在圖9中，橫坐標(biāo)代表訓(xùn)練集的比例，縱坐標(biāo)代表500次SRCC實(shí)驗(yàn)結(jié)果的中值，黑色線(圖中上方線)代表在LIVE II數(shù)據(jù)庫(kù)上的表現(xiàn)，灰色線(圖中下方線)代表在TID2013數(shù)據(jù)庫(kù)上的表現(xiàn)?？梢钥闯?，隨著訓(xùn)練集劃分比例的增加，SRCC的表現(xiàn)逐漸增強(qiáng)。在80% ∶20%和90% ∶10%比例劃分中實(shí)驗(yàn)結(jié)果相差不大。因此在本次實(shí)驗(yàn)中將失真圖像按照訓(xùn)練集80%，測(cè)試集20%的劃分比例，隨機(jī)劃分，重復(fù)500次，然后將結(jié)果的中值作為實(shí)驗(yàn)的最終結(jié)果。

圖9 SRCC在訓(xùn)練集上的表現(xiàn)圖

為了進(jìn)一步證明結(jié)合密度差、粗糙度和清晰度這三個(gè)特征的必要性，本文給出了在LIVE II數(shù)據(jù)庫(kù)和TID2013數(shù)據(jù)庫(kù)上的散點(diǎn)圖，分別如圖10和圖11所示。數(shù)據(jù)分布越接近虛線，預(yù)測(cè)分?jǐn)?shù)與主觀分?jǐn)?shù)有更好的一致性，從而預(yù)測(cè)分?jǐn)?shù)越接近于人眼觀察分?jǐn)?shù)。

在圖10中，連通域特征相比于粗糙度和清晰度，與主觀分?jǐn)?shù)有更好的一致性。進(jìn)一步觀察圖10(d)，將三個(gè)特征融合后，比通過(guò)單一特征預(yù)測(cè)的質(zhì)量分?jǐn)?shù)有更好的一致性。在圖11中，單一特征預(yù)測(cè)的分?jǐn)?shù)點(diǎn)較為零散地分布在虛線周圍，而融合三個(gè)特征后，圖中分?jǐn)?shù)點(diǎn)較為緊湊的分布在虛線周圍。綜上所述，融合三個(gè)特征的表現(xiàn)明顯優(yōu)于單一特征，而且與主觀評(píng)分的一致性更好。

(a) 連通域 (b) 粗糙度

(c) 清晰度 (b) 三部分圖10 在LIVE II數(shù)據(jù)集上的散點(diǎn)圖

(c) 清晰度 (b) 三部分圖11 在TID2013數(shù)據(jù)集上的散點(diǎn)圖

為了進(jìn)一步驗(yàn)證本文方法的優(yōu)越性，在表1和表2中進(jìn)一步給出了不同度量在LIVE II數(shù)據(jù)庫(kù)和TID2013數(shù)據(jù)庫(kù)上的PLCC、SRCC、RMSE值。數(shù)據(jù)一致表明，通過(guò)BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)出的質(zhì)量分?jǐn)?shù)，遠(yuǎn)遠(yuǎn)超過(guò)簡(jiǎn)單的線性組合三部分。

表1 在LIVE II數(shù)據(jù)庫(kù)上的結(jié)果

表2 在TID2013數(shù)據(jù)庫(kù)上的結(jié)果

為了充分驗(yàn)證本文算法的有效性，本文進(jìn)一步將其與通用的質(zhì)量評(píng)價(jià)方法和新近主流無(wú)參考模糊圖像質(zhì)量評(píng)價(jià)算法進(jìn)行比較，包括SISBLIM[11]、IL-NIQE[25]、NIQE[26]、NFERM[27]、JNB[4]、FISHbb[28]、LPC-SI[29]、MLV[30]、CPBD[5]、BIBLE[31]、文獻(xiàn)[32]算法、VFDP[33]、BIECON[34]、NLDOGM[35]、DPPNNP[36]、HOSA[37]、文獻(xiàn)[38]算法、文獻(xiàn)[38]+FT算法。

從表3中可以看出通用型算法的表現(xiàn)整體不及專用型算法。值得一提的是本文方法和BIBLE的PLCC均超過(guò)0.97，SRCC值位列首位，RMSE值僅次于NFERM，綜合三種衡量標(biāo)準(zhǔn)，本文方法可以有效評(píng)價(jià)LIVE II數(shù)據(jù)庫(kù)中高斯模糊圖像的質(zhì)量。從表4中可以看出，兩類評(píng)價(jià)方法在TID2013數(shù)據(jù)庫(kù)上均未取得較好的表現(xiàn)，整體數(shù)值低于表3中的數(shù)值。本文方法的PLCC和SRCC值均超過(guò)0.85，整體表現(xiàn)僅次于文獻(xiàn)[32]提出的算法。然而文獻(xiàn)[32]是通過(guò)構(gòu)建VGG與Inception相結(jié)合的深度網(wǎng)絡(luò)，算法復(fù)雜度遠(yuǎn)高于本文。并且訓(xùn)練過(guò)程消耗的資源遠(yuǎn)高于本文采用的BP神經(jīng)網(wǎng)絡(luò)。此外，通用型算法VFDP的表現(xiàn)雖優(yōu)于本文方法，但需融合參考圖像與對(duì)應(yīng)失真圖像的亮度通道，而實(shí)際應(yīng)用中常常缺乏參考圖像。因此綜合算法復(fù)雜度及在數(shù)據(jù)庫(kù)上的表現(xiàn)，本文方法更具有優(yōu)勢(shì)，更適合實(shí)際應(yīng)用。

表3 在LIVE II數(shù)據(jù)庫(kù)上的對(duì)比結(jié)果

表4 在TID2013數(shù)據(jù)庫(kù)上的對(duì)比結(jié)果

3 結(jié) 語(yǔ)

本文提出了一種高斯模糊圖像的無(wú)參考質(zhì)量評(píng)價(jià)方法。通過(guò)失真圖像的上采樣和下采樣，克服了全參考算法不能獲得高質(zhì)量參考視圖的缺點(diǎn)，因此更適合實(shí)際應(yīng)用。另外，通過(guò)對(duì)連通區(qū)域的分析，發(fā)現(xiàn)其與高斯模糊圖像的模糊度具有一致性，并通過(guò)實(shí)驗(yàn)分析驗(yàn)證了該方法的有效性。下一步的重點(diǎn)是研究一種沒(méi)有參考質(zhì)量的通用方法。