侯春萍,林洪湖
?
基于網(wǎng)格與韋泊統(tǒng)計特性的立體圖像質(zhì)量評價
侯春萍,林洪湖
(天津大學電氣自動化與信息工程學院,天津 300072)
針對立體圖像失真會改變圖像對比度、邊緣和結(jié)構(gòu)等信息的特性,提出一種無參考立體圖像質(zhì)量評價方法.首先,利用韋泊分布的尺度參數(shù)和形狀參數(shù)分別描述合成圖、左右視圖及視差圖的梯度圖像特征;然后用網(wǎng)格強度及其規(guī)律性分別描述合成圖、左右視圖及視差圖的網(wǎng)格圖像特征;最后,將所得特征輸入支持向量回歸(SVR)網(wǎng)絡(luò)中訓練模型,獲得特征到質(zhì)量分數(shù)之間映射關(guān)系的模型,從而預測立體圖像質(zhì)量.通過利用LIVE-3D I數(shù)據(jù)庫和LIVE-3D Ⅱ數(shù)據(jù)庫進行性能測試,證明了本文提出的方法與人眼視覺特性具有很高的一致性,且性能優(yōu)于目前主流的圖像質(zhì)量評價算法.
立體圖像質(zhì)量評價;韋泊分布;網(wǎng)格特征;支持向量回歸
圖像在處理、存儲和傳輸中產(chǎn)生的失真嚴重影響了人們對圖像的理解,同時也影響了圖像有效信息的提取,因此建立有效的圖像質(zhì)量評價機制至關(guān)重要.客觀圖像質(zhì)量評價方法分為全參考圖像質(zhì)量評價(FR-IQA)、部分參考圖像質(zhì)量評價(RR-IQA)和無參考圖像質(zhì)量評價(NR-IQA).FR-IQA方法主要計算參考圖像與失真圖像的結(jié)構(gòu)相似性[1]、信息保真?度[2]、特征相似性[3]或多尺度結(jié)構(gòu)相似性[4].盡管這些全參考型圖像質(zhì)量評價能較好地預測圖像質(zhì)量,但在實際應(yīng)用中往往無法得到作為參考的原始圖像.RR-IQA方法需要從參考圖像中提取部分特征信息.NR-IQA方法僅從失真圖像中提取有關(guān)特征以評價圖像質(zhì)量[5-6].鑒于參考圖像通常難以獲得,因此在圖像質(zhì)量評價方法中,NR-IQA更具價值.
結(jié)構(gòu)特征在圖像質(zhì)量評價中非常重要[7-8],Wang等[1]基于圖像亮度、對比度和結(jié)構(gòu)相似度提出了結(jié)構(gòu)相似性對圖像質(zhì)量進行描述;基于人眼在不同距離觀察對圖像感知效果不同這一特性,Wang等[4]結(jié)合多尺度框架提出多尺度結(jié)構(gòu)相似性;大多數(shù)算法都從圖像亮度和對比度等角度考慮圖像結(jié)構(gòu),而網(wǎng)格圖對結(jié)構(gòu)的描述能力一直鮮有人發(fā)現(xiàn),Li等[9]提出基于網(wǎng)格特征的JPEG圖像塊效應(yīng)NR-IQA算法,通過描述圖像中塊效應(yīng)網(wǎng)格的強度和規(guī)律性生成相應(yīng)分數(shù).考慮到圖像結(jié)構(gòu)失真和邊緣像素變化等會造成圖像梯度幅值(gradient magnitude,GM)變化,文獻[10]考慮了梯度域上的韋泊統(tǒng)計特征對圖像結(jié)構(gòu)的影響.
立體圖像質(zhì)量評價與平面圖像質(zhì)量評價的主要差別在于立體圖像存在視差信息,因此影響了人眼對圖像質(zhì)量舒適度的感知[11].文獻[12]直接通過雙目融合特征評價3D圖像質(zhì)量,Lin等[13]提出應(yīng)用2D方法評價左右視圖并直接加權(quán)后得到3D圖像質(zhì)量.Shao等[14]提出在合成圖基礎(chǔ)上通過模擬視覺皮層感知、學習雙目感知域特性[15]、利用特征編碼模擬初級視覺皮層特性[16]或用DNN來模擬雙目競爭[17]實現(xiàn)立體圖像質(zhì)量評價.文獻[18]提取合成圖幅度和相位特征實現(xiàn)立體圖像質(zhì)量評價;綜上所述,從合成圖中提取的特征可以在一定程度上反映立體圖像?失真.
本文借鑒了文獻[9]中網(wǎng)格特征對圖像結(jié)構(gòu)的影響及文獻[10]中韋泊統(tǒng)計特性在梯度圖上的表現(xiàn)的思想,同時考慮了合成圖在立體圖像質(zhì)量評價中的重要作用,針對失真立體圖像質(zhì)量評價,結(jié)合網(wǎng)格特征和韋泊統(tǒng)計特性來描述圖像結(jié)構(gòu)和邊緣信息,提出了一種新的基于網(wǎng)格和韋泊統(tǒng)計特性的立體圖像質(zhì)量評價方法.
本文提出的無參考圖像質(zhì)量評價模型主要包含3步:①計算視差圖及合成圖;②提取左右視圖、視差圖及合成圖中的特征;③將特征圖像輸入到質(zhì)量預測模型中進行圖像質(zhì)量評價.具體流程如圖1所示.
圖1中,先由失真立體圖像對計算視差圖并生成合成圖;將左右視圖、視差圖及合成圖均轉(zhuǎn)換到梯度域,用韋泊分布的形狀參數(shù)和尺度參數(shù)描述梯度圖像特征,同時也計算各圖的網(wǎng)格圖,用網(wǎng)格強度和網(wǎng)格規(guī)律性描述網(wǎng)格特征;將所得特征輸入SVR中建立模型預測立體圖像質(zhì)量.考慮到人眼在觀察圖像時,由于觀察的尺度空間的變化,同一圖像在不同尺度空間會產(chǎn)生不同的視覺效果,為了更精確地預測圖像質(zhì)量,因此本文還分別對左右視圖、合成圖和視差圖均進行兩次降采樣處理,從采樣圖中提取網(wǎng)格特征及韋泊統(tǒng)計特征.
圖1?算法流程
融合視差信息的立體圖像與平面圖像不同,僅通過對左右圖像質(zhì)量求均值得到的立體圖像客觀質(zhì)量的方法效果不明顯,因此本文考慮增加融合了視差信息的合成圖及視差圖對立體圖像進行評價.
利用左右視圖及其視差計算合成圖,公式為
?????(1)
式中:表示合成圖;()表示位置;為視差;L、R分別表示左視圖和右視圖;L和R為左右權(quán)重.
左右權(quán)重通過歸一化Gabor能量響應(yīng)賦值得到
???(2)
???(3)
式中GEL、GER分別為Gabor能量響應(yīng)值.Gabor濾波能量響應(yīng)是Gabor濾波器4個方向(水平、垂直、兩對角線)的幅值響應(yīng)能量之和.Gabor濾波器方向的幅值(,,)可通過二維復Gabor濾波器得?到,即
(4)
式中:∈{L,R};*表示卷積;為二維復Gabor濾波器;為濾波方向.二維復Gabor濾波器定義為
(5)
式中:1=cos+sin;2=-sin+cos;σ、σ是標準差;ζ、ζ為空間頻率,其值設(shè)為3.67,cycle/degree.
韋泊分布與人類對圖像的視覺有很強的相關(guān)性,失真圖像的梯度幅值遵循韋泊分布[19],Scholte等[20]也認為人類視覺系統(tǒng)與韋泊分布的形狀和尺度參數(shù)相關(guān)度高.本文借助了文獻[19]和[20]提出的韋泊分布思想,考慮了韋泊分布的形狀和尺度參數(shù)對圖像的空間一致性和復雜度描述的精確性,提出在梯度域使用韋泊分布的形狀和尺度參數(shù)描述圖像失真.韋泊分布形狀和尺度參數(shù)可由其概率密度函數(shù)得到,韋泊分布的概率密度函數(shù)定義為
?(6)
式中:和分別表示形尺度參數(shù)和形狀參數(shù);M是圖像的梯度幅值,灰度圖像的M計算公式為
?(7)
式中:和分別表示沿水平和垂直方向的Prewitt濾波算子.定義為
?(8)
?(9)
式(6)中代表分布寬度的尺度參數(shù)能夠反映局部對比度,而局部對比度變化影響人眼對圖像質(zhì)量的感知;形狀參數(shù)是指分布的峰值,對局部邊緣空間頻率比較敏感.為闡釋和能反映人眼能感知圖像質(zhì)量失真,本文通過圖2和圖3來說明和對不同失真類型圖像的影響.
圖2是LIVE-3D I數(shù)據(jù)庫的一幅原始左視圖及其5種失真類型圖像,失真類型分別是:快衰弱(fast fading,F(xiàn)F),高斯模糊(Gaussian blur,Gblur),高斯白噪聲(Gaussian white noise,GWN),JPEG壓縮和JP2K壓縮.
圖3中(a)和(b)分別是圖2中不同失真類型圖像在不同失真強度下韋泊分布的尺度參數(shù)和形狀參數(shù)的分布圖,其中橫坐標為圖像失真程度,隨著坐標軸數(shù)字的增大失真也隨之變得嚴重,圖3(a)中縱坐標是韋泊尺度參數(shù),圖3(b)中縱坐標是韋泊形狀參數(shù).從圖中可以看出:不同失真類型韋泊統(tǒng)計參數(shù)的分布不同,對于JPEG、JP2K、Gblur和FF來說,隨著失真程度的增加,邊緣弱化、對比度減小,因此韋泊分布的形狀參數(shù)及尺度參數(shù)隨之逐漸減小;但是對于高斯白噪聲而言,受噪聲污染后局部邊緣變化使得韋泊分布寬度增加且峰值增大,韋泊分布的形狀參數(shù)及尺度參數(shù)隨圖像失真程度增大而逐漸增大.由圖3(a)和(b)可知,對同一幅原始圖像而言不同失真類型的圖像梯度域的韋泊分布參數(shù)明顯不同.且參數(shù)隨著失真程度的增加而呈現(xiàn)規(guī)律性變化,因而韋泊分布的和兩個參數(shù)能夠描述圖像失真.
圖2?不同失真類型圖像
圖3?不同失真類型在不同失真強度下的韋泊參數(shù)分布
僅僅依靠和參數(shù)還不能很好地描述圖像的結(jié)構(gòu)等信息受失真的影響,因此本文提取網(wǎng)格特征描述圖像結(jié)構(gòu)和邊緣等特征,通過結(jié)合韋泊統(tǒng)計特征和網(wǎng)格特征描述不同尺度下圖像的結(jié)構(gòu)信息,以獲得更好的圖像質(zhì)量預測效果.網(wǎng)格特征需要從網(wǎng)格圖中提取,本節(jié)先介紹失真圖的網(wǎng)格圖像.
1.3.1?網(wǎng)格圖像
通過對圖像求梯度來描述像素不連續(xù)性的做法存在不足.為更好描述像素不連續(xù)性,本文首先提取相對獨立的網(wǎng)格圖像,再從中提取特征.
定義網(wǎng)格圖像為
?(10)
式中:h(,)和v(,)分別表示水平網(wǎng)格和垂直網(wǎng)格,考慮到失真圖像中含有JPEG壓縮圖像,JPEG編碼的塊大小為8像素×8像素,本文提取周期為8的水平網(wǎng)格及垂直網(wǎng)格.其公式為
???(11)
???(12)
式中:median(·)表示取中值;h(,)、v(,)表示利用濾波處理后的相鄰水平、垂直邊緣之和減去其中值,即
?????(13)
?????(14)
式中:a(,)、b(,)為水平、垂直邊緣信號處理后相鄰幾列之和.水平、垂直邊緣信號經(jīng)過處理后,為增強較弱水平、垂直邊緣信號,選取相鄰幾列累加.但是累加列的個數(shù)大小會影響提取的網(wǎng)格特征,避免選取過大或過小的情況,本文參考文獻[9]中對信號的分析,選取每33列相累加,即
?(15)
?(16)
式中:h、v分別為利用二階差分計算的灰度圖像的水平及垂直邊緣處理后的信號,處理前的信號為
?(17)
?(18)
式中(,)為灰度圖像.
考慮到圖像失真如塊效應(yīng)等失真強度比邊緣強度弱很多[9],為了減輕圖像本身邊緣的影響,設(shè)置一個閾值對邊緣信號進行處理,即
?(19)
?(20)
1.3.2?網(wǎng)格強度及網(wǎng)格規(guī)律性
定義網(wǎng)格強度為
?(21)
式中:×是圖像的大??;(,)=(,);(,)是權(quán)值函數(shù).
考慮到人眼在觀察圖像時對非平坦區(qū)域的結(jié)構(gòu)失真較為敏感,而由于存在紋理掩蓋效應(yīng),人眼不容易觀察到紋理區(qū)域的失真,因此本文為人眼對圖像敏感區(qū)及不敏感區(qū)網(wǎng)格圖加上不同權(quán)值.為使式(21)的權(quán)值函數(shù)(,)對平滑區(qū)域的網(wǎng)格強度值賦予較大的權(quán)值,對紋理區(qū)域的網(wǎng)格強度賦予較小的權(quán)值,定義權(quán)值函數(shù)(,)為
?(22)
式中(,)表示原始圖像中像素(,)鄰域像素的標準差,用于描述紋理復雜度.
為強化對圖像結(jié)構(gòu)失真和邊緣變化的描述能力,考慮網(wǎng)格規(guī)律性.將網(wǎng)格規(guī)律性定義為
?(23)
式中:h和v分別為水平方向和垂直方向網(wǎng)格規(guī)律性度量.本文只介紹h垂直方向網(wǎng)格規(guī)律性度量v可由類似方法獲得.h定義為
?(24)
式中:是網(wǎng)格圖像經(jīng)離散付里葉變換后的功率譜的均值;1為進行中值濾波后的功率譜;系數(shù)8/7主要用于保持總體能量;1/7用于計算功率譜的平均峰值.
網(wǎng)格圖像經(jīng)離散傅里葉變換并求功率譜的過程如下.
先利用權(quán)值函數(shù)(,)對網(wǎng)格圖像加權(quán)和歸一化處理.
???(25)
加權(quán)后的網(wǎng)格圖像G轉(zhuǎn)換為一維信號,并表示為h.計算相鄰元素差值為
?(26)
上文提到,網(wǎng)格信號的周期為8,因此差值信號VD的周期也為8,將周期信號記為s.
?(27)
?(28)
則功率譜的均值為
?(29)
經(jīng)中值濾波后得1,將和1代入式(24)即得水平方向網(wǎng)格規(guī)律性度量.
圖4和圖5分別是同一幅圖像的5種失真類型圖像在不同失真程度下的網(wǎng)格強度分布圖和網(wǎng)格規(guī)律性分布圖,由圖4和圖5可以看出兩點:①不同失真類型的圖像網(wǎng)格強度和網(wǎng)格規(guī)律性分布圖均不相同;②不同失真類型的圖像網(wǎng)格強度和網(wǎng)格規(guī)律性分布圖變化趨勢不盡相同.對于JPEG壓縮而言,圖像失真越嚴重,網(wǎng)格強度越大,網(wǎng)格規(guī)律性越明顯;對于WN而言,無論圖像失真程度如何,網(wǎng)格強度和網(wǎng)格規(guī)律性基本無變化;對于Gblur而言,隨著圖像失真程度增加,網(wǎng)格強度隨之降低,網(wǎng)格規(guī)律性也減弱;對JP2K和FF而言,圖像失真程度增加,網(wǎng)格強度和網(wǎng)格規(guī)律性先增強后減弱;通過圖4和圖5可以進一步說明由網(wǎng)格強度和網(wǎng)格規(guī)律性描述的圖像結(jié)構(gòu)可以很好地反映不同類型的圖像失真.
圖4?不同失真程度下網(wǎng)格強度
圖5?不同失真程度下網(wǎng)格規(guī)律性
本文對左右視圖、合成圖及視差圖均進行兩次降采樣變換到不同尺度空間,分別提取每個信號的韋泊統(tǒng)計特征(形狀參數(shù)和尺度參數(shù))及網(wǎng)格強度和網(wǎng)格規(guī)律性特征.對圖像進行兩次降采樣處理時,共提取特征數(shù)為48個.特征提取后,需要一個回歸模型將各特征映射為表示圖像總體質(zhì)量的分數(shù),本文采用以徑向基核作為核函數(shù)的SVR作為映射函數(shù)[21].本文所提出的無參考圖像質(zhì)量評價算法的支持向量回歸模型分為訓練部分和測試部分.在訓練部分中,對提取的圖像特征和其對應(yīng)主觀評分值應(yīng)用SVR進行網(wǎng)絡(luò)訓練.在測試部分,將提取出的圖像特征輸入到已訓練好的網(wǎng)絡(luò)中,輸出預測的質(zhì)量分數(shù).
本文提出的算法利用2個公開的圖像質(zhì)量數(shù)據(jù)庫進行了性能測試,數(shù)據(jù)庫包括LIVE-3D I和LIVE-3D Ⅱ.LIVE-3D I包含 365 幅失真立體圖像及20 幅原始圖像,均是左右失真程度相同的對稱失真,包含5種失真類型:JPEG 壓縮、JPEG2000(JP2K)、Gblur、WN以及FF.LIVE-3D Ⅱ包含 360 幅失真立體圖像及8幅原始圖像,包括對稱和非對稱2種失真,每種失真方式包括5種失真類型:JPEG、JP2K、Gblur、WN、FF.
本文采用國際通用圖像質(zhì)量評價算法性能指標:皮爾森線性相關(guān)系數(shù)(Pearson linear correlation coefficient,PLCC)、斯皮爾曼排序相關(guān)系數(shù)(Spearman rank-order correlation coefficient,SRCC)和均方根誤差(root-mean-squared error,RMSE).SRCC指標衡量客觀算法的預測單調(diào)性,PLCC和RMSE指標衡量客觀算法的預測準確性.SRCC和PLCC的值越接近1及RMSE的值越小,則算法性能越好,圖像客觀預測質(zhì)量分數(shù)與主觀質(zhì)量分數(shù)相關(guān)性越高.
本文分別基于LIVE-3D I數(shù)據(jù)庫和LIVE-3D Ⅱ數(shù)據(jù)庫,利用SVR網(wǎng)絡(luò)構(gòu)建立體圖像質(zhì)量評價模型測試本文的算法性能.無參考立體圖像質(zhì)量評價模型采用核函數(shù)為徑向基函數(shù)的-SVR支持回歸向量機,建立模型及算法測試具體步驟如下.
步驟1?在每個數(shù)據(jù)庫中隨機選取80%,的圖像作為訓練集,剩余20%,的圖像作為測試集.
步驟2?輸入訓練集圖像特征及對應(yīng)圖像的主觀質(zhì)量分數(shù)值,利用SVR網(wǎng)絡(luò)進行訓練,獲得特征到主觀質(zhì)量分數(shù)的映射關(guān)系模型;對測試集圖像,利用得到的模型進行立體圖像質(zhì)量預測.分別計算SRCC、PLCC和RMSE值.
步驟3?重復步驟1和步驟2 1,000次,分別對1,000次測試得到的SRCC、PLCC和RMSE值取均值作為最終的SRCC、PLCC和RMSE值,用作算法性能比較參數(shù).
表1給出了本文提出的算法與主流的圖像質(zhì)量評價算法性能的比較結(jié)果.比較算法包括VIF[2]、MS-SSIM[4]、GridSAP[9]、Lin等[13]、Shao等[15]、Lin?等[18]、Zhou等[22]、Shao等[17]、Shao等[14]、Shao??等[12]、Shao等[16]、Oh等[23],其中MS-SSIM、VIF、GridSAP為2D圖像質(zhì)量評價算法,將其分別對左右視圖進行圖像質(zhì)量預測,再取均值作為3D圖像質(zhì)量預測分數(shù).為了方便觀看,表1中用加粗字體表示性能最高的2個算法.
從表1中可以看出:①本文算法在LIVE-3D Ⅰ數(shù)據(jù)庫和LIVE-3D Ⅱ數(shù)據(jù)庫上的總體性能都優(yōu)于其他算法,具有很高的準確性,在LIVE-3D Ⅰ中本文算法的PLCC是目前所有立體圖像質(zhì)量評價算法中最高的,比文獻[12]的算法高出0.000,2,而SRCC僅次于文獻[12],在LIVE-3D Ⅱ中本文算法性能指標均優(yōu)于所有其他立體圖像質(zhì)量評價算法;②因為LIVE-3D I數(shù)據(jù)庫只包含對稱失真,LIVE-3D Ⅱ數(shù)據(jù)庫既包含對稱失真又包含非對稱失真.所以其他算法用LIVE-3D Ⅰ數(shù)據(jù)庫計算得到的性能總是明顯優(yōu)于利用LIVE-3D Ⅱ數(shù)據(jù)庫計算得到的性能.而本文算法在2個數(shù)據(jù)庫上的性能相當;相反,在LIVE-3D Ⅱ數(shù)據(jù)庫上的SRCC值略高于LIVE-3D Ⅰ數(shù)據(jù)庫上的SRCC值.為驗證本算法在不同失真類型立體圖像上的性能,本文算法還分別對LIVE-3D Ⅰ數(shù)據(jù)庫的5類失真圖像逐一進行質(zhì)量分數(shù)預測,與各算法的對比結(jié)果如表2,從表2中可以看出,本文算法總體優(yōu)于其它算法,本文算法對JP2K、WN、Gblur三種失真圖像均有很高的主客觀一致性.
本文算法在梯度域提取韋泊統(tǒng)計特征,同時提取相對獨立的網(wǎng)格特征.韋泊統(tǒng)計特征反映了圖像中像素的變化,而像素變化與圖像邊緣有直接關(guān)系;僅僅依靠韋泊分布的形狀參數(shù)和尺度參數(shù)還不能很好地描述圖像的結(jié)構(gòu)等信息受失真的影響,網(wǎng)格特征可以反映圖像結(jié)構(gòu)和邊緣等信息.本文綜合考慮韋泊統(tǒng)計特征和網(wǎng)格特征對圖像結(jié)構(gòu)和邊緣等信息的影響,將二者有機結(jié)合起來對立體圖像質(zhì)量進行評價.實驗結(jié)果證明梯度域韋泊統(tǒng)計特征及網(wǎng)格圖像中的網(wǎng)格強度和網(wǎng)格規(guī)律性特征可以很好地描述圖像結(jié)構(gòu)失真和邊緣變化.
表1?算法性能比較
Tab.1?Performance comparison of algorithms
表2?在單一失真類型的LIVE-3DI數(shù)據(jù)庫上比較不同算法的性能
Tab.2?Performances comparison on LIVE-3D I database with signal distortion
觀看圖像時,隨著尺度空間的增加,圖像會變得越來越模糊,反映了人眼和圖像距離變化時,圖像在人眼視網(wǎng)膜上的成像變化.降采樣能夠模擬人眼在不同距離觀看圖像時產(chǎn)生不同的視覺效果,本文對左右視圖、合成圖及視差圖分別進行1次、2次、3次、4次降采樣及不進行降采樣,在LIVE-3D I數(shù)據(jù)庫和LIVE-3D II數(shù)據(jù)庫進行性能測試,由表3可以看出,在LIVE-3D I數(shù)據(jù)庫中4次降采樣比兩次降采樣效果略優(yōu);在LIVE-3D II數(shù)據(jù)庫中,當圖像不進行降采樣時,效果最差,隨著降采樣次數(shù)增加,效果越來越好,降采樣兩次時本文算法性能達到最佳,此后隨著降采樣次數(shù)增加,效果下降.實驗結(jié)果說明并非降采樣次數(shù)越多越好,當達到一定次數(shù)時圖像已經(jīng)嚴重失真,從所得采樣信號提取的網(wǎng)格特征和韋泊統(tǒng)計特征已不能很好描述圖像結(jié)構(gòu)失真和邊緣變化.綜合實驗結(jié)果表明兩次降采樣能夠使本算法達到更好的預測結(jié)果.
表3?不同降采樣次數(shù)性能比較
Tab.3 Performance comparison of different downsamplings
本文提出一種在視差圖上提取韋泊統(tǒng)計特征和網(wǎng)格特征的無參考立體圖像質(zhì)量評價方法.將在左右視圖、合成圖和視差圖上提取的特征輸入SVR網(wǎng)絡(luò)訓練,得到訓練模型,以實現(xiàn)特征到質(zhì)量分數(shù)的映射,性能優(yōu)于目前的立體圖像質(zhì)量評價算法.未來本算法將拓展到視頻質(zhì)量評價.
[1] Wang Zhou,Bovik A C,Sheikh H R,et al. Image quality assessment:From error visibility to structural similarity[J].,2004,13(4):600-612.
[2] Hamid R S,Bovik A C. Image information and visual quality[J].,2006,15(2):430-444.
[3] Zhang Lin,Zhang Lei,Mou Xuanqin,et al. FSIM:A feature similarity index for image quality assessment[J].,2011,20(8):2378-2386.
[4] Wang Zhou,Simoncelli E P,Bovik A C. Multiscale structural similarity for image quality assessment[C]//200437,Pacific Grove,USA,2003:1398-1402.
[5] Yue Guanghui,Hou Chunping,Gu Ke,et al. No reference image blurriness assessment with local binary patterns[J].,2017,49:382-391.
[6] Yue Guanghui,Hou Chunping,Gu Ke,et al. Biologically inspired blind quality assessment of tone-mapped images[J].,2018,65(3):2525-2536.
[7] Yue G,Hou C,Jiang Q,et al. Blind Stereoscopic 3D image quality assessment via analysis of naturalness,structure,and binocular asymmetry[J].,2018,150:204-214.
[8] 侯春萍,林洪湖. 基于小波變換與結(jié)構(gòu)特征的立體圖像質(zhì)量評價[J]. 激光與光電子學進展,2018,55(6):061005.
Hou Chunping,Lin Honghu. Stereoscopic image quality assessment based on wavelet transform and structure characteristics[J].,2018,55(6):061005(in Chinese).
[9] Li Leida,Zhou Yu,Wu Jinjian,et al. GridSAR:Grid strength and regularity for robust evaluation of blocking artifacts in JPEG images[J].,2015,30:153-163.
[10] Deng Chenwei,Wang Shuigen,Li Zhen,et al. Content-insensitive blind image blurriness assessment using Weibull statistics and sparse extreme learning machine[EB/OL]. https://ieeexplore.ieee.org/document/796 7621/,2017.
[11] Yue Guanghui,Hou Chunping,Lei Jianjun,et al. Optimal region selection for stereoscopic video subtitle insertion[EB/OL]. https://ieeexplore.ieee.org/document/ 80104501/,2017.
[12] Shao Feng,Li Kemeng,Lin Weisi,et al. Using binocular feature combination for blind quality assessment of stereoscopic images[J].,2015,22(10):1548-1551.
[13] Lin Yu-Hsun,Wu Ja-Ling. Quality assessment of stereoscopic 3D image compression by binocular integration behaviors[J].2014,23(4):1527-1542.
[14] Shao Feng,Chen Wanting,Lin Wenchong,et al. Simulating receptive fields of human visual cortex for 3D image quality prediction[J].,2016,55(21):5488-5496.
[15] Shao Feng,Li Kemeng,Lin Weisi,et al. Full-reference quality assessment of stereoscopic images by learning binocular receptive field properties[J].,2015,24(10):2971-2983.
[16] Shao Feng,Chen Wanting,Jiang Gangyi,et al. Modeling the perceptual quality of stereoscopic images in the primary visual cortex[J].,2017,5:15706-15716.
[17] Shao Feng,Tian Weijun,Lin Weisi,et al. Toward a blind deep quality evaluator for stereoscopic images based on monocular and binocular interactions[J].,2016,25(5):2059-2074.
[18] Lin Yancong,Yang Jiachen,Lu Wen,et al. Quality index for stereoscopic images by jointly evaluating cyclopean amplitude and cyclopean phase[J].,2017,11(1):89-101.
[19] Geusebroek Jan-Mark,Arnold W. M. Smeulders. Fragmentation in the vision of scenes[C]//Tokyo,Japan,2003:130-135.
[20] Scholte HS,Ghebreab S,Waldorp L,et al. Brain responses strongly correlate with Weibull image statistics when processing natural images[J].,2009,9(4):29-29.
[21] Scholkopf B,Smola A J.:,,,[M]. Cambridge:MIT Press,2001.
[22] Zhou Wujie,Yu Lu,Qiu Weiwei,et al. Utilizing binocular vision to facilitate completely blind 3D image quality measurement[J].,2016,129:130-136.
[23] Oh H,Ahn S,Kim J,et al. Blind deep S3D image quality evaluation via local to global feature aggregation[J].,2017,26(10):4923-4936.
(責任編輯:王曉燕)
Stereoscopic Image Quality Assessment Based on Grid and Weibull Statistics
Hou Chunping,Lin Honghu
(School of Electrical and Information Engineering,Tianjin University,Tianjin 300072,China)
Stereoscopic image distortion will change the contrast,edge,structure and other information of image.To solve the problem,a no-reference stereoscopic image quality estimator was proposed.First,the gradient image characteristics of the cyclopean image,left and right view and disparity map were parameterized using(scale parameter)andshape parameter)of Weibull distribution.Second,the grid characteristics of image were described by grid strength and regularity.Finally,the model described the relationship between the acquired features and scores was trained by support vector regression(SVR)network,which was used to predict the stereoscopic image quality.Experimental results on LIVE-3D I and LIVE-3D Ⅱ show that the proposed method is highly correlated with the human visual system and superior to the mainstream state-of-the-art IQA metrics.
stereoscopic image quality assessment;Weibull distribution;grid characteristic;support vector re gression
the Key International(Regional)Cooperative Research Program of National Natural Science Foundation of China (No.,61520106002) and the National Natural Science Foundation of China(No.,61471262).
TN919.8
A
0493-2137(2018)10-1015-08
10.11784/tdxbz201710002
2017-10-03;
2018-04-11.
侯春萍(1957— ),女,博士,教授,hcp@tju.edu.cn.
林洪湖,linhonghu@tju.edu.cn.
國家自然科學基金重點國際(地區(qū))合作研究資助項目(61520106002);國家自然科學基金資助項目(61471262).