王 淦，宋 利，張文軍

(上海交通大學(xué)上海市數(shù)字媒體處理與傳輸重點實驗室，上海200240)

近年來，隨著數(shù)字視頻技術(shù)的發(fā)展和成熟，客觀視頻質(zhì)量評價方法在視頻壓縮、通信、分析、重建等視頻處理應(yīng)用中扮演著越來越重要的角色。

在設(shè)計客觀質(zhì)量評價方法中，人眼視覺系統(tǒng)(Human Visual System，HVS)的特性是一個重要的考量。HVS在其有限的神經(jīng)元硬件條件限制下，能夠最優(yōu)化地利用這些資源傳輸最有內(nèi)容的圖像信息。在進(jìn)行更高級的處理之前，HVS表現(xiàn)出這樣一種特性，即它會嘗試提取所能感知的信息中的一個子集來優(yōu)先傳輸，很明顯，這個信息子集較其他信息更能吸引人眼的注意力［1］?？梢哉J(rèn)為HVS是一個高效的編碼器或者說是信息提取器，它同一般的通信模型一樣，受制于某些物理限制，這種假設(shè)被廣泛應(yīng)用于視覺計算領(lǐng)域［2］。運(yùn)動信息是包含于視頻中的一種重要的信息類型，它是使視頻序列區(qū)別于若干獨立靜止圖像幀的一個重要特征。

Q.Li在文獻(xiàn)［3］中提出了一種基于運(yùn)動感知的視頻質(zhì)量評價方法，應(yīng)用了一個由Stocker等提出的有關(guān)運(yùn)動速度感知的心理學(xué)模型［4］，并由此提出揉合了感知不確定性(Perceptual Uncertainty)和信息內(nèi)容(Information Content)來提取運(yùn)動信息的視頻質(zhì)量評價方法。本文根據(jù)人眼的視覺特性，在視頻圖像幀的質(zhì)量評價中加入了顯著性區(qū)域信息，形成了一種在注意力模型指導(dǎo)下的視頻質(zhì)量評價方法。

1 運(yùn)動感知及注意力模型簡述

1.1 運(yùn)動感知

視頻序列中的運(yùn)動信息可以用一個三維運(yùn)動矢量場來表示，即空域表示每幀像素點位置的坐標(biāo)(x，y)，時域表示每幀在視頻序列位置的時間實例t，從而形成一個運(yùn)動矢量 v(x，y，t)= ［vx(x，y，t)，vy(x，y，t)］T。若以 va代表絕對運(yùn)動矢量(Absolute Motion)，vg代表全局運(yùn)動矢量(Global Motion)和vr代表相對運(yùn)動矢量(Relative Motion)，則三者有如下關(guān)系

運(yùn)動感知一方面與運(yùn)動信息內(nèi)容有關(guān)，還與感知不確定性有關(guān)。若用I表示運(yùn)動信息內(nèi)容，U表示感知不確定性，可將二者量化為

式中:α，β，γ，δ均為正常數(shù);c為局部對比度，更多內(nèi)容可以參考文獻(xiàn)［2］。由式(2)和式(3)可以得到運(yùn)動信息權(quán)重

1.2 注意力模型

既然認(rèn)為人眼視覺系統(tǒng)是一個高效的信息提取器，為了達(dá)到這種高效，作這樣一種假設(shè)是很自然的，即包含更多信息內(nèi)容的視覺區(qū)域會更吸引視覺注意［5－6］。

提取的過程是以視覺范圍中的一塊受限區(qū)域，即所謂的“注意力聚焦”(Focus of Attention，F(xiàn)OA)的形式進(jìn)行的，并以FOA的形式掃描整個視覺范圍，這個過程會同時存在兩種方式，一種是快速的，自下而上的，顯著性驅(qū)動的和任務(wù)獨立的;另一種則相反，是較慢的，自上而下的，意志力驅(qū)動的和任務(wù)依賴的。

在文獻(xiàn)［7］中提出了一種基于顯著性區(qū)域的視覺注意力模型，輸入圖像被首先分解為不同種類的特征圖集合，所有這些特征圖在經(jīng)過處理后，以一種完全自下而上的方式形成最后的顯著性區(qū)域圖(saliencymap)。

式中:Ν(·)表示一個歸一化算子。

2 注意力模型指導(dǎo)下的視頻質(zhì)量評價

由前面的討論可知，運(yùn)動信息是視頻質(zhì)量評價中的重要信息，同時也應(yīng)考慮HVS的注意力特性對視頻圖像感知的影響，為此，本文提出了一種在注意力模型指導(dǎo)下的視頻質(zhì)量評價方法，如圖1所示。

圖1 本文提出的質(zhì)量評價模型框圖

考慮上節(jié)中討論的運(yùn)動信息內(nèi)容和感知不確定性，式(4)可展開為

式中:wmotion(x，y，t)為位置坐標(biāo) (x，y，t)處的運(yùn)動信息權(quán)重。從式(6)可以看出，wmotion(x，y，t)隨運(yùn)動信息內(nèi)容I(x，y，t)的增大而增大，隨感知不確定性U(x，y，t)的增大而減少。最后P(x，y，t)= αlnvr(x，y，t)+γlnc(x，y，t)和F(t)=lnvg(t)－β+δ分別為像素級運(yùn)動信息和幀級運(yùn)動信息，可知由于全局運(yùn)動vg帶來的幀級運(yùn)動信息，增加了HVS的感知不確定性，使得HVS并不能像從靜止圖像一樣從視頻序列中提取出同樣精確的結(jié)構(gòu)信息。

另一方面，考慮到注意力模型對HVS的影響，在視頻序列每幀圖像有限的刺激時間內(nèi)，較顯著的區(qū)域必定更能吸引人眼的注意，因此在此區(qū)域的信息權(quán)重應(yīng)高于其他非顯著區(qū)域。由上節(jié)的討論，設(shè)注意力模型最終得到的顯著性區(qū)域圖為SM(X，Y，T)，其中X，Y，T為視頻序列的空間域和時間域尺寸，可得

式中:wsaliency(x，y，t)為位置坐標(biāo) (x，y，t)處的注意力權(quán)重。由于SM(X，Y，T)已歸一化，所以wsaliency(x，y，t)為0～1之間的一個數(shù)值，數(shù)值越大表示顯著性越強(qiáng)。設(shè)Q(X，Y，T)為本地圖像幀的質(zhì)量評價圖，則有

式中:qsaliency(x，y，t)為加權(quán)后在位置(x，y，t)處的質(zhì)量評價分?jǐn)?shù)值。由此便形成了Saliency－Quality map，即在注意力模型指導(dǎo)下的質(zhì)量評價分?jǐn)?shù)圖。

以SSIM indexmap為例，圖2展示了一視頻幀在注意力模型指導(dǎo)下的結(jié)構(gòu)相似度索引圖變化的例子，可以看出Saliency－SSIM index map不但顯示出了結(jié)構(gòu)相似度情況，而且顯示了清晰的顯著性區(qū)域的變化情況。

圖2 加入注意力模型的結(jié)構(gòu)相似度指數(shù)圖

最終得到了視頻質(zhì)量評價分?jǐn)?shù)計算模型

式中:wmotion(x，y，t)，wsaliency(x，y，t)，qsaliency(x，y，t)分別由式(6)、式(7)和式(8)來計算。

本文實驗流程如圖3所示。其中絕對運(yùn)動速度場va是通過計算光流運(yùn)動矢量場得到的，本文選擇了文獻(xiàn)［8］中提出的光流計算模型，而全局運(yùn)動速度vg則通過統(tǒng)計關(guān)于光流運(yùn)動矢量場的2－D直方圖的峰值來獲得。顯著性區(qū)域指數(shù)圖用到了文獻(xiàn)［9］提出的算法，該算法對文獻(xiàn)［10］中提出的算法進(jìn)行了改進(jìn)，取得了更好的性能。

圖3 實驗流程示意圖

3 實驗結(jié)果與分析

實驗所用到的視頻庫為VQEG Phase1數(shù)據(jù)集，該數(shù)據(jù)集為視頻質(zhì)量專家組(Video Quality Experts Group)在2000年建立的，旨在為客觀視頻質(zhì)量評價方法的性能評估提供視頻序列的主觀數(shù)據(jù)。其中包含了20個參考視頻序列，這些參考視頻序列又分為10個60 Hz(幀率30 f/s)序列和10個50 Hz(幀率25 f/s)序列。每個參考視頻序列有16個版本的失真序列，這樣該庫共有320個不同的失真視頻序列。數(shù)據(jù)集中的主觀質(zhì)量評價分?jǐn)?shù)DMOS(Difference Mean Opinion Score)是通過雙刺激連續(xù)質(zhì)量尺度(Double Stimulus Continuous Quality Scale，DSCQS)方法得到的。按照文獻(xiàn)［10］中的建議，對視頻庫中的視頻做了切邊處理，即將除去上、下、左、右邊緣各20個像素的圖像幀作為處理對象。

實驗中采用了兩種質(zhì)量評價圖，分別是均方誤差圖(MSE index map)和結(jié)構(gòu)相似度指數(shù)圖(SSIM index map)，為分析方便起見，把均方誤差圖轉(zhuǎn)化為峰值信噪比圖(PSNR index map)。

為了評估視頻質(zhì)量評價方法的性能，使用了兩種相關(guān)性度量，分別是皮爾森線性相關(guān)系數(shù)(Pearson Linear Correlation Coefficient，PLCC)和斯皮爾曼等級相關(guān)系數(shù)(Spearman Rank Order Correlation Coefficient，SROCC)。這兩種度量對性能評估的側(cè)重點不同，PLCC主要評估了客觀評價分?jǐn)?shù)與主觀評價分?jǐn)?shù)之間數(shù)據(jù)的線性程度，也可說是準(zhǔn)確程度，而SROCC則側(cè)重于評估二者之間數(shù)據(jù)的單調(diào)性。

表1為6種不同的視頻質(zhì)量評價方法在VQEG Phase1數(shù)據(jù)集上的PLCC和SROCC統(tǒng)計結(jié)果。表中PSNR和SSIM是對PSNR indexmap和SSIM indexmap的簡單平均，W－PSNR和W－SSIM為Q.Li提出的方法，而W－SALPSNR和W－SALSSIM為本文提出的客觀視頻質(zhì)量評價方法，可以看出本文提出的方法是對Q.Li的方法的一種改進(jìn)，在考慮了人眼視覺系統(tǒng)的注意力特性后，加入了顯著性區(qū)域信息，使得對視頻的質(zhì)量評價更符合人的視覺心理，從表中的數(shù)據(jù)統(tǒng)計結(jié)果可以清楚地看出。圖4展示了主觀質(zhì)量評價分?jǐn)?shù)(DMOS)與客觀質(zhì)量評價分?jǐn)?shù)的散點圖。

表1 視頻質(zhì)量評價方法的PLCC和SROCC統(tǒng)計結(jié)果

4 結(jié)語

本文提出的客觀視頻質(zhì)量評價方法，在運(yùn)動感知的基礎(chǔ)上，融入了注意力模型，使得其在統(tǒng)計數(shù)據(jù)上有所改進(jìn)和提高，探索了一條提高客觀視頻質(zhì)量評價方法性能的途徑。但是從主客觀分?jǐn)?shù)散點圖上來看，無明顯改觀，說明還需進(jìn)一步對人類自身視覺與心理學(xué)特性進(jìn)行研究，這方面的研究對推動視頻包括圖像的客觀質(zhì)量評價方法有著極其重要的意義。

［1］ NIEBUR E，KOCH C.Computational architectures for attention［M］.Cambridge:MIT Press，1998.

［2］ SIMONCELLI E，OLSHAUSEN B.Natural image statistics and neural representation［J］.Annual Review of Neuroscience，2001，24(1):1193－1216.

［3］ WANG Z，LIQ.Video quality assessmentusing a statisticalmodel of human visual speed perception［J］.JOSA A，2007，24(12):61－69.

［4］ STOCKER A，SIMONCELLIE.Noise characteristics and prior expectations in human visual speed perception［J］.Nature Neuroscience，2006，9(4):578－585.

［5］ RA J，GEISLERW，F(xiàn)RAZORR，etal.Contrast statistics for foveated visual systems:fixation selection by minimizing contrast entropy［J］.JOSA A，2005，22(10):2039－2049.

［6］ NAJEMNIK J，GEISLERW.Optimal eye movement strategies in visual search［EB/OL］.［2013－04－15］.http://www.utexas.edu/cola/files/1516227.

圖4 主客觀視頻質(zhì)量評價分?jǐn)?shù)散點圖

［7］ LIU C.Beyond pixels:exploring new representations and applications for motion analysis［D］.Cambridge，MA:Massachusetts Institute of Technology，2009.

［8］ VLACHOS T.Simple method for estimation of globalmotion parameters using sparse translational motion vector fields［J］.Electronics Letters，1998，34(1):60－62.

［9］ Video Quality Experts Group.FRTV phase 1 subjective test plan［S］.2000.

［10］ OLGUN R.Evaluation of visual quality metrics［D］.Ankara:Middle East Technical University，2011.