李思原，都騰躍，馬亞男，吳健

（上海大學(xué)通信與信息工程學(xué)院新媒體工程研究中心，上海200072）

立體視頻質(zhì)量評(píng)價(jià)方法的研究綜述

李思原，都騰躍，馬亞男，吳健

（上海大學(xué)通信與信息工程學(xué)院新媒體工程研究中心，上海200072）

立體視頻能夠使觀眾獲得更好的視覺體驗(yàn)，立體視頻技術(shù)具有廣闊的應(yīng)用前景，目前已成為視覺信號(hào)分析領(lǐng)域的研究熱點(diǎn)。然而，立體視頻不僅在拍攝、編碼、壓縮、傳輸、解碼和顯示等過程中產(chǎn)生失真，還會(huì)出現(xiàn)影響視覺體驗(yàn)的立體視頻所特有的質(zhì)量問題，立體視頻質(zhì)量下降會(huì)影響觀看時(shí)的效果，產(chǎn)生視覺疲勞。因此，立體視頻的質(zhì)量在人們的三維感知和立體體驗(yàn)過程中起著非常重要的作用。簡(jiǎn)述了立體視頻質(zhì)量評(píng)價(jià)的研究現(xiàn)狀與重要性、立體視頻質(zhì)量評(píng)價(jià)的兩類方法，進(jìn)一步分析了影響立體視頻質(zhì)量的主要因素。

立體視頻；主觀舒適度；主觀評(píng)價(jià)；客觀評(píng)價(jià)

近年來，隨著數(shù)字圖像處理技術(shù)的進(jìn)步，立體視頻技術(shù)取得了重大發(fā)展，與傳統(tǒng)二維視頻相比較，立體視頻的深度立體感能給觀眾帶來全新的視覺感受，讓觀眾獲得非常真實(shí)自然的視覺體驗(yàn)。

立體視頻的發(fā)展速度較快。影響人眼主觀舒適度的原因非常復(fù)雜，立體視頻在采集、編碼、傳輸、解碼以及顯示等多個(gè)步驟都可能引入噪聲導(dǎo)致失真，進(jìn)而使立體視頻系統(tǒng)性能的下降。

視屏質(zhì)量的下降會(huì)造成觀看體驗(yàn)變差，從而影響觀看者的主觀舒適度，使得觀看者出現(xiàn)眼睛干澀、紅腫、惡心、頭痛甚至失明等問題[1]。因此，準(zhǔn)確地對(duì)立體視頻質(zhì)量進(jìn)行評(píng)價(jià)對(duì)提高立體視頻系統(tǒng)的性能，增強(qiáng)觀眾的視覺體驗(yàn)有著重要的意義[1]。在研究立體視頻舒適度評(píng)價(jià)時(shí)，不論是攝錄、壓縮、傳輸中產(chǎn)生的噪聲，以及立體視頻內(nèi)容本身所包含的亮度、色彩、對(duì)比度、紋理、目標(biāo)的運(yùn)動(dòng)、視差等都是應(yīng)該考慮到的[1]。

立體視頻質(zhì)量評(píng)價(jià)對(duì)于提高立體視頻系統(tǒng)性能有著非常重要的意義，在實(shí)際中的許多場(chǎng)景都有著豐富的應(yīng)用前景：立體視頻質(zhì)量評(píng)價(jià)技術(shù)可以實(shí)時(shí)地對(duì)立體視頻系統(tǒng)進(jìn)行分析，并根據(jù)測(cè)試結(jié)果實(shí)時(shí)地修正立體視頻的質(zhì)量；在立體視頻通信系統(tǒng)中，可以通過質(zhì)量評(píng)價(jià)調(diào)整系統(tǒng)處理算法和相關(guān)參數(shù)，優(yōu)化整個(gè)立體視頻通信系統(tǒng)；在立體視頻系統(tǒng)的解碼端，圖像重建、誤碼掩蓋、圖像修復(fù)和圖像后處理等算法可以根據(jù)立體視頻質(zhì)量評(píng)價(jià)的結(jié)果來進(jìn)行優(yōu)化；通過建立有效的質(zhì)量評(píng)價(jià)模型，可以可靠地對(duì)立體視頻系統(tǒng)的性能進(jìn)行準(zhǔn)確評(píng)價(jià)。

對(duì)立體視頻質(zhì)量評(píng)價(jià)的研究目前依然處于起步的階段，且很多針對(duì)立體視頻質(zhì)量進(jìn)行評(píng)價(jià)的方法都是在通過對(duì)傳統(tǒng)二維視頻的相關(guān)特性進(jìn)行研究與分析并加以改進(jìn)，將傳統(tǒng)二維視頻系統(tǒng)質(zhì)量評(píng)價(jià)的方法移植到立體視頻系統(tǒng)上來，與傳統(tǒng)二維視頻相比，在評(píng)價(jià)立體視頻時(shí)還應(yīng)更多考慮立體視頻中特有的因素，比如可視質(zhì)量、深度質(zhì)量以及立體視覺主觀舒適度等特征。三維視頻和二維視頻處理過程的關(guān)系如圖1所示。

圖1 3D視頻處理過程與2D視頻處理過程對(duì)比

在二維視頻中的許多特征都在立體視頻中得以體現(xiàn)，立體視頻與傳統(tǒng)二維視頻許多特征十分相似，立體視頻基于傳統(tǒng)二維視頻，比傳統(tǒng)二維視頻多了一個(gè)維度，可以認(rèn)為立體視頻是傳統(tǒng)二維視頻的擴(kuò)展。由于傳統(tǒng)二維的視頻質(zhì)量評(píng)價(jià)方法對(duì)人眼立體視覺感知特性和立體視頻中的立體特征因素缺乏相應(yīng)的分析與研究，因此，需要充分研究與人眼立體舒適度相關(guān)的特征，從而設(shè)計(jì)出一套針對(duì)立體視頻質(zhì)量評(píng)價(jià)的可靠評(píng)價(jià)方法。除了傳統(tǒng)二維視頻所包含的視頻質(zhì)量問題，立體視頻還引入了以下問題：在采集立體信號(hào)時(shí)出現(xiàn)的立體視頻失真、左右視點(diǎn)不同步、拍攝系統(tǒng)不穩(wěn)定導(dǎo)致的垂直視差等問題；顯示過程中，顯示設(shè)備的色彩和亮度不規(guī)范；左右視點(diǎn)顏色、對(duì)比度、視差的不同步會(huì)造成雙目競(jìng)爭(zhēng)。

可以將立體視頻質(zhì)量評(píng)價(jià)方法分為主觀評(píng)價(jià)方法和客觀評(píng)價(jià)方法[2]。

1 立體視頻質(zhì)量主觀評(píng)價(jià)方法

立體視頻質(zhì)量主觀評(píng)價(jià)需要按照一定方法設(shè)計(jì)主觀評(píng)價(jià)實(shí)驗(yàn)，安排測(cè)試人員依照規(guī)定的評(píng)分等級(jí)對(duì)觀看立體視頻時(shí)感受到的視覺舒適度情況進(jìn)行打分，得到的主觀分值作為實(shí)驗(yàn)結(jié)果，能很好地體現(xiàn)立體視頻在舒適度方面的差異。然而，在主觀實(shí)驗(yàn)中存在許多不穩(wěn)定因素會(huì)干擾主觀評(píng)價(jià)實(shí)驗(yàn)結(jié)果，使得實(shí)驗(yàn)結(jié)果可信度降低。這些不穩(wěn)定因素包括測(cè)試者的挑選和數(shù)量、實(shí)驗(yàn)數(shù)據(jù)篩選和處理、主觀評(píng)價(jià)實(shí)驗(yàn)設(shè)備和環(huán)境、主觀評(píng)價(jià)試驗(yàn)流程設(shè)計(jì)等重要的影響因素。

為了降低在主觀評(píng)價(jià)實(shí)驗(yàn)中的不穩(wěn)定因素對(duì)主觀實(shí)驗(yàn)結(jié)果可靠性的干擾，規(guī)范主觀評(píng)價(jià)實(shí)驗(yàn)流程，國(guó)際電信聯(lián)盟ITU公布了一系列主觀評(píng)價(jià)實(shí)驗(yàn)的標(biāo)準(zhǔn)，如ITU-RBT.1438、ITU-RBT.500-11、ITU-T P.910和ITU-RBT.1788等。這些標(biāo)準(zhǔn)對(duì)進(jìn)行主觀評(píng)價(jià)實(shí)驗(yàn)的參與者、評(píng)分等級(jí)、實(shí)驗(yàn)設(shè)備、實(shí)驗(yàn)環(huán)境、實(shí)驗(yàn)流程以及數(shù)據(jù)分析等進(jìn)行了規(guī)定[3]。

通過大量主觀舒適度實(shí)驗(yàn)得到的主觀舒適度分值，可以體現(xiàn)人類的立體視頻視覺感知特性，同時(shí)，為之后的立體視頻質(zhì)量評(píng)價(jià)的研究奠定基礎(chǔ)。圖2為立體主觀評(píng)價(jià)方法的測(cè)試過程。

圖2 主觀評(píng)價(jià)方法的測(cè)試過程

按照是否存在參考視頻和實(shí)驗(yàn)中視頻是否隨機(jī)播放，將立體視頻主觀質(zhì)量評(píng)價(jià)方法劃分為4大類：?jiǎn)渭?lì)法（SSIS）、單激勵(lì)連續(xù)質(zhì)量分級(jí)法（SSCQE）、雙激勵(lì)損傷度分級(jí)法（DSIS）、雙激勵(lì)連續(xù)質(zhì)量分級(jí)法（DSCQS）[3]。

立體視頻數(shù)據(jù)庫主觀舒適度分值能夠驗(yàn)證相關(guān)客觀評(píng)價(jià)方法的合理性與可靠性，因此，當(dāng)前的立體視頻質(zhì)量評(píng)價(jià)通常都圍繞一些立體視頻庫開展研究，對(duì)立體視頻庫進(jìn)行分析，得到影響立體視頻質(zhì)量的規(guī)律，并建立能夠普遍適用于其他立體視頻的評(píng)價(jià)模型。目前，已經(jīng)建立了非常豐富的圖像與視頻數(shù)據(jù)庫，這些數(shù)據(jù)庫中每幅失真圖像都有相應(yīng)的主觀評(píng)價(jià)分值，比如LIVE[4]、Cornell A57[5]、韓國(guó)高等研究院三維圖片庫[6]、TID2008[7]、VQEG[8]、IRCCy N/IVC數(shù)據(jù)庫等帶有立體視頻主觀分值的圖像與視頻數(shù)據(jù)庫[9]。對(duì)于三維立體圖像與視頻質(zhì)量評(píng)價(jià)，MOBILE 3DTV建立了1個(gè)包含6種包含不同的失真類型的立體視頻庫、韓國(guó)延世大學(xué)建立的立體視頻庫共包含67個(gè)視屏序列。以上數(shù)據(jù)庫不包含主觀評(píng)分[10]。

2 立體視頻質(zhì)量評(píng)價(jià)客觀評(píng)價(jià)方法

在立體視頻主觀評(píng)價(jià)方法中，主觀舒適度對(duì)實(shí)驗(yàn)流程、實(shí)驗(yàn)具體的環(huán)境、顯示及播放等實(shí)驗(yàn)設(shè)備及測(cè)評(píng)者數(shù)量和素質(zhì)等方面具有很高的要求，實(shí)驗(yàn)過程易受到不穩(wěn)定因素的影響，導(dǎo)致實(shí)驗(yàn)結(jié)果可靠性降低，主觀評(píng)價(jià)實(shí)驗(yàn)結(jié)果難以移植到其他的評(píng)價(jià)系統(tǒng)，且不能立即得出結(jié)果。而客觀評(píng)價(jià)法不存在上述問題，客觀評(píng)價(jià)方法通過建立算法模型來模擬人眼對(duì)立體視頻的視覺特性，評(píng)價(jià)立體視頻質(zhì)量的好壞，評(píng)價(jià)結(jié)果以數(shù)據(jù)的形式來體現(xiàn)視頻質(zhì)量差異，通?？梢园凑帐д嬉曨l與原始視頻之間的相關(guān)性大小將客觀質(zhì)量評(píng)價(jià)方法分為全參考法、部分參考法、無參考法。圖3為這3類評(píng)價(jià)方法的分類及關(guān)系圖。

圖3 客觀評(píng)價(jià)方法分類

立體視頻質(zhì)量評(píng)價(jià)除了需要考慮傳統(tǒng)二維視頻質(zhì)量評(píng)價(jià)所包含的視頻圖像質(zhì)量因素以外，還要對(duì)人眼舒適度、畫面深度感、自然性等因素加以分析，建立計(jì)算機(jī)算法以及數(shù)學(xué)模型的方法分析立體視頻的質(zhì)量。由于主觀實(shí)驗(yàn)得到的主觀舒適度分值可以反映觀測(cè)者對(duì)立體視頻質(zhì)量的主觀感受，客觀評(píng)價(jià)結(jié)果需要和人類視覺特性保持一致，因此，使用主觀舒適度的實(shí)驗(yàn)結(jié)果主觀舒適度分值可以驗(yàn)證相關(guān)客觀評(píng)價(jià)方法的合理性。

視頻由一幀幀圖像組成，圖像中很多特性在視頻中同樣存在，通過對(duì)立體圖像評(píng)價(jià)方法的研究，可以總結(jié)出針對(duì)立體視頻的客觀評(píng)價(jià)方法，Jin等使用塊匹配方法來確定左右2個(gè)視點(diǎn)的最佳匹配塊，構(gòu)造出塊匹配的三維矩陣，然后對(duì)構(gòu)造出的匹配矩陣進(jìn)行三維離散余弦變換，再結(jié)合視頻亮度同步掩蔽效應(yīng)，提出一種基于3D-DCT的客觀評(píng)價(jià)方法[11]。Hewage等通過分析立體視頻左右視點(diǎn)之間的視差估取立體視頻深度圖，提取出深度圖邊緣信息以及彩色圖像邊緣的鄰近信息，分析得出相關(guān)的立體特征，提出一種部分參考的立體視頻質(zhì)量客觀評(píng)價(jià)方法[12]。

國(guó)內(nèi)寧波大學(xué)邵峰等對(duì)立體視頻的顯著性區(qū)域進(jìn)行了分析，結(jié)合亮度、對(duì)比度等因素，提出了一種基于部分參考的客觀評(píng)價(jià)方法[13]。上海大學(xué)張艷等分析了立體視頻中亮度信息，對(duì)立體視頻質(zhì)量的影響，在雙目亮度關(guān)系的基礎(chǔ)上，結(jié)合峰值信噪比提出了一種基于視覺感知的立體視頻質(zhì)量的評(píng)價(jià)方法BPSPNR[14]。

除了對(duì)立體視頻質(zhì)量評(píng)價(jià)基于多視點(diǎn)視頻進(jìn)行研究，也有學(xué)者基于單一視點(diǎn)視頻對(duì)立體視頻質(zhì)量展開研究。Yasakethu等將SSIM、PSNR和VQM方法結(jié)合立體視頻左右視點(diǎn)平均的方法應(yīng)用到立體視頻質(zhì)量評(píng)價(jià)，將彩色視頻與估取到的深度信息進(jìn)行結(jié)合，進(jìn)行了研究分析，提出了部分參考的客觀質(zhì)量評(píng)價(jià)算法[15]。Joveluro等基于視頻亮度掩蔽效應(yīng)對(duì)立體視頻質(zhì)量評(píng)價(jià)算法進(jìn)行研究，分析亮度對(duì)立體視頻質(zhì)量的影響規(guī)律，重點(diǎn)考慮了亮度因素的影響規(guī)律，在單一視點(diǎn)視頻質(zhì)量評(píng)價(jià)的方法的基礎(chǔ)之上加以改進(jìn)，提出了基于視覺感知的客觀評(píng)價(jià)方法PQM[16]。

3 結(jié)束語

由于人眼視覺系統(tǒng)復(fù)雜性強(qiáng)，而目前對(duì)人眼視覺感知特性和各種深度特征的研究與認(rèn)識(shí)還不夠深入。要想提高立體視頻質(zhì)量評(píng)價(jià)系統(tǒng)可靠性，需要對(duì)立體成像的原理和人類立體視覺感知心理和行為特性進(jìn)行更進(jìn)一步研究。

另外，對(duì)立體視頻質(zhì)量評(píng)價(jià)現(xiàn)有的方法進(jìn)行分析并加以改進(jìn)具有重大意義，改良相關(guān)的評(píng)價(jià)方法可以提升立體視頻系統(tǒng)性能。比如，制作立體視頻質(zhì)量評(píng)價(jià)中的立體視頻庫時(shí)引入更豐富的客觀因素和更多的場(chǎng)景內(nèi)容，使立體視頻庫可以適應(yīng)更多的立體視頻質(zhì)量評(píng)價(jià)研究。主觀測(cè)試實(shí)驗(yàn)應(yīng)更加科學(xué)、嚴(yán)謹(jǐn)，以保證立體視頻庫主觀分值的可靠性；需要進(jìn)一步分析和提取更多影響人類視覺舒適度的因素，尤其和人眼立體視覺感知的相關(guān)特征；在客觀另加時(shí)對(duì)相關(guān)立體特征進(jìn)行提取時(shí)適用更可靠的算法。

總之，立體視頻質(zhì)量評(píng)價(jià)目前還處于探索階段，對(duì)立體視頻質(zhì)量評(píng)價(jià)進(jìn)行更進(jìn)一步的探索和研究可以提高整個(gè)立體視頻系統(tǒng)的性能。

［1］孔真真.基于視覺感知的立體圖像質(zhì)量客觀評(píng)價(jià)方法研究［D］.寧波：寧波大學(xué)，2014.

［2］Seshadrinathan K，Soundararajan R，Bovik A C，et al.Study of subjective and objective quality assessment of video.IEEE Transactions on Image Processing，2010，19（06）.

［3］張艷.立體視頻質(zhì)量評(píng)價(jià)關(guān)鍵技術(shù)研究［D］.上海：上海大學(xué)，2013.

［4］Sheikh H R，Sabir M F，Bovik A C.Astatistical evaluation of recent full reference image quality assessment algorithms.IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2006，15（11）.

［5］Chandler D M，Hemami S S.VSNR：a wavelet-based visual signal-to-noise ratio for natural images.IEEE Transactions on Image Processing，2007，16（09）.

［6］Jung C，Wang S.Visual comfort assessment in stereoscopic 3D images using salient object disparity.Electronics Letters，2015，51（06）.

［7］Ponomarenko N，Lukin V，Zelensky A，et al.TID2008-A Database for Evaluation of Full-Reference Visual Quality Assessment Metrics.Adv Modern Radioelectron，2009（10）.

［8］Masry M A，Hemami S S.A metric for continuous quality evaluation of compressed video with severe distortions.Signal Processing Image Communication，2004，19（02）.

［9］Lin W，Kuo C C J.Perceptual visual quality metrics：A survey.Journal of Visual Communication&Image Representation，2011，22（04）.

［10］Moorthy A K，Su C C，Mittal A，et al.Subjective evaluation of stereoscopic image quality.Signal Processing Image Communication，2013，28（08）.

［11］Jin L，Boev A，Gotchev A，et al.3D-DCT based perceptual quality assessment of stereo video.IEEE International Conference on Image Processing.IEEE，2011.

［12］Ekmekcioglu E，Worrall S，Silva D D，et al.Depth Based Perceptual Quality Assessment for Synthesised Camera Viewpoints.User Centric Media.Springer Berlin Heidelberg，2010.

［13］邵楓，姜求平，蔣剛毅，等.基于顯著性分析的立體圖像視覺舒適度預(yù)測(cè)［J］.光學(xué)精密工程，2014，22（06）.

［14］Zhou Y，Zhang Y.Modeling Abstract Behavior：A Dynamic Logic Approach.Ai 2009：Advances in Artificial Intelligence，Australasian Joint Conference，Melbourne，Australia，December 1-4，2009.Proceedings.DBLP，2009.

［15］Yasakethu S L P，Hewage C T E R，F(xiàn)ernando WA C，et al.Quality analysis for 3D video using 2D video quality models.IEEE Transactions on Consumer Electronics，2008，54（04）.

［16］Yilmaz G N.A no reference depth perception assessment metric for 3D video.Multimedia Tools and Applications，2015，74（17）.

〔編輯：張思楠〕

TP391.41

A

10.15913/j.cnki.kjycx.2017.14.013

2095－6835（2017）14－0013－03

李思原（1994—），男，研究方向?yàn)榱Ⅲw視頻質(zhì)量評(píng)價(jià)。都騰躍（1993—），男，研究方向?yàn)榱Ⅲw三維成像與裸眼3D。