胡　岸，孟　放，鄭郁劼

(中國傳媒大學　信息工程學院，北京　100024)

?

一種基于用戶關注的立體圖像舒適度評價算法

胡岸，孟放，鄭郁劼

(中國傳媒大學信息工程學院，北京100024)

摘要:近年來，立體電視和立體電影的發(fā)展掀起了一股“3D”熱潮。要讓觀眾享受到高質(zhì)量的立體內(nèi)容，首先要解決人們在觀看立體視頻圖像時的不舒適感。以立體圖像的視差因素為切入點，結(jié)合人眼關注模型，設計并實現(xiàn)了一種立體圖像舒適度的客觀評價方法。該方法根據(jù)人造立體圖像的主觀實驗評價結(jié)果，建立了視差—舒適度模型，同時結(jié)合圖像顯著信息，對立體圖像的舒適度進行了預測。對比主觀評價結(jié)果，所提出的立體圖像舒適度客觀評價方法所獲取的評價結(jié)果與人眼感受具有較好的一致性。

關鍵詞:立體圖像；用戶關注模型；客觀評價

隨著多媒體技術的發(fā)展，圖像和視頻的質(zhì)量日漸提高，人們對視覺體驗的要求也不斷在提高。圖像和視頻僅有清晰度的提升并不能完全滿足人們的需要，因此立體成像技術漸漸成為了熱門。相比傳統(tǒng)的二維圖像/視頻，立體顯示內(nèi)容加入了深度信息，提高了畫面的逼真度和臨場感。然而不合適的立體內(nèi)容會使人眼在觀看時產(chǎn)生明顯的不舒適感。播放設備問題、圖像受損以及過大的雙目視差等都是引起立體內(nèi)容不舒適的原因[1]。長時間觀看不舒適的立體內(nèi)容，輕則引起眼酸眼脹，重則會產(chǎn)生頭痛惡心甚至嘔吐等癥狀。因此，如何保證立體內(nèi)容的安全性是立體顯示行業(yè)需要面對的重要問題之一。

影響立體圖像舒適度的因素有很多，包括視差、物體尺寸、顏色等，其中視差因素為影響舒適度的一個主要因素。多數(shù)學者以視差因素為基礎，研究了立體圖像舒適度客觀評價方法[2]。但由于僅基于視差的立體圖像舒適度預測沒有考慮人眼在觀察圖像時的習慣、特性，不能很好地預測人眼實際的舒適度，于是，很多學者展開了對基于用關注的舒適度客觀評價方法的研究?；谟脩絷P注的舒適度客觀評價模型一般包括圖像的顯著圖信息及視差信息兩個方面。在Jung等人[3]的立體圖像舒適度預測模型中，首先提取了立體圖像的視差圖和顯著圖，然后將兩張圖線性合并生成了基于感知的視覺權重圖，并以此圖為權重加權計算了視差圖中的視差參數(shù)，以此為依據(jù)對舒適度進行預測。Sohn等人[4]通過對簡單的人造立體圖像進行主觀評價，建立舒適度模型模舒適度預測模型，利用該模型對立體圖像舒適度進行了預測。

本文主要研究立體圖像視差大小與人眼舒適度間的關系，通過對人造立體圖像進行舒適度主觀評價[5]，建立了視差—舒適度量化模型，并進一步結(jié)合人類視覺特性中的注意機制，建立基于用戶關注的立體圖像質(zhì)量評價模型，對立體圖像的舒適度進行預測。

1基于用戶關注的立體圖像舒適度的評價方法設計

本文結(jié)合用戶關注模型，設計并實現(xiàn)了一種立體圖像舒適度客觀評價方法，算法結(jié)構如圖1所示。具體步驟：1)對僅包含不同視差大小的人造立體圖像進行立體舒適度主觀評價，建立“視差—舒適度預測模型”；2)計算待評價立體圖像的“顯著圖”和“視差圖”，并合成“視覺關注加權圖”；3)根據(jù)視差—舒適度模型計算一幅圖中每個像素對應的舒適度值；4)將每個像素對應的舒適度值加權相加(即“空間匯集”)，最后得到的單一舒適度評分，即為客觀評價結(jié)果。

1.1視差—舒適度模型的建立

為了建立視差—舒適度模型，首先需要研究立體圖像中視差參數(shù)與人眼感知之間的關系。本文通過分析人造立體圖像的舒適度主觀評價結(jié)果，得到了視差與人眼舒適度感知的關系，以此建立了視差—舒適度模型。該模型顯示了立體圖像視差與舒適度之間的量化關系，可以用來預測立體圖像中每個像素點的舒適度。

對于人造立體圖像的舒適度評價，近年來已有過若干相關研究[4，6]。本實驗中，為了建立視差—舒適度的對應關系，必須排除其他因素的干擾，例如顏色、視差分布、語義信息等。因此，本文舒適度評價實驗所采用的實驗素材的設計需滿足以下3點要求：1)圖像為灰度圖像，不包含色彩信息；2)視差特征僅包含不同的水平視差大小，不包含其他可能引起不舒適的視差因素，如垂直視差、視差分布等；3)包含不同水平視差大小的圖案應為中心對稱圖案，且同時具備高頻及低頻特征，以有助于觀察員聚焦。基于以上要求，本實驗中立體圖像素材設計如圖2所示。

本實驗的素材圖像包括背景和前景圖案兩個部分。其中：1)背景為椒鹽噪聲圖案，即在一張純白色圖片中隨機加入若干黑色的黑色噪聲，并對其進行均值濾波。之所以使用這樣的背景是因為過于簡單的背景(比如單一的白色背景)可能會使觀察員的雙眼不能很好地融合看到單一的立體圖案，而是僅看到單目圖案(重影)。使用椒鹽噪聲背景可以使觀察員可以清晰看到單一的立體圖案。椒鹽背景位于零視差的位置。2)前景圖案采用黑色的馬耳他十字(MalteseCross)，該圖案同時包含了高頻及低頻特征信息。實驗中，馬耳他十字圖案位于整個圖像中心，在不同的圖像素材中，該圖案具有不同的負視差值。本實驗的圖片素材中包含了11個不同視差值的圖案，分別為0°，0.33°，0.66°，1°，1.33°，1.66°，2°，2.5°，3°，4°，5°。

需要說明的是，本實驗的素材視差只采用負視差及零視差是基于文獻[7]的研究結(jié)果：人眼在觀看立體圖像時，會更傾向關注離他們較近的物體，即圖像中負視差部分區(qū)域。而對于正視差的區(qū)域，盡管圖像中超出安全范圍的正視差也會引起不舒適，但是由于遠離人眼，這部分區(qū)域受到的關注較少，因此相比負視差引起的不舒適，正視差所帶來的不舒適并不明顯。

對以上人造立體圖像的舒適度主觀評價實驗根據(jù)ITU-RBT.500建議書[8]的建議采用單刺激法(SS)[9]，評價表使用連續(xù)5級評價量表評估立體圖像的舒適度，5個等級分別為：極舒適、略舒適、一般、略不舒適、極不舒適。本實驗邀請了15位評價員參與評價，每人都通過了立體視覺測試[10]。

通過對人造立體圖像(圖2)進行主觀評價實驗，得到了各視差下的立體圖像舒適度評分。為了得到視差值與舒適度評分之間的量化關系，本文使用SPSS軟件對均分結(jié)果進行曲線估計，圖3為視差—舒適度曲線擬合圖。本例選取了線性模型、多項式模型(二次和三次)以及指數(shù)模型三類常見模型進行估計，表1列出了估計結(jié)果。從決定系數(shù)(coefficientofdetermination)R2可以看出，二次模型、三次模型和指數(shù)模型都具有較好的擬合度，其中以三次模型擬合度最高。但是，結(jié)合實際情況，當負視差增大時，實際舒適度應該為單調(diào)遞減，趨近于0。如圖3所示，如果選用多項式模型，則曲線在(0，+∞)區(qū)間上無單調(diào)性，且沒有隨視差增大而趨近于0，而指數(shù)模型符合這一特性。因此，在考慮實際情況后，本文采用指數(shù)模型作為視差—舒適度評價模型，其擬合結(jié)果(見表1)如式(1)，其中x代表負視差值(單位為度)，y為舒適度評分。

y=4.558e-0.415x

(1)

1.2視覺關注加權圖

如圖1所示，“視覺關注加權圖”是由“顯著圖”和“視差圖”構成。根據(jù)研究，人眼對于立體圖像的關注區(qū)域主要來自平面圖像的顯著區(qū)域[11]和立體圖像中離人眼較近的區(qū)域(即負視差區(qū)域)，因此在預測立體舒適度時需著重考慮這兩部分區(qū)域。本文采用已有的FT算法[12]提取顯著圖。視差圖是通過采用Kolmogorov的圖割法[13]對待評價圖像對進行立體匹配得到的。視覺關注加權圖的計算是由顯著圖和視差圖按照一定比例的權重w1，w2合成，即

IC=w1×ID+w2×IS,w1+w2=1

(2)

合成效果如圖4所示。視覺關注加權圖的作用是為圖像中的每個像素確定預測舒適度時的權重，圖中亮度越大的部分，對于舒適度預測的貢獻越大。在本實驗中，權重w1，w2取值均為0.5。

1.3空間匯集法

在對自然圖像對進行客觀評價時，最終結(jié)果的得出利用了基于圖像內(nèi)容的權重空間匯集的方法。公式如式(3)所示

(3)

式中：mi代表每個像素的舒適度，結(jié)合視差圖和視差—舒適度模型可以求得該值；wi為權重，該值由視覺關注加權圖決定；Q為最終的舒適度評分。

2實驗及結(jié)果分析

為確保本文所提出立體圖像舒適度客觀評價方法的正確性和有效性，筆者設計了如下實驗：1)選取一定數(shù)量測試圖像，分別提取每幅圖像的視差圖和顯著圖，并合成視覺關注加權圖；2)結(jié)合視差圖和視差—舒適度模型，求得一幅圖像中每個像素的舒適度客觀評分；3)結(jié)合視覺關注加權圖，利用空間匯集法，將一幅圖像的所有像素舒適度評分加權相加，即可得該圖像的最終舒適度評價結(jié)果；4)對所有測試圖像進行舒適度主觀評分實驗，最后將主觀評分結(jié)果與客觀評分結(jié)果進行對比分析。本節(jié)將從客觀評價素材選擇及實驗結(jié)果分析幾方面對實驗進行介紹。

2.1客觀評價實驗素材的選擇

本實驗一共選取了50個測試圖像作為客觀評價素材。其中45張圖像來源為[14-15]，其余5張來自Middlebury立體圖像數(shù)據(jù)庫[16]。50張圖像的內(nèi)容涵蓋人物、動物、靜物、風景等各種類型，部分測試圖像如圖5所示。需要指出的是，為了驗證立體圖像舒適度客觀評價算法的準確性，已預先對本次實驗所用素材圖片進行了舒適度主觀評分(該組圖像的主觀評分實驗采用與人造立體圖像主觀實驗相同的標準和方法，并選擇相同的測試人員進行實驗)。

2.2客觀評價結(jié)果及分析

如圖6為50張圖的評價結(jié)果，包括指數(shù)模型的預測結(jié)果以及主觀評價結(jié)果。經(jīng)過計算，該模型預測的舒適度分數(shù)與主觀評價評分Pearson線性相關度達到了0.865，可見本文設計的客觀評價方法可以較好地預測立體圖像的舒適度。

3總結(jié)

本文基于立體視覺原理，同時結(jié)合圖像的視差信息和顯著信息，設計并實現(xiàn)了一種立體圖像舒適度客觀評價方法，該方法可以較為準確地預測立體圖像舒適度，對于改善立體內(nèi)容舒適度的相關工作的研究，具有積極的推動作用。本文算法有兩個特點：1)基于人造圖像的舒適度主觀評價實驗，建立了視差—舒適度模型，該模型能夠體現(xiàn)視差與人眼舒適度感知的量化關系；2)將視覺關注加權圖融入到舒適度的預測過程中，使得本文客觀評價方法的評價結(jié)果更符合人眼特性。經(jīng)實驗驗證，本文實現(xiàn)的立體圖像舒適度客觀評價方法預測結(jié)果與主觀評價結(jié)果具有較好的一致性。

本文的舒適度預測方法中重點討論了視差因素帶來的不適，對于其他舒適度影響因素討論不多。為了進一步提高預測準確度，后續(xù)實驗將會考慮在評價體系中加入更多可能影響舒適度的因素，如顏色、亮度、物體尺寸等。

參考文獻：

[1]LAMBOOIJM，F(xiàn)ORTUINM，HEYNDERICKXI，etal.Visualdiscomfortandvisualfatigueofstereoscopicdisplays：areview[J].Journalofimagingscienceandtechnology，2009， 53(3)：1-14.

[2]LAMBOOIJM，IJSSELSTEIJNWA，HEYNDERICKXI.Visualdiscomfortof3-DTV：assessmentmethodsandmodeling[J].Displays，2011，32(4)：209-218.

[3]JUNGYJ，SOHNH，LEES，etal.Predictingvisualdiscomfortofstereoscopicimagesusinghumanattentionmodel[J].IEEEtransactionsoncircuitsandsystemsforvideotechnology，2013，23(12)：2077-2082.

[4]SOHNH，JUNGYJ，LEES，etal.Attentionmodel-basedvisualcomfortassessmentforstereoscopicdepthperception[C]// 17thInternationalConferenceonDigitalSignalProcessing(DSP).Corfu：IEEEPress，2011：1-6.

[5]杜祥坤，姜秀華，王彩虹.立體電視視頻質(zhì)量主觀評價方法研究[J].電視技術，2013,37(23)：241-245.

[6]LIJing，BARKOWSKYM，WANGJ，etal.Studyonvisualdiscomfortinducedbystimulusmovementatfixeddepthonstereoscopicdisplaysusingshutterglasses[C]//Proc. 17thInternationalConferenceonDigitalSignalProcessing(DSP).Corfu：IEEEPress，2011：1-8.

[7]JANSENL，SELIMO，K?NIGP.Influenceofdisparityonfixationandsaccadesinfreeviewingofnaturalscenes[J].JournalofVision，2009，9(1)：29.

[8]ITU-RRecommendationBT.500-13，Internationaltelecommunicationunion.Methodologyforthesubjectiveassessmentofthequalityoftelevisionpictures[S].2012.

[9]阮衛(wèi)泓，溫娜，武曉光，等.3D電視主觀評價方法研究[J].電視技術，2014，38(24)：60-64.

[10]ITU-RRecommendationBT.1438，Internationaltelecommunicationunion.subjectiveassessmentofstereoscopictelevisionpictures[S].2000.

[11]譚澤富，丁妍芝，雷國平，等.基于視覺顯著性圖的立體圖像視疲勞評價[J].電視技術，2015，39(7)：114-116.

[12]ACHANTAR，HEMAMIS，ESTRADAF，etal.Frequency-tunedsalientregiondetection[C]//IEEEConferenceonComputerVisionandPatternRecognition.Miami：IEEEPress，2009：1597-1604.

[13]VLADIMIRK，ZABIHR.Multi-camerascenereconstructionviagraphcuts[C]//ComputerVision-ECCV2002.Copenhagen，Denmark：SpringerBerlinHeidelberg，2002：82-96.

[14]JUNGYJ，SOHNH，LEES，etal.IVYlabstereoscopicimagedatabase[EB/OL].[2015-07-06].http：//ivylab.kaist.ac.kr/demo/3DVCA/3DVCAhtm.

[15]SOHNH，JUNGYJ，LEESI，etal.IVYlabstereo3Dimagedatabasefordisparityremapping[EB/OL].[2015-07-06].http：//ivylab.kaist.ac.kr/demo/3D/DisparityRemapping.htm.

[16]HIRSCHMüLLERH，SCHARSTEIND.Evaluationofcostfunctionsforstereomatching[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition(CVPR2007).Minneapolis：IEEEPress，2007：1-8.

胡岸(1990— )，女，碩士生，主研數(shù)字電視技術、立體圖像舒適度評價等；

孟放(1972— )，碩士生導師，主要研究方向為數(shù)字電視技術、視覺信息處理、視頻圖像處理等；

鄭郁劼(1989— )，碩士生，主研數(shù)字電視技術、立體圖像舒適度評價等。

責任編輯：閆雯雯

Assessmentalgorithmonvisualcomfortofstereoscopicimagebasedonvisualattention

HUAn,MENGFang,ZHENGYujie

(School of Information Engineering,Communication University of China,Beijing 100024,China)

Keywords:stereoscopicimages;visualattentionmodel;objectiveassessment

Abstract:Inrecentyears,thedevelopmentofstereoscopicTVandmovieshasledakindof"3D"fashion.Visualdiscomfortinstereoscopicmoviesshouldbeeliminatedinordertoallowtheaudiencetoenjoythehighqualityofthe3Dcontent.Anobjectiveassessmentmethodonvisualcomfortofstereoscopicimagesbasedonthedisparityfactorandvisualattentionmodelisdesignedandimplemented.Inthismethod,adisparity-comfortmodeliscalculatedbasedonthesubjectiveassessmentresultoftheartificialimagesatfirst.Then,takingintoaccountboththedisparity-comfortmodelandsaliencyinformationofimages,thevisualcomfortofstereoscopicimagescanbepredicted.Theexperimentalresultsshowthatthepredictionperformanceoftheobjectiveassessmentmethodproposedinthispapercanbebetterconsistentwiththesubjectiveassessmentresults.

中圖分類號：TN949.13

文獻標志碼：A

DOI：10.16280/j.videoe.2016.01.028

作者簡介：

收稿日期：2015-08-06

文獻引用格式：胡岸，孟放，鄭郁劼.一種基于用戶關注的立體圖像舒適度評價算法[J].電視技術，2016,40(1)：141-144.

HUA,MENGF,ZHENGYJ.Assessmentalgorithmonvisualcomfortofstereoscopicimagebasedonvisualattention[J].Videoengineering,2016,40(1)：141-144.