譚澤富，丁妍芝，雷國(guó)平，彭 霞

(1.重慶郵電大學(xué) 通信與信息工程學(xué)院，重慶 400065；2.重慶三峽學(xué)院 信號(hào)與信息處理重點(diǎn)實(shí)驗(yàn)室，重慶 404100)

?

基于視覺(jué)顯著性圖的立體圖像視疲勞評(píng)價(jià)

譚澤富1,2，丁妍芝1，雷國(guó)平2，彭 霞1

(1.重慶郵電大學(xué) 通信與信息工程學(xué)院，重慶 400065；2.重慶三峽學(xué)院 信號(hào)與信息處理重點(diǎn)實(shí)驗(yàn)室，重慶 404100)

隨著立體顯示技術(shù)的飛速發(fā)展，立體圖像帶來(lái)的視疲勞問(wèn)題引發(fā)了人們的廣泛關(guān)注。視覺(jué)顯著性區(qū)域決定著立體圖像的性質(zhì)，而雙目視差和觀看時(shí)間是影響立體圖像視疲勞程度的兩個(gè)重要因素。為了評(píng)價(jià)觀看立體圖像后產(chǎn)生的視疲勞，提出了立體圖像視疲勞的評(píng)價(jià)模型。該模型基于視覺(jué)顯著性圖，根據(jù)視差和觀看時(shí)間得到對(duì)立體圖像視疲勞的評(píng)價(jià)。生理心理實(shí)驗(yàn)表明，該模型預(yù)測(cè)結(jié)果的可靠率到達(dá)了93%以上，依據(jù)該評(píng)價(jià)模型可由視差和觀看時(shí)間快速、準(zhǔn)確地評(píng)價(jià)立體圖像視疲勞，為立體圖像視疲勞的評(píng)價(jià)及立體圖像的改進(jìn)提供了依據(jù)。

立體圖像；視疲勞；評(píng)價(jià)模型

立體圖像顯示系統(tǒng)模仿人眼視覺(jué)系統(tǒng)，基于雙目視差原理，利用光柵或者立體眼鏡等工具，讓雙眼分別接收到視角輕微不同的兩幅圖像，經(jīng)大腦融合得到基于雙目視差的深度信息，產(chǎn)生立體感，使觀眾沉浸在立體圖像所呈現(xiàn)的場(chǎng)景之中。

在自然情況下，人眼的輻輳和調(diào)節(jié)是一致的，但觀看立體圖像時(shí)卻有所不同。觀看立體圖像時(shí)，調(diào)節(jié)距離是人眼與屏幕間的距離，是固定的，而輻輳距離卻隨著虛擬物象位置的變化而變化，造成了輻輳-調(diào)節(jié)沖突[1-2]，這是引發(fā)立體影像視疲勞的主要因素之一。

立體圖像的雙目視差決定了其輻輳-調(diào)節(jié)沖突的程度，因此，在評(píng)判立體圖像視疲勞時(shí)，雙目視差是必不可少的重要因素。目前已經(jīng)有一些文獻(xiàn)研究了對(duì)立體圖像的視疲勞評(píng)價(jià)，文獻(xiàn)[3-4]研究了立體圖像視疲勞評(píng)價(jià)與平面圖像視疲勞評(píng)價(jià)的異同；文獻(xiàn)[5]研究了立體圖像視疲勞的客觀評(píng)價(jià)方法；文獻(xiàn)[6]研究了立體顯示視疲勞的主觀評(píng)價(jià)方法；文獻(xiàn)[7]通過(guò)主、客觀實(shí)驗(yàn)，測(cè)量了雙目視差對(duì)立體圖像視疲勞的影響；文獻(xiàn)[8]研究表明，正向視差與負(fù)向視差對(duì)立體圖像視疲勞的影響效果不同。

然而這些研究都沒(méi)有綜合考慮視差、觀看時(shí)間及視覺(jué)注意力對(duì)立體圖像視疲勞的影響。本文通過(guò)生理心理實(shí)驗(yàn)，綜合考慮雙目視差和觀看時(shí)間對(duì)立體圖像視疲勞的影響，提出了基于視覺(jué)顯著性圖的立體圖像視疲勞評(píng)價(jià)模型。

1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)過(guò)程中環(huán)境亮度保持為200 lx，環(huán)境溫度和濕度為恒定值。有30名受試者，年齡在18～40歲之間，其中男、女各15人。所有受試者在評(píng)價(jià)立體圖像視疲勞之前都接受了視覺(jué)檢查，以確保其雙目視覺(jué)功能正常。

立體圖像顯示設(shè)備是分辨率為1 920×1 080的27 in(1 in=2.54 cm)主動(dòng)快門(mén)式立體電視，屏幕比例為16∶9。遵照電視圖像質(zhì)量主觀評(píng)定方法(ITU-R BT.500-13)，實(shí)驗(yàn)時(shí)的觀影距離是屏幕高度的3倍，約為1 010 mm，人的平均瞳間距離為65 mm，則立體圖像深度與視差的關(guān)系如表1所示。

表1 立體圖像視疲勞與視差的關(guān)系

2 建立評(píng)價(jià)模型

基于立體圖像視疲勞的建模過(guò)程分為3個(gè)部分，首先利用3ds Max軟件合成視差單一的立體圖像，并結(jié)合生理心理實(shí)驗(yàn)，建立視差及觀看時(shí)間與視疲勞關(guān)系的模型；然后提取出現(xiàn)實(shí)場(chǎng)景立體圖像的視覺(jué)顯著性圖，運(yùn)用空間匯集技術(shù)求得基于視覺(jué)顯著性圖的視差，帶入模型即可得基于視覺(jué)顯著性圖的立體圖像視疲勞評(píng)價(jià)；最后分析和比較基于視覺(jué)顯著性圖的評(píng)價(jià)結(jié)果和基于全局模型的評(píng)價(jià)結(jié)果，驗(yàn)證基于視覺(jué)顯著性圖的立體圖像視疲勞評(píng)價(jià)模型的有效性。

2.1 立體圖像視疲勞建模

利用3ds Max軟件構(gòu)建出符合實(shí)驗(yàn)要求的立體場(chǎng)景，得到所需的單一視差的立體圖像組。本實(shí)驗(yàn)構(gòu)建的立體場(chǎng)景為一個(gè)懸浮在空中的足球。調(diào)整3ds Max的相機(jī)參數(shù)，依據(jù)屏幕尺寸、觀看距離和深度與視差的關(guān)系，將同一場(chǎng)景渲染成視差分別為-1.5°～+1.5°的11幅單一視差立體圖像，其中“-”表示負(fù)向視差，此時(shí)有出屏的效果；“+”表示正向視差，此時(shí)有入屏的效果。

實(shí)驗(yàn)前，先讓受試者閉目5 min，讓眼睛得到放松，以消除受試者已有視疲勞。接著，用2 min讓受試者做立體圖像視疲勞的問(wèn)卷，得到觀看立體圖像前視疲勞的基準(zhǔn)值。然后，讓受試者觀看不同視差的11組立體圖像，每組圖放映結(jié)束后，受試者再利用2 min時(shí)間填寫(xiě)問(wèn)卷調(diào)查，然后進(jìn)行下一輪實(shí)驗(yàn)。每位受試者的連續(xù)實(shí)驗(yàn)過(guò)程不超過(guò)1 h。每幅立體圖像分別放映10次，每次放映的時(shí)間為1～10 min。

視疲勞問(wèn)卷中包含立體圖像視疲勞的8個(gè)指標(biāo)，對(duì)每一個(gè)指標(biāo)用五分制評(píng)判(1分表示“完全沒(méi)有”；2分表示“輕微”的；3分表示“有一些”；4分表示“糟糕的”；5分表示“難以忍受”的)。指標(biāo)的內(nèi)容和權(quán)重如表2所示[9]，將每個(gè)指標(biāo)的評(píng)判得分加權(quán)求和，即得立體圖像視疲勞程度的總體評(píng)價(jià)。

整理生理心理實(shí)驗(yàn)問(wèn)卷數(shù)據(jù)，可得到不同視差和觀看時(shí)間條件下立體圖像視疲勞程度的評(píng)價(jià)得分。用多項(xiàng)式f(d)=k0+k1d+k2d2+k3d3擬合受試者觀看不同視差立體圖像10 min后視疲勞程度的數(shù)據(jù)，其中d表示立體圖像的雙目視差，f(d)表示受試者的視疲勞程度，ki(i=0,1,2,3)為模型參數(shù)。依據(jù)最小二乘準(zhǔn)則求得模型參數(shù)ki(i=0,1,2,3)，可以得到

表2 視疲勞指標(biāo)及其權(quán)重

f(d)=1.062 7-0.106 3d+1.506 1d2-0.075 5d3

(1)

觀看立體圖像10 min后視疲勞程度與視差的關(guān)系如圖1所示。從中可以看出，隨著雙眼視差的增大，視疲勞程度增加明顯，而且負(fù)向視差比正向視差更容易產(chǎn)生視疲勞。

圖1 雙目視差與視疲勞關(guān)系

用多項(xiàng)式f(d,t)=α0+α1d+α2d2+α3d3+α4t+α5t2+α6t3擬合立體圖像視疲勞程度與立體圖像視差及觀看時(shí)間的關(guān)系，其中d表示立體圖像雙目視差，t表示觀看立體圖像的時(shí)間，f(d,t)表示雙目視差為d并且觀看時(shí)間為t時(shí)，觀看者的視疲勞程度。依據(jù)實(shí)驗(yàn)數(shù)據(jù)，并基于最小二乘準(zhǔn)則求得參數(shù)αi(i=0～6)，可得立體圖像視疲勞評(píng)價(jià)模型為

f(d,t)=1.259 3-0.042 2d+0.742 2d2-0.062 0d3+

0.016 1t+0.017 2t2-0.000 5t3

(2)

通過(guò)此模型可由立體圖像的雙目視差及觀看時(shí)間來(lái)預(yù)測(cè)觀看者的立體圖像視疲勞程度。

立體圖像視疲勞程度與視差及觀看時(shí)間的關(guān)系如圖2所示，從中可以看出立體圖像的雙目視差和觀看時(shí)間是影響立體圖像視疲勞程度的重要因素。隨著視差的增大和觀看時(shí)間的增加，立體圖像視疲勞程度增加明顯。

2.2 基于視覺(jué)顯著性圖的立體圖像視疲勞評(píng)價(jià)

此部分的實(shí)驗(yàn)圖像為3D相機(jī)(富士3DW3)拍攝的40幅現(xiàn)實(shí)場(chǎng)景的立體圖像，每幅圖像都由包含大量不同景深、不同視差的景物。

觀看立體圖像時(shí)，人的注意力通常集中于圖像的某些區(qū)域，這部分區(qū)域即所謂的視覺(jué)顯著性區(qū)域，用視覺(jué)顯著性圖表示。相比圖像中的其他區(qū)域，視覺(jué)顯著性區(qū)域吸引了觀看者絕大多數(shù)的視覺(jué)注意力，因?yàn)樘岢鲆曈X(jué)顯著性區(qū)域極可能是影響立體圖像視疲勞評(píng)價(jià)得分的決定性因素。在此假設(shè)下，建立了基于視覺(jué)顯著性區(qū)域的立體圖像視疲勞評(píng)價(jià)模型，用視覺(jué)顯著性區(qū)域的立體特征結(jié)合視疲勞評(píng)價(jià)模型評(píng)價(jià)現(xiàn)實(shí)場(chǎng)景的立體圖像視疲勞。

圖2 視疲勞關(guān)系與雙目視差及觀看時(shí)間建模

基于視覺(jué)顯著性圖的立體圖像視疲勞評(píng)價(jià)是指根據(jù)立體圖像特征提取出視覺(jué)顯著性圖，結(jié)合空間匯集技術(shù)求得基于視覺(jué)顯著性圖的立體圖像視差，帶入立體圖像視疲勞評(píng)價(jià)模型，得到立體圖像視疲勞評(píng)價(jià)。

立體圖像的色彩分布、邊緣輪廓以及視差是影響人視覺(jué)注意力的3個(gè)最重要的因素。因此，為了獲得視覺(jué)顯著性圖必須先提取出色彩顯著性圖、邊緣顯著性圖和視差圖。首先根據(jù)立體圖像的左眼視圖提取出色彩顯著性圖和邊緣顯著性圖，并根據(jù)左、右視圖運(yùn)用圖割算法求取立體圖像視差圖。再根據(jù)式(3)得到合成圖A，即

A=α1C+α2E+α3D

(3)

式中：A表示合成圖；C表示色彩顯著性圖；E表示邊緣顯著性圖；D表示立體圖像的視差圖。α1，α2，α3分別表示對(duì)應(yīng)的權(quán)重，取值為α1=0.4，α2=0.3，α3=0.3[10]。將圖A以0.5為閾值進(jìn)行二值化處理，即得到視覺(jué)顯著性圖。

與用3ds Max軟件制作的單一視差立體圖像不同，現(xiàn)實(shí)場(chǎng)景立體圖像中不同區(qū)域的視差是不一致的，為了獲取現(xiàn)實(shí)場(chǎng)景立體圖像的視差，引入了空間匯集技術(shù)?；谝曈X(jué)顯著性圖的立體圖像視疲勞評(píng)價(jià)，即基于視覺(jué)顯著性圖，運(yùn)用空間匯集技術(shù)，將圖像的視覺(jué)顯著性區(qū)域按照一定的方式劃分為多個(gè)板塊，并依據(jù)圖像的特征匯集統(tǒng)計(jì)方法對(duì)每個(gè)板塊的視差進(jìn)行處理，最終得到單一的立體圖像視差統(tǒng)計(jì)表達(dá)D′，即立體圖像的整體雙目視差值可用D′表示。將D′帶入視疲勞評(píng)價(jià)模型，最終得到基于視覺(jué)顯著性圖的立體圖像視疲勞評(píng)價(jià)。

用皮爾遜相關(guān)系數(shù)和皮爾遜等級(jí)相關(guān)系數(shù)比較基于全局的視疲勞評(píng)價(jià)模型和基于視覺(jué)顯著性區(qū)域的視疲勞評(píng)價(jià)模型，其中皮爾遜相關(guān)系數(shù)表示生理心理實(shí)驗(yàn)評(píng)價(jià)視疲勞主觀得分與視疲勞評(píng)價(jià)模型預(yù)測(cè)得分的線性相關(guān)性，斯皮爾曼等級(jí)相關(guān)系數(shù)表示視疲勞評(píng)價(jià)模型預(yù)測(cè)分?jǐn)?shù)與雙目視差的相關(guān)關(guān)系，求取的相關(guān)系數(shù)如表3所示。從表3可以看出，與基于全圖相比，基于視覺(jué)顯著性圖視疲勞評(píng)價(jià)模型的預(yù)測(cè)結(jié)果與視疲勞主觀評(píng)價(jià)得分的相關(guān)度高，基于視覺(jué)顯著性模型的視差與主觀視疲勞評(píng)價(jià)得分的斯皮爾曼等級(jí)相關(guān)度高。

表3 兩種模型皮爾遜相關(guān)系數(shù)及皮爾遜等級(jí)相關(guān)系數(shù)比較

這驗(yàn)證了此前的假設(shè)，即與基于全圖的視疲勞評(píng)價(jià)模型相比，基于視覺(jué)顯著性圖的立體圖像視疲勞評(píng)價(jià)模型能夠給出更加合理并且接近視疲勞真實(shí)水平的預(yù)測(cè)值。這是因?yàn)橛^看者的視覺(jué)注意力集中于視覺(jué)顯著性區(qū)域，即視覺(jué)顯著性區(qū)域決定了觀看者的生理、心理反應(yīng)。

3 普適性驗(yàn)證

為了驗(yàn)證立體圖像視疲勞評(píng)價(jià)模型，另選取了30幅由3D照相機(jī)拍攝出來(lái)的立體圖像進(jìn)行普適性驗(yàn)證。每幅立體圖像的主觀評(píng)價(jià)分?jǐn)?shù)可由生理心理實(shí)驗(yàn)并結(jié)合如圖2所示的主觀視疲勞評(píng)價(jià)問(wèn)卷得到。同時(shí)依據(jù)基于視覺(jué)顯著性圖的立體圖像視疲勞評(píng)價(jià)模型得到視疲勞的預(yù)測(cè)值。若視疲勞評(píng)價(jià)模型的預(yù)測(cè)分?jǐn)?shù)與主觀評(píng)價(jià)分?jǐn)?shù)的差異在主觀評(píng)價(jià)分?jǐn)?shù)的5%以?xún)?nèi)，則認(rèn)為視疲勞評(píng)價(jià)模型的預(yù)測(cè)結(jié)果正確。

統(tǒng)計(jì)評(píng)價(jià)數(shù)據(jù)，其中正確評(píng)價(jià)的立體圖像為28幅，即正確評(píng)價(jià)率為93.3%。實(shí)驗(yàn)結(jié)果表明，該視疲勞評(píng)價(jià)模型的立體圖像視疲勞預(yù)測(cè)結(jié)果與主觀評(píng)價(jià)結(jié)果有較高的一致性，即該立體圖像視疲勞評(píng)價(jià)模型普適性好，能夠解決主觀視疲勞評(píng)價(jià)方法耗時(shí)長(zhǎng)、過(guò)程繁瑣和可移植性差的缺點(diǎn)。

4 小結(jié)

通過(guò)3ds Max制作出不同視差的單一視覺(jué)刺激的立體圖像，通過(guò)生理、心理實(shí)驗(yàn)，得到立體圖像視疲勞與視差及觀看時(shí)間的關(guān)系并用多項(xiàng)式描述，并基于最小二乘準(zhǔn)則擬合多項(xiàng)式系數(shù)，得到立體圖像視疲勞的評(píng)價(jià)模型。為了評(píng)價(jià)現(xiàn)實(shí)場(chǎng)景立體圖像，提出了基于視覺(jué)顯著性圖的立體圖像視疲勞評(píng)價(jià)模型。首先根據(jù)色彩顯著性圖、邊緣顯著性圖和視差圖獲取立體圖像的視覺(jué)顯著性圖，用空間匯集技術(shù)提取出基于視覺(jué)顯著性圖的視差，并將其帶入視疲勞評(píng)價(jià)模型，即可得到基于視覺(jué)顯著性圖的立體圖像視疲勞評(píng)價(jià)。通過(guò)比較基于視覺(jué)顯著性區(qū)域的視疲勞評(píng)價(jià)模型和基于全圖的視疲勞評(píng)價(jià)模型的皮爾遜相關(guān)系數(shù)和斯皮爾曼等級(jí)相關(guān)系數(shù)，驗(yàn)證了基于視覺(jué)顯著性區(qū)域的視疲勞評(píng)價(jià)模型的預(yù)測(cè)結(jié)果更加接近真實(shí)值，即基于視覺(jué)顯著性區(qū)域的評(píng)價(jià)模型有更優(yōu)的評(píng)價(jià)結(jié)果。最后通過(guò)普適性實(shí)驗(yàn)，驗(yàn)證了基于視覺(jué)顯著性圖的視疲勞評(píng)價(jià)模型的普適性。

依據(jù)本文提出的視疲勞評(píng)價(jià)模型，能夠由視覺(jué)顯著性區(qū)域的視差和觀眾的觀看時(shí)間預(yù)測(cè)出立體圖像視疲勞的程度，能夠快速、準(zhǔn)確地刪選出不易使人產(chǎn)生視疲勞的立體圖像，并為立體圖像的改進(jìn)提供了方向。

[1]韓振雷.3DTV的立體顯像技術(shù)[J].電視技術(shù)，2012，36(6)：77-79.

[2]TAM W J, SPERANZA F, YANO S, et al.Stereoscopic 3D-TV:Visual comfort[J].IEEE Trans.Broadcasting，2011，57(2)：335-346.

[3]成于慶，姜秀華.立體電視視頻質(zhì)量影響因素分析[J].電視技術(shù)，2011，35(12)：80-83.

[4]PHAN P, ANDROUTSOS D.Robust semi-automatic depth map generation in unconstrained images and video sequences for 2D to stereoscopic 3D conversion[J].IEEE Trans.Multimedia，2014，16(1)：122-136.

[5]LIH-C O, SEO J, KHAM K, et al.Measurement of 3D visual fatigue using event-related potential (ERP):3D oddball paradigm[C]//Proc.3DTV Conference: The True Vision-Capture, Transmission and Display of 3D Video.Istanbul:IEEE Press,2008: 213-216.

[6]杜祥坤,姜秀華,王彩虹.立體電視視頻質(zhì)量主觀評(píng)價(jià)方法研究[J].電視技術(shù)，2013，37(23)：241-245.

[7]SHAO F, LIN W, GU S, et al.Perceptual full-reference quality assessment of stereoscopic images by considering binocular visual characteristics[J].IEEE Trans.Image Processing，2013，22(5)：1940-1953.

[8]KIM D, JUNG Y J, KIM E, et al.Human brain response to visual fatigue caused by stereoscopic depth perception[C]//Proc.2011 17th International Conference on Digital Signal Processing.Corfu: IEEE Press，2011：1-5.

[9]ATALLAH P, PELAH A, WILKINS A.Visual stress symptoms from stereoscopic television[C]//Proc.2012 International Conference on 3D Imaging.Liege：IEEE Press，2012：1-7.

[10]FANG Y, WANG J, NARWARIA M, et al.Saliency detection for stereoscopic images[J].IEEE Trans.Image Processing，2014，23(6)：2625-2636.

譚澤富(1969— )，碩士，教授，主研3D立體電視、移動(dòng)數(shù)字電視技術(shù)和寬帶信號(hào)處理等；

丁妍芝(1991— )，碩士生，主研3D立體電視、移動(dòng)多媒體廣播；

雷國(guó)平(1983— )，碩士，講師，主研3D立體電視、移動(dòng)數(shù)字電視；

彭 霞(1991— )，碩士生，主研3D立體電視、移動(dòng)多媒體廣播。

責(zé)任編輯：薛 京

Attention Model-Based Visual Discomfort Evaluation Model of Stereoscopic Display

TAN Zefu1,2, DING Yanzhi1, LEI Guoping2, PENG Xia1

(1.DepartmentofCommunicationandInformationEngineering,ChongqingUniversityofPostsandTelecommunication,Chongqing400065,China；2.KeyLaboratoryofSignalandInformationProcessing,ChongqingThreeGorgesUniversity,Chongqing404100,China)

With the rapid development of stereoscopic display, broad attention of evaluating visual discomfort caused by stereoscopic display has been attracted.The nature of stereoscopic display is depended on perceptually significant regions, and both binocular disparity and viewing time are the dominant factors of stereoscopic discomfort.To evaluate visual discomfort caused by stereoscopic display, visual discomfort evaluation model is developed.Based on perceptually significant regions of stereoscopic images, the degree of visual discomfort is evaluated by the amount of binocular disparities as well as viewing time.According to psychophysical experiments, the reliability of the evaluation model reaches up to 93%.According to this evaluation model, visual discomfort caused by stereoscopic images can be assessed by binocular disparity and viewing time rapidly and accurately, and this model provides a basis to evaluate visual discomfort caused by stereoscopic as well as the development of stereoscopic display technology.

stereoscopic images; visual discomfort; evaluation model

TN949.13

A

10.16280/j.videoe.2015.07.025

2014-09-12

【本文獻(xiàn)信息】譚澤富，丁妍芝，雷國(guó)平，等.基于視覺(jué)顯著性圖的立體圖像視疲勞評(píng)價(jià)[J].電視技術(shù),2015，39(7).