李素梅，朱兆琪

(天津大學電氣自動化與信息工程學院，天津 300072)

近年來立體成像技術(shù)快速發(fā)展，然而，長時間觀看立體圖像/視頻會導致觀看者產(chǎn)生頭痛、視覺疲勞等不適．立體圖像內(nèi)容的舒適與否關(guān)系到觀看者的觀看體驗和生理健康，已成為立體顯示技術(shù)急需解決的任務(wù)之一[1]．

立體圖像舒適度的研究分為3類：建立舒適度模型[2-5]的方法、結(jié)合腦電評價立體圖像舒適度[6-8]和舒適度影響因素定量研究的方法．影響立體圖像舒適度的因素有很多，如亮度、色度、對比度和視差等[9-13].國內(nèi)外許多專家學者對影響立體圖像舒適度的各種因素進行了研究．Kooi等[9]通過實驗系統(tǒng)地研究了亮度、色度、對比度、視差等因素對圖像舒適度的影響，得出當左右視圖不匹配達到一定程度時會導致觀看的不舒適．Jung等[10]基于人類深度感知，探究了立體圖像中顯著物體的視差大小對圖像舒適度的影響，實驗結(jié)果表明，顯著物體的視差較大時圖像具有很強的立體感，但是顯著物體的大視差也會帶來不舒適的體驗．李小芳等[11]指出立體圖像左右視圖的亮度和顏色差異過大會引起觀看者視覺疲勞．

目前，對立體圖像舒適度的研究大都是定性的，部分文獻對影響觀看舒適度的各種因素進行了定量研究，但是，此類方法都是基于整幅圖像進行研究[14-16]. 沒有文獻結(jié)合人眼視覺注意特性對影響立體圖像舒適度的因素進行定量研究．因此，本文首次結(jié)合視覺注意機制定量研究了亮度因素對立體圖像觀看舒適度的影響．該工作首先采用視差圖和平面圖像顯著圖相結(jié)合的方法最終得到顯著立體圖像，并利用眼動儀實驗驗證了立體顯著算法提取顯著區(qū)域的正確性，然后采用改進的逐級逼近法進行主觀實驗，通過最小二乘法對實驗數(shù)據(jù)進行擬合，得到顯著立體圖像的舒適亮度匹配圖和差異圖．

1 實 驗

1.1 實驗素材及設(shè)備

實驗選用韓國先進科學技術(shù)院所提供的立體圖像數(shù)據(jù)庫作為立體圖像樣本數(shù)據(jù)集合[17]．該圖像庫包含多種類型的圖像(人類、樹木、建筑等)，由 120對分辨率為 1,920×1,080的立體圖像組成，包括 62對室內(nèi)場景和58幅室外場景．本文選取4幅源立體圖像 pingpang、flower、pipe和 kid作為實驗用圖，如圖1所示．這4幅立體圖像的立體感強，有很好視覺舒適度．立體顯示器采用冠捷(AOC)公司的 22,inch(55.88,cm)偏光式 3D立體顯示器，眼動儀為德國SMI公司的iViewXRED．

圖1 4幅源立體圖像Fig.1 4 pairs of original stereoscopic images

1.2 實驗條件及主觀評價方法

實驗選取雙目視覺生理正常的被試者共 22人，其中男性 12人，女性 10人；有立體背景的 8人，沒有立體背景的14人，且被試者主眼都是右眼．

為避免雜散光影響被試者的主觀評價結(jié)果，實驗需在暗室中進行[12]．對于 22,inch(55.88,cm)全高清顯示器，觀看距離應(yīng)為屏幕高度的3倍距離[18]．

主觀評價是實驗定量研究的重要依據(jù)．實驗前，先對被試者介紹實驗評價的方法和評分等級，然后選取舒適度和場景不同的 10幅立體圖像訓練被試者，使被試者能夠正確地理解判斷，每次測試不超過30,min[19]．測試采用雙刺激方法，實驗中，若同一被試者對同一立體圖像給出相差 2級或者以上的評分時，此分值視為無效評分．根據(jù)ITU-R BT.1438立體圖像主觀評價推薦準則，立體圖像舒的適度分為5個等級，如表 1所示．允許被試者給出半分的分值，計算舒適度良好的立體圖像有效評分的平均值[18]．

表1 立體圖像舒適度主觀評價等級Tab.1 Subjective evaluation level of the confort of stereoscopic images

1.3 實驗方法

本文實驗流程為：①顯著立體圖像獲取，通過算法得到視覺顯著區(qū)域，并得到顯著立體圖像；②主觀實驗，將顯著立體圖像進行亮度分級變換并進行主觀實驗；③數(shù)據(jù)篩選及分析．

1.3.1 顯著立體圖像的獲取

根據(jù)人眼的立體視覺注意特性，觀察者會對圖像中顯著區(qū)域的內(nèi)容更為關(guān)注[20]，因此，可以采用顯著立體圖像的舒適度來反映整幅立體圖像的舒適度情況．與平面圖像相比，立體圖像的視差特性和圖像空間頻率都會影響視覺舒適度[21]．因此，本文通過立體圖像視差圖和平面顯著圖提取立體圖像顯著區(qū)域，最終獲得顯著立體圖像．圖 2給出顯著立體圖像的獲取方法．

圖2 顯著立體圖像的獲取方法Fig.2 Method for obtaining saliency stereoscopic images

顯著立體圖像的獲取分為左視點顯著圖與右視點顯著圖兩部分，這里以右視點顯著圖像獲取為例，左視點顯著圖采用同樣的方法．

平面顯著圖通過圖像本身的亮度、色度、對比度和空間頻率等因素進行計算．本文采用 GBVS算法[22]得到右視點平面顯著圖，記為SMR(x,y)．采用快速立體匹配算法[23]得到以右視點為基準的視差圖，記為dR(x,y)．

將SMR(x,y)和dR(x,y)加權(quán)求和得到立體顯著圖，如式(1)所示．

得到的立體顯著圖為 0～255灰度圖像，像素點的灰度值大小表示原始圖像中該像素點的顯著值，立體顯著圖所得到像素的顯著值分散，為了更明確地確定立體圖像中像素點是否為顯著點，需要對立體顯著圖S(x,y)中像素點進行顯著與非顯著像素分類．采用最大類間方差方法確定立體顯著圖S(x,y)的閾值T，通過該閾值得到二值化的立體顯著圖，即掩模圖像如式(2)所示．

對于立體顯著圖S(x,y)的一點(x,y)，若該像素點的值大于閾值T，則該像素點歸為顯著區(qū)域，反之則為非顯著區(qū)域．最后將掩模圖像與原始視點圖像相乘得到顯著立體圖，如圖3(f)所示．圖3分別給出了 4組立體圖像右視點、視差圖、平面顯著圖、立體顯著圖、掩膜圖像和顯著立體圖像．

圖3 顯著立體圖提取圖Fig.3 Map of obtaining saliency stereoscopic images

為了驗證所得顯著立體圖像是否為真值，本文采用眼動儀對源立體圖像的顯著區(qū)域進行主觀測量．每次實驗前先進行校準實驗和基準測量，當被試者對校準基準點的觀測誤差小于 1,°時進行實驗．每張圖片隨機呈現(xiàn)且呈現(xiàn)時間為 5,s．圖 4為眼動儀測量出的圖像感興趣區(qū)域的熱圖．

圖4 眼動儀實驗顯著熱圖Fig.4 Salient hot map of eye tracker experiment

圖 4中標記的不同灰度表示被試者關(guān)注的程度不同：白色標記的區(qū)域為被試者觀看時間最長，也是最為顯著的部分；灰色標記部分表示較為重要，被試者在實驗中對此部分較為感興趣；深色標記部分表示重要程度較低，但在實驗中被試者也對深色標記部分進行了關(guān)注；無標記部分表示被試者在實驗階段內(nèi)對此部分關(guān)注很少或沒有關(guān)注，表示非顯著區(qū)域．

通過將圖 4眼動儀實驗顯著熱圖與圖 3的立體顯著圖對比發(fā)現(xiàn)，本文算法獲得的立體顯著區(qū)域與主觀實驗的結(jié)果基本一致，表明該方法能夠很好地提取立體圖像的顯著區(qū)域，且與主觀實驗的結(jié)論有很強的一致性．

1.3.2 主觀實驗

人類視覺能分辨的圖像灰度等級約為62，所以對灰度等級為256的灰度圖像，人類視覺在此灰度等級上平均能分辨的最小亮度為4[25]．若以4為步長對立體圖像左右視點進行亮度增強和降低的處理，可以各得到128幅亮度變化后的左右視圖，左右視圖兩兩組合后可以得到立體灰度圖像有 16,384幅，立體圖像過多，進行主觀實驗費事費力．

因此本文采用由粗到細的逐級逼近法[14]進行數(shù)據(jù)處理，該方法的中心思想是先以大步長分級找出立體圖像舒適與不舒適亮度的2個邊界；然后用小步長將2個亮度邊界中間的亮度值細化，再次找出小步長舒適與不舒適的亮度邊界；進行多次細化與實驗，最終達到人眼的最小亮度分辨率，找出舒適與不舒適亮度的亮度值．

采用逐級逼近法，將步長逼近級數(shù)分為 3[14]．采用3級步長對立體圖像亮度進行線性變換．

實驗使用 MATLAB2014,b處理立體圖像，處理步驟如下．

步驟 1選取源立體圖像，得到立體顯著圖并最終得到掩模圖像．

步驟 2將立體圖像進行顏色空間變換，由RGB空間轉(zhuǎn)換到 YUV顏色空間，提取出圖像亮度Y．根據(jù)步驟1中的掩模圖像確定圖像的顯著與非顯著部分．顯著區(qū)域為源立體圖像中對應(yīng)的像素，非顯著部分用灰度為128的圖像進行覆蓋，如圖5所示．

圖5 顯著立體圖像Fig.5 Saliency stereoscopic images

步驟 3按圖 6(a)對顯著立體灰度圖像中左右視點的顯著部分按第1級步長進行線性變換，各得到9幅 1級左右灰度視圖，兩兩組合后可以得到 81幅顯著立體灰度圖像．

步驟 4進行主觀評分，去除無效評分，選取統(tǒng)計評分的立體灰度圖像．

步驟 5分別記錄 1級灰度變化后符合要求的左右灰度視圖的最大和最小灰度值

步驟 6按圖 6(b)對顯著立體灰度圖像中左右視圖的顯著部分按第2級步長進行線性變換，各得到10幅圖像，兩兩組合共可以得到 100幅 2級立體圖像，重復(fù)步驟4進行主觀實驗．

步驟 7分別記錄第 2級灰度變化后符合要求的左右灰度視圖的最大和最小灰度值

步驟 8圖 6(c)對顯著立體灰度圖像中左右視圖的顯著部分按第 3級步長進行線性變換，各得到10幅圖像，兩兩組合共可以得到 100幅 3級立體圖像，重復(fù)步驟4進行主觀實驗．

圖6 圖像亮度3級步長逼近Fig.6 Three-step approximation of image brightness

步驟 9分別記錄 3級灰度變化后符合要求的左右灰度視圖的最大和最小灰度值n3,1、n3,2．

采用 3級步長逼近法共得到281幅立體灰度圖像，遠小于理論上極限法得到的立體灰度圖像數(shù)量，大大減少了實驗的數(shù)量，而且也能得到很好的實驗結(jié)果．

2 實驗數(shù)據(jù)分析

對實驗數(shù)據(jù)采用最小二乘分段線性擬合來進行處理[26]，其基本思想是將所測數(shù)據(jù)用分段的直線來逼近以便獲得相應(yīng)的數(shù)學模型，而直線段的擬合仍采用最小二乘法．運用最小二乘法對 4組實驗數(shù)據(jù)進行處理，得到 4幅不同的亮度匹配圖和亮度差異圖，見圖7～圖10．

圖7 4組立體圖像舒適亮度匹配圖Fig.7 Comfortable brightness matching map of four groups of stereoscopic images

圖8 4組立體圖像舒適亮度差異圖Fig.8 Comfortable brightness matching map of four groups of stereoscopic images

圖9 立體圖像舒適亮度匹配圖Fig.9 Comfortable brightness matching map of stereoscopic images

圖7為4組立體圖像舒適亮度匹配圖，橫坐標為左視點顯著區(qū)域的平均亮度，縱坐標為右視點顯著區(qū)域的平均亮度值．圖中分段直線包圍的區(qū)域表示左右視圖顯著區(qū)域的平均亮度．在此范圍中，立體圖像成像后舒適度良好．圖 8為 4組立體圖像舒適亮度差異圖，表示當立體圖像舒適度良好時右視點顯著區(qū)域亮度與左視點顯著區(qū)域亮度的差值范圍，水平軸(過縱軸零點水平線)表示左右視點顯著區(qū)域亮度相同．水平軸上方表示右視點顯著區(qū)域比左視點顯著區(qū)域亮度大，水平軸下方表示右視點顯著區(qū)域比左視點顯著區(qū)域亮度低．

圖10 立體圖像舒適亮度差異圖Fig.10 Comfortable brightness difference map of stereoscopic images

為了使本文的方案具有普適性，對圖 7、圖 8所示的 4組立體圖像舒適亮度匹配圖和差異圖的實驗數(shù)據(jù)進行平均，分別得到立體圖像舒適亮度匹配圖和差異圖，如圖 9、圖 10所示．將圖 9與圖 10中直線包圍區(qū)域分為4個部分．

(2) 在R1區(qū)域，亮度過低．人在觀看圖像時對于過低亮度的忍耐度有一定的閾值，當圖像亮度低于閾值時，觀看者在觀看時感到明顯的不適．左眼的最低亮度閾值為 35.3，右眼的亮度閾值為 44.3，而且在低亮度區(qū)域雙眼能夠融合的亮度差也較?。?/p>

(3) 隨著左右視點顯著區(qū)域亮度的增加，雙眼的融合極限逐漸增大，在R2區(qū)域，隨著左眼亮度的增加，右眼對于較暗的圖像的融合極限會比R1時低，這是由于左視點較為明亮，即使右視點不是很明亮也能在大腦中融合成亮度適合的圖像，而且具有良好的觀看舒適度．

(4) 在區(qū)域R3，圖像的亮度繼續(xù)增加，人對亮度變化的敏感度較R2減弱，所以在該區(qū)域左右視圖融合極限差繼續(xù)增大．

(5) 隨著亮度增大到一定范圍，高亮度的刺激會使人感到不適．隨著左視點亮度增加，右視點的亮度適應(yīng)范圍逐漸減小，最終收縮到一個最大亮度極值．

圖9的對角線不對稱，圖10的水平軸也不對稱.這主要是因為人在感知事物時左右眼有所差異．圖10中水平軸上半部面積小于下半部的面積，這是因為被試者是右眼為主眼，主眼對輔眼有抑制作用，因此右視圖的亮度不能高于左視圖太多，但右視點亮度可以比左視點低很多，這種現(xiàn)象在圖像亮度增大到一定程度后更為明顯．

3 結(jié)果驗證

文獻[14]在沒有考慮視覺顯著性的情況下定量研究亮度因素對視覺舒適度的影響，曲線如圖 11星號連接直線所示．圖 11中的圓圈連接直線代表本文結(jié)果．可以看出，兩曲線所包圍的亮度范圍基本一致，說明顯著區(qū)域的舒適度能夠代表整幅立體圖像的舒適度，與理論一致. 2個結(jié)果所不同的是本文的最低亮度并非從0開始，因為當亮度為0或過低時，此時圖像為全黑或亮度太低，看不出圖像所顯示的具體內(nèi)容，測量的圖像的舒適得分過低．本文結(jié)果更加符合人眼的視覺感受．

圖11 本文實驗結(jié)果與文獻[14]結(jié)果對比Fig.11 Comparison between experimental results and Ref.[14] results

4 結(jié) 語

本文基于視覺注意機制通過主觀定量實驗研究了亮度變化對舒適度的影響機制，相比于未考慮視覺注意機制的實驗，本文結(jié)果更能體現(xiàn)人眼的視覺感受．但是，影響立體圖像/視頻舒適度的因素有很多，有待進一步研究其他因素(色度、飽和度、對比度等)對觀看舒適度的影響，完善整個理論體系．

［1］ Chen Hungshing，Huang Chungcheng，Luo Mingronnier. Visual comfort in 2D/3D modes of glasses-type stereoscopic displays[J].Journal of the Society for Information Display，2013，21(2)：94-102.

［2］ Zhang Wei，Qu Chenfei，Ma Lin. Learning structure of stereoscopic image for no-reference quality assessment with convolution neural network[J].Pattern Recognition，2016，59：176-187.

［3］ Chen M J，Cormack L K，Bovik A C. No-reference quality assessment of natural stereopairs[J].IEEE Transactions on Image Processing，2013，22(9)：3379-3391.

［4］ Shao Feng，Lin Weisi，Wang S，et al. Learning receptive fields and quality lookups for blind assessment of stereoscopic images[J].IEEE Transactions on Cybemetics，2016，46(3)：730-743.

［5］ Shao Feng，Tian Weijun，Lin Weisi. Learning sparse representation for no-reference quality assessment of multiply-distorted stereoscopic images[J].IEEE Transactions on Multimedia，2017，19(8)：1821-1836.

［6］ 沈麗麗，劉海鵬，王 叢，等. 旋轉(zhuǎn)偏差對立體顯示舒適度影響的 ERP研究[J]. 天津大學學報：自然科學與工程技術(shù)版，2017，50(4)：385-390.Shen Lili，Liu Haipeng，Wang Cong，et al. Study on ERP for the effect of rotation distortions on visual comfort[J].Journal of Tianjin University：Science and Technology，2017，50(4)：385-390(in Chinese).

［7］ 岳廣輝，侯春萍，沈麗麗，等. 尺寸偏差對立體觀看舒適度影響的 ERP研究[J]. 天津大學學報：自然科學與工程技術(shù)版，2016，49(12)：1262-1267.Yue Guanghui，Hou Chunping，Shen Lili，et al. ERP study on the discomfort induced by size mismatch between left view and right view[J].Journal of Tianjin University：Science and Technology，2016，49(12)：1262-1267(in Chinese).

［8］ 沈麗麗，劉海鵬，王 叢，等. 亮度偏差對立體顯示舒適度影響的 ERP研究[J]. 天津大學學報：自然科學與工程技術(shù)版，2016，49(12)：1243-1247.Shen Lili，Liu Haipeng，Wang Cong，et al. ERP study on the effect of brightness deviations on stereo visual comfort[J].Journal of Tianjin University：Science and Technology，2016，49(12)：1243-1247(in Chinese).

［9］ Kooi F L，Toet A. Visual comfort of binocular and 3D displays [J].Displays，2004，25(2/3)：99-108.

［10］ Jung Cheolkon，Wang Shuai. Visual comfort assessment in stereoscopic 3D images using salient object disparity[J].Electronics Letters，2014，51(6)：482-484.

［11］ 李小方，王瓊?cè)A，李大海，等. 自由立體顯示器觀看視疲勞[J]. 液晶與顯示，2008，23(4)：464-467.Li Xiaofang，Wang Qionghua，Li Dahai，et al.Viewer’s visual fatigue in autostereoscopic display [J].Chinese Journal of Liquid Crystals and Displays，2008，23(4)：464-467(in Chinese).

［12］ Quan H T，Barkowsky M，Callet P L. The importance of visual attention in improving the 3D-TV viewing experience：Overview and new perspectives[J].IEEE Transactions on Broadcasting，2011，57(2)：421-431.

［13］ Shin D H，Lee S H，Kim E S. Optical display of true 3D objects in depth-priority integral imaging using an active sensor[J].Optics Communications，2007，275(2)：330-334.

［14］ 臧艷軍，李素梅，衛(wèi)津津，等. 影響立體圖像舒適度的亮度范圍測定[J]. 電子測量技術(shù)，2012，35(2)：59-64.Zang Yanjun，Li Sumei，Wei Jinjin，et al. Measurement of the range of the brightness parameter influencing the comfort of stereoscopic images[J].Electronic Measurement Technology，2012，35(2)：59-64(in Chinese).

［15］ 劉 暢，李素梅，朱 丹，等. 色度對立體圖像視覺舒適度影響的定量研究[J]. 光電子·激光，2014，25(1)：178-185.Liu Chang，Li Sumei，Zhu Dan，et al. Quantitative research of the hue parameter influence on the visual comfort of stereoscopic images[J].Journal of Optoelectronics·Laser，2014，25(1)：178-185(in Chinese).

［16］ 李素梅，付貝貝，臧艷軍，等. 影響立體圖像舒適度的飽和度范圍的測定[J]. 天津大學學報，2012，45(8)：669-676.Li Sumei，F(xiàn)u Beibei，Zang Yanjun，et al. Measurement of the range of saturation parameter influencing the comfort of stereoscopic images[J].Journal of Tianjin University，2012，45(8)：669-676(in Chinese).

［17］ Jung Yongju，Sohn Hosik，Lee Seong-Il，et al. Predicting visual discomfort of stereoscopic images using human attention model[J].IEEE Transactions on Circuits & Systems for Video Technology，2013，23(12)：2077-2082.

［18］ ITU-R BT 1438 Subjective Assessment of Stereoscopic Television Pictures[S]. Switzerland：TTU-R，2000.

［19］ 國家廣播電視總局. GB/T 7401—1087 彩色電視圖像質(zhì)量主觀評價方法[S]. 北京：中國標準出版社，1987.The State Administration of Radio Film and Television.GB/T 7401—1987 Method of Subjective Assessment of Quality of Color TV Pictures[S]. Beijing：China Standards Press，1987(in Chinese).

［20］ 王 飛. 基于上下文和背景的視覺顯著性檢測[D]. 大連：大連理工大學信息與通信工程學院，2013.Wang Fei. Visual Saliency Detection Based on Context and Background[D]. Dalian：School of Information and Communication Engineering，Dalian University of Technology，2013(in Chinese).

［21］ 姜求平，邵 楓，郁 梅，等. 基于視覺重要區(qū)域的立體圖像視覺舒適度客觀評價方法[J]. 電子與信息學報，2014，36(4)：875-881.Jiang Qiuping，Shao Feng，Yu Mei，et al. An objective stereoscopic image visual comfort assessment metric based on visual important regions[J].Chinese Journal of Electronics and Information Technology，2014，36(4)：875-881(in Chinese).

［22］ Harel J，Koch C，Perona P，et al.Graph-Based Visual Saliency[M]. Vancouver：MIT Press，2007.

［23］ Hosni A，Rhemann C，Bleyer M，et al. Fast costvolume filtering for visual correspondence and beyond[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2012，35(2)：504-511.

［24］ Wang Junle，da Silva M P，Callet P L，et al. Computational model of stereoscopic 3D visual saliency[J].IEEE Transactions on Image Processing，2013，22(6)：2151-2165.

［25］ 田杰華，顧曉東，汪源源. 利用人眼視覺特性的低比特率小波圖像壓縮[J]. 儀器儀表學報，2010，31(11)：2515-2520.Tian Jiehua，Gu Xiaodong，Wang Yuanyuan. Low bit rate image compression using human visual characteristics[J].Chinese Journal of Scientific Instrument，2010，31(11)：2515-2520(in Chinese).

［26］ 田 垅，劉宗田. 最小二乘法分段直線擬合[J]. 計算機科學，2012，39(增1)：482-484.Tian Long，Liu Zongtian. Least square piecewise linear fitting[J].Computer Science，2012，39(Suppl,1)：482-484(in Chinese).