陳晨，楊宇，徐品

(中國(guó)傳媒大學(xué) 信息工程學(xué)院，北京 100024)

1 引言

近年來，3D電視產(chǎn)業(yè)發(fā)展迅速，3D電視節(jié)目的數(shù)量卻遠(yuǎn)遠(yuǎn)不能滿足觀眾的需求，其原因之一就是3D電視節(jié)目的質(zhì)量不能得到良好的控制，質(zhì)量劣質(zhì)的3D視頻會(huì)令觀眾產(chǎn)生不適感。

關(guān)于雙目立體視覺舒適度的研究有很多，ITU國(guó)際電信聯(lián)盟制定了針對(duì)立體視頻圖像質(zhì)量的測(cè)試操作規(guī)范《ITU-R BT.1438》[1]；加拿大CRC實(shí)驗(yàn)室的Tam研究了立體視頻編碼和傳輸環(huán)節(jié)所產(chǎn)生的失真問題[2]；Stelmach等人研究發(fā)現(xiàn)左右眼圖像的視點(diǎn)質(zhì)量差異會(huì)影響立體圖像的質(zhì)量感知[3]；Pieter J. H. Seuntiens指出立體深度感過大也會(huì)導(dǎo)致圖像的不舒適性[4]；在國(guó)內(nèi)，楊蕾、勞麗娟等人研究了亮度、色度、對(duì)比度、分辨率以及圖像邊緣信息對(duì)圖像質(zhì)量的影響[5-6]。在眾多研究中，視差是影響雙目立體舒適度的關(guān)鍵因素。在我國(guó)，國(guó)家廣電總局也在研究和指定相關(guān)標(biāo)準(zhǔn)，2011年11月發(fā)布了《3D電視技術(shù)指導(dǎo)意見》，對(duì)視覺安全準(zhǔn)則和質(zhì)量控制做出了規(guī)定，而對(duì)視差計(jì)算與視差管理的要求是其重要的組成部分。

本文設(shè)計(jì)的檢測(cè)系統(tǒng)是以廣電總局《指導(dǎo)意見》為原則，自動(dòng)檢測(cè)與提取雙目立體圖像中的視差信息，并用鮮明的顏色標(biāo)注不符合規(guī)定的視差所處的畫面位置，提醒制作人員這個(gè)部分的3D圖像可能會(huì)造成人眼不適。

2 視差與立體視覺舒適度的關(guān)系

人眼能感知深度，主要原因是人類左右眼的視軸存在間距。當(dāng)人類觀察物體時(shí)，左右眼接收到的圖像非常相似，但在水平位置上稍有不同，大腦正是通過綜合左右眼圖像中的這種不同(即水平視差[7])，而感知到相應(yīng)畫面的深度，從而產(chǎn)生立體感。同理，人們通過3D監(jiān)視器觀看3D節(jié)目時(shí)，立體眼鏡或自立體顯示技術(shù)可以將來自左右不同位置攝像機(jī)的圖像分別送至人的左右眼，這樣左右視圖中的水平視差可令觀察者感受到3D畫面中不同物體的深度(即感知深度[8])。

圖1 感知深度示意圖

圖2 立體圖像感知深度與人眼觀看舒適度關(guān)系圖

如圖1所示[9]，IL和IR分別是左眼和右眼看到同源像點(diǎn)在屏幕上的水平位置，V是這兩點(diǎn)經(jīng)人腦融合后的成像位置，它距屏幕的距離即感知深度。當(dāng)水平視差為零，即左右像點(diǎn)重合時(shí)，人眼視線會(huì)聚于屏幕上，該像點(diǎn)給人的感覺是緊貼在屏幕上的。當(dāng)水平視差為正值，人眼視線會(huì)聚于屏幕后方，即觀看者感覺V點(diǎn)位于屏幕后方。當(dāng)水平視差為負(fù)值，人眼視線匯聚于屏幕前方，則觀看者感覺V點(diǎn)位于屏幕前方。正視差和負(fù)視差的感知深度可分別由公式(1)和公式(2)得出。式中e為人雙眼瞳距，p為水平視差的絕對(duì)值，d為觀看者到屏幕的距離，g為感知深度。

(1)

(2)

人感知到的圖像深度與人眼舒適度關(guān)系如圖2所示[9]。對(duì)于屏幕附近的立體圖像，觀眾感覺舒適，而隨著立體圖像距離屏幕越來越遠(yuǎn)，舒適度逐漸降低。水平視差的大小可以直接影響感知深度的大小?！?D電視技術(shù)指導(dǎo)意見》提出了視差安全指標(biāo)，要求正負(fù)視差在一定的安全范圍內(nèi)，其中正視差小于50mm，負(fù)視差小于150mm。并且為了保證長(zhǎng)時(shí)間觀看的舒適度，大部分時(shí)間內(nèi)的畫面主體內(nèi)容視差角小于1度，正負(fù)視差的絕對(duì)值小于高清電視機(jī)屏幕寬度的3%，約58個(gè)像素。

3 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

為了保證3D電視節(jié)目的舒適度，節(jié)目制作人員需要對(duì)3D節(jié)目信號(hào)中的水平視差進(jìn)行檢測(cè)和控制。本系統(tǒng)主要負(fù)責(zé)對(duì)水平視差進(jìn)行檢測(cè)，將不合理部分予以標(biāo)注，以便制作人員做進(jìn)一步調(diào)整。系統(tǒng)結(jié)構(gòu)如下：

系統(tǒng)首先逐幀讀取左右眼圖像，并采用雙邊濾波去除圖像中可能產(chǎn)生錯(cuò)誤匹配的噪聲，然后使用SGBM立體匹配算法對(duì)去噪后的左右眼圖像進(jìn)行立體匹配，求出視差圖。最后對(duì)每一幀視差圖進(jìn)行分析，將視差范圍超過3%的不合格部分采用不同的警告顏色標(biāo)記，超出3%-4.5%的部分使用藍(lán)色標(biāo)記，超出4.5%-6%的部分使用綠色標(biāo)記，超出6%的部分使用紅色標(biāo)記，這些標(biāo)記疊加到原左眼圖像上，可令制作人員快速找出3D視頻中視差不合理的位置。系統(tǒng)主要流程如圖3所示。

圖3 系統(tǒng)流程

3.1 基于雙邊濾波的視差圖獲取

圖像上的噪聲會(huì)令立體圖像匹配部分發(fā)生誤匹配，從而導(dǎo)致視差圖中有過多錯(cuò)誤的視差值出現(xiàn)，進(jìn)而令后續(xù)色彩標(biāo)記發(fā)生錯(cuò)誤。因此在圖像匹配前需要對(duì)左右視頻進(jìn)行去噪處理。雙邊濾波[10]是一種非線性濾波算法，它對(duì)像素的空域關(guān)系和灰度相似性進(jìn)行了折中處理，因此在取得良好去噪效果的同時(shí)還能保留了圖像邊緣信息。雙邊濾波表達(dá)式如下：

(3)

其中wD(p，q)是衡量像素p和q在幾何近鄰關(guān)系的權(quán)函數(shù)，距離中心像素p越近的鄰域點(diǎn)對(duì)wD(p，q)的值貢獻(xiàn)越大，因此能達(dá)到平滑去噪的效果。wR(p，q)是衡量像素間灰度值相似程度的權(quán)函數(shù)，與中心像素灰度值越接近的鄰域點(diǎn)對(duì)wR(p，q)的值貢獻(xiàn)越大，因此在圖像邊界處時(shí)權(quán)值很小，這樣邊界一邊的灰度只會(huì)對(duì)另一邊的灰度分布造成較小的影響，從而有效保留邊界。通常取

(4)

(5)

其中

(6)

(7)

在立體匹配前用雙邊濾波對(duì)左右眼圖像進(jìn)行去噪能有效減少圖像噪聲對(duì)立體配的影響，增強(qiáng)匹配效果。

3.2 立體圖像匹配

為了提取3D視頻左右眼圖像的視差，需要根據(jù)匹配準(zhǔn)則并利用匹配算法對(duì)左右眼圖像進(jìn)行匹配。匹配效果直接決定了深度信息的準(zhǔn)確性，因此匹配準(zhǔn)則及算法的研究和選取尤為重要。

3.2.1 SAD匹配準(zhǔn)則

匹配準(zhǔn)則用于衡量?jī)蓚€(gè)像素塊的相似程度，直接關(guān)系到運(yùn)動(dòng)估計(jì)的精確性，本文采用絕對(duì)誤差和(SAD)準(zhǔn)則[11]。

-I1(i+m，j+n)|

(8)

(8)式中(i，j)為位移矢量，I1、I2分別為參考圖像和當(dāng)前圖像的灰度值，M*N為匹配快的大小，若在某個(gè)點(diǎn)(i0，j0)處的SAD(i0，j0)值最小，則該點(diǎn)為最佳匹配點(diǎn)。

3.2.2 SGBM立體匹配算法

SGBM算法是一種基于半全局信息和互相關(guān)信息的立體匹配算法[12]。SGBM采用像素精度并沿像素各個(gè)方向進(jìn)行快速近似，保證計(jì)算精度的同時(shí)減少計(jì)算量。

匹配計(jì)算的思想是選定基準(zhǔn)圖像灰度圖Ibp中的一個(gè)像素點(diǎn)p，在假設(shè)相關(guān)圖像的灰度圖Imq中尋找匹配點(diǎn)q，q滿足(9)式，根據(jù)外極性約束條件[13]，點(diǎn)p在經(jīng)過線性移動(dòng)距離d后即為匹配圖像中的q點(diǎn)，而d就是立體視頻中的視差值。

q=ebm(p，d)

(9)

在SGBM中基于圖像互相關(guān)信息進(jìn)行立體匹配。對(duì)于匹配良好的左右眼圖像，可以通過其中一幅較為準(zhǔn)確地圖像預(yù)測(cè)出另一幅，因此兩幅圖像聯(lián)合熵較小，互相關(guān)信息較大。MII1I2為兩幅圖像的互相關(guān)信息，HI為圖像的熵，HI1I2為圖像的聯(lián)合熵。

MII1I2=HI2+HI2-HI1I2

(10)

MII1I2=∑miI1I2(I1p，I2p)

(11)

CMI(p，d)=-mib，f(Im)(Ibp，Imq)

(12)

像素精度計(jì)算量大，而且由于噪聲等原因，很容易產(chǎn)生錯(cuò)誤匹配。因此需要添加一個(gè)支持相鄰視差平滑過渡改變的限制條件，根據(jù)視差圖D通過一個(gè)能量公式E(D)來進(jìn)行定義，立體匹配過程即為尋找視差圖像D使得E(D)值最小的過程。

E(D)=∑pC(p，Dp)+∑q∈NpP1T[|Dp-Dq|=1]

+∑q∈NpP2T[|Dp-Dq|>1]

(13)

圖4 全方向聚合計(jì)算

但是全局最小能量函數(shù)值對(duì)于許多不連續(xù)的部分是找不到的，因此對(duì)于像素p可以通過求其各個(gè)方向的最小值來找到對(duì)應(yīng)像素q及視差d，如圖4所示。用L’r表示通過方向r進(jìn)行的匹配路徑，則像素p經(jīng)過視差d匹配的函數(shù)L’r(p，d)表示為：

L′r(p，d)=CMI(p，d)+min(L′r(p-r，d)，L′r(p-r，d-1)，+P1，L′r(p-r，d+1)+P1，minL′r(p-r，i)+P2)

(14)

所有方向的計(jì)算聚合Lr是各個(gè)值的累加，方向的數(shù)量至少是8個(gè)方向，為了能夠提供更好的全局的覆蓋面，方向數(shù)量應(yīng)當(dāng)是16個(gè)，S的上限值定義為S≤16(Cmax+p2)。

S(p，d)=∑rLr(p，d)

(15)

對(duì)基準(zhǔn)圖像中每一個(gè)像素p尋找使它的聚合計(jì)算值 S(p，d)最小的距離d，這些d的組合即為視差圖。

3.3 系統(tǒng)測(cè)試結(jié)果

圖5(a)、5(b)分別是3D視頻中左視頻和右視頻，通過本系統(tǒng)進(jìn)行處理后，如5(c)所示，整個(gè)圖像中顏色標(biāo)記很多，尤其是紅色區(qū)域面積過大，這表示本視頻的大部分內(nèi)容嚴(yán)重超出安全視差規(guī)定。圖6(a)和6(b)是經(jīng)過視差調(diào)整的3D視頻左右視圖，該視頻的絕大部分區(qū)域視差處于安全范圍內(nèi)，不會(huì)引起觀眾的不適感。這兩路視圖經(jīng)本系統(tǒng)檢測(cè)，輸出圖像如圖6(c)所示，主體內(nèi)容僅有較少部分被標(biāo)記了綠色和藍(lán)色，說明主體內(nèi)容的視差可滿足人對(duì)舒適度的要求，畫面左側(cè)雖仍有若干紅色標(biāo)記，但由于此處并非觀眾注意焦點(diǎn)，所以也不會(huì)讓觀眾產(chǎn)生不適感。

(a)右眼原圖像 (b)左眼原圖像 (c)原圖像視差分析圖圖5 原圖像測(cè)試結(jié)果

(a)調(diào)整后的右眼圖像 (b)調(diào)整后的左眼圖像 (c)調(diào)整后圖像的視差分析圖圖6 調(diào)整圖像后測(cè)試結(jié)果

4 結(jié)論

通過本系統(tǒng)可以對(duì)3D電視節(jié)目的水平視差進(jìn)行分析，經(jīng)過測(cè)試能夠有效地找出其中可能造成不適的部分，為節(jié)目制作人員提高節(jié)目舒適度提供參考。隨著人們對(duì)3D節(jié)目質(zhì)量要求的提高，這類監(jiān)測(cè)系統(tǒng)將在3D節(jié)目制作系統(tǒng)中扮演越來越重要的角色。

[1]Subjective assessment of stereoscopic television pictures，ITU，Recommendation BT 1438[S]，2000.

[2]Tam W J，Speranza F，Yano S，et al. Stereoscopic 3D-TV：visual comfort[J]. IEEE Transactions on Broadcasting，2011，57(2)：335-346.

[3]Stelmach L B，Tam W J，Meegan D V，et al. Human perception of mismatched stereoscopic 3D inputs[C].Image Processing，IEEE International Conference on Proceedings，2000，1：5-8.

[4]Seuntiens P J H.Visual experience of 3D TV[D].Eindhoven：Eindhoven University，2006.

[5]宋曉煒，楊蕾，王勇. 一種基于HVS色度不敏感性的立體圖像處理方法[J]. 中原工學(xué)院學(xué)報(bào)，2008，(06).

[6]勞麗娟. 靜止立體圖像的理論分析與實(shí)驗(yàn)研究[D]. 天津：天津大學(xué)，2008.

[7]Veron H，Southard D A，Leger J R，Conway J L. 3D displays for battle management[R]. RADC-TR-90-46 Final Technical Report，1990.

[8]Jones G，Lee D，Holliman N，Ezra D. Controlling perceived depth in stereoscopic images[J]. Stereoscopic Displays and Virtual Reality Systems VIII，Proceedings of SPIE 4297A，2001.

[9]楊宇，郭遠(yuǎn)航，沈縈華. 3D 電視節(jié)目的防眩暈拍攝技術(shù)研究[J]. 電視技術(shù)，2011，35(8)：54-57.

[10]許冠軍. 數(shù)字圖像去噪算法研究 [D]. 杭州：浙江大學(xué)，2006.

[11]向友君，雷娜，余衛(wèi)宇.運(yùn)動(dòng)估計(jì)算法匹配準(zhǔn)則研究[J].計(jì)算機(jī)科學(xué)，2009，(09)：278-280.

[12]Hirschmuller H. Stereo processing by semiglobal matching and mutual information[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2008，30(2)：328-341.

[13]Marr D.Vision：A computational investigation into the human representation and processing of visual information[M].WH San Francisco：Freeman and Company，1982.