梁 麗，褚晶輝，張小佩，李英敏

(天津大學(xué)電視與圖像信息研究所，天津300072)

0 引言

隨著科技進步和人們對生活品質(zhì)的不斷追求，3D電影已一步步走進我們的生活。與傳統(tǒng)二維影視的無深度和臨場感的顯示技術(shù)不同，3D電影給觀眾帶來身臨其境的逼真感覺和無與倫比的立體觀賞效果。

3D電影的盛行迫切需求3D字幕技術(shù)的革新。目前的3D電影往往將字幕直接放置在立體圖像的最前面，字幕自始至終浮現(xiàn)在銀幕前，并沒有考慮立體圖像內(nèi)容的景深變化，觀眾很難同時看到字幕和內(nèi)容，眼睛會感到累甚至頭昏眼花，沒有解決視覺疲勞問題。立體圖像強烈的縱深感，是疊加3D字幕時必須考慮的因素。針對上述問題，文獻［1］提出了3D字幕與立體圖像內(nèi)容自適應(yīng)的解決方案，將三維圖像做垂直樣本線投影將其簡化為一個抽象圖像對，計算代理深度以確定一個字幕元素的渲染屬性。此方法極大的加快了深度的計算，具有實時性，但由于丟失了大量信息而不可避免地降低可靠性。本文經(jīng)過實驗，提出了3D字幕視差與立體圖像景深的對應(yīng)關(guān)系，基于立體視覺的雙目視差原理疊加3D字幕，一定程度上緩解了觀看時的視覺疲勞問題，可實現(xiàn)更好的觀看效果。

1 立體視覺

人類的立體視覺由心理立體視覺與生理立體視覺組成［2］。雙眼視差［3］是人眼最強烈的生理立體視覺因素。Julesz利用隨機點圖已經(jīng)證明，在排除一切心理立體視覺之后，一組完全無異議的視覺刺激，只要具備視差條件，就能經(jīng)雙眼產(chǎn)生深度上的感覺［4］。雙目視差反映了客觀景物的深度信息。具有視差的雙眼視圖經(jīng)視覺皮層融合，產(chǎn)生立體感。若能為左右眼提供同一場景的立體圖像對，并采用光學(xué)或其他技術(shù)措施，使觀看者的左右眼分別只能看見對應(yīng)的左右眼視圖，則觀看者就能感知到立體圖像。在影響生理立體視覺與心理立體視覺的諸多因素中，與立體圖像有直接關(guān)系的只有雙目視差。即，影響人眼立體視覺的外界因素主要是立體圖像中的雙目視差信息。

立體圖像固然生動形象，但由于當(dāng)前技術(shù)條件限制觀看時會產(chǎn)生視覺疲勞問題，其主要原因是雙目會聚與焦點調(diào)節(jié)不一致［5］。現(xiàn)實世界中會聚與焦點調(diào)節(jié)是一致的，然而在觀看立體圖像時，若視差大小在融合范圍［6］內(nèi)，調(diào)節(jié)和會聚距離雖然不一致，但是仍可以把左右眼視差圖像融合成一幅立體圖像，觀看者在立體屏幕上看到的是一幅具有縱深感的立體圖像;若視差的大小在融合范圍之外，觀看者則無法將左右眼兩幅視差圖像融合成一幅立體圖像，觀看者看到的是一幅不清晰的串?dāng)_圖像，從而產(chǎn)生嚴(yán)重的視覺疲勞。

2 立體字幕疊加

綜合影響立體視覺的諸多因素，在立體圖像中疊加3D字幕主要依據(jù)立體圖像中的雙目視差信息。而3D字幕的視差必須在融合范圍內(nèi)，不可為了追求超強立體感而過度加大視差。人眼的視覺特性決定了人眼在某一時刻只能會聚在立體圖像的某一個點上。在觀看立體視頻時，人眼自然跟隨立體圖像內(nèi)容而運動。為了同時且舒適的看到3D字幕和立體圖像，3D字幕的感知深度需與立體圖像內(nèi)容的深度保持一致。

3D字幕不能對立體圖像的內(nèi)容造成干擾，才能使疊加3D字幕的立體圖像給人以自然的立體感。研究發(fā)現(xiàn)［7］:3D字幕位置稍微比立體圖像內(nèi)容的感知深度離觀眾近些，可提供最佳的觀賞體驗。假設(shè)字幕與圖像深度相同時，觀眾既看字幕又看立體圖像，需不斷地在字幕與內(nèi)容之間轉(zhuǎn)換焦點，容易分散注意力;而字幕在立體圖像后面就更不舒服了，觀眾很難看到字幕。

其次，字幕的大小應(yīng)足夠大，顏色容易觀看。視差的大小體現(xiàn)了再現(xiàn)立體深度大小，字幕在場景中的深度隨著立體圖像內(nèi)容的深度變化而不斷變化。為了讓觀眾感覺字幕沒有明顯的改變，字幕的大小要隨著視差的大小而調(diào)整。同時字體的其他屬性，如字體的類型、顏色、亮度等，也需跟隨立體圖像內(nèi)容做自適應(yīng)調(diào)整，以減少遮擋，增強觀賞體驗。

針對上述問題，本文提出3D字幕視差與立體圖像景深的對應(yīng)關(guān)系——字幕的視差由立體圖像內(nèi)容的視差決定。基于立體視覺的雙目視差原理將具有視差的字幕疊加在立體圖像對上，3D字幕視差相對于立體圖像內(nèi)容視差適當(dāng)加大，字幕字體的屬性隨立體圖像內(nèi)容自適應(yīng)調(diào)整。該方法在立體圖像上疊加了人眼感覺舒適的3D字幕，一定程度上緩解了觀看時的視覺疲勞問題。

3 程序設(shè)計

3D字幕的疊加是基于立體視覺中的雙目視差原理，3D字幕的視差由立體圖像內(nèi)容的視差決定。采用改進的基于區(qū)域增長的立體匹配算法提取立體圖像的視差信息。在立體圖像對的左右眼視圖上用OpenGL疊加具有視差的字幕，由視差的大小調(diào)整字幕的大小、顏色等屬性。

3.1 程序設(shè)計流程

選取立體圖像，分離出左右眼視圖，為立體匹配提供只有水平視差的原始圖像。采用改進的基于區(qū)域增長的立體匹配算法對左右視圖進行處理，得到較為準(zhǔn)確的視差圖。將視差結(jié)果應(yīng)用于OpenGL字幕疊加，并根據(jù)視差值的大小調(diào)整字體的類型、大小、顏色、亮度等屬性。最后將疊加字幕后的立體圖像對立體顯示，使觀眾看到的3D字幕舒服流暢。

程序共分3步:1)立體匹配計算視差;2)取字幕區(qū)域視差，OpenGL疊加3D字幕;3)立體顯示。程序設(shè)計詳細(xì)流程圖見圖1。

圖1 程序設(shè)計流程圖

3.2 視差計算

立體匹配是指根據(jù)對所選特征的計算，建立特征間的對應(yīng)關(guān)系，從而建立同一個空間物理點在不同圖像中的像點之間的關(guān)系，并由此得到相應(yīng)的視差圖［8］。本文以文獻［9］的基于區(qū)域增長的立體匹配算法為基礎(chǔ)，引入對極幾何約束、松弛迭代法、中值濾波等方法對匹配點進行優(yōu)化，得到更精確的立體圖像點對和視差圖。由于立體圖像對僅在水平方向有視差，為了降低算法的復(fù)雜度，只考慮水平方向的區(qū)域增長。該算法的基本思想:選取種子點并對其進行匹配，在種子點基礎(chǔ)上根據(jù)區(qū)域增長策略找出所有的匹配點對。即，一旦找到一個準(zhǔn)確可靠的匹配點對，就可以根據(jù)它們之間的相對位置關(guān)系將匹配迅速傳播至整個圖像區(qū)域。其優(yōu)點在于利用連續(xù)性約束極大地提高了匹配的效率，并且消除了重復(fù)圖案間大的匹配誤差［10］。

算法的具體操作過程。第一步，種子點的選擇。能量函數(shù)計算視差，若選擇點視差的誤差能量小于等于預(yù)設(shè)的閾值，則認(rèn)定其為種子點，進行下一步;否則認(rèn)為其為無用點，繼續(xù)查找。為了找到準(zhǔn)確、可靠的種子點，利用對極幾何約束對種子點進行優(yōu)化。第二步，區(qū)域生長的過程。由種子點的視差計算其相鄰點視差的誤差能量，若其值小于等于預(yù)設(shè)的閾值，則認(rèn)定其為增長區(qū)域;否則返回第一步尋找新的種子點。最后用松弛迭代法去除誤匹配點，鄰域均值濾波和中值濾波去噪，降低噪聲的干擾，增加視差的可靠性。其中誤差能量公式為

由上述改進的區(qū)域增長算法計算得到的視差圖較理想，算法準(zhǔn)確且復(fù)雜度不高。在視差圖上選定字幕區(qū)域，提取字幕區(qū)域的視差最大值作為字幕的視差值。用OpenGL在左右視圖上疊加具有此視差值的字幕。

3.3 OpenGL疊加字幕

字幕區(qū)域的選擇需要大量的實驗測試和主觀評價，以找到令人感覺最舒適的位置。本文依據(jù)大眾的觀看習(xí)慣將字幕區(qū)域選定在顯示屏幕的底部，同時為了減小遮擋問題，根據(jù)圖像內(nèi)容的空白區(qū)域作適當(dāng)調(diào)整。

選定字幕區(qū)域，采用OpenGL中文字體的繪制位圖方法疊加字幕［11］。將左眼視圖以原比例大小作為場景的背景顯示，在場景上創(chuàng)建具有一定屬性的字體，用GDI方式將文字形成單色位圖，并在字幕區(qū)域調(diào)用OpenGL繪制位圖函數(shù)glBitmap()便可清楚地將文字顯示出來。該方法簡單可行，右眼視圖疊加字幕時只需將字幕水平坐標(biāo)向右平移視差值。應(yīng)用OpenGL可方便、快速地更換文字內(nèi)容、字體屬性及文字的位置等。隨著視差的變化，字幕字體的大小隨之改變，以便觀看效果清晰流暢。字體的其他屬性也需跟隨立體內(nèi)容改變而調(diào)整，以減少遮擋，增強觀賞性。

最后，視圖與字幕一起保存為原視圖大小的BMP圖，將疊加了字幕的立體圖像對立體顯示即可看到具有深度感的3D字幕。

4 實驗結(jié)果

利用Red Star Studio Ltd.的Benjamin Smith制作的立體視頻［12］，將其分離出左右眼視圖，應(yīng)用本文的程序?qū)ψ笥已垡晥D進行處理，運行結(jié)果在顯示器上顯示。使用的觀看設(shè)備是NVIDIA GeForce 3D立體眼鏡與Samsung SyncMaster 2233RZ顯示器，顯示器的分辨力為1 680×1 050，刷新率為120 Hz。

圖2～4是不同方法實現(xiàn)的3D字幕疊加紅藍(lán)效果圖。目前3D電影將字幕直接放置在立體圖像前面，沒有考慮立體圖像內(nèi)容的景深情況，結(jié)果如圖2所示。圖3為“Sizzle”視頻中使用Poliscript 3DITOR字幕制作軟件，將3D字幕放置在銀幕的頂端圖［13］。一般圖像頂端場景深度感不明顯，3D字幕視差小甚至無視差，容易疊加。相對圖3有一定改進，但是觀眾觀看時會感覺不習(xí)慣。圖4是本文提出的方法實現(xiàn)的3D字幕疊加。通過對比不同方法的實驗結(jié)果發(fā)現(xiàn)，本文方法實現(xiàn)的3D字幕疊加效果更加舒適流暢，符合大眾的觀看習(xí)慣。

圖2 普通字幕效果圖

圖3 頂端字幕效果圖

圖4 本文3D字幕顯示效果圖

根據(jù)實驗結(jié)果可以得出以下結(jié)論:立體字幕放置位置是基于立體圖像內(nèi)容的。立體顯示的再現(xiàn)立體深度與視差圖的視差大小有關(guān)，字幕的視差由立體圖像內(nèi)容的深度決定，并且隨著立體圖像序列內(nèi)容的深度改變而改變。為了獲得最佳的觀賞效果，需對字幕視差進行微調(diào)，使3D字幕的位置比立體圖像內(nèi)容稍微靠前一些。

5 結(jié)論

可將立體圖像上的3D字幕顯示在一個令人感覺舒服、可接受的深度位置的3D字幕疊加系統(tǒng)是很有實用價值的。本文從人眼的視覺特性出發(fā)，分析了影響立體視覺的感知深度因素，運用3D字幕視差與立體圖像景深的對應(yīng)關(guān)系，基于雙目立體視覺原理將具有視差的字幕疊加在立體圖像對上，實現(xiàn)了基于三維圖像內(nèi)容深度疊加3D字幕的系統(tǒng)，緩解了觀看時的視覺疲勞問題，使觀眾同時舒適地觀看立體圖像和3D字幕。

［1］ BERIC T.Methods and systems for presenting three dimensional motion pictures with content adaptive information:US，WO2010/064118［P］.2010-06-10.

［2］楊嘉琛，侯春萍，雷建軍.基于人眼視覺特征的立體圖像質(zhì)量客觀評價方法［J］. 天津大學(xué)學(xué)報，2009，42(7):622-627.

［3］ OKOSHI T.Three dimensional imaging techniques［M］.New York:Academic Press，1976.

［4］JULESZ B.Binocular depth perception of computer generated pattens［J］.Bell System Technical Journal，1960，39(5):1125-1162.

［5］王愛紅，王瓊?cè)A.光柵式自由立體顯示器概述［J］.現(xiàn)代顯示，2009(10):14-17.

［6］荊其誠.人類的視覺［M］.北京:科學(xué)出版社，1987:124-126.

［7］ CLAYDON L J，GARDNER J FD，CORNE R，et al.Systems，apparatus and methods for subtitling for stereoscopic content:US，2010/0220175［P］.2010-09-02.

［8］章毓晉.圖像工程［M］.北京:清華大學(xué)出版社，2007.

［9］ ALAGOZ B B.Obtaining depth maps from color images by region based stereo matching algorithms［J］.OncuBilim Algorithm and Systems Labs，2008，8(4):1-13.

［10］唐麗.基于區(qū)域增長的立體像對稠密匹配算法［J］.計算機學(xué)報，2004，27(7):936-943.

［11］徐明亮，盧紅星，王琬.OpenGL游戲編程［M］.北京:機械工業(yè)出社，2008:126-132.

［12］ Knight’s quest 3D［EB/OL］.［2011-04-21］.http://www.nvidia.cn/object/3d-vision-3d-movies-cn.html.

［13］ Sizzle 3D stereoscopic video with proper 3D subtitles overlayed［EB/OL］.［2011-04-21］.http://3dvision-blog.com/sizzle-3d-stereoscopic-video-with-proper-3d-subtitles-overlayed/.