李志敏，侯永宏，王寶亮，侯春萍，周 圓

(天津大學電子信息工程學院，天津300072)

3D顯示技術已有150多年的歷史，隨著科技的進步和需求的增長，立體顯示技術取得了巨大的進步并進入了高速發(fā)展的時期［1］。裸眼立體顯示技術突破了觀看者必須戴輔助視具(眼鏡、頭盔等)才能觀看立體節(jié)目的局限，是立體顯示技術的一項重大突破。作為裸眼立體顯示技術實現(xiàn)方法中非常重要的一種，多視點自由立體視頻顯示技術非常具有方便與2D兼容、量產簡單、成本低等優(yōu)勢，已經成為最適合與現(xiàn)有平板顯示系統(tǒng)相結合的技術，因而也受到學術界、工業(yè)界和商業(yè)界越來越多的重視［2－4］。芯片制造技術的進步、移動終端硬件性能的提高以及數(shù)字移動通信技術的發(fā)展，為三維影像在移動終端上的呈現(xiàn)提供了有力的硬件支持和可靠的傳輸保障。近年來，在移動終端上實現(xiàn)多視點自由立體顯示已經受到人們越來越多的關注［5，6］，同時也成為視頻顯示領域一個新的研究熱點。

目前LG、HTC、夏普等廠商都發(fā)布了各自的裸眼立體手機產品，裸眼3D技術已經在手機上得到了實現(xiàn)。現(xiàn)有的裸眼立體手機大多是雙視點的，雙視點立體手機由于僅提供兩個視點的圖像/視頻源，立體視角小，觀察者只有在非常狹小的區(qū)域內才能觀看到立體效果［7］。文獻［8］將原有的基于大屏幕的多視點自由立體視頻顯示技術擴展到了移動終端上，實現(xiàn)了小屏幕上8視點自由立體視頻的顯示，擴大了移動終端上的立體視角范圍。

由于移動終端的顯示屏幕在尺寸、分辨率等方面有都自己的特點和局限，將原來適用于大屏幕的自由立體顯示技術應用到小屏幕的移動終端上，由于視差過大，會出現(xiàn)視頻圖像模糊，容易使觀者產生不舒適感和視疲勞等現(xiàn)象。筆者基于以上問題，提出了一種視差調整方法，通過確定視差大小、視差調整、分辨率調整3個步驟，得到適應于具有小分辨率屏幕的移動終端顯示的多視點視頻源，并進行了實驗驗證。經測試，按照該方法進行視差調整后，移動終端上的多視點自由立體視頻的清晰度有明顯提高，有效解決了小屏幕上觀看立體視頻時模糊不清的問題。

1 8視點立體視頻在移動終端上的顯示

1.1 基于狹縫光柵的多視點視頻合成顯示方法

當前應用在臺式電腦顯示器或大尺寸、高分辨率平板顯示器上的主流的多視點自由立體顯示方法中各子像素排列方法如圖1所示(以8視點立體顯示為例)。

圖1中，φ為光柵傾斜角，為相鄰兩個像素中心間距，d為光柵間柵距，每個光柵之間可容納分別來自8個視點圖像的8個子像素，即每個視點圖像對應像素點的R、G或B，這8個子像素需要交替排列。以每3個像素行為一個單位，每個視點的對應子像素按照光柵傾斜的方向進行排列，在垂直方向上相差一個子像素的距離［8－9］。各視點子像素依次方法排列可，使觀察者在不同的可視區(qū)域內，都能看到兩幅不同的圖像，從而獲得清晰的立體視覺。

圖1 8視點光柵立體顯示器子像素排列規(guī)律Fig.1 Sub-pixel arrangement of 8 viewpoints on optical p late stereo disp layer

在貼有傾斜狹縫光柵的移動終端上，也可采用上述方法進行多視點圖像的合成顯示。采用此方法進行多視點立體視頻合成的顯示的效果如圖2所示，其中圖2(a)是大屏幕上的顯示效果，圖2 (b)是移動終端小屏幕上的顯示效果。

1.2 多視點立體視頻在移動終端上顯示時存在的問題

經測試，8視點立體視頻按1.1節(jié)所述的方法在大屏幕和移動終端上進行顯示，都能觀看到明顯的立體顯示效果。但是由圖2可見，大屏幕上的8視點立體視頻圖像清晰，而移動終端小屏幕上的立體視頻存在模糊現(xiàn)象，圖像邊緣有明顯的重影，從截取的這一幀來看，圖像前方的圓盤輪廓模糊不清，圓盤上的內容幾乎無法辨認。在8視點立體視頻合成算法中，來自8個視點的子像素按照圖1的規(guī)律進行排列，相鄰兩個視點圖像中想的主體圖像間有Δx個像素點的視差，由合成算法可知，其水平方向上增加的像素點個數(shù)為:

其中Δx為相鄰兩視點間圖像主體之間的視差，n為視點數(shù)。也就是說水平方向有N個像素點用來描述不同視點間的同一確定點。這對高分辨率的大屏幕(如1920×1080)影響不大，而移動終端的屏幕尺寸和分辨率大都較小(如480×800、480 ×720、320×240等)，所以其影響相對于屏幕整體分辨率來說不能忽略。這就解釋了在手機上進行多視點立體顯示時會出現(xiàn)如圖2(b)所示的模糊和重影現(xiàn)象的原因。對于水平方向變化劇烈的圖像，這種由合成算法帶來的模糊感將更加明顯，嚴重影響立體視頻清晰度和觀看體驗。

圖2 8視點立體視頻顯示效果Fig.2 Display effect of 8 viewpoint stereo video

2 移動終端上基于狹縫光柵的自由立體視頻視差調整

由1.2節(jié)分析可知，相鄰視點間視差Δx或者視點數(shù)n過大時，小屏幕上的多視點視頻會產生模糊現(xiàn)象，為減輕這種現(xiàn)象，可通過適當減小Δx或n提高清晰度。筆者著重介紹調整視差Δx以使其適應移動終端小屏幕顯示，從而提高立體視頻清晰度的方法。

2.1 確定視差大小

以Δx表示左右圖像對相差的像素個數(shù)，Δs表示左右圖像對應點之間的距離。即滿足:

l為每個像素的寬度(見圖1)。

將原有立體圖像對和新生成的虛擬立體圖像對按照模擬真實拍攝場景的排列方式進行編號，確定視點1到視點8。使用圖像處理軟件依次比對相鄰視點圖像，得出相鄰視點主體圖像位置相差的像素個數(shù)，以Δx1，Δx2，…，Δx7表示。

當任意相鄰兩視點間的視差都相等，即Δx1=Δx2=…=Δx7時，顯示的立體效果最為理想和舒適。否則，當觀察者在屏幕前方移動時，接收到的左右圖像對視差發(fā)生變化，觀看到的立體圖像中每個角度的深度信息會產生差異，存在突跳旋轉等問題，容易產生不舒適感和視覺疲勞。標準的多視點立體圖像/視頻源滿足Δx1=Δx2=…= Δx7，但由第1節(jié)中的分析可知，大屏幕的立體圖像/視頻源在應用于手機上時，視差相對非常大，需要進行調整使其減小才以適應于移動終端上的立體顯示。

2.2 批處理進行視差調整

立體顯示的基本原理［10］如圖3所示，圖像中的3個點O、M、N對應的左右圖像對中的點分別排列在屏幕上的Ol、Or、Ml、Mr、Nl、Nr，通過狹縫光柵的控制，人的左眼只能看到左圖像的點Ol、Ml、Nl，而右眼只能看到右圖像的點Or、Mr、Nr。觀察者觀看視頻節(jié)目時，O點的左右圖像Ol、Or處在屏幕上的同一位置，雙眼的匯聚點在屏幕上與Ol、Or重合的O'點，即人腦感知的圖像位置處于屏幕的O'處。而M點和N點的左右圖像在屏幕上的位置有一定距離，雙眼的匯聚點分別在屏幕后方的M'點和屏幕前方的N'點，亦即人腦感知的圖像位置脫離了屏幕而產生一定的縱深感。圖像中所有的點都依據(jù)此原理顯示，觀察者就能觀看到一幅具有縱深感的立體圖像。

如果以Δs表示左右圖像對對應像素點之間的距離，那么雙眼的匯聚點進入或離開屏幕的距離，即人腦感知到的圖像空間位置為

其中e為兩眼距離，L為觀察者眼睛到屏幕的距離，由于人眼的瞳孔距離是固定值(成年人瞳孔距離為65 mm)。由式(1)可知，立體圖像的空間縱深感y與觀看距離L和左右圖像對的視差Δs有著非常直接的關系。

圖3 立體顯示基本原理Fig.3 Principle of stereo display

由式(2)可知，人觀看多視點自由立體視頻時獲得的立體感與左右眼觀看到的圖像對對應點之間的距離有著直接的關系，Δs越大，|y|越大，即觀察者獲得的圖像縱深感越強。同時，根據(jù)2.2節(jié)的推導，視差Δx越大，就越容易產生圖像模糊不清、觀看疲勞等不良現(xiàn)象。筆者提出的視差調整方法，本質上是平衡多視點立體視頻的立體感與清晰度之間的矛盾，即在保證能夠觀看到具有縱深感的立體圖像的同時，提高立體視頻的清晰度，為觀看者提供良好的觀看體驗。

實驗所用的魅族 M8手機，屏幕尺寸為8.636 cm，分辨率為480×720像素，人眼觀看到的左右圖像按照3.1所述排列方法相隔大約5－6個視點。當相鄰兩視點圖像相差10個像素，觀看距離為30 cm時，由式(2)和式(3)得到的立體圖像深度為2.5 cm，這個數(shù)值完全可滿足使用一個8.636 cm英寸的手機屏幕觀看立體視頻時對立體感的需要，而一般大屏幕上視頻源的視差往往要多于10個像素點。因此完全可在不影響立體觀看的前提下適當減小視差，用深度的適當減小換取圖像清晰度的提高。

視差調整的過程可用Matlab等軟件進行批量處理。處理過程需要先讀入原來的8個視點的圖像，在截取圖像的過程中通過橫坐標依次相差n個像素，由此來調整相鄰視點的視差，從而調整8視點圖像總體的視差。

視差調整的過程如圖4所示。其中圖4(a)表示的是視差調整前各視點圖像主體的視差情況。圖4(b)中Δx'是調整之后的視差，視點2左側斜線框表示的是由于視差調整而截去的n列，由圖4可知，調整后的視差:

其中Δx為未經調整的視差。

2.3 分辨率調整

由圖4(b)可知，為保證各視點圖像具有相同的分辨率大小，調整的過程中僅保留了8個視點的公共區(qū)域，導致調整后整幅圖像水平方向的分辨率減小。而對于特定分辨率的狹縫光柵立體顯示屏，合成算法對視頻源的分辨率有非常精確的要求，這就需要運用圖像比例變換技術實現(xiàn)8視點視頻分辨率的調整。目前圖像比例變換技術已經很成熟，可很容易的完成該步驟的工作。

3 實驗結果分析

筆者按上述方法在貼有傾斜狹縫光柵的魅族M8手機上對不同的視頻源進行了視差調整和顯示測試，得出如表1所示結論。

圖4 視差調整示意圖Fig.4 Illustration of parallax adjustment

表1 各個立體視頻源調整的視差數(shù)Table 1 Adjusted parallaxes of different sources

經過調整后立體顯示效果明顯，圖像主體的清晰度明顯提高。圖5列出了其中hutu和vsop兩個視頻源調整前后的清晰度對比。以其中的hutu為例，未經調整前有13個像素寬度的視差，經調整減小的1個像素寬度，根據(jù)式(3)計算立體圖像的深度由原來的3.3 cm減小到3 cm，調整后立體視頻的深度略有減小，但仍然足夠滿足觀看立體效果的需要，同時，清晰度得到了大幅度的提高，由圖5(a)、圖5(b)對比可看出，調整后的圖像右側盒子上的花紋和文字清晰可辨。

4 結束語

由于移動終端本身的特性，尤其是尺寸、分辨率方面局限性的限制，將原有的大屏幕上多視點視頻合成方法應用于移動終端小分辨率屏幕上時，會出現(xiàn)畫面模糊、清晰度下降、觀看不舒適的問題。筆者分析了移動終端上模糊現(xiàn)象產生的原因，結合多視點視頻視差對立體視頻顯示效果的影響，論證了適當減小視差以提高視頻清晰度的合理性。同時在此基礎上提出了一種視差調整方法，以有效提高移動終端上多視點立體視頻的清晰度。經實驗驗證，應用筆者所述方法進行視差調整后的多視點視頻在移動終端上播放時，圖像的出(入)屏深度有少量減少，但圖像的清晰度得到了明顯提高，可滿足移動終端上多視點自由立體視頻的觀看需求。

圖5 視差校正后8視點合成圖像效果圖Fig.5 Effect of 8 viewpoint stereo video after parallax adjustment

［1］Zhu Yu－h(huán)ua，Zhen Tong.3D multi－view autostereoscopic display and its key technologies［C］//Asia－Pacific Conference on Information Processing.2009:31－35.

［2］Zhang Yan，Quanmin JI，Zhang Wen－shuai.Multi－view autostereoscopic 3D display［C］//International Conference on Optics，Photonics and Energy Engineering，2010:58－61.

［3］Zhang Wen，Wu Juan.Research on key technologies of free stereoscopic display under multi－views and multiview Video Coding［C］//Proceedings of 2009 4th International Conference on Computer Science＆Education，2009:735－738.

［4］Jung－Young Son，Bahram Javidi，Sumio Yano，et al.Recent developments in 3－D imaging technologies［J］. Journal of Display Technology，2010，6(10):394－403.

［5］Junsup Kwon，Manbae Kim，Changyeol Choi.Multiview video service framework for 3D mobile devices［C］// International Conference on Intelligent Information Hiding and Multimedia Signal Processing.2008:1231－1234.

［6］Min－Chul Park，Sang Ju Park，Jung－Young Son.Stereoscopic imaging and display for a 3－D mobile phone［J］.Applied Optics，2009，48(34):238－243.

［7］王寶亮，侯春萍，陳艷芳，等.基于光柵立體手機的多視點自適應顯示方法［J］.天津大學學報，2011，44 (12):1037－1042.

Wang Bao－liang，Hou Chun－ping，Chen Yan－fang，et al. Multi－view adaptive display method on optical－plate stereomobile phone［J］.Journal of Tianjin University，2011，44(12):1037－1042.

［8］Chen Yan－fang，Hou Chun－ping，Wang Bao－liang，et al. One pixel arrangement method on multi－view opticalplate stereomobile［C］//International Conference on High Performance Computing and Simulation.2011: 612－616.

［9］宋曉煒，楊蕾.一種光柵普適的LCD多視點立體圖像合成方法［J］.計算機應用，2008.28(1):195－198.

Song Xiao－wei，Yang Lei.General composition method for optical－plate－based LCD multi－view stereo image［J］.Journal of Computer Applications，2008，28(1): 195－198.

［10］王元慶.基于LCD的自由立體顯示技術［J］.液晶與顯示，2003(2):116－120.

Wang Yuan－qing.Auto－stereoscopic display based on LCD［J］.Chinese Journal of Liquid Crystals and Displays，2003(2):116－120.