楊嘉琛，安 坤，王 斌

(1. 天津大學電子信息工程學院，天津 300072；

2. 國家海洋技術中心，天津 300112；3. 北京機械工業(yè)自動化研究所，北京 100120)

隨著立體顯示技術的發(fā)展，有關立體視覺的研究逐漸升溫[1-3]，立體技術已經是多媒體技術的重要內容[4]．中間視點生成是立體技術中的一個關鍵部分，以往的中間視點生成多用于立體圖像編碼中的視點估計[5-6]，視點估計后還有殘差圖像編碼，所以對生成的中間視點圖像質量要求并不高．但隨著近幾年顯示技術的發(fā)展，中間視點圖像生成的應用發(fā)生了變化．目前國內外一些廠家(如天津三維顯示技術有限公司)，利用光柵技術，已經制造出多視點(可以達到9個視點)立體顯示屏幕．這些立體顯示屏幕運用了空間復用，可以將具有雙眼視差的多幅圖像同時顯示在屏幕上．這樣的立體顯示系統(tǒng)中，存在 2個主要的問題：首先，當獲取立體圖像時，多個攝像機在空間上是固定的，觀看視點只能從特定的視角來描述三維場景，如果不是從這一特定的角度來觀察立體圖像對，就會導致場景的不自然表達；其次，隨著視點數目增加，攝像機的數量也會大幅度增加，給拍攝工作也帶來很大的困難．解決上述問題的關鍵是需要獲得不同于攝像機位置處視點的圖像，其解決的方法就是中間視點生成．中間視點生成是根據原始的 2幅圖像，生成位于2個參考圖像視點所決定直線(基線)上的中間圖像．當然，如果有很多幅參考圖像，也可通過一系列的插值獲得一定范圍內任意視點圖像．

中間視點生成的方法主要分為2類：基于三維幾何模型的中間視點生成與基于圖像的中間視點生成．由于基于幾何模型的技術有2個主要缺點：高質量的繪制需要高精度三維物體模型，三維建模是一項具有挑戰(zhàn)的任務，而對于復雜的景物則幾乎不可能完成；計算費時，實時性差，繪制時間取決于物體的復雜性．所以基于圖像生成中間視點成為了主要研究方向．

基于圖像中間視點生成結果主要取決于視差估計準確性．因此中間視點生成算法主要集中于如何獲得精準和稠密的視差矢量場來改善中間視點內插效果，但是精準的視差矢量場需要很大的計算量，這在很多實時性要求較高的應用中并不合適．為此，本文提出的中間視點生成算法使用圖像中物體邊緣進行特征點提取，然后利用特征點建立 Delaunay三角形網格，并通過網格映射進行視差矢量場快速計算，最后通過內插算法進行中間視點圖像生成．

1 基于圖像邊緣的特征點選取

目前一些研究者使用特征點建立網格[7]，如Delaunay三角網格[8-9]，再通過網格映射的方法來快速計算視差矢量場．但是這些網格算法使用的特征點是圖像中那些在各個方向上都具有較大灰度變化率的點，如用以求特征點的Moravec方法[10]．

圖1就是使用Moravec方法選取特征點，并建立的Delaunay三角網格．可以看到，三角形的劃分并沒有把背景和物體完全分開，在物體邊緣部分，大多數三角形同時包含物體和背景．物體發(fā)生旋轉、尺度放縮以及彈性形變等，要受到落在背景里的特征點影響，不能進行更為準確的三角形映射變換．對于背景，雖然劃分比較粗糙，但也占用了一部分三角形，這些三角形對于增強圖像質量沒有意義，只會增加計算量．

圖1 Moravec特征點建立的三角形網格Fig.1 Triangular meshes established by Moravec feature Fig.1 points

針對上述問題，本文使用圖像中物體邊緣進行特征點選取，有如下5個步驟．

(1)用 Canny算法[11]對左眼圖 IML進行邊緣檢測，從而得到邊緣圖．

(2)用線段逼近曲線方法(基于遺傳算法的線段逼近曲線方法)，把邊緣圖中邊緣曲線逼近成邊緣線段，如圖2所示，其中誤差設定為2個像素點，選出線段端點集 T(T1，T2，…，Tn)．

圖2 邊緣線段Fig.2 Edge lines

(3)使用歸一化協方差匹配方法在右眼圖 IMR中找到T1的相應匹配點H1．

(4)為了防止誤匹配，進行誤差檢測，在左眼圖中也用歸一化協方差匹配方法尋找 H1的匹配點 Q1，如果T1與Q1的距離小于設定誤差b(本文b值取3，隨著 b值增加，算法精度將下降，但速度加快)，則認為T1與 H1匹配；否則，認為 T1與 H1不匹配，并把不匹配點T1從T中去除．不匹配的點有2種可能：一個是產生了遮擋現象，另一個是誤匹配現象．

(5)把 T中剩下的點，都進行步驟(3)與步驟(4)的驗證，最后得到新的T作為特征點．

圖3是使用物體邊緣選取特征點，并建立的Delaunay三角網格．可以看到三角形是圍繞物體進行劃分的，所以進行三角形映射變換時，更能體現物體的旋轉、尺度放縮以及彈性形變等．對于變化較小的背景，幾乎不會特意選取特征點，劃分三角形．由此看見，利用物體邊緣提取特征點更適用于三角網格映射變換，也更適合于網格映射方法來快速計算視差矢量場．

圖3 邊緣特征點建立的三角形網格Fig.3 Triangle meshes established by edge feature points

2 中間視點生成方法

產生中間視點圖像，需要根據視差矢量找到原圖像對應點在中間視點圖像上的坐標位置．虛擬的中間視點放置于左右2個攝像機之間，左右視點間距離設為 1，中間視點到左視點的距離為 a，a為線性內插系數，0＜a＜1．本文中間視點生成有如下5個步驟．

(1)用左眼圖 T中的點作為特征點，形成Delaunay三角網格，通過三角形映射計算 IML中全部點的視差矢量．三角形映射是通過 IML中 1個三角形的3個頂點 ( x1,y1) 、(x2,y2) 與 ( x3,y3)，和這3個頂點在IMR中的對應點 ( X1, Y1) 、(X2, Y2) 與 ( X3, Y3)，求出三角形內部全部點的視差矢量．這6個點可以形成方程組

求解方程組可以得出 a、b、c、d、e、f與 6 個參數值．

于是可以把這三角形中的任何一點pL(x ,y) 代入方程，求出其在 IMR中的對應點 p'R(X,Y)，IMR與IML中相應點的矢量差(視差矢量)，即

式中 dLR(x,y) 代表 IML中點(x，y)相對 IMR的視差矢量．計算求出IML中全部點的視差矢量 DLR．

(2)使用步驟(1)的方法，同樣求出 IMR中全部點的視差矢量 DRL．

(3)分別用 DLR與 DRL合成中間視點圖像．IML與IMR到中間視點IMM的視差矢量為

式中 c值取 4，隨著 c值增加，算法精度將下降，但 c值過小所有區(qū)域都將變?yōu)椴豢煽浚惴ú荒苓M行，在誤差范圍內為可靠區(qū)域，否則為不可靠區(qū)域．

(5)形成最終的中間視點圖像，其公式為

式中 ML(x, y)( MR(x, y))為 I MML(IMMR)中的點．對于可靠區(qū)域，左右視點中的點可以相互對應，中間視點圖像可以直接通過左右視點圖像同時來獲得預測．對于不可靠區(qū)域，左右視點中的點不能相互對應，這種情況可能是遮擋現象或是誤匹配現象引起的，如果再使用左右視點圖像同時預測，會導致重影產生．本文方法對于不可靠區(qū)域，使用的是視差最大(深度最小)優(yōu)先考慮．因為如果產生遮擋現象，深度小的必然要遮擋深度大的；如果產生誤匹配現象(特征點選取時已經盡可能減少了誤匹配)，則也使用深度最小(離觀看者近的物體立體感更明顯)的視點來預測，避免重影產生．

3 實驗結果及分析

本文采用天津大學電子信息工程學院立體視覺實驗室的立體圖像庫．實驗使用了 30幅立體圖像對，4選出了具有代表性的 5幅立體圖像對與生成的中間視點(每個分圖中第 1個圖為左視點，第 2個圖為右視點，第 3個圖為生成的中間視點)．本文算法生成的中間視點PSNR平均值為28.7，與文獻[12-13]中算法比較，PSNR分別提升了約0.7與1.1．

本文算法合成的中間視點圖像質量良好，可以正確地反映原有左右視點內容，并且具有良好的視覺效果．當物體發(fā)生位移或形變時，生成的中間視點能夠隨著物體的變化而發(fā)生變化，并且沒有重影產生．對于遮擋現象基本可以正確地恢復．通過主觀觀看新生成中間視點圖像與原右視點(或左視點)組成的立體圖像對，得出立體感良好的結論．

對于一些少數的誤匹配現象，仍存在一些小的失真．例如，圖4(e)生成的中間視點，自行車前輪鋼圈產生了失真，但總體的視覺效果是可以接受的．

圖4 立體圖像對與生成中間視點(a＝0.5)Fig.4 Three-dimensional images and intermediate view synthesis(a＝0.5)

4 結 語

本文提出的中間視點合成算法，主要利用物體邊緣提取特征點進行視差矢量場生成與線性內插．實驗結果表明，生成的中間視圖具有可接受的視覺效果，可以用于生成位于2個參考圖像視點所決定的直線上的任意中間圖像，也可以在具有多幅參考圖像時，獲得一定范圍內任意視點圖像．

［1］ 楊嘉琛,侯春萍,雷建軍. 基于人眼視覺特征的立體圖像質量客觀評價方法[J]. 天津大學學報，2009，42(7)：622-627.

Yang Jiachen，Hou Chunping，Lei Jianjun. Objective quality evaluation method of stereo image based on human visual characteristics[J].Journal of Tianjin University，2009，42(7)：622-627(in Chinese).

［2］ 楊嘉琛，侯春萍，徐 然. 基于 Delaunay三角形網格立體圖像編碼算法的特征點提取[J]. 天津大學學報，2009，42(5)：424-427.

Yang Jiachen，Hou Chunping，Xu Ran. A feature-node selection method based on Delaunay triangular mesh stereo image coding[J].Journal of Tianjin University，2009，42(5)：424-427(in Chinese) .

［3］ 楊嘉琛，侯春萍，沈麗麗. 基于 PSNR 立體圖像質量客觀評價方法[J]. 天津大學學報，2008，41(12)：1448-1452.

Yang Jiachen，Hou Chunping，Shen Lili. Objective evaluation method for stereo image quality based on PSNR[J].Journal of Tianjin University，2008，41(12)：1448-1452(in Chinese).

［4］ Park Ilkwon，Byun Hyeran. Fast gradient-based mesh generation method for the stereo image representation[C]// 3rd3DTV-Conference：The True Vision-Capture，Transmission and Display of 3D Video．Potsdam，Germany，2009.

［5］ Yao Li，Li Dongxiao，Zhang Ming. MRF-based stereo correspondence and virtual view interpolation[C]// 3rd International Symposium on Intelligent Information Technology Application. Nanchang，China，2009：416-419.

［6］ Liao Zhihong，Xie Xudong，Dai Qionghai. Real-time 3D video synthesis from binocular capture system based on commodity graphic hardware[C]// 3rd3DTV-Conference：The True Vision-Capture，Transmission and Display of3D Video. Potsdam，Germany，2009：1-4.

［7］ Joon H P，Hyun W P. A mesh-based disparity representation method for view interpolation and stereo image compression[J].IEEE Trans on Image Processing，2006，15(4)：1751-1762.

［8］ Ma Yingliang，Saetzler K. A parallelized surface extraction algorithm for large binary image data sets based on an adaptive 3-D delaunay subdivision strategy[J].Visualization and Computer Graphics，2008，14(1)：160-172.

［9］ Valette S，Chassery J-M，Prost R. Generic remeshing of 3D triangular meshes with metric-dependent discrete voronoi diagrams[J].Visualization and Computer Graphics，2008，14(2)：369-381.

［10］ Ohm J，Grueneberg K，Hendriks E. Real time hardware system for stereoscopic videoconferencing with viewpoint adaptation[J].Signal Processing：Image Communication，1998，14(1)：147-171.

［11］ Bao P，Zhang L. Canny edge detection enhancement by sale multiplication[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2005，27(9)：1485-1490.

［12］ Müller K，Smolic A，Dix K，et al. Coding and intermediate view synthesis of multiview video plus depth[C]//2009IEEE International Conference on Image Processing. Cairo，Egypt，2009：741-744.

［13］ 胡志萍，郭明恩，歐宗瑛．一種基于圖像輪廓信息的新視點圖像生成算法[J]. 大連理工大學學報，2006，46(3)：361-366.

Hu Zhiping，Guo Ming’en，Ou Zongying. An image synthesis algorithm based on new viewpoint using contour edge correspondence information[J].Journal of Dalian University of Technology，2006，46(3)：361-366(in Chinese).