侯春萍, 浦亮洲, 閻維青, 王來花, 王志遠(yuǎn)

(天津大學(xué) 電子信息工程學(xué)院, 300072 天津)

?

立體圖像視差線性調(diào)整算法

侯春萍, 浦亮洲, 閻維青, 王來花, 王志遠(yuǎn)

(天津大學(xué) 電子信息工程學(xué)院, 300072 天津)

摘要:為使立體圖像能在特定顯示設(shè)備上舒適顯示，本文提出一種調(diào)整立體圖像的方法. 首先利用立體圖像融像區(qū)知識(shí)，計(jì)算不同顯示設(shè)備舒適顯示的水平視差范圍；利用匹配的SIFT(scale-invariant features)特征點(diǎn)來估計(jì)立體圖像的視差范圍，建立起立體圖像原有視差到舒適顯示視差的線性映射；最后利用奇異值分解估計(jì)該映射的變換矩陣，通過變換矩陣計(jì)算出調(diào)整后的圖像，消除立體圖像垂直視差，并將立體圖像的水平視差調(diào)整到舒適觀看的范圍. 實(shí)驗(yàn)結(jié)果表明，本文提出的方法可以解決不同顯示設(shè)備上立體圖像視差調(diào)整的問題，得到更好的顯示效果.

關(guān)鍵詞:立體圖像；視差調(diào)整；線性變換；SIFT算法

近年來，隨著3D電影的風(fēng)靡和3D電視的推出，3D產(chǎn)品已成為一種大眾消費(fèi)品. 但是，由于不同屏幕的光學(xué)特性不同，立體圖像在不同的顯示屏幕上的顯示效果也不相同. 在小屏幕顯示時(shí)觀看者感覺舒適的圖像，在大屏幕顯示時(shí)，觀看者會(huì)出現(xiàn)不舒適的感覺甚至出現(xiàn)復(fù)視現(xiàn)象. 因此針對不同顯示設(shè)備的立體內(nèi)容調(diào)整研究是目前立體顯示領(lǐng)域的一個(gè)研究熱點(diǎn).

解決這種立體視覺差異的最佳方法是調(diào)節(jié)立體內(nèi)容的深度以適應(yīng)不同屏幕的光學(xué)特性，而調(diào)節(jié)深度可通過調(diào)整立體圖像的視差范圍實(shí)現(xiàn). 文獻(xiàn)[1-2]研究用手動(dòng)方式為特定顯示器調(diào)整立體圖像視差的方法. 但這些方法的調(diào)整方案僅靠感官判斷，沒有公式化的調(diào)整原則. 文獻(xiàn)[3-5]研究基于圖像的視圖差補(bǔ)方法，如攝像機(jī)標(biāo)定和深度圖校正，這些方法需要大量復(fù)雜的計(jì)算. 文獻(xiàn)[6]提出一種調(diào)整左右眼圖像在原立體圖像中相對位置的方法，該方法實(shí)現(xiàn)了視差調(diào)節(jié)且操作簡單，但是該方法假設(shè)原立體圖像不存在垂直視差，因此對存在垂直視差的立體圖像無法實(shí)現(xiàn)垂直視差的調(diào)整.

本文提出一種使獲取的立體圖像在顯示設(shè)備上舒適顯示的線性調(diào)整方法，可給觀看者提供舒適的觀看體驗(yàn). 首先利用立體圖像融像區(qū)的知識(shí)[7]，得到不同顯示器舒適顯示的視差范圍；然后利用匹配的SIFT(scale-invariant features)[8]特征點(diǎn)來估計(jì)獲取的立體圖像的視差范圍，建立起立體圖像視差到舒適顯示視差的線性映射，滿足特定立體顯示設(shè)備舒適顯示的需要；最后利用奇異值分解的方法估計(jì)投影變換矩陣，實(shí)現(xiàn)對立體圖像垂直和水平視差的調(diào)整.

1立體視覺及圖像變換

1.1立體圖像融像區(qū)

觀看者觀看立體圖像時(shí)，雙眼聚焦于立體屏幕上，使大腦認(rèn)為觀看距離為S,而立體圖像視差信息暗示觀看物體的距離為S′. 當(dāng)水平視差太大時(shí)，S與S′間的差值超過閾值，觀看者將無法在大腦中融合左右眼圖像，感受不到立體視覺效果. 這一現(xiàn)象由文獻(xiàn)[9]首先發(fā)現(xiàn)，并將在注視點(diǎn)周圍可以形成單像的區(qū)域稱為立體圖像融像區(qū). 融像區(qū)內(nèi)的物體均能在大腦中融合，融像區(qū)外的物體會(huì)形成雙眼復(fù)視并造成視覺疲勞. 如果立體圖像還存在垂直視差，那么融合圖像的邊緣將出現(xiàn)畸變，加劇觀看者的疲勞程度. 因此需要將左右眼圖像的水平視差控制在一定范圍內(nèi)，同時(shí)消除垂直視差.

文獻(xiàn)[6]給出可使觀看者舒適觀看立體圖像的水平像素差應(yīng)滿足的條件:

(1)

式中:Δn為左右視點(diǎn)圖像的水平像素差;S為觀看距離;Pw為顯示屏像素寬度;D為瞳孔直徑，通常為4 mm;η≈2.907×10-4rad為人眼視銳度;Ee為觀看者瞳距,通常為6.5 cm.

1.2圖像變換與特征點(diǎn)提取

通過確定調(diào)整前后圖像中特征點(diǎn)的坐標(biāo)，計(jì)算線性變換模型中的變換矩陣M

(2)

為實(shí)現(xiàn)左右視點(diǎn)圖像的調(diào)整，必須得到圖像的水平視差與垂直視差以確定式(2)中變換后的坐標(biāo). 首先需要完成立體圖像的匹配[10-11]，尋找合適的特征點(diǎn)計(jì)算上述兩種視差.

本文采用SIFT特征點(diǎn)檢測算法提取圖像特征點(diǎn)，該算法運(yùn)算速度較快且穩(wěn)定性好，在圖像處理領(lǐng)域具有深入廣泛的應(yīng)用[12-13]. 計(jì)算左右眼圖像中SIFT特征點(diǎn)的特征向量歐式距離即可實(shí)現(xiàn)特征點(diǎn)匹配.

2立體圖像視差調(diào)整算法

2.1垂直視差調(diào)整

(3)

垂直視差調(diào)整就是要將左右眼圖像中的垂直像素差調(diào)整為0，即Δyi=0，令左眼圖像IL為參考圖像，右眼圖像IR為待調(diào)整圖像，則

(4)

即令I(lǐng)L中特征點(diǎn)縱坐標(biāo)在變換后保持不變，而IR中特征點(diǎn)縱坐標(biāo)在變換后則與左視點(diǎn)相同，從而達(dá)到消除垂直視差的目的.

將式(4)代入式(3)得

(5)

2.2水平視差調(diào)整

1)計(jì)算匹配特征點(diǎn)之間的水平像素差di，即

2)對di進(jìn)行直方圖統(tǒng)計(jì)，組距為1個(gè)水平像素，計(jì)算統(tǒng)計(jì)直方圖中所有統(tǒng)計(jì)點(diǎn)個(gè)數(shù)，記為Ptotal；計(jì)算統(tǒng)計(jì)直方圖中視差值最大的5組數(shù)據(jù)中統(tǒng)計(jì)點(diǎn)的個(gè)數(shù)，記為Pmax.

3)計(jì)算Pmax/Ptotal并將它與給定的閾值T%進(jìn)行比較，若小于給定的閾值，則認(rèn)為當(dāng)前統(tǒng)計(jì)直方圖中的dmax數(shù)據(jù)是由不具有典型性的匹配特征點(diǎn)提供的，因此從匹配特征點(diǎn)中刪除這些點(diǎn)并重復(fù)步驟3；若大于給定閾值，則認(rèn)為當(dāng)前統(tǒng)計(jì)直方圖中的dmax即為該立體圖像的最大水平像素差.

實(shí)驗(yàn)中閾值T%通常取5%～10%即可濾除明顯的誤匹配點(diǎn).

使用類似的方法可以獲得最小水平像素差dmin. 最終確定的立體圖像的水平像素差范圍為[dmin,dmax].

另一方面，立體圖像的水平視差在不超過式(1)所定義的水平視差Δn時(shí)，觀看者可得到舒適的立體圖像. 令dm=(ηSEe)/(DPw)，則舒適觀看的水平像素差區(qū)間Δn為[-dm,dm].

圖1　水平視差調(diào)整的映射關(guān)系

當(dāng)立體圖像的水平像素差過大時(shí)，應(yīng)該減小水平像素差，使其處于區(qū)間Δn的范圍內(nèi)，另一方面，當(dāng)水平像素差過小時(shí)，會(huì)存在立體效果不明顯的問題，因此可以適當(dāng)增大水平像素差. 進(jìn)行如圖1所示的映射，使調(diào)整后水平像素差滿足

(6)

式中:d為調(diào)整前水平像素差，d′為調(diào)整后水平像素差. 該式中調(diào)整前后0視差平面保持不變，并把調(diào)整后的水平像素差約束在區(qū)間Δn的范圍內(nèi).

可得到水平視差調(diào)整后左右視點(diǎn)圖像的匹配特征點(diǎn)坐標(biāo)與原特征點(diǎn)坐標(biāo)關(guān)系如下:

(7)

(9)

展開式(8)、(9)可得到方程組：

(10)

式中：i取1～4，因此共存在16個(gè)等式. 展開后化作矩陣形式，可利用奇異值分解并結(jié)合RANSAC算法[14-15]求出左右視點(diǎn)圖像的變換矩陣ML，MR. 當(dāng)匹配特征點(diǎn)數(shù)量眾多時(shí)，RANSAC算法可尋找出使可能多的特征匹配點(diǎn)滿足變換的最佳變換矩陣. 利用式(2)及變換矩陣即可獲得視差調(diào)整后的左右視點(diǎn)立體圖像.

3實(shí)驗(yàn)

為檢驗(yàn)本文提出的視差調(diào)整算法，分別選擇兩幅視差過大和兩幅視差過小的立體圖像進(jìn)行視差調(diào)整，且這4幅圖像中均存在一定的垂直視差. 播放立體圖像的屏幕為分辨率1 920×1 080的24英寸顯示屏，觀看距離為1.5m. 根據(jù)顯示屏尺寸與分辨率顯示屏像素寬度為

(11)

圖2　視差調(diào)整過程

圖3　水平視差過大的立體圖像的調(diào)整

圖4　水平視差過小的立體圖像的調(diào)整

圖3中調(diào)整前的立體圖像(a)“銅獅”、(b)“校門”水平視差均過大，都具有明顯垂直視差. 經(jīng)過視差調(diào)整后得到的(c)“銅獅”、(d)“校門”消除了垂直視差，且水平視差減小到舒適觀看的范圍. 圖4中調(diào)整前的(a)“雕像”水平視差太小，觀看時(shí)立體效果不明顯，且具有明顯的垂直視差，調(diào)整前的(b)“故宮”垂直視差很大，直接觀看時(shí)圖內(nèi)景物邊緣處發(fā)生畸變. 經(jīng)過視差調(diào)整后的(c)“雕像”、(d)“故宮”都成功消除了垂直視差，且在舒適觀看的范圍內(nèi)盡量增大了水平視差，使調(diào)整后圖像有了更好的立體效果.

將本文算法與文獻(xiàn)[9]所述算法進(jìn)行比較，進(jìn)一步驗(yàn)證本文算法的視差調(diào)整效果. 以前面實(shí)驗(yàn)中的“銅獅”“故宮”為例，對比結(jié)果見圖5. “銅獅”立體圖像視差過大，2種算法都成功將圖像調(diào)整至立體圖像融像區(qū)的范圍，但是文獻(xiàn)[9]的算法將原來一部分視差明顯的圖像區(qū)域的視差調(diào)整至0，調(diào)整后該部分區(qū)域立體效果減弱. “故宮”的視差在立體圖像融像區(qū)范圍內(nèi)，但是立體效果不夠明顯. 文獻(xiàn)[9]的算法認(rèn)為該圖像不需要調(diào)整，因此未對該圖像的視差進(jìn)行調(diào)整，本文算法在融像區(qū)允許的范圍內(nèi)對立體圖像視差進(jìn)行了增大操作，使調(diào)整后的立體圖像仍能舒適顯示并且立體效果更為明顯. 另外，由于文獻(xiàn)[9]的算法為考慮立體圖像中存在垂直視差的問題，因此2幅圖像調(diào)整后仍能觀察到垂直視差.

圖5　算法比較

表1　垂直像素差統(tǒng)計(jì)　%

4結(jié)語

雙視點(diǎn)設(shè)備獲取的立體圖像很難直接應(yīng)用于顯示設(shè)備. 當(dāng)立體圖像具有垂直視差或者相對于指定的屏幕水平視差過大或者過小時(shí),都會(huì)給觀看者帶來視覺體驗(yàn)上的問題. 因此立體設(shè)備獲取的雙目立體圖像必須經(jīng)過圖像調(diào)整的處理方法來實(shí)現(xiàn)立體圖像在指定屏幕上的舒適顯示.

本文提出一種基于特征點(diǎn)匹配的立體視差矯正算法，該算法建立起從立體圖像原有視差到舒適顯示視差的線性映射，并利用奇異值分解的方法計(jì)算出該映射的投影變換矩陣，從而實(shí)現(xiàn)對立體圖像垂直視差和水平視差的調(diào)整. 實(shí)驗(yàn)結(jié)果表明，該算法具有很好的顯示效果，并保證了雙目立體圖像的一致性.

參考文獻(xiàn)

[1] FELDMANN I, SCHREER O, KAUFF P. Navigation dependent nonlinear depth scaling [C]// Picture Coding Symposium. Saint Malo, France : INRIA, 2003: 387-390.

[2] WANG C, SAWCHUK A A. Disparity manipulation for stereo images and video[C]// Stereoscopic Displays and Applications XIX. San Jose, CA: SPIE, 2008: 68031E-68031E-12.

[3] KIM M, LEE S, CHOI C, et al. Depth scaling of multiview images for automultiscopic 3D monitors[C]// 2008 3DTV-Conference: The True Vision-Capture, Transmission and Display of 3D Video. Istanbul. Turkey: IEEE, 2008: 181-184.

[4] SMOLIC A, MULLER K, DIX K, et al. Intermediate view interpolation based on multiview video plus depth for advanced 3D video systems[C]// ICIP 2008. San Diego, CA: IEEE, 2008: 2448-2451.

[5] BLEYER M, GELAUTZ M, ROTHER C, et al. A stereo approach that handles the matting problem via image warping[C]// IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Miami, FL: IEEE, 2009: 501-508.

[6] 張丞, 侯春萍, 王曉燕. 立體圖像視差自適應(yīng)調(diào)整算法[J]. 光電子激光, 2014, 25(3):581-587.

[7] MAXWELL M G. Three-dimensional color television[J]. SMPTE journal, 1985, 94(8): 821-825.

[8] LOWE D G. Object recognition from local scale-invariant features[C]// Proceedings of the Seventh IEEE International Conference on Computer Vision. Los Alamitos, CA: IEEE, 1999, 2: 1150-1157.

[9] PANUM P L. Physiologische Untersuchungen über das Sehen mit zwei Augen[M]. Charleston, SC: Nabu Press, 2010.

[10]王華, 叢建亭, 侯相深, 等. 畸變圖像的有效配準(zhǔn)算法[J]. 哈爾濱工業(yè)大學(xué)學(xué)報(bào), 2010,42(4): 597-601.

[11]王磊, 張鈞萍, 張曄. 基于特征的 SAR 圖像與光學(xué)圖像自動(dòng)配準(zhǔn)[J]. 哈爾濱工業(yè)大學(xué)學(xué)報(bào), 2005, 37(1): 22-25.

[12] LI J, LU Z. B-SIFT: a highly efficient binary SIFT descriptor for invariant feature correspondence[C]// 2nd Sino-Foreign-Interchange Workshop on Intelligent Science and Intelligent Data Engineering, IScIDE 2011. Xi′an: Springer Berlin Heidelberg, 2012: 426-433.

[13] SOYEL H, DEMIREL H. Improved SIFT matching for pose robust facial expression recognition[C]// 2011 IEEE International Conference on Automatic Face & Gesture Recognition (FG 2011). Santa Barbara, CA: IEEE, 2011: 585-590.

[14] HARTLEY R, ZISSERMAN A. Multiple view geometry in computer vision[M]. Cambridge: Cambridge university press, 2003.

[15] SATTLER T, LEIBE B, KOBBELT L. SCRAMSAC: Improving RANSAC′s efficiency with a spatial consistency filter[C]// 2009 IEEE 12th International Conference on Computer Vision. Kyoto: IEEE, 2009: 2090-2097.

(編輯王小唯苗秀芝)

A disparity adjustment algorithm for stereo image based on linear transformation

HOU Chunping, PU Liangzhou, YAN Weiqing, WANG Laihua, WANG Zhiyuan

(School of Electronic and Information Engineering, Tianjin University, 300072 Tianjin, China)

Abstract:A 3D image calibration method is proposed to provide a better performance on particular display device. Firstly, the knowledge of stereo image fusion area is adopted to calculate the comfortable horizontal disparity range for different display device. Secondly, the Scale-Invariant Features (SIFT) algorithm is applied to estimate the disparity range in a 3D image, and then a linear mapping between the original disparity and the comfortable disparity for the 3D image are obtained. Finally, the transformational matrix for the linear mapping and disparity correction for the 3D image are got. The experimental results indicate that the proposed algorithm has a good performance, which is adaptive for various disparity problems.

Keywords:stereoscopic image; disparity adjustment; linear transformation; SIFT algorithm

中圖分類號(hào):TP391

文獻(xiàn)標(biāo)志碼:A

文章編號(hào):0367-6234(2016)05-0090-05

通信作者:王志遠(yuǎn), wzhiyuan@tju.edu.cn.

作者簡介:侯春萍(1957—)，女，教授，博士生導(dǎo)師.

基金項(xiàng)目:國家高技術(shù)研究發(fā)展計(jì)劃(863 計(jì)劃)重大項(xiàng)目(2012AA03A301)；國家基金重大研究計(jì)劃重點(diǎn)項(xiàng)目(91320201)；國家基金面上項(xiàng)目(61471262)；教育部博士點(diǎn)基金(20110032110029)(20130032110010).

收稿日期:2014-08-28.

doi：10.11918/j.issn.0367-6234.2016.05.014