杜瑞濤 岑 峰

移動(dòng)平臺(tái)上圖像拼接軟件中的視差問題

杜瑞濤 岑 峰

本文主要研究移動(dòng)平臺(tái)上圖像拼接軟件中的視差問題，論述了圖像拼接中視差問題的由來及其影響，介紹了近年來在拼接算法方面針對(duì)視差問題的一些進(jìn)展，并對(duì)當(dāng)前移動(dòng)平臺(tái)上一些常見的圖像拼接應(yīng)用軟件進(jìn)行分析，探究其在視差下的運(yùn)行狀況與拼接效果，最后對(duì)基于移動(dòng)平臺(tái)實(shí)現(xiàn)圖像拼接軟件時(shí)針對(duì)視差問題的可能處理方式進(jìn)行探討。

基于智能移動(dòng)平臺(tái)的圖像拼接軟件能夠使普通用戶輕易拍攝出寬視角的全景圖像，滿足人們對(duì)于寬視角、高分辨率全景圖像的需求，具有很高的應(yīng)用價(jià)值，因而基于Android、IOS等移動(dòng)平臺(tái)的圖像拼接軟件層出不窮，不斷發(fā)展。然而盡管對(duì)于圖像拼接的研究不斷深入，現(xiàn)今一般所使用的圖像拼接算法仍有其缺陷性和局限性，存在很多問題有待解決，如場(chǎng)景中的遮擋問題、運(yùn)動(dòng)目標(biāo)的干擾問題等等，而視差問題也正是圖像拼接領(lǐng)域中的一個(gè)熱點(diǎn)問題。

對(duì)現(xiàn)今大多數(shù)圖像拼接算法而言，當(dāng)輸入圖像中存在明顯視差時(shí)，普遍會(huì)由于配準(zhǔn)模型無法處理視差而導(dǎo)致部分像素點(diǎn)的誤匹配，雖然圖像融合算法能夠在一定程度上弱化或掩蓋配準(zhǔn)中的誤匹配問題，但其無法完全消除視差對(duì)全景圖像的不利影響。在某些特定的場(chǎng)景下，視差引起的誤匹配可能導(dǎo)致全景圖像中出現(xiàn)鬼影、錯(cuò)位等諸多不良現(xiàn)象，嚴(yán)重影響全景圖像的質(zhì)量。對(duì)于圖像拼接應(yīng)用軟件而言，當(dāng)其未針對(duì)視差進(jìn)行有效限制或處理時(shí)，便會(huì)影響軟件在特定場(chǎng)景下的拼接效果，降低軟件的適用性與體驗(yàn)性。因此，對(duì)圖像拼接應(yīng)用軟件中視差問題的研究具有重要的意義。

在本文中，主要論述了圖像拼接配準(zhǔn)中的視差問題，介紹了當(dāng)前在算法層面的一些進(jìn)展，并對(duì)一些常見的移動(dòng)拼接軟件進(jìn)行分析，最后對(duì)基于移動(dòng)平臺(tái)實(shí)現(xiàn)圖像拼接軟件時(shí)針對(duì)視差問題的處理方式進(jìn)行探討。

圖像拼接中視差問題

當(dāng)前，大多數(shù)圖像拼接算法主要包含預(yù)處理、圖像配準(zhǔn)、圖像融合三個(gè)環(huán)節(jié)，簡要流程如圖1所示。

以對(duì)兩幅圖像進(jìn)行拼接為例，在進(jìn)行拼接時(shí)首先根據(jù)這兩幅圖像間重合區(qū)域內(nèi)的對(duì)應(yīng)像素點(diǎn)，計(jì)算這兩幅圖像中像素點(diǎn)的映射關(guān)系，求得配準(zhǔn)模型。在生成全景圖像時(shí)，根據(jù)配準(zhǔn)模型確定輸入圖像中像素點(diǎn)在全景圖像上的位置，從而將所有輸入圖像映射到同一坐標(biāo)系，合成為全景圖像。然而由于配準(zhǔn)模型的適用性與準(zhǔn)確性是受很多因素影響的，大多無法達(dá)到完美的配準(zhǔn)效果，故而再通過圖像融合技術(shù)弱化或掩蓋誤配準(zhǔn)像素點(diǎn)的影響，從而生成一副視覺上比較一致的全景圖像。因此，圖像配準(zhǔn)環(huán)節(jié)是整個(gè)拼接算法的核心，配準(zhǔn)結(jié)果的好壞對(duì)全景質(zhì)量有著決定性的影響。

圖像拼接中的視差問題，就是指當(dāng)輸入圖像間存在視差時(shí)，由于圖像配準(zhǔn)環(huán)節(jié)中所使用的配準(zhǔn)模型無法完全表述圖像之間的變換關(guān)系，導(dǎo)致重合區(qū)域內(nèi)對(duì)應(yīng)像素點(diǎn)的誤匹配，降低配準(zhǔn)效果的現(xiàn)象。在特定場(chǎng)景下，這種由于視差引起的誤匹配可能導(dǎo)致全景圖像的重合區(qū)域中出現(xiàn)鬼影、模糊，在拼縫處出現(xiàn)錯(cuò)位、斷裂等諸多不良現(xiàn)象，惡化全景圖像的質(zhì)量。

在進(jìn)行圖像配準(zhǔn)時(shí)，當(dāng)前一般使用射影變換（單應(yīng)）作為全局配準(zhǔn)模型，即將待拼接圖像上所有的像素點(diǎn)使用同一個(gè)單應(yīng)矩陣映射到參考圖像上。以圖像i、j為例，基于射影變換的配準(zhǔn)關(guān)系如下:

圖1 圖像拼接算法簡要流程圖

拼接算法方面的進(jìn)展

近些年對(duì)圖像拼接中的視差與配準(zhǔn)問題的研究一直未曾中斷，相關(guān)學(xué)者不斷提出新的方法來處理視差問題。其中的主要思路是在配準(zhǔn)時(shí)，并非使用單一的變換模型，而是整合多個(gè)變換模型，甚至整合不同種類的變換模型來表示兩幅圖像之間的變換關(guān)系，以此使待拼接圖像之間像素點(diǎn)的映射更加靈活，能夠更好的容忍視差，從而減弱視差對(duì)全景圖像的不利影響。

Junhong Gao等針對(duì)場(chǎng)景中存在遠(yuǎn)距離背景與地平面兩個(gè)主平面的特定場(chǎng)景，采用雙單應(yīng)性的方法來進(jìn)行待拼接圖像的配準(zhǔn)。通過對(duì)兩個(gè)主平面分別計(jì)算各自的單應(yīng)性關(guān)系，使圖像間像素點(diǎn)的映射更加靈活，能夠一定程度上容忍視差。然而這種方法僅適用于某一類特定場(chǎng)景，不具有普適性。Seongdo Kim等在上述方法上進(jìn)行了擴(kuò)展，其將提取出的圖像特征點(diǎn)利用K-means進(jìn)行聚類，對(duì)每一個(gè)聚類求得其對(duì)應(yīng)的單應(yīng)性矩陣，最終使用多個(gè)單應(yīng)來表述兩幅圖像的變換關(guān)系。該方法能夠根據(jù)場(chǎng)景自動(dòng)計(jì)算所需的單應(yīng)個(gè)數(shù)，適用于更多的場(chǎng)景，具有較好的普適性。WenYan Lin等也采用了類似思路，提出一種平滑變化仿射拼接方法，其通過求解多個(gè)局部的仿射變換關(guān)系，再整合為全局平滑的仿射變換作為拼接配準(zhǔn)模型。該方法也能夠一定程度上處理視差問題。而Julio Zaragoza等更進(jìn)一步，將圖像劃分為多個(gè)單元塊，對(duì)不同的單元塊使用不同的單應(yīng)進(jìn)行配準(zhǔn)，同時(shí)用數(shù)學(xué)約束來維持各個(gè)單元塊的映射關(guān)聯(lián)性，以能夠生成視覺上連續(xù)的全景圖像。實(shí)驗(yàn)表明，該方法也能夠一定程度上緩解視差的不利影響。Fan Zhang等則使用一種混合配準(zhǔn)模型來處理視差問題，其通過單應(yīng)來進(jìn)行全局粗配準(zhǔn)，以保存圖像的全局結(jié)構(gòu)，然后使用局部配準(zhǔn)模型（content-preserving warping）來進(jìn)行精化配準(zhǔn)，最終達(dá)到減弱視差影響的目的。

雖然對(duì)配準(zhǔn)方法的研究不斷深入，然而至今仍未有一種能完美處理視差的配準(zhǔn)模型。此外，通過整合多個(gè)局部模型行配準(zhǔn)的方法會(huì)引入大量的計(jì)算，增加了配準(zhǔn)算法的復(fù)雜度，對(duì)于移動(dòng)拼接軟件這樣需要快速獲取拼接結(jié)果的應(yīng)用場(chǎng)景并不合適。因此，當(dāng)基于移動(dòng)平臺(tái)實(shí)現(xiàn)圖像拼接應(yīng)用軟件時(shí)，應(yīng)采取額外措施來處理視差問題，以保證軟件在特定場(chǎng)景下的可用性與拼接效果。

移動(dòng)拼接軟件的分析

隨著近年來各類智能手持設(shè)備性能的大幅提升，基于移動(dòng)平臺(tái)的圖像拼接軟件的拼接效果不斷改善，魯棒性也不斷增強(qiáng)。然而當(dāng)前很難有一種圖像拼接算法能夠保證任意取景方式下的全景效果，且隨意的取景方式對(duì)拼接算法的魯棒性要求過高，會(huì)增加算法的復(fù)雜度，延長拼接時(shí)間，降低軟件的體驗(yàn)性。因此當(dāng)前絕大多數(shù)的移動(dòng)拼接應(yīng)用軟件都對(duì)其取景方式進(jìn)行了一定的限制，如要求單方向水平取景、設(shè)備豎直不傾斜等等。本文主要根據(jù)各軟件對(duì)取景過程限制的實(shí)現(xiàn)方式將常見的移動(dòng)拼接軟件分為三類。

（1）利用圖像技術(shù)對(duì)取景過程進(jìn)行限制

此類軟件主要利用圖像處理技術(shù)，確定已拍攝圖像與當(dāng)前取景圖像之間的相對(duì)位置關(guān)系，從而對(duì)當(dāng)前取景進(jìn)行限制與指導(dǎo)。如Android平臺(tái)上的全景神拍、ProPanorama及一些手機(jī)自帶的全景拍攝功能等軟件都屬于這種方式。這類軟件對(duì)移動(dòng)設(shè)備沒有附加要求，在各類智能設(shè)備上都能夠使用，通用性較好。然而該類軟件無法獲知移動(dòng)設(shè)備在取景過程中的姿態(tài)變化與運(yùn)動(dòng)情況，因此其無法避免由于拍攝視點(diǎn)的平移而導(dǎo)致的視差，也無法在視差的引入過程中對(duì)用戶進(jìn)行提示與告知。一般而言，該類軟件只要求拍攝過程中近似水平單方向取景，限制效果一般。

（2）借助傳感器對(duì)取景過程進(jìn)行限制

此類軟件一般借助于移動(dòng)設(shè)備內(nèi)置的傳感器，判斷當(dāng)前取景是否滿足預(yù)設(shè)定的限制條件，并通過可視化的方式告知用戶。如IOS平臺(tái)上的轉(zhuǎn)轉(zhuǎn)鳥、DMD全景，Android平臺(tái)上的全景盡情拍等軟件都屬于此種方式。這類軟件要求設(shè)備內(nèi)置有特定的傳感器，否則便無法正常使用。由于這類軟件能夠獲知取景過程中設(shè)備姿態(tài)的變化及運(yùn)動(dòng)情況，因而能夠?qū)τ脩舻娜【胺绞竭M(jìn)行更加多樣而嚴(yán)格的限制。然而當(dāng)前此類軟件一般都基于方位傳感器監(jiān)測(cè)取景過程中設(shè)備的旋轉(zhuǎn)運(yùn)動(dòng)，忽略了對(duì)平移運(yùn)動(dòng)的限制，故無法避免視差的引入。因此基于方位傳感器的限制方式無法處理視差問題，需要考慮引入額外的限制方法。

（3）通過已拍攝圖像與傳感器對(duì)取景過程進(jìn)行限制

此類軟件一般通過設(shè)備內(nèi)置的傳感器對(duì)取景過程中的手機(jī)姿態(tài)進(jìn)行限定，同時(shí)利用已拍攝圖像對(duì)用戶當(dāng)前取景進(jìn)行指導(dǎo)。如Photaf Pro、3D全景相機(jī)等軟件，不僅通過水平儀對(duì)用戶拍攝時(shí)手機(jī)姿態(tài)進(jìn)行限定，更利用已拍攝圖像使用戶在取景的過程中即完成了初步的預(yù)配準(zhǔn)，提升了拼接的速度與質(zhì)量。由于該類軟件充分利用了移動(dòng)設(shè)備的傳感器資源與已拍攝圖像，對(duì)取景過程的監(jiān)測(cè)與指導(dǎo)更加嚴(yán)格，因此其拼接質(zhì)量一般更好。然而由于此類軟件一般使用方位傳感器或重力傳感器，無法感知取景過程中拍攝視點(diǎn)的平移，因此對(duì)視差問題的幫助很小。

通過對(duì)軟件的取景方式進(jìn)行限定，能夠使所拍攝的局部場(chǎng)景圖像在進(jìn)行拼接之前就滿足某些預(yù)設(shè)定條件，使輸入圖像更加符合拼接算法的內(nèi)在要求，還能夠?qū)Ξ?dāng)前拍攝進(jìn)行指導(dǎo)，明確用戶操作，使軟件更易使用。然而，通過對(duì)當(dāng)前移動(dòng)拼接軟件的分析，可以發(fā)現(xiàn)大多軟件的取景過程并未針對(duì)視差問題形成有效的限制，無法避免視差的引入，也沒有在視差的引入過程中對(duì)用戶提示告知。

此外，通過分析各軟件在不同拍攝方式下的拼接效果，可以發(fā)現(xiàn)大多軟件在視差明顯的情況下，拼接質(zhì)量較差。以圖2中（a）所示的場(chǎng)景作為測(cè)試場(chǎng)景，該場(chǎng)景中的縱向深度差異明顯，因而對(duì)取景過程中的視點(diǎn)平移很敏感，較小的平移就能導(dǎo)致輸入圖像之間產(chǎn)生較大的視差。以拼接效果較好的第三類軟件中的Photaf Pro為例，繞光心旋轉(zhuǎn)取景拍攝獲得的拼接全景如圖2中（b）所示，而通過使拍攝視點(diǎn)平移的方式引入視差后得到的全景圖像如圖2中（c）所示。通過兩幅全景圖像與原始場(chǎng)景的對(duì)比，可以發(fā)現(xiàn)當(dāng)取景過程嚴(yán)格繞光心旋轉(zhuǎn)時(shí)，由于輸入圖像間視差很小，因而獲得的全景圖像質(zhì)量很高，而當(dāng)在輸入圖像間引入較大視差后，在全景圖像中的拼縫處發(fā)生了明顯的錯(cuò)位和斷裂，拼接效果較差。此外，在通過平移設(shè)備引入視差的過程中，完全滿足軟件的預(yù)設(shè)定限制條件，軟件沒有進(jìn)行任何相關(guān)提示。當(dāng)使用其他軟件進(jìn)行測(cè)試時(shí)，也會(huì)有類似結(jié)果。

圖2 Photaf Pro在特定場(chǎng)景的拼接結(jié)果對(duì)比

綜合來看，當(dāng)前大多數(shù)的圖像拼接應(yīng)用軟件對(duì)于室外較遠(yuǎn)的自然場(chǎng)景的拼接效果較好，而對(duì)于一些場(chǎng)景深度差異明顯且拍攝取景過程中引入了較大視差的情況下，其生成全景的質(zhì)量普遍不高?？梢越普J(rèn)為，當(dāng)前大多移動(dòng)拼接軟件在取景過程中并沒有針對(duì)視差進(jìn)行有效的限制，無法避免視差的引入，也沒有對(duì)用戶進(jìn)行相關(guān)提示，且所用算法也無法較好的處理視差，從而導(dǎo)致軟件在特定場(chǎng)景下的拼接效果較差。因此，當(dāng)基于移動(dòng)平臺(tái)實(shí)現(xiàn)圖像拼接應(yīng)用軟件時(shí)，應(yīng)該引入新的方法與限制措施來處理視差問題。

視差問題處理方法的探討

通過前文對(duì)視差問題的論述與分析，可知在圖像拼接算法方面，只有對(duì)場(chǎng)景中每個(gè)深度的物體都求解其唯一的變換關(guān)系才能完全處理輸入圖像之間的視差，達(dá)到完美的配準(zhǔn)效果，這顯然并不現(xiàn)實(shí)。而在實(shí)際應(yīng)用中，平面場(chǎng)景的假設(shè)很難滿足，一般場(chǎng)景中普遍存在深度差異。因此，若圖像拼接軟件能夠通過某種措施促使用戶繞相機(jī)光心旋轉(zhuǎn)取景拍攝，減小取景過程中拍攝視點(diǎn)的平移，就能夠很大程度上避免視差的引入，提升全景的拼接質(zhì)量。此外，當(dāng)取景過程滿足旋轉(zhuǎn)拍攝時(shí)，有:

當(dāng)前加速度計(jì)主要根據(jù)施加于傳感器上的作用力，返回三個(gè)坐標(biāo)軸上的線性加速度大小。由于加速度計(jì)無法檢測(cè)出設(shè)備繞坐標(biāo)原點(diǎn)作純旋轉(zhuǎn)運(yùn)動(dòng)時(shí)的角加速度變化，故當(dāng)設(shè)備做旋轉(zhuǎn)運(yùn)動(dòng)時(shí)，可近似認(rèn)為各軸上加速度的變化只是由重力分量的變化而引起。以、、分別表示加速度計(jì)X、Y、Z軸上的加速度大小，令在繞加速度計(jì)坐標(biāo)原點(diǎn)的純旋轉(zhuǎn)運(yùn)動(dòng)過程中，必然有:

故合成量 對(duì)于設(shè)備的旋轉(zhuǎn)運(yùn)動(dòng)是不敏感的。此外，當(dāng)設(shè)備發(fā)生平移運(yùn)動(dòng)時(shí)，設(shè)備的線性加速度必然變化，最終導(dǎo)致合成量 的變化。因此，可以通過加速度計(jì)的數(shù)據(jù)合成量 來判斷取景過程中移動(dòng)設(shè)備的線性運(yùn)動(dòng)情況，從而判斷拍攝視點(diǎn)是否發(fā)生了較大的平移。

當(dāng)通過傳感器數(shù)據(jù)確認(rèn)當(dāng)前取景方式會(huì)導(dǎo)致輸入圖像間產(chǎn)生較大視差時(shí)，可以禁止用戶拍攝，同時(shí)根據(jù)已拍攝圖像，提示用戶變更當(dāng)前取景位置，恢復(fù)到上一幅圖像的取景視點(diǎn)，繼續(xù)旋轉(zhuǎn)取景。通過這樣的方式，能夠使取景過程始終滿足旋轉(zhuǎn)拍攝的要求，從而在拍攝取景階段就避免視差的引入，對(duì)于移動(dòng)拼接軟件中的視差問題有很大的幫助。

總結(jié)

本文主要介紹了圖像拼接應(yīng)用軟件中的視差問題，簡要闡述視差問題的原理、影響，并介紹了當(dāng)前在拼接算法層面上針對(duì)視差問題的一些進(jìn)展。此外，在對(duì)一些常見移動(dòng)拼接應(yīng)用軟件進(jìn)行分析的基礎(chǔ)之上，對(duì)視差問題的可能處理方式進(jìn)行了探討，即可通過加速度傳感器來對(duì)軟件使用過程中的拍攝取景方式進(jìn)行監(jiān)測(cè)，限制取景過程中設(shè)備的平移運(yùn)動(dòng)，促使用戶盡可能旋轉(zhuǎn)取景，從而減小算法輸入圖像之間的視差，使其更加符合配準(zhǔn)模型的要求，最終生成質(zhì)量更優(yōu)的全景圖像。

杜瑞濤 岑 峰

同濟(jì)大學(xué)電子與信息工程學(xué)院

杜瑞濤，男，碩士研究生，同濟(jì)大學(xué)電子與信息工程學(xué)院控制工程系，主要研究方向?yàn)閳D像處理；岑峰，男，副教授，同濟(jì)大學(xué)電子與信息工程學(xué)院控制科學(xué)與工程系，主要研究方向?yàn)橹悄芤曈X處理技術(shù)與實(shí)現(xiàn)。

10.3969/j.issn.1001-8972.2015.07.001