駱學(xué)森

（塔里木大學(xué)信息工程學(xué)院，阿拉爾 843300）

西域文化博物館；全景圖像

0 引言

全景圖通過廣角的展現(xiàn)手法以及繪圖、照片、視頻、3ds Max模型等各個形式，盡最大可能多表現(xiàn)出四周的環(huán)境。360度全景，是使用專業(yè)圖像采集設(shè)備來捕獲整個場面的圖像信息或使用建模軟件渲染后的圖片，再利用軟件進(jìn)行圖像處理、圖片拼接等操作，使用特有的輸出設(shè)備將全景圖像輸出，即將傳統(tǒng)平面照片或者計算機建模圖片變?yōu)槿皥D片，展現(xiàn)給觀看者。

全景圖像上世紀(jì)90年代問世到如今，已逐漸廣泛地被運用在各個領(lǐng)域中，其中包括安保、國防、文化娛樂、文物保護(hù)、交通工具行駛記錄、新型地圖服務(wù)等各個重要方向。全景圖像之所以能夠受到眾多科技前沿領(lǐng)域的追捧，是應(yīng)為其比傳統(tǒng)圖像豐富的特點。全景圖像避免了傳統(tǒng)平面效果圖視角單一的缺點，為觀看者提供了各個方位的視角體驗。展現(xiàn)了形式良好的全景圖還擁有較佳的交互體驗，可根據(jù)觀看者的操作現(xiàn)象當(dāng)前視角的圖像，本特征也是虛擬現(xiàn)實技術(shù)的基石。據(jù)目前針對全景圖像的研究已經(jīng)較為豐富，涉及到眾多的技術(shù)細(xì)節(jié)問題，但更多的局限在圖像的拼接算法部分。

因此，本文將從全景圖像拼接研究和實現(xiàn)的角度來整體分析。主要通過介紹全景圖像相關(guān)的重要理論和關(guān)鍵技術(shù)，并融合一些具體的設(shè)計和實現(xiàn)來對全景圖像的拼接和實現(xiàn)做全面的解釋和驗證，并加以實現(xiàn)和完善。

全景圖像所包含的細(xì)節(jié)方向很多，其中主要包括全景圖像的采集、全景圖像的拼接、呈現(xiàn)形式和體驗方式這幾個較為重要的板塊。全景圖像的采集部分中，主要涉及到了圖像采集設(shè)備的抉擇、整體布局結(jié)構(gòu)和支撐架構(gòu)等方面。圖像采集模塊的設(shè)計好壞在極大程度上決定了上層設(shè)計的難易程度，以及最后的展現(xiàn)效果。全景圖像的拼接部分是最近幾年最受專家學(xué)者關(guān)注的部分，目前已經(jīng)形成了較為穩(wěn)定和非常優(yōu)秀的處理算法，可根據(jù)具體的應(yīng)用場景和需求類別進(jìn)行抉擇和局部的適當(dāng)優(yōu)化。另外，在全景圖像采集和拼接部分的軟件系統(tǒng)設(shè)計中，采用如何的設(shè)計和實現(xiàn)能夠更加高效地處理多相機并發(fā)及多任務(wù)類型的工程業(yè)務(wù)一樣十分的重要。除此之外，全景圖像的展現(xiàn)形式的種類也很繁多，根據(jù)全景圖像投影模型的不同，基本類型可分為圓柱面、立方體、球面三種類型。目前全景圖像的呈現(xiàn)形式除了投影類型的區(qū)分外，基本都是以圖像的形式。本文將分析、設(shè)計和實現(xiàn)一種我校西域文化博物館采用全景圖片拼接展現(xiàn)形式的效果，以達(dá)到更好的體驗和效果，以適應(yīng)更多的場景需求以及向更多的人展現(xiàn)西域文化的多姿多彩。

1 研究的目的與意義

圖像拼接技術(shù)的研究是在科技的飛速發(fā)展以及人們對現(xiàn)實應(yīng)用的需求下飛速發(fā)展起來的，已成為計算機圖形學(xué)和計算機視覺領(lǐng)域?qū)＜覍W(xué)者的研究熱點，是近幾年來圖像繪制技術(shù)的重要研究內(nèi)容。

本項目通過采集西域文化博物館各展廳數(shù)據(jù)（攝像機只能圍繞一個固定的軸進(jìn)行旋轉(zhuǎn)，當(dāng)攝像機拍攝完一張圖像后需要將攝像機旋轉(zhuǎn)一定的角度拍攝下一張圖像，重疊區(qū)域的要占圖像的1/3左右），經(jīng)過數(shù)據(jù)的預(yù)處理（消除圖像采集過程中混入的噪聲），并經(jīng)過圖像配準(zhǔn)、圖像定位、圖像融合與優(yōu)化等一系列流程，最終把西域文化博物館拼接成360度環(huán)形全景圖像，在豐富西域文化博物館傳統(tǒng)展示的基礎(chǔ)上，為人們提供立體、動感的視覺感受。

西域，為古今中西交通極其重要的樞紐地帶，是地理概念，也是文明象征，與歷史有著密切聯(lián)系。人們一提起西域文化，首先想到的便是絲綢之路，而絲綢之路不僅僅是一條貿(mào)易路線，還是承載了亞歐大陸文化交流，宗教傳播。如今，西域文化博物館試圖將文化遺產(chǎn)象征轉(zhuǎn)變?yōu)橐曈X表現(xiàn)符號，發(fā)揮古為今用原則，向人們展示西域文化的神秘與精要。西域文化博物館是坐落在南疆的塔里木大學(xué)，是一座集歷史、藝術(shù)、民俗、自然為一體的綜合性博物館，因地勢偏遠(yuǎn)，所以人們對此所知甚少，基于此種現(xiàn)狀，本項目選擇對西域文化博物館全景圖像拼接進(jìn)行研究與實現(xiàn)，想要通過此項研究完整的表達(dá)西域博物館的環(huán)境信息，帶給人們不同的視覺體驗，讓更多的人感受到西域文化的壯闊與瑰麗。

2 國內(nèi)外研究現(xiàn)狀與發(fā)展趨

全景技術(shù)自上世紀(jì)90年代問世以來，全景圖像(視頻)作為高速發(fā)展的前沿科技領(lǐng)域，在國外擁有豐富研究和實踐成果，而國內(nèi)的全景技術(shù)起步較晚。國外最早運用全景技術(shù)的是谷歌公司，在谷歌公司的Street View中，首次成熟的運用了全景圖像技術(shù)。參照谷歌公司街景的發(fā)展方式，亞馬遜旗下的搜索業(yè)務(wù)同樣采用街道全景車采集圖像，歷經(jīng)半年多的時間，共獲得美國22座城市的主要街道的街景圖像數(shù)據(jù)，并經(jīng)過后期編輯處理形成數(shù)據(jù)龐大的全景資料庫。

如今，全景圖像技術(shù)已日趨成熟，廣泛運用與各個領(lǐng)域中，在國內(nèi)，隨著VR技術(shù)的興起，全景圖像也在迅速發(fā)展，主要的運用領(lǐng)域和發(fā)展趨勢：

（1）地圖信息

國內(nèi)知名互聯(lián)網(wǎng)公司百度，在2013年8月在百度世界大會上首先發(fā)布，百度地圖將加入全景功能，百度地圖的全景與其他地圖全景服務(wù)的不同之處就在于，不僅將街道，城市轉(zhuǎn)換為全景，還將酒店、各地的風(fēng)景名勝也加入了全景服務(wù)。

（2）酒店宣傳

商家就通過3D建模將酒店的結(jié)構(gòu)和裝潢以及餐飲條件做成全景圖進(jìn)行全方位的展示，吸引顧客。

（3）虛擬校園

通過全景圖可以讓學(xué)生和家長通過網(wǎng)絡(luò)就可以了解學(xué)校，而不是傳統(tǒng)的通過學(xué)校網(wǎng)站和新聞媒體。對學(xué)校的了解比傳統(tǒng)模式的效率以及感受，會有更加直觀的理解和認(rèn)識。

（4）廣告營銷

全景技術(shù)在廣告領(lǐng)域的運用大部分還在視覺效果上，傳統(tǒng)廣告還停留在廣而告之的層面，而全景技術(shù)下，廣告不再是單向傳播的了，還可以與受眾進(jìn)行交互。

3 項目分析

全景圖像拼接主要由七個關(guān)鍵處理過程組成：圖像的初步處理、圖像的配準(zhǔn)、圖像的定位、調(diào)整捆綁、測光優(yōu)化、圖像之間的融合和生成全景圖像，項目實現(xiàn)流程大致如圖1所示。

圖1 全景圖像拼接處理過程

下面對各個過程包含的步驟和所要解決的問題進(jìn)行說明：

（1）圖像預(yù)處理主要承擔(dān)兩項任務(wù)：①對所使用的采集設(shè)備進(jìn)行調(diào)整，獲取參數(shù)；②對因為相機而引起的圖像失真進(jìn)行驗證獲取其校正后參數(shù)。

（2）圖像配準(zhǔn)主要是用多幅待拼接圖片與參考圖片進(jìn)行比較，從而找到兩者間具有重疊區(qū)域的圖像。然后對應(yīng)的點求出重疊在一起的圖像間的變換矩陣。圖像配準(zhǔn)的任務(wù)可以分為四個部分組成：①提取每幅圖像的特別點；②將提取出來的特別點，在和其他圖像上尋找與之對應(yīng)的特別點；③按照一定的算法和規(guī)則，來對這些特征點進(jìn)行選擇，去除錯誤的特征點，這種方法稱為特征點提純；④依據(jù)提純后的特征點來進(jìn)行圖像的匹配，通過變換矩陣獲取最優(yōu)的匹配。

（3）圖像定位主要目的就是將配準(zhǔn)后的圖片再放入3ds Max建模中的位置，如果圖像只是在水平方向相鄰，那么只需要注重水平方向各個圖像之間關(guān)系，如果圖像不只有水平的關(guān)系，還有垂直方向的關(guān)系，那么我們就要首先確定其水平方向的關(guān)系，然后再根據(jù)其水平方向的關(guān)系來確定垂直方向的位置。

（4）調(diào)整捆綁的主要任務(wù)是將全景平面投影的變化矩陣的一些優(yōu)化，具體工作兩部分組成：①將接有魚眼鏡頭的相機在時間不同，采集角度不同獲取到的圖像，通過逆變換過程重筑空間場景來將視角統(tǒng)一；②通過非線性最優(yōu)化算法最小化相鄰圖像的匹配特征點對變換到全景參考平面后的距離，減小多次變換導(dǎo)致的全局累積誤差。

（5）測光優(yōu)化的主要任務(wù)是將全景圖像進(jìn)行優(yōu)化，在視覺效果上，使觀看效果更具真實性和侵入感。

（6）圖像之間的融合是將圖像拼接過程中形成的縫隙和圖像重疊區(qū)域進(jìn)行消除。

（7）全景投影輸出主要任務(wù)是將球形空間的大視角全景圖的投影作為平面可視圖像。方便在普通設(shè)備或者輸出設(shè)備上輸出。

4 項目總體設(shè)計

（1）使用接有魚眼鏡頭以及全景云臺、三腳架的數(shù)碼單反相機采集西域文化博物館的圖像，采集過程中要進(jìn)行多角度的拍攝，角度偏差不得大于5度。

（2）將采集到的圖像進(jìn)行圖像預(yù)處理，圖像配準(zhǔn)，圖像融合，邊界平滑等處理，使其與真實場景存在的差別盡量減小。

（3）測量西域文化博物館的地形以及每條邊界的數(shù)據(jù)，利用CAD畫出西域文化博物館的建筑圖紙。

（4）對西域文化博物館進(jìn)行簡單的建模，要求全方位，多角度的展現(xiàn)西域文化博物館的立體結(jié)構(gòu)。

（5）在西域文化博物館的建模里貼上處理好的圖像，利用3ds Max的uv貼圖功能，將圖像放置在與博物館相應(yīng)的位置中，產(chǎn)生全景物。

5 結(jié)語

全景圖通過廣角的表現(xiàn)手段以及繪畫、相片、視頻、三維模型等形式，盡可能多表現(xiàn)出周圍的環(huán)境。360全景，即通過對專業(yè)相機捕捉整個場景的圖像信息或者使用建模軟件渲染過后的圖片，使用軟件進(jìn)行圖片拼合，并用專門的播放器進(jìn)行播放，即將平面照片或者計算機建模圖片變?yōu)?60度全觀，用于虛擬現(xiàn)實瀏覽，把二維的平面圖模擬成真實的三維空間，呈現(xiàn)給觀賞者。

形成全景圖的方法也用很多很多如：用相機直接拍攝自動生成全景圖、使用Photoshop軟件手動制作全景圖、使用特殊的軟件合成、簡單使用3ds Max進(jìn)行貼圖制作、使用3ds Max建模到處全景圖，等等。

在本次項目中，我們研究了每個方法以及嘗試，最終選定為利用3ds Max進(jìn)行簡單的建模然后把圖片貼入相應(yīng)的位置最后生成全景圖。

使用相機直接拍攝全景圖簡單方便當(dāng)場就可以生成全景圖，但是它也存在著一些硬性的條件；使用相機拍攝時必須要足夠的空間可以使相機進(jìn)行旋轉(zhuǎn)拍攝，拍攝空間也要足夠大才可以否則無法生成全景圖。因此拍攝環(huán)境有著很大的局限性。例如：①在山地環(huán)境，找不到平整的地面，那么久無法架設(shè)相機；②在長、寬比例不好的環(huán)境；胡同、狹長的房間等都不可以使用相機直接拍攝。

使用特殊的軟件合成全景圖使用起來也非常的方便快捷，將要合成的全景圖分散的圖片全部導(dǎo)入軟件，軟件會自動識別拍攝的照片的重疊點以及重疊部分。對重疊部分進(jìn)行刪除修改并利用多張圖片確定拍攝位置進(jìn)行合成全景圖，這樣省去的很多人力物力。但是軟件合成的全景圖會存在一些瑕疵。軟件本身并不會去掉照片中的不足之處，如果拍攝時有光線的影響生成的全景圖也會出現(xiàn)明顯的光線差別，使全景圖看起來不太協(xié)調(diào)。軟件對照片也存在著很大的要求，拍攝的照片必須是在一個點上，因此在采集照片時也對空間有著要求，雖然沒有相機直接生成的局限性大，但是還是存在。

利用Photoshop軟件生成全景圖有兩種方法。方法一，Photoshop自動合成全景圖，這和特殊軟件合成是一個原理局限性也差不多。方法二，純手動制作全景圖，對所有圖片進(jìn)行優(yōu)化處理然后一點點合成最終合成全景圖，但是，要有高深的PS技術(shù)才能實現(xiàn)并對地理環(huán)境要非常的熟悉。

簡單的利用3ds Max建模進(jìn)行貼圖并使用VR相機進(jìn)行拍攝，最終渲染出全景圖。這個學(xué)起來方便快捷，但是使用的技術(shù)方面比較廣，很多技術(shù)都要涉及但都不要太高深的學(xué)習(xí)。要用到Photoshop、CAD等軟件進(jìn)行幫助才能夠進(jìn)行。全景圖渲染出來的效果也不是非常的好，因為所有的圖片都是經(jīng)過二次處理效果看上去就不會很好了。首先是使用真實的相機進(jìn)行拍攝，然后對圖片進(jìn)行修改，在進(jìn)行貼圖，最后在利用VR虛擬相機進(jìn)行拍攝，這樣全景圖的真實感就會降低。

利用3ds Max建模生成全景圖，會給人特別真實的感覺就好像你肉眼看到的一模一樣，但是3ds Max建模對3ds Max技術(shù)有很大的要求。首先要高深的建模技術(shù)，因為每個物體都有自己的特點。對建模就有這很高的要求例如：西域文化博物館中有一個小閣樓的模型，要對它進(jìn)行建模就要了解它的比例材質(zhì)等要素，這就要有很深的美術(shù)功底作為支撐。因此，3ds Max建模對技術(shù)有這很大的需求。

本次項目通過對以上的方法進(jìn)行試驗和研究最終采取的是3ds Max簡單建模進(jìn)行貼圖生成全景圖。以為西域文化博物館的每個展廳的建造不同，房間的比例不同，有空間很大的展廳，也有空間很小的展廳，有四四方方很適合直接拍攝成全景圖的房間，也有狹長的房間，這樣對全景圖的制作帶來了很大的困難。技術(shù)上也存在著很高要求的限制等。本次項目嘗試了以上所有的方法，最終確定利用3ds Max簡單建模進(jìn)行貼圖這個方法完成本次項目西域文化博物館全景圖像拼接。

6 展望

在此次大學(xué)生創(chuàng)新創(chuàng)業(yè)中，對于全景圖像也有了一定的理解和成果，在全景圖像的拼接與實現(xiàn)中所運用的知識幾乎涵蓋了圖像領(lǐng)域和虛擬現(xiàn)實中的各個方法。但對于整個圖像和虛擬現(xiàn)實領(lǐng)域中，此次項目所運用到的方法以及算法只能算是皮毛而已，我們站在巨人的肩膀上，目前，作為一名大學(xué)生，所接觸到的，都是前人總結(jié)并提出的設(shè)想與理論，隨著，科技的發(fā)展，一些看似遙不可及的東西，正在被逐步的實現(xiàn)。

在此次項目中，由于個人能力的不足，以及學(xué)業(yè)上壓力，對于許多問題還沒有徹底的理解與消化。

但筆者認(rèn)為，在科技如此飛速發(fā)展的當(dāng)今時代，全景圖像已被廣泛運用于虛擬現(xiàn)實，計算機視覺等領(lǐng)域，不久的將來，全景圖像會被更加廣泛地運用。