陳文龍,張 煜,葉 松,沈定濤,魏思奇

(長江科學(xué)院 空間信息技術(shù)應(yīng)用研究所，武漢 430010)

?

無人機全景技術(shù)在現(xiàn)場監(jiān)測中的應(yīng)用

陳文龍,張 煜,葉 松,沈定濤,魏思奇

(長江科學(xué)院 空間信息技術(shù)應(yīng)用研究所，武漢 430010)

現(xiàn)場監(jiān)測在科研和工程領(lǐng)域中都有著重要的作用，將新技術(shù)應(yīng)用于現(xiàn)場監(jiān)測，提高現(xiàn)場監(jiān)測的信息化和實用化水平是目前研究熱點。為此，將無人機全景技術(shù)應(yīng)用于現(xiàn)場監(jiān)測，構(gòu)建監(jiān)測環(huán)境的三維虛擬實景，在此基礎(chǔ)上利用計算機網(wǎng)絡(luò)，將其與傳感器集成起來，形成三維全景現(xiàn)場監(jiān)測平臺。該平臺能夠?qū)崿F(xiàn)現(xiàn)場的三維場景實時監(jiān)測，增強現(xiàn)場監(jiān)測系統(tǒng)的用戶體驗效果，證明了無人機全景技術(shù)在現(xiàn)場監(jiān)測的應(yīng)用潛力。

三維全景；無人機；現(xiàn)場監(jiān)測；BS系統(tǒng)；移動平臺；遠程數(shù)據(jù)采集

1 研究背景

在生態(tài)保護、工程建設(shè)、環(huán)境科學(xué)研究等領(lǐng)域，現(xiàn)場監(jiān)測都有著提供實時數(shù)據(jù)、輔助問題診斷和決策支持的作用，隨著計算機和網(wǎng)絡(luò)技術(shù)的發(fā)展，現(xiàn)場監(jiān)測開始逐漸利用傳感器、視頻監(jiān)控、衛(wèi)星航空遙感等技術(shù)來提升監(jiān)測手段[1-3]。目前，采用這些新技術(shù)的遠程現(xiàn)場監(jiān)測系統(tǒng)已經(jīng)成為現(xiàn)場監(jiān)測研究和應(yīng)用的熱點，這種監(jiān)測系統(tǒng)集成多種監(jiān)測技術(shù)，將實際現(xiàn)場采集的目標(biāo)數(shù)據(jù)經(jīng)計算機網(wǎng)絡(luò)傳輸至遠程信息中心，并通過計算機系統(tǒng)分析處理后將監(jiān)測數(shù)據(jù)和分析結(jié)果呈現(xiàn)給監(jiān)測人員。

全景技術(shù)是一種基于圖像的建模與渲染技術(shù)(IBMR)，其在空間一點連續(xù)采集視野范圍上的圖像，經(jīng)過處理形成該視點的無縫隙全景圖像，并利用全景顯示引擎在計算機上模擬從視點任意角度觀察的三維虛擬場景[4]。這種三維虛擬場景實現(xiàn)方式采集的是視點所見的真實影像，能夠準(zhǔn)確地反映現(xiàn)場實際情況，且無需對視野中場景進行具體的建模，是一種偽3D的效果[5]。所以場景繪制只與采集的分辨率有關(guān)，具有渲染效果逼真、硬件要求低、傳輸繪制速度快的優(yōu)勢。如果能與傳感器、計算機網(wǎng)絡(luò)等集合起來，就能形成監(jiān)測現(xiàn)場的三維場景實時監(jiān)測，大大增強現(xiàn)場監(jiān)測系統(tǒng)的用戶體驗效果。全景影像的采集方式具有多種，但比較常見多的是采用全景專業(yè)攝像器材拍攝若干張照片后再進行拼接，過程比較繁瑣。

本文利用無人機進行現(xiàn)場影像的快速采集，并結(jié)合監(jiān)測傳感器設(shè)備，構(gòu)建現(xiàn)場監(jiān)測的多平臺應(yīng)用系統(tǒng)方案，實現(xiàn)三維場景的實時現(xiàn)場監(jiān)測。

2 無人機全景技術(shù)的實現(xiàn)

2.1 全景影像數(shù)據(jù)的采集

全景瀏覽的基礎(chǔ)是全景圖像，全景圖像的制作前提是采集現(xiàn)場環(huán)境相應(yīng)的影像數(shù)據(jù)，目前比較常用的采集手段包括：①使用全景云臺等專業(yè)設(shè)備直接采集全景圖像；②采用普通相機重疊拍攝多張普通相片，以供后期拼接成全景圖像[6]。上述數(shù)據(jù)采集手段存在的問題是步驟較多，時間較長，采集過程有一定的拍攝要求，而且全景云臺和相機都存在拍攝盲點，設(shè)備下方采集的圖像畸變也較大，難以滿足現(xiàn)場監(jiān)測快速采集數(shù)據(jù)和全面反映環(huán)境情況的要求。

無人機航攝技術(shù)是將無人小型飛行器作為采集平臺，搭載高分辨率影像采集系統(tǒng)獲取航片的影像數(shù)據(jù)，具有工作時間長、采集方便靈活、成本低、精度高的特點[7]。目前無人機平臺的類型按照構(gòu)型大致可以分為大型固定翼無人機、大型旋翼無人機和小型旋翼無人機等，小型旋翼無人機主要用于小范圍高精度航拍影像的采集，而且操縱簡單、拍攝姿態(tài)比較穩(wěn)定，所以非常適合用于全景圖像的數(shù)據(jù)采集。本文主要的全景數(shù)據(jù)采集手段就是利用小型旋翼無人機來實現(xiàn)的。在視點上方一定高度懸停無人機，根據(jù)視野范圍旋轉(zhuǎn)鏡頭進行拍攝，每次旋轉(zhuǎn)保證航片一定程度的重合度，旋轉(zhuǎn)360°便獲得視點觀察范圍內(nèi)的所有地物及地貌影像(圖1)，這種基于無人機的全景圖像采集方式可以在短時間內(nèi)采集完所需數(shù)據(jù)，而且圖像清晰、作業(yè)步驟簡單，且視點正下方的影像也可同時完整采集，不存在關(guān)鍵拍攝盲點。

圖1 無人機采集現(xiàn)場環(huán)境影像Fig.1 Images of field environment obtained by UAV(unmanned aerial vehicle)

2.2 平面全景圖像的制作

全景圖的實現(xiàn)方式其實就是將視野范圍內(nèi)的影像照片投影到以視點為中心的投影面上，為了實現(xiàn)影像的正確投影和平滑過渡，需要將無人機上所采集的航拍照片數(shù)據(jù)拼接融合生成為360°平面全景圖像。

平面全景圖像制作首先是航拍照片的拼接，由于相鄰航片之間有一定程度的重合區(qū)域，可以根據(jù)之間的相同特征進行拼接。本文采用SIFT特征點法對航片進行特征描述，建立相鄰圖像之間的特征點對應(yīng)關(guān)系，然后將圖像旋轉(zhuǎn)、扭曲和偏移實現(xiàn)相鄰圖像相同區(qū)域的無縫像素拼接[8]，這樣兩兩拼接直到拼接完所有航片生成全視野的平面全景圖像。在此基礎(chǔ)上，還要對相鄰圖像接縫處的像素亮度和色調(diào)進行計算融合，消除明顯的圖片接縫線，使得平面全景圖像整體平滑真實，而且要對平面全景圖像上面的缺失區(qū)域(如部分天空)進行填充。完成拼接、融合和補缺這些步驟后，就得到了可用于全景瀏覽的基礎(chǔ)平面全景圖像(圖2)。

圖2 平面全景圖像Fig.2 Panoramic plane image

2.3 全景瀏覽的實現(xiàn)

根據(jù)全景瀏覽時視點投影面類型的不同，全景可以分為柱面全景和球面全景。柱面全景的投影面為圓柱面，而球面全景是將平面全景圖像投影在一個具有經(jīng)緯度的球面上，除了0°經(jīng)緯線外，其他位置的投影畫面會有一定程度的畸變，使得瀏覽觀測的水平以及垂直視角分布可以分別達到360°和180°，比較適用于大視角的全景觀察[9]，所以相比較柱面全景而言，球面全景更加適合應(yīng)用于現(xiàn)場監(jiān)測的應(yīng)用。

由于平面全景圖像的數(shù)據(jù)量一般較大，整體一次性加載渲染顯示會導(dǎo)致瀏覽不平滑、加載時間長的問題?？梢詫⑵矫嫒皥D像按照視野的觀測范圍，處理成不同分辨率的影像金字塔緩存[10]，這樣可以在大范圍內(nèi)加載粗分辨率的影像數(shù)據(jù)瀏覽，而過渡到局部位置時采用精細(xì)高清的影像顯示，既保證了瀏覽速度又能兼顧全景觀測的清晰程度。在對平面全景圖像進行完預(yù)處理后，利用球面全景顯示引擎加載平面全景圖的數(shù)據(jù)，可實現(xiàn)基于視點的全景瀏覽。

3 三維全景現(xiàn)場監(jiān)測平臺

現(xiàn)場監(jiān)測的任務(wù)不僅僅是現(xiàn)場環(huán)境的觀察，而且需要對現(xiàn)場各種監(jiān)測數(shù)據(jù)進行記錄和分析，以輔助監(jiān)測人員決策實施。本文在現(xiàn)場環(huán)境全景瀏覽的基礎(chǔ)上，結(jié)合自動觀測站設(shè)備，設(shè)計構(gòu)建三維全景現(xiàn)場監(jiān)測平臺，以實現(xiàn)現(xiàn)場環(huán)境的遠程監(jiān)測。

圖3 三維全景現(xiàn)場監(jiān)測平臺架構(gòu)示意圖Fig.3 Structure of 3D panoramic site monitoring platform

平臺采用B/S架構(gòu)，B/S架構(gòu)作為一種基于WEB技術(shù)的平臺模式，數(shù)據(jù)的分析與存儲主要集中在服務(wù)端(Server)，而在客戶端只需要使用瀏覽器(Browser)就可以使用系統(tǒng)進行現(xiàn)場情況的監(jiān)測。整個架構(gòu)分為3個層次，分別為數(shù)據(jù)層、業(yè)務(wù)層和表現(xiàn)層(圖3)。數(shù)據(jù)層是平臺的數(shù)據(jù)收集和存儲中心，平臺在現(xiàn)場環(huán)境的關(guān)鍵位置布設(shè)有一定數(shù)量的自動采集站，采集站會在一定時間間隔內(nèi)自動采集所需監(jiān)測數(shù)據(jù)，通過無線或者有線網(wǎng)絡(luò)傳輸?shù)狡脚_數(shù)據(jù)層的數(shù)據(jù)庫中，實現(xiàn)數(shù)據(jù)的自動采集。數(shù)據(jù)層除了采集監(jiān)測業(yè)務(wù)數(shù)據(jù)外，還存儲有全景影像、系統(tǒng)的配置信息、用戶信息等數(shù)據(jù)。監(jiān)測平臺的全景瀏覽引擎以及監(jiān)測數(shù)據(jù)處理模塊集中在平臺業(yè)務(wù)層，根據(jù)用戶的遠程請求，全景瀏覽引擎加載用戶興趣區(qū)域的全景并為客戶端瀏覽器提供全景瀏覽的功能，同時向數(shù)據(jù)層提取所需的監(jiān)測數(shù)據(jù)，處理后再返回至客戶端。表現(xiàn)層則是現(xiàn)場監(jiān)測平臺在用戶瀏覽器中的具體實現(xiàn)，全景瀏覽畫面以及具體的監(jiān)測數(shù)據(jù)都是在表現(xiàn)層中通過合適的渲染方式最終展現(xiàn)給用戶，以滿足用戶在遠程下全景瀏覽現(xiàn)場監(jiān)測的要求。

圖4 三維全景現(xiàn)場監(jiān)測平臺Fig.4 Platform of 3D panoramic site monitoring

采用3層架構(gòu)實現(xiàn)的WEB三維全景現(xiàn)場監(jiān)測平臺，可以實現(xiàn)現(xiàn)場環(huán)境的三維景觀瀏覽、自動觀測站數(shù)據(jù)的多形式展示與查詢(圖4)，并且能夠在PC、手機、平板等多平臺下遠程使用(圖5)，能夠滿足管理人員對于現(xiàn)場監(jiān)測應(yīng)用的需求。

圖5 移動端使用三維全景現(xiàn)場監(jiān)測平臺Fig.5 Platform of 3D panoramic site monitoring on mobile

4 結(jié) 論

現(xiàn)場監(jiān)測要求監(jiān)測人員充分了解現(xiàn)場的具體環(huán)境情況，并能時刻觀察到監(jiān)測數(shù)據(jù)從而做出分析判斷，傳統(tǒng)的現(xiàn)場監(jiān)測方式通常需要人員到現(xiàn)場記錄數(shù)據(jù)，或者只能傳輸原始數(shù)據(jù)到遠程數(shù)據(jù)中心，難以對現(xiàn)場情況有直觀且清楚的認(rèn)識。

本文利用無人機全景技術(shù)以及網(wǎng)絡(luò)計算機技術(shù)等，構(gòu)建從數(shù)據(jù)采集到結(jié)果綜合展示的三維場景實時監(jiān)測方案：無人機全景技術(shù)能夠真實還原現(xiàn)場的具體環(huán)境，提供監(jiān)測人員實景般的用戶體驗，并能在監(jiān)測區(qū)域內(nèi)自由移動，任意查看；網(wǎng)絡(luò)計算機技術(shù)則將監(jiān)測數(shù)據(jù)與三維場景相結(jié)合，以多種方式把監(jiān)測數(shù)據(jù)展示給監(jiān)測人員，實現(xiàn)了在虛擬三維環(huán)境中動態(tài)觀察現(xiàn)場情況，極大地提高了遠程現(xiàn)場監(jiān)測的用戶體驗，有利于輔助監(jiān)測人員進行分析決策。

綜上所述，將無人機全景技術(shù)應(yīng)用于現(xiàn)場監(jiān)測，能提高現(xiàn)場監(jiān)測的信息化水平，增強現(xiàn)場監(jiān)測系統(tǒng)的使用效果，為現(xiàn)場監(jiān)測技術(shù)的發(fā)展提供新的思路。

[1] 趙起越，白俊松. 國內(nèi)外環(huán)境應(yīng)急監(jiān)測技術(shù)現(xiàn)狀及發(fā)展[J]. 安全與環(huán)境工程, 2006，13(3):13-16.

[2] 李學(xué)哲，羅建國，宮新勇，等. 基于無線傳感器網(wǎng)絡(luò)的巷道支護智能監(jiān)測系統(tǒng)研究[J]. 華北科技學(xué)院學(xué)報, 2015，(5): 60-63.

[3] 龐長英, 侯讀杰，連軍利. 天然氣中硫化氫現(xiàn)場監(jiān)測技術(shù)研究[J]. 石油天然氣學(xué)報, 2010，(2):142-143.

[4] 郭長青，曹 芳. 三維全景技術(shù)在旅游景區(qū)介紹中的應(yīng)用[J]. 地理空間信息, 2009，(1):46-48.

[5] 明 鏡,向 煜. 基于三維全景技術(shù)的高速公路設(shè)施采集與管理[J].城市勘測, 2016，(3): 5-11.

[6] 馮建平，吳麗華. 基于全景圖像的三維全景漫游系統(tǒng)的構(gòu)建[J]. 計算機與數(shù)字工程, 2013，41(1):115-117.

[7] 石 林，張志斌，湯喜春，等. 無人機技術(shù)在湖南省防汛抗旱工作中的探索與應(yīng)用[J].中國防汛抗旱, 2016，(3): 40-42.

[8] 李艷麗，向 輝. 穩(wěn)健的球面全景圖全自動生成算法[J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報, 2007，(11):1393-1398.

[9] 李曉輝, 周蔭清，王祖林. 基于曲面拼接的球面全景生成算法[J]. 北京航空航天大學(xué)學(xué)報, 2007，(6):668-671.

[10]李建勛，沈 冰，姜仁貴，等. 面向影像金字塔的四叉樹空間索引算法[J]. 計算機工程, 2011，(10):11-13.

(編輯：王 慰)

Application of UAV Panoramic Technologyto Site Monitoring

CHEN Wen-long, ZHANG Yu, YE Song, SHEN Ding-tao, WEI Si-qi

(Spatial Information Technology Application Department, Yangtze River Scientific Research Institute, Wuhan 430010, China)

Site monitoring plays an important role in scientific research and engineering fields. Improving the information level and practical level by applying new technology in site monitoring is currently a research hotspot. In this research, UAV (unmanned aerial vehicle) panoramic technology is applied to site monitoring to build a 3D virtual reality environment, which is integrated with monitor sensors to form a 3D panoramic site-monitoring platform using computer networks. On this platform, the 3D real-time monitoring is implemented and the user experience of site monitoring system is enhanced, which demonstrates the potential of UAV panoramic technology in site monitoring.

three-dimensional panorama technology; UAV; site monitoring; BS system; mobile platform; remote data acquisition

2016-08-20

國家自然科學(xué)基金青年基金項目(41501558)；云南省水利重大科技項目(CKSK2015852/KJ)

陳文龍(1989-)，男，四川綿陽人，碩士研究生，研究方向為空間信息技術(shù)，(電話)027-82926497(電子信箱)Cowerling@163.com。

張 煜(1971-)，男，湖北武漢人，高級工程師，博士，研究方向為攝影測量與遙感技術(shù)研究,(電話)027-62775940(電子信箱)zhangyu_1999.@hotmail.com。

10.11988/ckyyb.20160856

2016,33(11):89-92

TP317.4

A

1001-5485(2016)11-0089-04