張鐘海 管林杰
摘要:目前,人工巡查、自動(dòng)監(jiān)測(cè)站、無(wú)人機(jī)、衛(wèi)星遙感等監(jiān)測(cè)手段已廣泛應(yīng)用于河湖岸線監(jiān)管業(yè)務(wù),但這些成果數(shù)據(jù)的展示與管理仍存在展示形式單一、不能反映岸線真實(shí)場(chǎng)景、無(wú)法掌控岸線全局等問(wèn)題。為提升監(jiān)測(cè)數(shù)據(jù)管理能力,提出了一種數(shù)字孿生系統(tǒng),通過(guò)無(wú)人機(jī)獲取河道及其岸線的全景圖及全景視頻,并結(jié)合VR技術(shù),實(shí)現(xiàn)水域岸線監(jiān)管,提供VR全景下的岸線綜合展示、實(shí)時(shí)監(jiān)測(cè)、遠(yuǎn)程控制、模擬仿真等功能,并實(shí)現(xiàn)室內(nèi)無(wú)人機(jī)視角下的水域岸線虛擬巡查,有效解決真實(shí)場(chǎng)景大范圍、廣視角下的監(jiān)管難題。研究成果可應(yīng)用于河湖長(zhǎng)制巡河、岸線監(jiān)管等水利業(yè)務(wù)中。
關(guān)鍵詞:水域; 岸線監(jiān)管; 無(wú)人機(jī); 全景VR; 數(shù)字孿生
中圖法分類號(hào):P237 文獻(xiàn)標(biāo)志碼:A DOI:10.15974/j.cnki.slsdkb.2022.01.019
文章編號(hào):1006 - 0081(2022)01 - 0102 - 05
0 引 言
水域岸線是指河流(湖泊)兩側(cè)(周邊)水路邊界一定范圍內(nèi)的帶狀區(qū)域,具有行洪調(diào)蓄、維護(hù)河流健康和土地利用等屬性[1]。在河長(zhǎng)制建設(shè)中,中國(guó)明確提出了要加強(qiáng)河湖水域岸線的管理保護(hù),加強(qiáng)岸線監(jiān)管、建立河湖日常監(jiān)管巡查制度等工作要求[2]。岸線監(jiān)管存在點(diǎn)多、面廣、工作量大的特點(diǎn),是一項(xiàng)復(fù)雜的系統(tǒng)工程[3]。當(dāng)前,除了傳統(tǒng)的人工巡查、自動(dòng)監(jiān)測(cè)站外,衛(wèi)星遙感[4]、無(wú)人機(jī)[5]等監(jiān)測(cè)手段也越來(lái)越普及,這些措施大大提高了岸線監(jiān)測(cè)效率。但目前對(duì)這些監(jiān)測(cè)數(shù)據(jù)的管理仍停留在地圖展示及圖表管理階段,且存在展示形式單一、不能反映岸線真實(shí)場(chǎng)景、無(wú)法掌控岸線全局等缺點(diǎn)。在應(yīng)用系統(tǒng)中克服這些缺陷具有重要的現(xiàn)實(shí)意義。當(dāng)前,數(shù)字孿生作為解決虛實(shí)之間雙向映射、動(dòng)態(tài)交互、實(shí)時(shí)連接的新技術(shù),備受社會(huì)各界的廣泛關(guān)注[6],因此,本文提出通過(guò)無(wú)人機(jī)采集岸線的全景圖及全景視頻,并結(jié)合VR技術(shù),構(gòu)建了水域岸線監(jiān)管的數(shù)字孿生系統(tǒng)。該系統(tǒng)提供岸線全景VR場(chǎng)景下的涉水要素疊加展示、交互查詢、實(shí)時(shí)監(jiān)測(cè)、遠(yuǎn)程控制、模擬仿真等功能,能夠?qū)崿F(xiàn)河湖水域岸線的數(shù)字孿生管理,滿足水行政管理部門(mén)水域岸線監(jiān)管需求[7]。
1 系統(tǒng)總體設(shè)計(jì)
1.1 設(shè)計(jì)思路
首先使用無(wú)人機(jī)搭載的高清攝像機(jī)或全景視頻攝影機(jī)沿著河湖岸線進(jìn)行航拍,再經(jīng)過(guò)勻光調(diào)色、圖形拼接等操作后,制作完成河湖水域岸線的無(wú)人機(jī)全景場(chǎng)景[8]。通過(guò)Web端的全景組件,實(shí)現(xiàn)無(wú)人機(jī)全景圖及全景視頻的瀏覽與管理,并在這些河湖水域岸線場(chǎng)景下,疊加河湖岸線數(shù)據(jù)、涉水工程分布、前端感知設(shè)備分布、涉水問(wèn)題分布等空間信息,同時(shí)結(jié)合VR眼鏡或頭盔,在無(wú)人機(jī)VR全景下,進(jìn)行各涉水要素的基本信息、實(shí)時(shí)信息、告警信息等的查詢、展示、地圖互操作,以及對(duì)數(shù)字孿生體的遠(yuǎn)程控制、模擬仿真等功能,實(shí)現(xiàn)河湖水域岸線的數(shù)字孿生管理,可應(yīng)用于河湖長(zhǎng)制巡河、岸線監(jiān)管等水利業(yè)務(wù)中。
1.2 總體架構(gòu)設(shè)計(jì)
系統(tǒng)的總體架構(gòu)從邏輯上可分為6層,從下至上依次為物聯(lián)感知層、基礎(chǔ)設(shè)施層、數(shù)據(jù)資源層、業(yè)務(wù)應(yīng)用層、展示層、用戶層,如圖1所示。
(1) 物聯(lián)感知層。運(yùn)用物聯(lián)網(wǎng)技術(shù),通過(guò)接入河湖水域岸線關(guān)聯(lián)的雨量站、水位站、流量計(jì)、水質(zhì)站、視頻監(jiān)測(cè)站等感知設(shè)備,實(shí)現(xiàn)水雨情實(shí)時(shí)監(jiān)測(cè)、水質(zhì)實(shí)時(shí)監(jiān)測(cè)、視頻實(shí)時(shí)監(jiān)控。同時(shí),利用無(wú)人機(jī)搭載高清攝像機(jī)或全景視頻攝影機(jī),獲取岸線的全景圖及全景視頻,為上層服務(wù)提供基礎(chǔ)數(shù)據(jù)資源。
(2) 基礎(chǔ)設(shè)施層。為系統(tǒng)提供網(wǎng)絡(luò)及硬件環(huán)境支撐,主要包括互聯(lián)網(wǎng)、4G網(wǎng)絡(luò)、自建專網(wǎng)等通信鏈路,以及顯示器、服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備(路由器、交換機(jī)等)、安全設(shè)備(防火墻、安全審計(jì)等)等硬件設(shè)備。
(3) 數(shù)據(jù)資源層。為系統(tǒng)提供數(shù)據(jù)存儲(chǔ)及管理服務(wù),包括無(wú)人機(jī)全景數(shù)據(jù)、基礎(chǔ)地理數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)和告警數(shù)據(jù)等。其中,無(wú)人機(jī)全景數(shù)據(jù)包括無(wú)人機(jī)全景圖和全景視頻,主要由無(wú)人機(jī)搭載的攝像頭獲取;基礎(chǔ)地理數(shù)據(jù)包括岸線、涉水工程、前端感知設(shè)備、涉水問(wèn)題等內(nèi)容;業(yè)務(wù)數(shù)據(jù)指涉水工程、涉水問(wèn)題等基本信息和詳情信息,如問(wèn)題的描述、處置過(guò)程、結(jié)果等;實(shí)時(shí)數(shù)據(jù)由前端的感知設(shè)備采集,當(dāng)設(shè)備的監(jiān)測(cè)值超過(guò)預(yù)設(shè)的告警閾值時(shí),系統(tǒng)將產(chǎn)生告警信息。
(4) 業(yè)務(wù)應(yīng)用層。提供系統(tǒng)的主要業(yè)務(wù)應(yīng)用,通過(guò)無(wú)人機(jī)全景場(chǎng)景,結(jié)合VR和數(shù)字孿生技術(shù),實(shí)現(xiàn)全景VR場(chǎng)景管理、岸線綜合展示、實(shí)時(shí)監(jiān)測(cè)、軌跡地圖聯(lián)動(dòng)、遠(yuǎn)程控制、模擬仿真等功能。
(5) 展示層。通過(guò)Web端瀏覽器向用戶展示系統(tǒng)的各項(xiàng)功能,同時(shí)可結(jié)合VR眼鏡或頭盔等設(shè)備,實(shí)現(xiàn)岸線虛擬場(chǎng)景中的數(shù)據(jù)瀏覽與查詢。
(6) 用戶層。系統(tǒng)主要面向涉水管理部門(mén)進(jìn)行日常岸線監(jiān)管,指揮決策人員進(jìn)行全局概覽以把控河湖岸線總體情況,并可供外部體驗(yàn)人員進(jìn)行VR體驗(yàn)參觀。
2 無(wú)人機(jī)全景
2.1 無(wú)人機(jī)全景圖采集
無(wú)人機(jī)航拍前,需要對(duì)飛行器進(jìn)行調(diào)試,確認(rèn)飛機(jī)是否能正常起飛、電池和備用電池電量情況、拍攝地點(diǎn)天氣是否良好以及地形地貌情況、是否存在禁飛(如國(guó)家軍事區(qū)、機(jī)場(chǎng)周圍、變電站信號(hào)干擾)等安全因素[9]。
無(wú)人機(jī)起飛拍攝后,飛行高度盡量維持在50~120 m,也可視拍攝地情況而定,以拍攝畫(huà)質(zhì)清晰為宜。全景圖拍攝時(shí),一般要求:① 在水平方向上,攝像頭依次旋轉(zhuǎn)45°角連續(xù)拍攝8張照片,并保障相鄰2張照片有25%的重合角度;② 使攝像頭向下45°,依據(jù)水平方向的拍攝方法,再拍攝一圈8張照片;③ 使攝像頭再向下25°拍攝一圈4張照片;④ 攝像頭豎直向下拍攝1張照片。在拍攝過(guò)程中,需保持無(wú)人機(jī)定點(diǎn)懸停,即無(wú)人機(jī)位置不變,只旋轉(zhuǎn)無(wú)人機(jī)上的攝像頭拍攝角度。
若無(wú)人機(jī)上搭載的是包含上下兩個(gè)全景攝像頭的全景視頻攝影機(jī),則可用于采集現(xiàn)場(chǎng) 360°全景視頻,能保證視場(chǎng)的全方位覆蓋,并能夠?qū)崟r(shí)將上下兩個(gè)攝影機(jī)的圖像進(jìn)行無(wú)縫連接,形成完整的球形影像。
2.2 無(wú)人機(jī)全景場(chǎng)景制作
在獲取到無(wú)人機(jī)的全景圖后,需要用ptgui,Autopano Pro,hugin,Panorama Studio等軟件進(jìn)行全景場(chǎng)景制作,該過(guò)程可概括為勻光調(diào)色、圖形拼接、全景補(bǔ)天等步驟[10]。
(1) 勻光調(diào)色。為了讓采集到的影像盡可能接近現(xiàn)實(shí),更符合人眼觀賞需求,需要對(duì)拍攝的圖片進(jìn)行預(yù)處理操作,包括對(duì)圖片亮度、飽和度、對(duì)比度等參數(shù)的調(diào)整[11]。
(2) 圖形拼接。利用拼接軟件,可將每個(gè)拍攝點(diǎn)下的全景照片自動(dòng)拼接成全景圖像,然后通過(guò)人工瀏覽全景圖進(jìn)行檢查,對(duì)存在拼接裂縫處進(jìn)行手動(dòng)調(diào)整。
(3) 全景補(bǔ)天。普通的無(wú)人機(jī)攝像機(jī)沒(méi)有控制攝像頭仰角拍攝天空的部分,在拼接后的全景圖中天空會(huì)缺失一半,因此需要對(duì)全景圖的天空進(jìn)行填補(bǔ),填補(bǔ)的素材宜與拍攝地的天空相差不大,在拍攝地拍攝天空最佳。
3 系統(tǒng)功能
系統(tǒng)采用B/S架構(gòu),設(shè)計(jì)并實(shí)現(xiàn)了全景VR場(chǎng)景管理、岸線綜合展示、實(shí)時(shí)監(jiān)測(cè)、軌跡地圖聯(lián)動(dòng)、遠(yuǎn)程控制、模擬仿真等功能。系統(tǒng)采用的技術(shù)框架如圖2所示,后端開(kāi)發(fā)采用Springboot,MyBatis框架,前端開(kāi)發(fā)采用Vue.js,地圖組件使用Openlayer,全景VR組件使用Krpano[12],模擬仿真使用Three.js,數(shù)據(jù)庫(kù)采用Mysql,GIS平臺(tái)采用Geoserver。
3.1 全景VR場(chǎng)景管理
全景VR場(chǎng)景管理可提供對(duì)場(chǎng)景基本信息的新增、修改、查詢與刪除等操作,場(chǎng)景基本信息包括采集時(shí)間、單位、聯(lián)系人、關(guān)聯(lián)河流的名稱、巡查長(zhǎng)度和歷時(shí)等內(nèi)容。同時(shí),可通過(guò)Krpano實(shí)現(xiàn)對(duì)全景場(chǎng)景的展示與操作,包括一般模式和VR模式。其中,一般模式如圖3(a)所示,提供360°全景圖的上移、下移、左移、右移、放大、縮小、場(chǎng)景切換等操作;VR模式如圖3(b)所示,支持通過(guò)VR眼鏡或頭盔,讓用戶體驗(yàn)無(wú)人機(jī)視角下的虛擬巡河。
3.2 岸線綜合展示
岸線綜合展示支持在全景VR場(chǎng)景中集成了如表1所示的各類河湖岸線相關(guān)數(shù)據(jù),包括基礎(chǔ)數(shù)據(jù)、涉水工程、前端感知設(shè)備、涉水問(wèn)題等信息,提供涉河點(diǎn)、線、面要素在全景VR場(chǎng)景中的疊加展示,以及點(diǎn)擊查詢要素的基本信息等功能。
為快速在全景VR場(chǎng)景中定位到涉水工程、前端感知設(shè)備、涉水問(wèn)題、測(cè)站告警等要素的分布信息,系統(tǒng)還提供列表快速定位、鷹眼圖快速定位等功能。
(1) 列表快速定位。將岸線相關(guān)數(shù)據(jù)按類別進(jìn)行篩選,以表格形式展示每個(gè)類別的要素列表,通過(guò)點(diǎn)擊表格中的要素,可快速定位場(chǎng)景中的具體位置。
(2) 鷹眼圖快速定位。在全景VR場(chǎng)景中疊加鷹眼地圖,通過(guò)地圖展示各要素的空間分布,點(diǎn)擊地圖上的要素,可快速定位場(chǎng)景中的具體位置。
3.3 實(shí)時(shí)監(jiān)測(cè)
全景VR場(chǎng)景中集成的前端感知設(shè)備,除了可展示前端感知設(shè)備的基本信息外,還可對(duì)測(cè)站實(shí)時(shí)采集的數(shù)據(jù)進(jìn)行管理,包括實(shí)時(shí)監(jiān)測(cè)信息和監(jiān)測(cè)告警信息,如圖4所示。
(1) 實(shí)時(shí)監(jiān)測(cè)信息。提供對(duì)各類前端感知設(shè)備實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)的展示、查詢等功能。其中,雨量、水位、流量、水質(zhì)等測(cè)站實(shí)時(shí)監(jiān)測(cè)值以圖表形式展示,可查詢每個(gè)監(jiān)測(cè)指標(biāo)的歷史變化趨勢(shì),并提供圖表統(tǒng)計(jì)、結(jié)果導(dǎo)出等功能;而視頻站則可提供實(shí)時(shí)視頻查看,以及歷史視頻回放、視頻截圖等功能。
(2) 監(jiān)測(cè)告警信息。系統(tǒng)可根據(jù)每個(gè)測(cè)站預(yù)設(shè)的告警閾值,在超過(guò)該值時(shí),自動(dòng)提醒系統(tǒng)用戶。
3.4 軌跡地圖聯(lián)動(dòng)
軌跡地圖聯(lián)動(dòng)利用GIS技術(shù)實(shí)現(xiàn)在二維地圖上實(shí)現(xiàn)無(wú)人機(jī)視頻與巡河軌跡展示的精準(zhǔn)聯(lián)動(dòng),如圖5所示,它以左右屏幕分別展示地圖和無(wú)人機(jī)巡查視頻畫(huà)面,地圖可展示當(dāng)前視頻所在的地理位置,且兩者間可實(shí)現(xiàn)相互聯(lián)動(dòng)效果。
(1) 軌跡交互。左側(cè)在地圖上展示軌跡的播放動(dòng)畫(huà),用戶可在軌跡上通過(guò)點(diǎn)擊獲取當(dāng)前點(diǎn)擊處的視頻畫(huà)面,也可通過(guò)拖動(dòng)軌跡上的無(wú)人機(jī)圖標(biāo),實(shí)現(xiàn)視頻的跟蹤播放,視頻進(jìn)度會(huì)根據(jù)地圖軌跡聯(lián)動(dòng)。
(2) 視頻交互。右側(cè)展現(xiàn)無(wú)人機(jī)巡河視頻,用戶可播放、暫停、放大及下載當(dāng)前視頻,可查看視頻時(shí)長(zhǎng)、類型、播放時(shí)間、進(jìn)度等信息。同時(shí),用戶可以通過(guò)點(diǎn)擊或拖動(dòng)視頻進(jìn)度條,來(lái)控制視頻播放與左側(cè)軌跡的實(shí)時(shí)聯(lián)動(dòng),可直觀地了解當(dāng)前巡河視頻幀所在的地理位置。
3.5 遠(yuǎn)程控制
遠(yuǎn)程控制是通過(guò)VPN專線,對(duì)物聯(lián)網(wǎng)設(shè)備進(jìn)行遠(yuǎn)程操控,實(shí)現(xiàn)對(duì)水域岸線數(shù)字孿生體的反向控制,形成數(shù)字孿生的物聯(lián)感知操控能力。系統(tǒng)的遠(yuǎn)程控制主要包括對(duì)遠(yuǎn)程視頻云臺(tái)的操控和水閘遠(yuǎn)程控制。
(1) 遠(yuǎn)程視頻云臺(tái)操控。云臺(tái)是一種可用于支持?jǐn)z像機(jī)實(shí)現(xiàn)水平和垂直方向運(yùn)動(dòng)的工作臺(tái),通過(guò)視頻基礎(chǔ)軟件平臺(tái),可在全景VR場(chǎng)景中實(shí)現(xiàn)遠(yuǎn)程視頻的上移、下移、左移、右移、攝像頭變焦等操控。
(2) 水閘遠(yuǎn)程控制。通過(guò)閘站PLC可對(duì)水閘的閘門(mén)開(kāi)度進(jìn)行遠(yuǎn)程控制,從而實(shí)現(xiàn)對(duì)水閘啟閉機(jī)的有效調(diào)度。
3.6 仿真模擬
仿真模擬推演能力是數(shù)字孿生技術(shù)的核心能力,它通過(guò)孿生體建模、事態(tài)擬合,可對(duì)特定事件進(jìn)行評(píng)估、計(jì)算、推演。系統(tǒng)借助Three.js圖形庫(kù)加載三維水閘模型,并融合到Krpano組件中,可在全景VR場(chǎng)景中實(shí)現(xiàn)對(duì)水閘的模擬仿真,如模擬水閘的啟閉、開(kāi)度等狀態(tài)及過(guò)程,如圖6所示。
4 結(jié) 語(yǔ)
本研究以無(wú)人機(jī)采集的岸線全景圖及全景視頻為基礎(chǔ)數(shù)據(jù),結(jié)合VR技術(shù),在系統(tǒng)中實(shí)現(xiàn)全景VR場(chǎng)景的展示,構(gòu)建水域岸線數(shù)字孿生場(chǎng)景;同時(shí),在場(chǎng)景中疊加河湖岸線、涉水工程、前端感知設(shè)備、涉水問(wèn)題等空間數(shù)據(jù),向用戶提供各要素基本信息、實(shí)時(shí)信息、告警信息的查詢、展示、地圖互操作以及對(duì)數(shù)字孿生體的遠(yuǎn)程控制、模擬仿真等功能,實(shí)現(xiàn)河湖水域岸線的數(shù)字孿生管理。本研究在河湖長(zhǎng)制巡河、岸線監(jiān)管等水利業(yè)務(wù)中,能有效解決大范圍、廣視角下的監(jiān)管難題,滿足岸線全景虛擬巡查、全局掌控的需求。
參考文獻(xiàn):
[1] 張瑞美, 陳獻(xiàn), 張獻(xiàn)鋒, 等. 我國(guó)河湖水域岸線管理現(xiàn)狀及現(xiàn)行法規(guī)分析——河湖水域岸線管理的法律制度建設(shè)研究之一[J]. 水利發(fā)展研究,2013,13(2):28-31.
[2] 郭寶麗. 關(guān)于全面推行河長(zhǎng)制的意見(jiàn)[J] .內(nèi)蒙古水利, 2017(1): 3-4.
[3] 金晶, 孫昱昌, 王志林, 等. 河湖岸線監(jiān)測(cè)管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 江蘇水利, 2020(5): 59-63.
[4] 崔倩, 陳德清. 遙感技術(shù)支撐河湖監(jiān)管典型案例分析[J]. 水利信息化, 2020(2): 9-13.
[5] 金晶, 龐亞威, 溫旋, 等. 無(wú)人機(jī)遙感技術(shù)在河湖岸線監(jiān)管中的應(yīng)用研究[J]. 科技創(chuàng)新與應(yīng)用, 2020(14):175-176.
[6] 陶飛, 張賀, 戚慶林, 等. 數(shù)字孿生十問(wèn):分析與思考[J]. 計(jì)算機(jī)集成制造系統(tǒng), 2020, 26(1): 1-17.
[7] 蔣亞?wèn)|, 石焱文. 數(shù)字孿生技術(shù)在水利工程運(yùn)行管理中的應(yīng)用[J]. 科技通報(bào), 2019, 35(11): 5-9.
[8] 余建軍, 徐攻博, 郭望成, 等. 天地一體全景影像快速獲取與應(yīng)用技術(shù)[J]. 測(cè)繪通報(bào), 2017(7): 103-107.
[9] 陳靜. 基于無(wú)人機(jī)的室外全景漫游地圖設(shè)計(jì)與實(shí)現(xiàn)[J]. 物聯(lián)網(wǎng)技術(shù), 2019,9(1): 103-104, 107.
[10] 李韻. 淺談航拍攝影中全景圖片拍攝與制作[J]. 長(zhǎng)江叢刊, 2017(19): 138-139.
[11] 張玲,付克蘭,任華,等. 基于全景圖的校園虛擬漫游系統(tǒng)設(shè)計(jì)[J]. 電子技術(shù)與軟件工程,2016(2):98-99.
[12] 杭永沖, 洪祎晨. 基于krpano的校園全景VR漫游系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 現(xiàn)代計(jì)算機(jī)(專業(yè)版), 2017(25): 57-61.
(編輯:高小雲(yún))
Research on a digital twin system for shoreline supervision based
on drone panoramic VR
ZHANG Zhonghai1,2, GUAN Linjie1,2
(1. Changjiang Survey, Planning, Design and Research Co., Ltd., Wuhan 430010, China; 2. Changjiang Spatial Information Technology Company, Wuhan 430010, China)
Abstract: At present, monitoring methods such as manual inspections, automatic monitoring stations, unmanned aerial vehicles and satellite remote sensing have been widely used in the supervision of river and lake shorelines. However, there are still some problems in display and management of these achievements' data, such as the single display form, inability to reflect the real scene of the shoreline, and inability to control the overall situation of the shoreline. In order to improve the monitoring data management capabilities, a digital twin system is proposed. Drones are used to obtain panoramic images and panoramic videos of river and its shoreline, and VR technology is combined to build this system for waters shoreline supervision. This system provides functions such as comprehensive shoreline display, real-time monitoring, remote control, and simulation in the panoramic VR scene, and can realize the virtual inspection of the waters shoreline from the indoor drone's perspective. It can effectively solve the supervision problems in a wide range of real scenes and a wide angle of view. The results can be applied in water conservancy businesses such as tour check and shoreline supervision of rivers and lakes in implement of river chief system.
Key words: waters; shoreline supervision; drone; panoramic VR; digital twin system