鐘登華，王志寧，關(guān)?濤，王?棟，鄢玉玲

?

基于增強現(xiàn)實的心墻堆石壩施工進(jìn)度可視化仿真

鐘登華，王志寧，關(guān)?濤，王?棟，鄢玉玲

(天津大學(xué)水利工程仿真與安全國家重點實驗室，天津 300072)

目前心墻堆石壩施工過程可視化仿真研究多是基于施工仿真結(jié)果構(gòu)建的純虛擬三維可視化，其地形模型多根據(jù)前期勘測數(shù)據(jù)建立，其渲染消耗資源多且不易被修改，且與實際施工場景有很大差別．針對此問題，將增強現(xiàn)實技術(shù)(AR)引入水利水電工程施工仿真中，提出了基于增強現(xiàn)實的心墻堆石壩施工過程可視化仿真方法，該方法主要解決兩個方面的問題：如何利用虛擬相機的三維注冊技術(shù)解決虛擬場景與真實場景不處于同一空間的問題，以使可視化仿真具有動態(tài)時效性；如何通過視頻監(jiān)控獲取的三維場景信息與虛擬物體疊加，以解決傳統(tǒng)可視化仿真中地形模型占用過多資源的問題，并提高可視化仿真效率．結(jié)合西南某大型水利水電工程，利用AR技術(shù)對該工程的施工進(jìn)度仿真進(jìn)行可視化展示．首先在無需建立地形模型的情況下實現(xiàn)了施工仿真和施工現(xiàn)場的緊密結(jié)合；其次，基于web service的數(shù)據(jù)查詢和傳輸實現(xiàn)仿真成果的交互式動態(tài)三維場景查詢，同時通過基于硬件的增強現(xiàn)實方法以更少的資源消耗實現(xiàn)了更真實直觀的可視化仿真，為水利水電工程施工可視化仿真提供了新思路．

心墻堆石壩；增強現(xiàn)實技術(shù)；交互式動態(tài)三維場景；施工仿真；可視化

隨著水利水電行業(yè)的發(fā)展，我國心墻堆石壩工程規(guī)模越來越大，如在建的雅礱江兩河口心墻堆石壩(295,m)，大渡河雙江口心墻堆石壩(312,m)，擬建的300,m級瀾滄江如美心墻堆石壩等，這些工程建設(shè)規(guī)模大、工期長、施工強度大、施工高峰期長，因此施工進(jìn)度控制面臨嚴(yán)峻的挑戰(zhàn)．當(dāng)前計算機仿真技術(shù)已經(jīng)得到了廣泛應(yīng)用，為大型水利水電工程設(shè)計及建設(shè)提供了有效的進(jìn)度分析手段[1-4]．為了實現(xiàn)對仿真結(jié)果的有效分析，隨著施工進(jìn)度仿真技術(shù)的不斷進(jìn)步三維可視化仿真技術(shù)已成為仿真結(jié)果直觀分析表達(dá)的重要手段．

眾多國外學(xué)者利用三維環(huán)境進(jìn)行仿真分析以解決時間和空間沖突[5-7]，但是目前有關(guān)進(jìn)度控制三維可視化的研究多集中于土木工程[8-11]；在國內(nèi)，鐘登華[12]課題組率先對可視化仿真在水利水電工程中的應(yīng)用進(jìn)行了研究，并提出了可視化仿真的理論和方法，其實現(xiàn)方式主要基于GIS技術(shù)．胡程順等[13]利用VC++開發(fā)了基于GIS的三維展示軟件，將土石方調(diào)配的結(jié)果在三維空間中展示出來．鐘登華等[14]將土石方調(diào)配和土石壩施工過程仿真結(jié)合，提出了土石壩施工系統(tǒng)可視化仿真的概念，并利用GIS技術(shù)將大壩施工面貌進(jìn)行三維動態(tài)可視化輸出．劉寧等[15]對高心墻堆石壩交通仿真進(jìn)行研究，并對其仿真成果進(jìn)行交互式三維可視化展示，為交通仿真三維動態(tài)可視化分析提供了條件．鐘登華等[16]利用CATIA進(jìn)行堆石壩參數(shù)化建模并實現(xiàn)了施工動態(tài)可視化仿真．在施工過程相近的碾壓混凝土壩方向，鐘登華等[17]對倉面施工的精細(xì)化模擬進(jìn)行研究，并利用unity3D開發(fā)了碾壓混凝土施工倉面的精細(xì)化仿真程序．鐘登華等[18]針對瀝青混凝土心墻堆石壩的特點對其施工仿真進(jìn)行了研究，并開發(fā)了基于unity3D的可視化仿真系統(tǒng)．鐘登華等[19]對水電站廠房設(shè)備的相關(guān)信息在三維環(huán)境下進(jìn)行了統(tǒng)一管控，實現(xiàn)了水電站廠房設(shè)備信息的三維可視化交互式查詢．在相近研究方向，劉東海等[20]對截流工程進(jìn)行仿真分析并利用GIS平臺對仿真結(jié)果進(jìn)行了三維可視化展示．鐘登華等[21]設(shè)計了混凝土壩仿真與三維可視化的集成模式，實現(xiàn)了集界面可視化、計算過程與結(jié)果可視化和基于GIS的大壩上升過程三維動態(tài)可視化于一體的三維可視化系統(tǒng)．以上研究將可視化仿真理論與方法不斷完善，使其由單一的數(shù)據(jù)圖表到平面圖形，再到三維模型、可交互式動態(tài)三維場景，從而以更加友好、更加直觀的方式展示給管理者、決策者，使仿真計算更有效率地投入生產(chǎn)實踐．然而，目前相關(guān)研究仍然存在如下不足：①可視化仿真大都基于仿真計算結(jié)果并結(jié)合虛擬三維可視化成果進(jìn)行分析，同時在三維場景中地形、地物等均采用靜態(tài)信息進(jìn)行展現(xiàn)，因而難以體現(xiàn)真實場景中地形、地物的變化；②為準(zhǔn)確還原地形，故在建立地形模型的時候需要精細(xì)化劃分網(wǎng)格，從而導(dǎo)致地形模型占用較多的系統(tǒng)資源，增加了計算機的負(fù)荷．增強現(xiàn)實技術(shù)AR作為可交互式虛實結(jié)合的新興可視化技術(shù)可以有效解決以上問題．

增強現(xiàn)實(AR)[22]技術(shù)最早由Webster等[23]引入AEC(architecture，engineering，and construction)行業(yè)，其目的是解決將虛擬的物體帶入到真實的場景?中[24]，當(dāng)前已經(jīng)在ACE領(lǐng)域得到了廣泛的應(yīng)用[25]. Carozza等[26]利用平板電腦和內(nèi)嵌于平板電腦內(nèi)部的傳感器實現(xiàn)遮擋感知增強現(xiàn)實，將自動從項目數(shù)據(jù)庫中獲取的BIM模型融入城市環(huán)境，并在真實城市環(huán)境中完整地展示了管道系統(tǒng)等一些可視化結(jié)果．Haynes等[27]圍繞洪水淹沒場景討論了利用智能手機展示增強現(xiàn)實洪水場景，包括實時幾何建模、應(yīng)用程序操作和現(xiàn)場演示等，以教育警示民眾．Mcclean等[28]利用城市建筑物立面中大量平行線以及滅點在單幅二維圖像中生成三維平面，并以此為基準(zhǔn)融合三維圖形實現(xiàn)增強現(xiàn)實．其中，在施工進(jìn)度控制方面，Golparvar-Fard等[29-30]開發(fā)了一套進(jìn)度控制系統(tǒng)，實現(xiàn)了在真實施工場景中顯示各施工單元的進(jìn)度，同時可以自動檢測各施工單元進(jìn)度完成情況，按照計劃進(jìn)度的完成度用增強現(xiàn)實的方式以不同顏色顯示出來，但是由于該系統(tǒng)采用SfM(structure from motion)模型重建方法，將日常無序照片集生成增強現(xiàn)實圖片．此種方法耗時較長且生成的結(jié)果為靜態(tài)，因此不具備動態(tài)實時性．本文考慮到大型心墻堆石壩工程特點及實時性需求，采用動態(tài)實時差分全球定位系統(tǒng)(real-time kinematic difference-global positioning system，RTK-GPS)與慣性測量單元(inertial measurement unit，IMU)相結(jié)合的增強現(xiàn)實方式解決了以上問題，基于增強現(xiàn)實技術(shù)對心墻堆石壩施工可視化仿真研究包括：①增強現(xiàn)實是通過對虛擬相機的三維注冊以及顯示設(shè)備的顯示在真實的場景中直接顯示出虛擬的物體，并與真實場景很好地融合在一起，這使得虛擬的進(jìn)度模型可直接融合到真實場景中，兩者共同存在于一個空間，解決了虛擬模型與現(xiàn)場場景在不同空間的問題；②由于視頻碼流的解碼、渲染以及大壩模型的渲染相對于大范圍地形模型的渲染極大地降低了計算機資源的消耗，利用視頻監(jiān)控等技術(shù)在獲取的地形地物視頻信號中直接疊加虛擬物體、從而構(gòu)建三維場景，解決了地形地物模型的建立和渲染占用較多資源的問題．通過在我國西南某大型水利水電工程中仿真計算和增強現(xiàn)實的結(jié)合，實現(xiàn)了在真實施工場景中施工仿真進(jìn)度的實時動態(tài)展示，并通過與傳統(tǒng)可視化仿真的對比，驗證了基于增強現(xiàn)實的可視化仿真技術(shù)具有的優(yōu)越性．

1?基于增強現(xiàn)實的心墻堆石壩可視化仿真研究構(gòu)架

基于增強現(xiàn)實技術(shù)的施工進(jìn)度可視化仿真研究框架如圖1所示．基于增強現(xiàn)實的心墻堆石壩可視化仿真研究主要分為4個部分：相機三維坐標(biāo)和姿態(tài)的獲取及虛擬相機注冊、施工仿真計算、大壩模型的建立及處理、虛實融合以及信息交互．

第1步，建立大壩三維實體模型．根據(jù)大壩設(shè)計設(shè)計信息提取大壩三維尺寸，同時按照各分區(qū)以真實的大壩坐標(biāo)系建立大壩三維實體模型，并按照各個分區(qū)不同材質(zhì)對模型進(jìn)行材質(zhì)貼圖．

第2步，仿真計算．心墻堆石壩施工主要分為壩面施工和上壩運輸兩個子系統(tǒng)，根據(jù)施工組織設(shè)計的方案和各施工工序的銜接關(guān)系，采用CYCLONE (cycle operation network)技術(shù)對施工過程進(jìn)行描述，并用雙回路并行仿真對兩個子系統(tǒng)建立施工進(jìn)度仿真模型，其后對施工進(jìn)度進(jìn)行仿真計算，獲得仿真?數(shù)據(jù)．

第3步，獲取相機參數(shù)并注冊虛擬相機．利用固定在相機上的GPS和IMU傳感器，通過數(shù)傳技術(shù)，按照一定頻率將傳感器數(shù)據(jù)傳送到客戶端，客戶端解析并進(jìn)行卡爾曼濾波，同時獲取相機三維坐標(biāo)和姿態(tài)6個參數(shù)，實時注冊虛擬相機，從而獲取大壩模型圖像.

第4步，虛實融合及信息交互．通過將攝像機實時獲得真實場景圖像和虛擬相機注冊后獲得的大壩模型圖像以大壩模型成像像素點優(yōu)先顯示的原則進(jìn)行疊加實現(xiàn)虛實融合，由web service實現(xiàn)信息的交互式查詢并將大壩形體信息發(fā)送至可視化工具包VTK(visualization toolkit)進(jìn)行大壩模型處理．

圖1?基于增強現(xiàn)實的心墻堆石壩可視化仿真構(gòu)架

2?基于增強現(xiàn)實的心墻堆石壩可視化仿真理論與方法

基于增強現(xiàn)實技術(shù)對心墻堆石壩的可視化仿真進(jìn)行研究，即將真實拍攝的心墻堆石壩施工場景與基于仿真計算的虛擬大壩三維模型進(jìn)行疊加的過程．通過將相機拍攝獲得的實景圖像代替?zhèn)鹘y(tǒng)可視化仿真三維地形、地物的渲染圖像，既降低了對計算機資源的消耗，同時又使得可視化場景和真實施工場景保持同步，便于對仿真結(jié)果進(jìn)行直觀實時的分析．

2.1?心墻堆石壩仿真理論與方法

心墻堆石壩施工系統(tǒng)可抽象為兩個相互關(guān)聯(lián)的子系統(tǒng)，上壩運輸系統(tǒng)和壩面填筑系統(tǒng)，如圖2所示．上壩運輸仿真在離散事件仿真[31]的模型下采用循環(huán)網(wǎng)絡(luò)技術(shù)[32]，以運輸車作為驅(qū)動系統(tǒng)向前推進(jìn)的對象來實現(xiàn)施工全過程仿真．上壩運輸過程可抽象為：裝料、重行、岔口、加水、卸料、空返等幾個事件，整個過程是由這些事件按照具體的工程情況組合、連接形成的閉合回路，并根據(jù)工程具體情況采用可視化建模方法[33]建立仿真模型，如圖3所示．壩面填筑是按照不同的分區(qū)、分期，逐層施工的，每個填筑層又劃分為施工單元，其工序為：攤鋪、灑水、碾壓、質(zhì)檢．一個單元是否能夠開始仿真，除了取決于高差約束和日最大上升高度等約束條件外，還取決于上壩運輸仿真在該單元卸料事件是否結(jié)束；上壩運輸仿真在某單元卸料事件應(yīng)發(fā)生在壩面填筑仿真中質(zhì)檢事件之后及碾壓事件事前．兩個系統(tǒng)相對獨立又互相約束，雙回路并行仿真同步進(jìn)行[34]．仿真計算應(yīng)既能從初始狀態(tài)開始，又能從當(dāng)前工程施工狀態(tài)開始，即從任意時刻開始到任意時刻結(jié)束[35]．通過仿真計算，得到施工工期、填筑方量、填筑高程等信息．

圖2?心墻堆石壩施工系統(tǒng)原理

圖3?上壩運輸仿真示意

2.2?相機成像原理

為準(zhǔn)確描述相機成像原理，計算出空間中點在拍攝圖片上的位置，需通過4個坐標(biāo)系的互相轉(zhuǎn)換來完成，即：世界坐標(biāo)系、相機坐標(biāo)系、圖像坐標(biāo)系、像素坐標(biāo)系．為統(tǒng)一坐標(biāo)、描述相機以及物體的空間位置，本文采用大壩坐標(biāo)系作為世界坐標(biāo)系．相機模型為針孔相機模型，則相機坐標(biāo)系坐標(biāo)原點為相機的焦點，光軸的方向為軸方向，垂直于光軸距焦點長度為焦距處為成像平面，其上定義兩個坐標(biāo)系，圖像坐標(biāo)系p-pp和像素坐標(biāo)系px-pxpx，如圖4所示.

圖4?相機成像原理中坐標(biāo)系相互關(guān)系示意

其中：

w-www代表世界坐標(biāo)系，單位m；

c-ccc代表相機坐標(biāo)系，光心為坐標(biāo)原點，單位m；

p-pp代表圖像坐標(biāo)系，光心為坐標(biāo)原點，單位mm；

px-pxpx代表像素坐標(biāo)系，左上角為坐標(biāo)原點，單位pixel；

代表空間中三維坐標(biāo)點；

代表成像平面二維坐標(biāo)點；

代表成像平面；

相機焦距，即c和p的距離，＝||c-p||．

計算大壩模型在相機拍攝圖像中成像的位置，即是從世界坐標(biāo)到相機坐標(biāo)，再到圖像坐標(biāo)，最后到像素坐標(biāo)轉(zhuǎn)換的過程．

2.2.1?世界坐標(biāo)轉(zhuǎn)相機坐標(biāo)

由于本文研究大壩等大型建筑物，變形可以忽略，認(rèn)為所有物體都是剛體，其變換過程只有旋轉(zhuǎn)和平移，沒有變形；所以可以用旋轉(zhuǎn)向量和平移向量來描述坐標(biāo)轉(zhuǎn)換．剛體在空間中的旋轉(zhuǎn)是由3個獨立的轉(zhuǎn)角組成的，當(dāng)繞軸旋轉(zhuǎn)時，如圖5所示，則有

?(1)

?(3)

?(4)

從而得到轉(zhuǎn)換矩陣＝123．世界坐標(biāo)系和虛擬相機之間的空間關(guān)系如圖6所示，其中為平移向量，所以大壩模型任意點從世界坐標(biāo)系到相機坐標(biāo)系的轉(zhuǎn)換關(guān)系為

?(5)

2.2.2?相機坐標(biāo)系轉(zhuǎn)圖像坐標(biāo)系

將得到的相機坐標(biāo)系轉(zhuǎn)換為圖像坐標(biāo)系屬于透視投影關(guān)系，如圖7所示．由空間幾何關(guān)系得

圖7?相機坐標(biāo)轉(zhuǎn)圖像坐標(biāo)示意

?(7)

?(8)

?(9)

2.2.3?圖像坐標(biāo)系轉(zhuǎn)像素坐標(biāo)系

獲得圖像坐標(biāo)后，根據(jù)傳感器尺寸確定圖像坐標(biāo)對應(yīng)的像素坐標(biāo)，二者同在成像平面上，各自的原點和單位不同，其關(guān)系如圖8所示．圖像坐標(biāo)系的單位是mm，其是連續(xù)的長度單位；像素坐標(biāo)系的單位是pixel，其是呈矩陣狀分布的離散單位．因此，用d和d表示每個像素的長和寬(mm)，即1,pixel＝dmm，則有

???(10)

?(11)

(12)

綜上所述，通過3次坐標(biāo)轉(zhuǎn)換可得到一個大壩上三維空間點的世界坐標(biāo)對應(yīng)的像素坐標(biāo)，如式(12)．

圖8?圖像坐標(biāo)轉(zhuǎn)像素坐標(biāo)示意

2.3?增強現(xiàn)實成像原理

根據(jù)第2.2節(jié)的相機成像原理可知，若相機的參數(shù)相同，則空間中的同一點會在相同的像素點成像，因此，當(dāng)虛擬空間坐標(biāo)系與真實空間坐標(biāo)系相同、虛擬相機參數(shù)和真實相機參數(shù)一致時，二者拍攝的圖像疊加在一起，即可反映出真實空間中物體和虛擬空間中物體的空間關(guān)系．一般地，將虛擬相機的參數(shù)設(shè)置為與真實相機一致的過程稱為相機的注冊[24]．

本文采用RTK-GPS加IMU對增強現(xiàn)實相機進(jìn)行三維注冊，由于采用的相機為定焦鏡頭，故此相機模型可認(rèn)為是6自由度模型，即包括三維空間坐標(biāo)和三維空間轉(zhuǎn)角．

首先，利用RTK-GPS實時地獲取相機精確的真實場景的三維空間坐標(biāo)()，利用IMU獲得實時的三維姿態(tài)，即空間的三軸轉(zhuǎn)角()．為減小IMU原件傳感器和GPS噪聲產(chǎn)生的誤差，本文采用卡爾曼濾波器對數(shù)據(jù)進(jìn)行濾波[36]，某時段內(nèi)轉(zhuǎn)角數(shù)值序列經(jīng)過濾波前后的數(shù)據(jù)對比如圖9所示．然后，將()這6個參數(shù)實時傳遞給虛擬相機，即完成相機的三維注冊，如圖10所示．

圖9?卡爾曼濾波前后數(shù)據(jù)對比

圖10?注冊6參數(shù)相機模型

相機注冊后虛擬空間的坐標(biāo)系和真實空間共同使用大壩坐標(biāo)系，則虛擬相機所獲得的圖像上物體的空間位置關(guān)系與真實相機獲得圖像上物體的空間位置關(guān)系一致．在獲取相機參數(shù)注冊虛擬相機后，在同一大壩坐標(biāo)系下，虛擬相機具有和真實相機相同的參數(shù)，經(jīng)過虛實點的融合獲得增強現(xiàn)實的成像，如圖11所示．設(shè)為虛擬空間中大壩模型上的任意點，根據(jù)相機成像原理，該點在虛擬相機中的成像點為，如圖11(a)所示；為在真實空間中施工場景周圍地形上的任意點，根據(jù)相機成像原理，該點在真實相機中的成像點為，如圖11(b)所示；由于虛擬相機與真實相機的參數(shù)一致，因此將真實像與虛擬像疊加后得到大壩虛擬模型上的點和施工現(xiàn)場實際地形上的點在同一空間里所成的像，可反映兩個空間點的位置關(guān)系，如圖11(c)所示．

圖11?虛實點融合

2.4?基于AR的堆石壩可視化仿真

2.4.1?基于AR的虛實場景構(gòu)建

(1) 大壩虛擬三維實體模型的構(gòu)建．大壩三維實體模型作為基于增強現(xiàn)實的心墻堆石壩可視化仿真中重要的一部分，負(fù)責(zé)增強現(xiàn)實中虛擬物體的表現(xiàn)，為了更好地融合虛擬三維實體模型、真實地展示工程現(xiàn)場的場景，采用3,ds Max對大壩進(jìn)行三維實體模型的建立．圖12為大壩三維實體模型．

結(jié)合仿真技術(shù)和VTK技術(shù)，能夠顯示仿真中各個分期、分區(qū)各月份的形態(tài)面貌，如圖13所示為大壩施工中三維實體模型，不必預(yù)先手動切割，這樣減少了模型上的網(wǎng)格，使整體效率更高．VTK切割模型

主要應(yīng)用命名空間Kitware．VTK的vtkClipPolyData類、vtkPlane類、vtkCutter類、vtkPolyData類、vtkStripper類和vtkTriangleFilter類．具體流程為

步驟1?獲取模型數(shù)據(jù)；

步驟2?根據(jù)當(dāng)前高程生成切割平面(vtkPlane)，如圖14(a)所示；

步驟3 ,根據(jù)切割平面切割分區(qū)模型數(shù)據(jù)(vtkClipPoly Data)，如圖14(b)所示；

步驟4 根據(jù)切割平面生成切割面(vtkCutte、vtkPolyData、vtkStripper和vtkTriangleFilter)，如圖14(c)所示；

步驟5?輸出切割后模型數(shù)據(jù)，如圖14(d)所示.

圖12?大壩三維實體模型

圖13?實施切割后的大壩三維實體模型

圖14?壩體切割過程

(2) 大壩真實施工場景的獲?。鎸崍鼍巴ㄟ^工程現(xiàn)場的攝像頭獲得，包括動態(tài)攝像頭(航拍等)和靜態(tài)攝像頭(安置于固定點的監(jiān)控攝像頭)，通過有線、無線圖像傳輸技術(shù)傳回．?dāng)z像頭獲得圖像數(shù)據(jù)后，連同其位置信息(RTK-GPS)和姿態(tài)信息(IMU)即包含攝像頭位置和姿態(tài)信息的圖像一同發(fā)送到客戶端. 圖15為航拍的樞紐區(qū)附近現(xiàn)場真實圖像．

圖15?航拍樞紐區(qū)現(xiàn)場圖像

通過客戶端的計算，得到相機的位置()和姿態(tài)()，利用第2.3節(jié)的AR成像原理進(jìn)行相機注冊，使虛擬相機和真實相機具有相同的參數(shù)，通過第2.2節(jié)的相機成像原理計算大壩模型在當(dāng)前相機狀態(tài)下拍攝的圖像，該圖像擁有和真實場景圖像相同的參數(shù)，同時檢測兩張圖像上的所有像素點，由于不考慮遮擋，所以，大壩模型成像的像素點優(yōu)先顯示，而最終獲得增強現(xiàn)實效果．由于真實場景可以進(jìn)行實時動態(tài)的拍攝、傳回和計算，不需要重建模型便可實時動態(tài)地反映大壩的施工進(jìn)度和面貌；同時通過拍攝獲取地形、地物信息的方式比傳統(tǒng)方法降低了計算機資源占用率．

2.4.2?基于AR的心墻堆石壩仿真信息交互

模型和數(shù)據(jù)的關(guān)聯(lián)是信息交互的關(guān)鍵所在．本文只涉及到大壩模型的各個分區(qū)，則對每一分區(qū)進(jìn)行唯一分區(qū)編碼．由于查詢仿真數(shù)據(jù)時需要用分區(qū)ID作為關(guān)鍵字，因此需要在數(shù)據(jù)庫表中添加數(shù)據(jù)映射，使每個分區(qū)編碼和每個分區(qū)ID具有一對一的映射關(guān)系．根據(jù)當(dāng)前選擇的時間和選擇的壩體分區(qū)兩個條件，在仿真結(jié)果數(shù)據(jù)表中可查詢唯一一條數(shù)據(jù)，其流程如圖16所示．

基于AR的堆石壩可視化仿真數(shù)據(jù)傳遞過程為：首先，根據(jù)仿真輸入?yún)?shù)進(jìn)行仿真計算，并將仿真數(shù)據(jù)錄入仿真數(shù)據(jù)庫；其次，硬件外設(shè)部分實時將傳感器采集數(shù)據(jù)(視頻碼流、IMU數(shù)據(jù)、GPS數(shù)據(jù))發(fā)送到客戶端，客戶端獲取數(shù)據(jù)后進(jìn)行多傳感器數(shù)據(jù)的融合，進(jìn)行相機的三維注冊；然后，客戶端通過web service的數(shù)據(jù)接口來獲取仿真數(shù)據(jù)和交互信息，可顯示任意月的面貌和在當(dāng)前施工狀態(tài)下當(dāng)前時刻之后的面貌等，此部分?jǐn)?shù)據(jù)存在仿真數(shù)據(jù)庫中．

圖16?三維模型與數(shù)據(jù)關(guān)聯(lián)和數(shù)據(jù)傳遞邏輯

基于AR的堆石壩可視化仿真信息交互客戶端部分代碼如下．

private WebServiceHelper datachanger

＝ new WebServiceHelper()；

//構(gòu)造WebServiceHelper用于數(shù)據(jù)交換

private CameraReal camraReal

＝ new CameraReal()；//真實相機

private CameraVirtual camraVirtual

＝ new CameraVirtual()；//虛擬相機

void initialize()//初始化

{

SimulationCal()；//仿真計算

LoadMode()；//加載大壩模型

LoadScheduleBar()；//加載仿真進(jìn)度條

}

void OnFrame()//每幀動作

{

CameraParas cameraParas

＝GetCameraParas()；//獲取相機數(shù)據(jù)

cameraParas＝KalmanFilter(cameraParas)；

//卡爾曼濾波

SetCamera(cameraParas)；//注冊相機

Pic picReal＝camraReal．getFrame()；

//獲取真實相機當(dāng)前幀

Pic picVirtual＝camraVirtual．getFrame()；

//獲取虛擬相機當(dāng)前幀

Fuse(picReal，picVirtual)；//真實虛擬融合

if(ScheduleBarSelectedChanged())

//如果仿真進(jìn)度選中值改變

{

VTKCut(datachanger．getAppearance(Time))；

//根據(jù)選中時間獲取大壩面貌數(shù)據(jù)并切割模型

ReloadMode()；//重新加載模型

}

if(ModeIsSelected())//如果有模型被選中

{

ShowInfo(datachanger．getInfo(

Time，Block))；

//根據(jù)當(dāng)前時間和選中壩塊獲取其信息并顯示

}

}

3?工程實例

以我國西南某心墻堆石壩為例進(jìn)行基于AR的可視化仿真研究．大壩主要分為15個分區(qū)，總填筑方量為4160×104,m3，工程計劃分14期進(jìn)行，2016年6月大壩開始填筑．將施工作業(yè)方式、施工有效天數(shù)、機械配套方案以及高差約束等作為仿真邊界條件，通過建立的心墻堆石壩施工仿真模型對施工全過程進(jìn)行仿真計算，以獲得大壩施工分期、分區(qū)、施工月份、填筑方量等數(shù)據(jù)，仿真結(jié)果顯示分14期進(jìn)行，2016年6月大壩開始填筑，2022年12月大壩填筑結(jié)束，共計78個月．

可視化仿真界面如圖17所示，采用雙進(jìn)度條設(shè)計，下方的進(jìn)度條表示分期，分期上方的進(jìn)度條表示該分期下的施工月份，通過交互式查詢可顯示總填筑仿真信息表格(圖17(a))，以及當(dāng)前施工月份各分區(qū)設(shè)計高程統(tǒng)計圖(圖17(b))．在增強現(xiàn)實的環(huán)境下對仿真進(jìn)度進(jìn)行可視化展示并通過交互式信息查詢獲得當(dāng)前時刻某一分區(qū)的施工信息．如圖17(a)所示，工程總分為14期，選擇第2期，可知第2期共分7個月施工，從2016年11月—2017年5月，以2017年5月為例，則可獲得大壩當(dāng)前月份的施工面貌，通過鼠標(biāo)點擊大壩分區(qū)模型向web service數(shù)據(jù)接口傳遞輸入?yún)?shù)(arg0＝＂XYDS＂，arg1＝＂2017/ 05＂)，返回值為當(dāng)前月份、所選分區(qū)的施工信息，施工分區(qū)為下游堆石區(qū)，施工期數(shù)為2期，設(shè)計高程為2,629.21,m，施工方量為2×104,m3，施工月份為2017年5月．同理，圖17(b)為上游過渡區(qū)施工信息：工程分區(qū)為上游過渡區(qū)，施工工期為第2期，設(shè)計高程為2,629.21,m，施工方量為2×104,m3，完成時間為2017年5月．

為了進(jìn)一步闡述基于增強現(xiàn)實技術(shù)的心墻堆石壩可視化仿真方法的優(yōu)點，應(yīng)用傳統(tǒng)的三維環(huán)境可視化仿真方法對該堆石壩進(jìn)行展示，如圖18所示，為仿真進(jìn)度下2017年5月大壩面貌．通過圖18的對比，可以得到基于增強現(xiàn)實的可視化仿真的如下優(yōu)點.

(1)基于AR的可視化仿真方法的可視化場景能夠與施工現(xiàn)場保持同步并動態(tài)更新，能夠?qū)⒎抡嫘畔⒅苯雍褪┕がF(xiàn)場相融合．在傳統(tǒng)的三維環(huán)境可視化仿真中，其周圍的地形模型都是根據(jù)勘測和設(shè)計階段的數(shù)據(jù)建立的，為靜態(tài)的模型，其不能隨著施工的進(jìn)行而實時更新，場景中樞紐區(qū)等地形地物面貌改變較大的區(qū)域會隨著施工的進(jìn)行和現(xiàn)場差距越來越大，如圖18(b)中，其中虛線框、、、表示真實工程場景中的區(qū)域，圖18(c)′、′、′、′表示傳統(tǒng)虛擬場景中的區(qū)域，圖18(a)中的″、″、″、″表示增強現(xiàn)實場景中的區(qū)域，樞紐區(qū)附近的引水發(fā)電和泄水工程的水工建筑物和開挖邊坡都是按照設(shè)計階段成果建立的模型，其不能表現(xiàn)當(dāng)前時刻施工現(xiàn)場真實的狀態(tài)(如與)，其中在上下游堆石區(qū)附近(和區(qū)域)由于傳統(tǒng)的三維地形模型的更新滯后，導(dǎo)致地形高于當(dāng)前月的壩體填筑高程而產(chǎn)生遮擋(′與′)，而基于增強現(xiàn)實的可視化仿真，則可以避免這個問題，開挖工程、水工建筑物工程都是現(xiàn)場真實的情況(如與″)，實時獲取，以更直觀、更直接的方式展示仿真信息．此外，其他原因(如季節(jié)等)也會導(dǎo)致現(xiàn)場的改變，基于增強現(xiàn)實的可視化仿真不論現(xiàn)場如何改變，均可以實時地在真實的施工現(xiàn)場環(huán)境中展示仿真信息，實現(xiàn)將仿真信息與施工現(xiàn)場實景融合．

圖17?基于增強現(xiàn)實的仿真結(jié)果可視化展示

圖18?傳統(tǒng)三維可視化仿真及與AR、真實場景對比

(2)基于AR的可視化仿真方法無需建立地形模型．傳統(tǒng)的三維環(huán)境需建立龐大的地形模型，如圖18(d)所示，地形模型共106,793個點，其生成和渲染都需消耗大量的計算機資源(實時精細(xì)渲染1,600×900分辨率圖像，加載時間為15,s左右)，而且還需要根據(jù)設(shè)計資料建立地物模型，所有的地物模型(如道路、渣場、料場等)都需與地形做布爾運算，才能獲得開挖的效果，如圖18(e)所示，此過程又極其繁瑣，消耗資源．而基于增強現(xiàn)實的可視化仿真不需要建立地形模型，只需要建立用于可視化仿真的大壩模型即可，其他地形地物都是真實的，無需虛擬成模型，這不僅減少了大量的計算機資源消耗(同等條件下，加載時間減少約66.7%,)，也減少了人力消耗．

綜上所述，基于增強現(xiàn)實的可視化仿真在獲得更好的顯示效果的同時又減少了資源的消耗，其是水利水電工程施工可視化仿真的有效手段，性能指標(biāo)對比如表1所示.

表1?基于AR的可視化仿真和傳統(tǒng)三維可視化仿真性能指標(biāo)對比

Tab.1?Comparison of AR-based visual simulation and traditional 3D visual simulation

4?結(jié)?語

現(xiàn)代大型水利水電工程對施工仿真可視化提出了更高的要求，本文考慮到傳統(tǒng)三維可視化仿真中地形的模型建立和渲染消耗資源大、地形地物模型建立后不能隨工程進(jìn)度而動態(tài)修改等問題，提出了基于增強現(xiàn)實的可視化仿真方法．該方法采用RTK-GPS和IMU技術(shù)相結(jié)合的相機注冊方法，通過視頻監(jiān)控等技術(shù)，以視頻流碼的解碼、渲染代替?zhèn)鹘y(tǒng)三維可視化仿真中地形地物的渲染，既降低了對資源的消耗，亦保證了可視化仿真場景和真實施工場景的一致性，其具有節(jié)省資源、實時更新、更加直觀等優(yōu)點，實現(xiàn)了仿真數(shù)據(jù)和施工現(xiàn)場的融合，為會商討論、指揮施工提供了一個更加直觀、更加高效的途徑，為現(xiàn)代水利水電工程仿真可視化研究提供了新思路，推進(jìn)了現(xiàn)代水利水電工程的數(shù)字化、智能化、智慧化[37]發(fā)展.

［1］ 鐘登華，張發(fā)愈，李明超，等. 面向?qū)ο蟮亩咽瘔问┕は到y(tǒng)仿真與優(yōu)化研究[J]. 水力發(fā)電，2003，33(3)：87-89.

Zhong Denghua，Zhang Fayu，Li Mingchao，et al. Object-oriented system simulation and optimization research for rock-filled dam construction[J].，2003，33(3)：87-89(in Chinese).

［2］ Zhong Denghua，Zhang Ping，Wu Kangxin. Theory and practice of construction simulation for high rock-fill dam[J].：，2007，50(1)：51-61.

［3］ 鐘登華，張?平. 基于實時監(jiān)控的高心墻堆石壩施工仿真理論與應(yīng)用[J]. 水利水電技術(shù)，2009，40(8)：103-107.

Zhong Denghua，Zhang Ping. Theory and application of construction simulation for high core rock-fill dam based on real-time monitoring[J].，2009，40(8)：103-107(in Chinese).

［4］ 鐘登華，趙晨生，張?平. 高心墻堆石壩壩面碾壓施工仿真理論與應(yīng)用[J]. 中國工程科學(xué)，2011，13(12)：28-32.

Zhong Denghua，Zhao Chensheng，Zhang Ping. Theory and application of construction simulation for roller compaction of high core rock-fill dam[J].，2011，13(12)：28-32(in Chinese).

［5］ Al-Hussein M，Niaz M A，Yu Haitao，et al. Integrating 3D visualization and simulation for tower crane operations on construction sites[J].，2006，15(5)：554-562.

［6］ Mawlana M，Vahdatikhaki F，Doriani A，et al. Integrating 4D modeling and discrete event simulation for phasing evaluation of elevated urban highway reconstruction projects[J].，2015，60：25-38.

［7］ Elnimr A，F(xiàn)agiar M，Mohamed Y. Two-way integration of 3D visualization and discrete event simulation for modeling mobile crane movement under dynamically changing site layout[J].，2016，68：235-248.

［8］ Wang Weichih，Weng Shaowei，Wang Shihhsu，et al. Integrating building information models with construction process simulations for project scheduling support [J].，2014，37(6)：68-80.

［9］ Brito D M，F(xiàn)erreira E A M. Strategies for representation and analyses of 4D modeling applied to construction project management[J].，2015，21(1)：374-382.

［10］ Park J，Cai H，Dunston P S，et al. Database-supported and web-based visualization for daily 4D BIM[J].，2017，143(10)：04017078.

［11］ Li Xue，Xu Jing，Zhang Qun. Research on construction schedule management based on BIM technology[J].，2017，174：657-667.

［12］ 鐘登華. 可視化仿真技術(shù)及其應(yīng)用[M]. 北京：中國水利水電出版社，2002.

Zhong Denghua.[M]. Beijing：China Water & Power Press，2002(in Chinese).

［13］ 胡程順，鐘登華，張?靜，等. 土石方動態(tài)調(diào)配模型與可視化研究[J]. 中國工程科學(xué)，2003，5(12)：73-79.

Hu Chengshun，Zhong Denghua，Zhang Jing，et al. Study on the model and its visualization for dynamic allocation of earth[J].，2003，5(12)：73-79(in Chinese).

［14］ 鐘登華，胡程順，張?靜. 高土石壩施工系統(tǒng)可視化仿真與應(yīng)用研究[J]. 水利水電技術(shù)，2004，35(12)：50-55.

Zhong Denghua，Hu Chengshun，Zhang Jing. Visualization smiulation for embankment dam construction and its application[J].，2004，35(12)：50-55(in Chinese).

［15］ 劉?寧，鐘登華，張?平. 高心墻堆石壩施工現(xiàn)場交通可視化仿真研究[J]. 水利水電技術(shù)，2012，43(4)：73-78.

Liu Ning，Zhong Denghua，Zhang Ping. Study on visualized simulation of in-situ traffic for construction of high rock-fill dam with core[J].，2012，43(4)：73-78(in Chinese).

［16］ 鐘登華，張琴婭，杜榮祥，等. 基于CATIA的心墻堆石壩施工動態(tài)仿真[J]. 天津大學(xué)學(xué)報：自然科學(xué)與工程技術(shù)版，2015，48(12)：1118-1125.

Zhong Denghua，Zhang Qinya，Du Rongxiang，et al. Dynamic construction simulation of core rock-fill dam based on CATIA platform[J].：，2015，48(12)：1118-1125(in Chinese).

［17］ 鐘登華，張元坤，吳斌平，等. 基于實時監(jiān)控的碾壓混凝土壩倉面施工仿真可視化分析[J]. 河海大學(xué)學(xué)報：自然科學(xué)版，2016，44(5)：377-385.

Zhong Denghua，Zhang Yuankun，Wu Binping，et al. Simulation and visual analysis for construction of storehouse surface of RCC dam based on real-time monitoring [J].：，2016，44(5)：377-385(in Chinese).

［18］ 鐘登華，陳永興，常昊天，等. 瀝青混凝土心墻堆石壩施工仿真建模與可視化分析[J]. 天津大學(xué)學(xué)報：自然科學(xué)與工程技術(shù)版，2013，46(4)：285-290.

Zhong Denghua，Chen Yongxing，Chang Haotian，et al. Construction simulation modeling and visual analysis of rockfill dam with asphalt concrete core[J].：，2013，46(4)：285-290(in Chinese).

［19］ 鐘登華，谷金操，佟大威. 水電站廠房及設(shè)備可視化交互仿真建模方法與應(yīng)用[J]. 天津大學(xué)學(xué)報：自然科學(xué)與工程技術(shù)版，2014，47(2)：95-100.

Zhong Denghua，Gu Jincao，Tong Dawei. Method and application of visual interactive simulation modeling for hydropower house and its equipment[J].：，2014，47(2)：95-100(in Chinese).

［20］ 劉東海，鐘登華，鄭家祥. 數(shù)字化截流及其三維動態(tài)可視化仿真[J]. 天津大學(xué)學(xué)報，2004，37(4)：298-302.

Liu Donghai，Zhong Denghua，Zheng Jiaxiang. River closure digitalization and three-dimensional dynamic visual simulation[J].，2004，37(4)：298-302(in Chinese).

［21］ 鐘登華，練繼亮，朱慧蓉. 混凝土壩澆筑過程三維動態(tài)可視化仿真[J]. 天津大學(xué)學(xué)報，2004，37(1)：45-49.

Zhong Denghua，Lian Jiliang，Zhu Huirong. 3D dynamic visual simulation of concrete dam construction [J].，2004，37(1)：45-49(in Chinese).

［22］ Sutherland I E. A head-mounted three dimensional display[C]//. San Francisco，USA，1968：757-764.

［23］ Webster A，F(xiàn)einer S，Macintyre B，et al. Augmented reality in architectural construction，inspection，and renovation[J].，1996：913-919.

［24］ Azuma R T. A survey of augmented reality[J].：，1997，6(4)：355-385.

［25］ Behzadan A H，Dong Suyang，Kamat V R. Augmented reality visualization：A review of civil infrastructure system applications[J].，2015，29(2)：252-267.

［26］ Carozza L，Valero E，Bosché F，et al. UrbanPlanAR：BIM mobile visualisation in urban environments with occlusion-aware augmented reality[C]//. Heraklion，Greece，2017：229-236.

［27］ Haynes P，Lange E. Mobile augmented reality for flood visualisation in urban riverside landscapes[J].，2016：254-262.

［28］ Mcclean E，Cao Y，Mcdonald J. Single image augmented reality using planar structures in urban environments[C]//2011. Dublin，Ireland，2014：1-6.

［29］ Golparvar-Fard M，Pe?a-Mora F，Savarese S. D4AR-a 4-dimensional augmented reality model for automating construction progress monitoring data collection，processing and communication[J].，2009，14(13)：129-153.

［30］ Golparvar-Fard M，Pe?a-Mora F，Savarese S. Automated progress monitoring using unordered daily construction photographs and IFC-based building information models[J].，2012，29(1)：04014025.

［31］ Law A M，Kelton W D.

[M]. New York：McGraw Hill Book Co，2000.

［32］ Halpin D W. Cyclone：Method for modeling of job site processes[J].，1977，103(3)：489-499.

［33］ 鐘登華，胡程順. 復(fù)雜工程系統(tǒng)可視化仿真建模方法與應(yīng)用[J]. 系統(tǒng)仿真學(xué)報，2012，14(7)：839-843.

Zhong Denghua，Hu Chengshun. Theory and applica-tion of visual simulation modeling for complex engineer-

ing system[J].，2002，14(7)：839-843(in Chinese).

［34］ Fujimoto R M. Parallel discrete event simulation[J].，1989，33(4)：30-53.

［35］ 劉珊珊，周宜紅，劉?全，等. 堆石壩施工的實時動態(tài)仿真系統(tǒng)研究[J]. 系統(tǒng)仿真學(xué)報，2004，16(11)：2525-2528.

Liu Shanshan，Zhou Yihong，Liu Quan，et al. Real-time dynamic simulation system of rock-fill dams[J].，2004，16(11)：2525-2528(in Chinese).

［36］ Kalman R E. A new approach to linear filtering and prediction problems[J].，1960，82：35-45.

［37］ 鐘登華，王?飛，吳斌平，等. 從數(shù)字大壩到智慧大壩[J]. 水力發(fā)電學(xué)報，2015，34(10)：1-13.

Zhong Denghua，Wang Fei，Wu Binping，et al. From digital dam toward smart dam[J].，2015，34(10)：1-13(in Chinese).

(責(zé)任編輯：王曉燕)

Visual Simulation of Construction Schedule for Core Rock-Fill Dam Based on Augmented Reality

Zhong Denghua，Wang Zhining，Guan Tao，Wang Dong，Yan Yuling

(State Key Laboratory of Civil Engineering Simulation and Safety，Tianjin University，Tianjin 300072，China)

At present，researches on visual simulation of construction schedule for core rock-fill dam are in majority virtual 3D visualization constructed by the construction simulation results．The terrain model is built according to the previous exploration data．By this method，rendering consumes more resources，the model is not easy to be modified and is quite different from the actual construction scene．To solve this problem，augmented reality(AR)technology was introduced into the construction simulation of water conservancy and hydropower projects in this paper and a visual simulation method for construction schedule of core rock-fill dam based on augmented reality was proposed．Two problems can be solved by this method：the problem that the virtual scene and the real scene are not in the same space has been solved using three dimensional registration technology of virtual camera in order to achieve the dynamic timeliness of visual simulation；the problem that the traditional terrain model takes too many resources has been solved by superimposing 3D scene information obtained by video surveillance with virtual objects and the efficiency of visual simulation has been improved．The AR technology was applied to visualize the construction progress of a large water conservancy and hydropower project in southwest China．Firstly，the construction simulation and construction site were closely integrated without the establishment of terrain model．Secondly，interactive dynamic 3D scene query of simulation results has been realized by using data query and transmission based on web service． Lastly，a more real and intuitive visual simulation has been achieved with less resource consumption by augmented reality method based on hardware．The study of this paper provides a new idea for visual simulation of water conservancy and hydropower project construction.

core rock-fill dam；augmented reality(AR)technology；interactive dynamic 3D scene；construction simulation；visualization

TV512

A

0493-2137(2018)10-1072-14

10.11784/tdxbz201710028

2017-10-31；

2017-12-20.

鐘登華（1963—??），男，教授，博士生導(dǎo)師，中國工程院院士，dzhong@tju.edu.cn.

關(guān)?濤，tao.guan@tju.edu.cn.

國家自然科學(xué)基金雅礱江聯(lián)合基金資助項目(U1765205)；國家自然科學(xué)基金創(chuàng)新群體基金資助項目(51621092)；國家自然科學(xué)基金資助項目(51439005).

the Yalong River Joint Funds of the National Natural Science Foundation of China(No.,U1765205)，the Innovative Research Groups of the National Natural Science Foundation of China(No.,51621092)and the National Natural Science Foundation of China(No.,51439005)．