張 毅

(武漢大學 測繪學院,武漢 430079)

“遙感原理與應用”是一門面向測繪類專業(yè)的必修課程。主要內容包括遙感物理基礎、遙感衛(wèi)星平臺和成像模型、遙感圖像的幾何和輻射處理、遙感圖像解譯和分類等。其中遙感衛(wèi)星平臺和成像模型是遙感課程教學的重要內容之一,涉及到多種衛(wèi)星軌道、衛(wèi)星傳感器和衛(wèi)星成像方式。2011—2020年間,全球共發(fā)射商業(yè)遙感衛(wèi)星1 080顆[1],中國經過20年的發(fā)展,已經發(fā)射100多顆陸地觀測衛(wèi)星[2]。這些衛(wèi)星在不同的軌道上以不同的成像方式進行對地觀測,要深入理解和掌握其特點和差異,就需要在課程教學中更直觀地表現遙感衛(wèi)星的運行和成像過程。現有的教學手段局限于課件視頻和動畫,需要提前進行設計制作,無法在課堂教學現場根據需要進行修改和調整,呈現形式也只是二維平面。雖然實物教具可以一定程度彌補課件教學的不足,但遙感衛(wèi)星的運行和成像涉及的要素較多,過程較為復雜,實物教具難以制作得逼真全面。

增強現實(AR,augmented reality)技術在一定程度上可以將實驗教學內容和學生的親身參與切實結合在一起,通過三維空間的立體交互方式,可使學生跨越地形實體和DEM空間數據之間的認知差異,提升學生對空間分析和可視化方法的理解深度。然而AR實驗環(huán)境一方面要依賴于識別卡片或規(guī)定目標,在遮擋環(huán)境下影響了實時效果;另一方面攝像頭和顯示屏幕相互獨立,沉浸感不足,使得AR的效果得不到最充分體現。

混合現實(MR,mixed reality)技術是AR技術的進一步發(fā)展,是一種將圖像、視頻、聲音等通過計算機計算得到的信息疊加在物理世界之上的技術。繼微軟公司2015年1月推出HoloLens1代混合現實產品后,2019年2月發(fā)布了HoloLens2(如圖1)。這是自從MR概念提出后首次將其真正在產品中實現。

圖1 HoloLens2混合現實眼鏡

國內外各類學校和研究機構都將混合現實技術引入教學過程,其中應用最多的領域當屬醫(yī)學教學。倫敦帝國理工學院用HoloLens2進行臨床教學研究,評估了在新冠肺炎大流行期間使用混合現實頭盔向實習醫(yī)生提供遠程床邊教學的可行性[3]。從2022年4月開始,新加坡國立大學楊潞齡醫(yī)學院的醫(yī)學和護理學生采用微軟的三維全息技術來學習醫(yī)療知識和研究解剖結構[4]。中國科學技術大學附屬第一醫(yī)院通過混合現實技術讓神經外科規(guī)培及專培醫(yī)師充分理解神經結構之間復雜的空間關系,并完成三維空間的重構[5]。陸軍軍醫(yī)大學第一附屬醫(yī)院采用混合現實技術構建三維可視化模型實施手術教學[6]。在工程教育領域,南京航空航天大學機電學院嘗試采用混合現實技術突破空間、時間和現實約束,在現實世界中投射出全面、逼真、可編輯的機械結構和物理關系模型[7]。東北大學機器人科學與工程學院在機器人工程專業(yè)實踐教學中開發(fā)了基于MR技術的虛擬實驗系統,實現在虛擬環(huán)境下倒立擺與機械臂系統的控制[8]。江南大學構建了一種基于混合現實技術的中國建筑史教學系統的實現方法,構建以建筑結構識別和文化認知為核心功能的HoloLens教學系統[9]。在地學領域,武漢大學利用混合現實技術將DEM空間分析的實驗教學內容融入混合現實交互環(huán)境,實現了地形模型的手勢交互、剖面分析、通視分析、光照分析等空間分析[10]。

在遙感課程教學中,虛擬現實、增強現實手段也逐漸得到廣泛關注。安徽理工大學以遙感專業(yè)為例,建立了Google Earth Engine的高校信息化教學模式[11]。山東理工大學探討了Google Earth軟件在遙感地質學教學中的應用[12]。沈陽師范大學整合遙感方向的相關應用進行了基于遙感的增強現實軟件技術的研究[13]。上海交通大學上海北斗導航創(chuàng)新研究院裴凌教授提出的聯合低軌衛(wèi)星仿真的多源多星座高逼真仿真教學平臺,該平臺結合高逼真仿真平臺和武漢大學低軌衛(wèi)星仿真,為科創(chuàng)學習帶來便利,為學生研究提供基礎的數據采集平臺,加深各種導航方式的理解和應用。

但目前還沒有將混合現實技術融入到遙感課程教學中的案例。文中基于微軟HoloLens2頭戴式MR設備,將遙感衛(wèi)星軌道和成像原理等課程知識點融入到混合現實環(huán)境中,在真實課堂環(huán)境下實時交互展現,突破傳統課堂PPT和板書教學的平面化模式,為學生提供全新的虛實結合課程教學環(huán)境。

1 遙感衛(wèi)星成像教學內容設計

遙感衛(wèi)星成像是遙感原理與應用課程的重要教學內容,具體包括遙感衛(wèi)星軌道特點和遙感成像方式等兩方面內容。

遙感衛(wèi)星軌道不僅包括一般衛(wèi)星軌道的基本特點,還有遙感衛(wèi)星自己的特點。一般衛(wèi)星軌道的教學內容涉及衛(wèi)星軌道參數(長半軸、偏心率、升交點赤經、近地點角距、軌道傾角、過近地點時刻)以及不同衛(wèi)星軌道的類型(低/中/高軌道、順行/逆行軌道、赤道/極地軌道、地球/太陽同步軌道)。在此基礎上,引出遙感衛(wèi)星的近圓形、近極地、太陽同步、可重復軌道特點。其中可重復軌道特點是遙感衛(wèi)星軌道教學的重點,需要學生掌握重復周期的概念的計算方法,以及在遙感變化監(jiān)測中的作用。

遙感成像方式針對不同類型的衛(wèi)星,涉及光機掃描成像、線陣推掃式成像、側視雷達成像、凝視成像等。隨著現代遙感衛(wèi)星的發(fā)展,靈巧成像、凝視成像逐步成為主流,例如國產高分系列衛(wèi)星、吉林一號系列衛(wèi)星、WorldView系列衛(wèi)星等。

基于混合現實技術的遙感衛(wèi)星成像教學,需要針對以上教學內容設計三維模型、功能展現和手勢交互,如表1所示。

表1 遙感衛(wèi)星成像MR教學內容組成

2 HoloLens2混合現實技術

微軟公司研發(fā)的HoloLens設備便是一款融合了MR技術的智能眼鏡。HoloLens混合現實技術通過將現實環(huán)境與虛擬世界融合從而產生全新的可視化環(huán)境,實現物理環(huán)境和數字對象共存,支持人與環(huán)境實時互動。

HoloLens2是2019年推出的混合現實頭戴式顯示器,與第一代設備相比較,重量變得更輕,視野角度增加,佩戴方式更加符合人體工學(允許使用者佩戴眼鏡)。HoloLens2擁有獨立的計算單元,定制的全息處理單元(HPU,holographic processing unit)以及各種類型的傳感器、光學透鏡等,其自身帶有的深度攝像頭可以快速掃描并構建三維場景[14]。HoloLens2擁有四臺攝像頭,左右兩邊各兩臺,其可覆蓋的水平和垂直視角都達到了120°。通過對這四臺攝像機畫面的實時分析,深度攝像頭對周圍場景快速實現建模,并通過感知攝像頭實現對環(huán)境以及自身位置的感知,因此, HoloLens2作為目前最具代表性的混合現實設備,通過使用全息處理單元,對使用者的手勢、語音、凝視等進行識別,以此實現更加自然的感官交互方式。

3 遙感衛(wèi)星成像的MR設計

在Hololens環(huán)境配置完成后,就可以逐步實現遙感衛(wèi)星成像過程的模擬。首先對需要實現的運動過程進行分析;然后制作需要的三維模型:包括地球、衛(wèi)星以及軌道等,并組合在一起;下一步需要編寫天體、衛(wèi)星運動的腳本,實現地球的自轉、衛(wèi)星繞地球公轉以及衛(wèi)星運行軌道繪制等;最后還應該給三維物體添加混合現實組件與腳本,實現在Hololens環(huán)境中的交互功能:如放大、縮小、旋轉、查看信息、場景切換等。

3.1 衛(wèi)星運動建模

要確定的衛(wèi)星運行軌道需要6個基本軌道參數:長半軸、偏心率、軌道面傾角、近地點幅角、升交點赤經以及近地點時刻。以Landsat陸地衛(wèi)星為例,衛(wèi)星運行在軌道高度約915 km的近極地太陽同步軌道上,軌道傾角約99.1°,軌道周期為103 min,重復周期為18 d。在以演示為目的的精度要求下,Landsat衛(wèi)星繞軌運動應被抽象表示為相對于靜止的地球做圓周運動:衛(wèi)星在距地球較近的位置上繞地球做圓周運動,圓周平面與赤道面夾角約99.1°;地球每自轉一周,衛(wèi)星繞地球13.944圈。

遙感衛(wèi)星常用的坐標系有地心赤道慣性坐標系、地心旋轉坐標系、軌道坐標系、本體坐標系、當地坐標系等,在這些坐標系之間可以進行坐標轉換。在Unity 3D中的坐標系均是笛卡爾三維坐標系,其中世界坐標系是基本的絕對坐標系,用戶可以輕易獲取任何物體在任意時間的全局坐標;局部坐標系是描述具有父子關系的物體間相對關系的坐標系,其原點位置、基本方向以及比例都與父物體直接相關,同樣的也可以得到任一物體在其它物體的局部坐標系中的坐標。

3.2 三維模型制作

1)地球模型。由于地球并不是標準球體,且精度高的橢球體模型對于文中研究目的并無實質性幫助,因此地球模型的制作方法為使用Unity中的預制件Sphere并添加紋理,再進一步根據實際情況修改細節(jié)得到。

2)衛(wèi)星模型。受限于模型素材和制作難度,無法做出仿真度較高的實際遙感衛(wèi)星模型,因此選擇采用網絡公開的遙感衛(wèi)星模型,如圖2所示。該模型精度較高,且視覺效果較為逼真。

圖2 遙感衛(wèi)星模型

3)軌道模型?？紤]到在地心坐標系下,衛(wèi)星軌道應是一個動態(tài)表示,且Unity 3D中沒有軌道相關的預制模型,因此擬采用衛(wèi)星運動軌跡的形式,在衛(wèi)星運動的同時通過腳本繪制其軌跡,從而表示衛(wèi)星軌道。

表2中給出了實際地球、衛(wèi)星、軌道與模型的比例與參照。

表2 實物與模型參照

3.3 三維交互

隨著深度傳感器的升級,相較HoloLens1,HoloLens2已經具備了實時捕捉佩戴者的手部形狀的能力,同時幾乎無延遲地生成與手部匹配的3D Mesh數據。利用這個實時生成的手部模型網格與每只手部模型附帶的21個關節(jié)點,HoloLens2生成了一個虛擬手部模型與虛擬物體進行交互,產生了全關節(jié)手部追蹤交互的技術效果。

在HoloLens環(huán)境中,通過添加相關組件和腳本的方式來實現和虛擬物體交互的功能。包括Collider(碰撞體)組件、Object Manipulator(對象操控器)組件、Near Interaction Grabbable(抓取)組件、Bounds Control(邊界控件)組件。以上組件來源于HoloLens2提供的混合現實工具包(MRTK)。

3.4 MR功能程序實現(圖3)

圖3 MR功能程序實現效果

1)點擊衛(wèi)星軌道參數,程序將展現一個地球模型。圍繞地球模型,將地球軌道關鍵點(春分點和秋分點),衛(wèi)星軌道關鍵點(近地點、遠地點、升交點、降交點),衛(wèi)星軌道參數(軌道傾角、升交點赤經、近地點角距、真近點角)全部展現出來。用戶可以通過手勢來拾取整個模型,進行放大縮小、平移、旋轉等操作。用戶抬起左手到視野中,程序會顯示全部關鍵點和關鍵參數的顯示/隱藏開關。

2)點擊近圓形近極地軌道,程序顯示一個衛(wèi)星繞著地球,進行近圓形近極地運行的動態(tài)模型。地球自轉的同時衛(wèi)星繞南北極運行,形象展現近圓形近極地軌道的軌道特點。用戶抬起左手到視野中,程序會顯示地球和衛(wèi)星軌道兩個顯示/隱藏按鈕,可以對地球和衛(wèi)星軌道單獨進行顯示。

3)點擊太陽同步軌道,程序顯示地球和衛(wèi)星繞著太陽整體公轉的動態(tài)模型。此時衛(wèi)星軌道面始終朝向太陽,以表現太陽同步的概念。用戶抬起左手到視野中,程序會顯示太陽、地球和衛(wèi)星軌道三個顯示/隱藏按鈕,可以對太陽、地球和衛(wèi)星軌道單獨進行顯示。

4)點擊可重復軌道,程序顯示衛(wèi)星繞地球運行的動態(tài)模型,此時地球表面會動態(tài)顯示衛(wèi)星星下點的成像范圍條帶。通過衛(wèi)星周期運行,成像范圍條帶最終覆蓋全球,并完成軌道重復。

5)點擊掃描式成像,程序顯示地表上空衛(wèi)星對地面左右來回掃描成像的模式。

6)點擊推掃式成像,程序顯示地表上空衛(wèi)星對地面進行推掃成像的模式。包括對任意區(qū)域的推掃和對同一區(qū)域的重復推掃。

7)點擊高光譜成像,程序顯示地表上空衛(wèi)星對地面進行高光譜成像的模式。其中不同顏色的光束代表高光譜衛(wèi)星的不同波段。

8)點擊側視雷達成像,程序顯示地表上空衛(wèi)星對地面進行側視雷達成像的模式。包括哨兵衛(wèi)星的雷達成像和TerraSAR的SpotLight、StripMap、ScanSAR三種雷達成像方式。

4 MR課堂教學實踐

課堂實際教學活動中,為了能讓學生參與到混合現實教學環(huán)境,利用HoloLens2的無線網絡傳輸將第一視角畫面共享到課堂大屏幕上。教師可以全身心地利用虛擬模型進行遙感衛(wèi)星成像的三維交互教學,同時也能透過HoloLens2眼鏡看到課堂教室現場真實環(huán)境。學生能通過教室大屏幕實時看到教師的虛擬交互內容,也可以用自己的手機連接共享畫面,還可以佩戴HoloLens2親身體驗(見圖4)。

圖4 遙感衛(wèi)星成像混合現實教學課堂實踐

從課堂教學實踐的實際效果來看,學生對這一新的教學方式普遍感興趣,能跟隨教師的引導和同步畫面沉浸在混合現實環(huán)境的教學內容中,更為專注地理解和掌握遙感衛(wèi)星成像的原理和特點。教師在教學過程中也不受實物教學器材和模型的限制,更加自如地圍繞虛擬環(huán)境展開教學,同時也可以及時與學生進行互動交流,尤其是釋放了雙手,可以自由地針對遙感衛(wèi)星成像的具體細節(jié)進行“拿捏式”的講解,使得學生對相關概念和知識點的了解更加直觀,理解更為全面。

4 結束語

在混合現實技術的支持下,遙感課程教學強化了遙感衛(wèi)星成像的重難點知識,通過混合現實的多感官沉浸式環(huán)境進行注意力聚焦,加強了學生對重難點知識學習力度,同時又能兼顧課堂現場教學環(huán)境,增強了課堂現場教學中的即時反饋和互動。作為前沿技術,混合現實的新穎性和科技感非常容易引起學生的興趣,在沉浸式、交互式環(huán)境中,更能直觀而立體地呈現課程內容。HoloLens2混合現實技術在實際的教學過程中得到學生的認可,有效地提高了遙感衛(wèi)星成像的教學效果。