姚陸吉 章立

摘 要：針對傳統(tǒng)中國建筑史教學(xué)建筑結(jié)構(gòu)繁雜、局限于二維平面化教學(xué)、不易于學(xué)生理解等問題，提出構(gòu)建一種基于混合現(xiàn)實技術(shù)的中國建筑史教學(xué)系統(tǒng)的實現(xiàn)方法。選取寧波保國寺大殿木構(gòu)體系作為研究案例，采用混合現(xiàn)實設(shè)備微軟HoloLens作為案例的教學(xué)平臺。首先，基于收集的數(shù)據(jù)，在3ds Max中對保國寺大殿木構(gòu)體系進(jìn)行三維仿真建模，建立建筑模型庫;然后，在unity3D中構(gòu)建虛擬教學(xué)系統(tǒng)的三維空間操作界面，利用C#腳本，實現(xiàn)環(huán)境理解和多種人機(jī)交互等關(guān)鍵技術(shù)，構(gòu)建以建筑結(jié)構(gòu)識別和文化認(rèn)知為核心功能的HoloLens教學(xué)系統(tǒng)。結(jié)果表明，該系統(tǒng)具備良好三維可視化的視覺效果和自然高效的人機(jī)交互方式，能有效提高知識的傳遞效率和學(xué)生的學(xué)習(xí)主動性。

關(guān)鍵詞：混合現(xiàn)實;交互特征;三維空間界面;教學(xué)系統(tǒng)

中圖分類號：TP391.9

文獻(xiàn)標(biāo)志碼：A

Design and implementation of Chinese architecture history teaching system based on mixed reality technology

YAO Luji， ZHANG Li*

School of Digital Media， Jiangnan University， Wuxi Jiangsu 214122， China

Abstract：

The teaching of Chinese architecture history has building structures too complex， is limited to 2D planar teaching and is not easy for students to master and apply， therefore an implementation method of Chinese architecture history teaching system based on mixed reality technology was proposed. The wooden structure system of Baoguo Temple in Ningbo was taken as an example， and the mixed reality device Microsoft HoloLens was used as the teaching platform. Firstly， 3ds Max was applied to the 3D simulation modeling of the wooden structure system of Baoguo Temple based on the collected data， and a building model library was built. Then， the 3D human-computer interface of the virtual teaching system was constructed in unity3D， the key technologies were used including environment understanding and human-computer interaction based on C# scripts， and a Chinese architectural history teaching system using HoloLens was implemented with core functions of building structure recognition and cultural cognition. The results show that the system has good 3D visual effects and natural effective human-computer interaction， which can improve the efficiency of knowledge transfer and the initiative of students.

Key words：

mixed reality; interactive feature; three-dimensional space interface; teaching system

0 引言

近年來，虛擬現(xiàn)實（Virtual Reality， VR）和增強(qiáng)現(xiàn)實（Augument Reality， AR）日趨成熟，并已經(jīng)較多地應(yīng)用于當(dāng)代信息化教學(xué)中，而混合現(xiàn)實（Mixed Reality， MR）技術(shù)的出現(xiàn)是隨著2015年微軟的混合現(xiàn)實設(shè)備HoloLens的發(fā)布而逐漸進(jìn)入應(yīng)用領(lǐng)域的?；旌犀F(xiàn)實技術(shù)目前更多地應(yīng)用于航空航天[1]、船舶制造[2]等行業(yè)的科研領(lǐng)域，在建筑教學(xué)領(lǐng)域的成熟應(yīng)用還相對較少。在傳統(tǒng)的中國建筑史教學(xué)中，往往以教師授課、學(xué)生聽講為主，輔之以教材文字、圖片和相關(guān)視頻等，中國木構(gòu)建筑的構(gòu)造往往比較繁雜，學(xué)生對于建筑的體量關(guān)系、結(jié)構(gòu)設(shè)計方法和比例規(guī)則、空間形式和空間組合以及材質(zhì)紋理等建筑信息[3]，只有理性認(rèn)識，缺乏感性認(rèn)知;同時，由于時間的不可逆性，每一個歷史建筑都有其獨特的性格特征，建筑現(xiàn)象背后的藝術(shù)思想、社會觀念和歷史文化，都賦予歷史建筑非常重要的意義，針對這部分內(nèi)容的教學(xué)，很難通過單一的文字和圖片來講述[4]。因此，當(dāng)代人對中國古代建筑研究的匱乏，對建筑文化缺乏真正的理解，是建筑理論薄弱的重要原因。結(jié)合MR的教學(xué)模式提供了一種全方位的、立體的、多角度的建筑解讀，通過將詳細(xì)的文字、影像資料、視頻和三維模型、語音解說等信息對古建筑進(jìn)行詳盡的詮釋，使枯燥、晦澀難懂的建筑史知識變得清晰、生動而更易掌握，彌補了傳統(tǒng)平面化建筑歷史教學(xué)的單一性，解決了學(xué)生無法親身到現(xiàn)場觀摩體驗的局限性;通過構(gòu)建豐富的交互方式和交互反饋，達(dá)成多感官沉浸的觀察方式，使學(xué)生在與周圍環(huán)境自然交互的過程中充分發(fā)揮其主觀能動性和自主性，建立知識與交互之間的鏈接，培養(yǎng)學(xué)生對歷史建筑的認(rèn)知和理解能力，了解古代建筑的性格特征和藝術(shù)內(nèi)涵，增強(qiáng)學(xué)生在空間和時間層面上對建筑的理解;營造虛實結(jié)合的視覺效果場景，讓學(xué)生靈活使用肢體動作和各種虛擬道具，以此模擬實際技能的操作，提高學(xué)生的思考能力和實踐能力，同時也為學(xué)生提供主動探索和互動交流的機(jī)會[5]。

混合現(xiàn)實技術(shù)是虛擬現(xiàn)實的進(jìn)一步發(fā)展，結(jié)合了虛擬現(xiàn)實和增強(qiáng)現(xiàn)實的優(yōu)勢[6]，通過攝像頭、傳感器和定位器實時獲取真實世界的物理信息，利用位置跟蹤軟件和空間地圖技術(shù)，將真實世界的物理環(huán)境與計算機(jī)生成的虛擬場景信息相疊加，呈現(xiàn)給用戶虛實融合的畫面;同時，具備對環(huán)境的感知能力和理解能力，而真實環(huán)境中的物理定律仍然對計算機(jī)生成的虛擬世界起作用?；旌犀F(xiàn)實通過真實物理世界、增強(qiáng)世界和虛擬世界的深度融合，以及對人類自然行為和動作的理解，構(gòu)建一個與人類感官相匹配的、虛實結(jié)合的、多通道反饋的具身交互空間[7]，是人類、計算機(jī)和與環(huán)境互動的一個發(fā)展趨勢。

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和相關(guān)技術(shù)研究的深入，越來越多的混合現(xiàn)實設(shè)備相繼發(fā)布，如Magic leap、微軟HoloLens，以及惠普、戴爾、三星和宏碁推出的Windows MR頭戴顯示設(shè)備等。同時，對于與混合現(xiàn)實相關(guān)的仿真技術(shù)研究也是當(dāng)前的一個熱點，各種虛擬仿真系統(tǒng)不斷被開發(fā)利用。這些探索和發(fā)展都為新的教學(xué)模式提供了技術(shù)和設(shè)備條件。在教學(xué)中引入混合現(xiàn)實技術(shù)是互聯(lián)網(wǎng)技術(shù)和教育相結(jié)合必然的發(fā)展趨勢，是對主流教學(xué)形式的一種豐富和補充。

本文在全面分析混合現(xiàn)實技術(shù)交互特征的基礎(chǔ)上，根據(jù)當(dāng)代信息化教學(xué)的需求，應(yīng)用最新的MR技術(shù)并結(jié)合建模技術(shù)、三維動畫及網(wǎng)絡(luò)通信等技術(shù)，設(shè)計并實現(xiàn)一款面向中國建筑史教學(xué)的混合現(xiàn)實教學(xué)系統(tǒng)。本次開發(fā)采用了混合現(xiàn)實設(shè)備微軟HoloLens作為案例的教學(xué)平臺。

第9期

姚陸吉等：基于混合現(xiàn)實技術(shù)的中國建筑史教學(xué)系統(tǒng)設(shè)計與實現(xiàn)

計算機(jī)應(yīng)用 第39卷

1 混合現(xiàn)實技術(shù)及在教學(xué)系統(tǒng)中的應(yīng)用特征

1.1 HoloLens原理和功能介紹

混合現(xiàn)實是一組技術(shù)組合，不僅提供了新的輸入方法，還提供了新的虛擬影像的呈現(xiàn)方式，并且將這些方式相結(jié)合，提供了新的創(chuàng)新方式和發(fā)展方向?；旌犀F(xiàn)實技術(shù)對于物理環(huán)境空間三維構(gòu)建主要是通過輸入設(shè)備來實現(xiàn)的。攝像頭是最重要的輸入設(shè)備，大量的位置跟蹤和對環(huán)境的識別和理解都是通過攝像頭獲取的。攝像頭作為采集信息的基本設(shè)備，核心技術(shù)是對深度信息的獲取，而對于深度信息的感知是人類獲得立體視覺的前提，也是構(gòu)建三維物理環(huán)境空間的基礎(chǔ)。微軟HoloLens在使用四個環(huán)境感知相機(jī)的基礎(chǔ)上，另配有一個基于TOF原理的深度攝像頭，通過不同角度獲取的深度信息，實現(xiàn)對物理空間的信息感知和實時的三維虛擬模型構(gòu)建。

研究證明，人的信息獲取主要來源于視覺，人眼是獲取外界信息的最主要的感知通道。通過不同的深度層將計算機(jī)生成的數(shù)字化信息呈現(xiàn)給用戶，可以模擬人眼所能看到的真實世界效果，讓用戶感受虛實融合場景動態(tài)變化的景深。因此，混合現(xiàn)實影像的輸出平臺對于用戶的視覺體驗非常重要。HoloLens是一款視頻透視型HMD設(shè)備，采用視頻透視技術(shù)，根據(jù)頭部的傳感器提供用戶的位置和姿態(tài)信息，以確保實時渲染設(shè)備鏡片上的用戶視點所對應(yīng)的場景;根據(jù)攝像頭采集用戶所處真實世界的信息并數(shù)字化，通過計算機(jī)算法實時渲染畫面，生成全息影像并呈現(xiàn)給用戶虛實融合的視覺畫面。

由于HoloLens設(shè)備不受線纜和聽筒的控制，且無需手柄等外接設(shè)備，學(xué)生可以在虛實結(jié)合的場景中隨意走動，通過頭部的旋轉(zhuǎn)控制視點位置，使用自然的交互方式與周圍信息進(jìn)行互動，全息影像會及時獲取學(xué)生的位置、姿態(tài)、發(fā)出的指令以及所處環(huán)境信息的變化，并作出相應(yīng)的改變。

1.2 混合現(xiàn)實系統(tǒng)的交互方式特征

混合現(xiàn)實場景由于空間維度的不同，導(dǎo)致交互邏輯的不同?；旌犀F(xiàn)實場景交互信息的熱點是分布在物理空間場景中的，由此其信息的組織方式與傳統(tǒng)的基于屏幕的二維空間的信息組織和交互方式有著很大差異。基于混合現(xiàn)實的交互方式使用戶可以用手勢、語音等自然的交流方式，與物理空間的虛擬對象進(jìn)行交互，在保持人對物理世界感知和交互的基礎(chǔ)上，將人的感知和交互延伸到虛擬世界中，并且符合人類的行為邏輯。結(jié)合微軟HoloLens設(shè)備的混合現(xiàn)實系統(tǒng)交互方式具有如下特征：

1）交互過程中主體位置和物理世界三維結(jié)構(gòu)信息的實時獲取。HoloLens通過攝像頭實時獲取真實世界的三維物理結(jié)構(gòu)，以及用戶的物理位置和姿態(tài)信息，并將該物理信息映射到計算機(jī)生成的虛擬空間中，得到一個虛擬世界位置坐標(biāo)和姿態(tài)信息，并根據(jù)物理空間的狀態(tài)變化實時更新?；谟嬎銠C(jī)圖形技術(shù)和可視化技術(shù)產(chǎn)生的虛擬對象，以及對真實世界物理信息的實時感知，在真實環(huán)境中相對應(yīng)的位置生成虛擬物體的三維模型，并通過傳感技術(shù)將虛擬對象與真實環(huán)境相疊加，以此構(gòu)建虛實融合的空間作為用戶自然交互的基礎(chǔ)。

2）符合人類行為邏輯的交互指令。由于人類自然知覺感知通道的多樣性，用戶可以通過多種自然交互方式將指令傳遞給HoloLens：包括凝視、手勢、肢體動作以及語音識別等。凝視是交互的基礎(chǔ)，通過設(shè)計一個簡單的光標(biāo)跟隨視線中心，讓用戶感知自身視線方向和位置;手勢交互即用戶用手直接操縱虛擬對象，與虛實融合的空間信息進(jìn)行高效交互;語音識別即為實時獲取用戶語音指令，并給予相應(yīng)的反饋[8]。同時設(shè)計一些交互引導(dǎo)，輔助交互過程，比如設(shè)計虛擬道具，即利用虛擬模型作為交互隱喻模擬與現(xiàn)實層相關(guān)的物體，通過改變虛擬道具的狀態(tài)，從而改變虛擬層某種數(shù)字模型的屬性;通過設(shè)計語音引導(dǎo)，利用聲音提供給用戶交互線索，引導(dǎo)用戶在空間中獲取相關(guān)信息。不同的交互方式指令之間相互補充，讓交互更加自然高效，以此在真實世界、虛擬世界和用戶之間構(gòu)建一個多通道交互反饋的信息回路，以增強(qiáng)用戶體驗的真實感。

3）交互過程中的遮擋感知。虛實物體之間的遮擋關(guān)系指虛擬物體和真實物體之間的遮擋，以及虛擬物體和虛擬物體之間的遮擋。HoloLens對于物理空間中物體的幾何形態(tài)感知是建立在深度信息的基礎(chǔ)上的，而物體的深度關(guān)系會根據(jù)用戶視點和物體自身位置的變化而發(fā)生改變，從而產(chǎn)生更加復(fù)雜的遮擋關(guān)系[9]。在可視空間中，每一個虛擬物體是否被準(zhǔn)確地放置在交互場景中，以及具有不同深度信息的物體是否具備正確的遮擋關(guān)系，將直接影響可視空間的真實性和用戶交互操作的自然性。

基于圖片、文字和視頻等收集和整理的數(shù)據(jù)庫資料，綜合考慮建筑領(lǐng)域現(xiàn)有的斗拱構(gòu)件模型，對北宋保國寺大殿的整個構(gòu)件體系進(jìn)行建模[16]。大殿的大木結(jié)構(gòu)構(gòu)件包括了斗類構(gòu)件和拱類構(gòu)件，在3ds Max軟件中進(jìn)行三維建模，模型構(gòu)建時既要保證模型尺寸的精確，也要注意面數(shù)的精簡，將繪制的紋理賦予給相對應(yīng)的模型，并以兩種模型比例分類保存：

1）與真實建筑尺寸比例1∶1的仿真模型：原比例的模型構(gòu)建便于學(xué)生根據(jù)虛擬模型與物理環(huán)境中真實物體的對比，感知其體量關(guān)系，以代替無法進(jìn)行實地考察的建筑實景;

2）與真實建筑尺寸比例1∶10的沙盤模型：沙盤模型的構(gòu)建便于學(xué)生多角度（如俯視）剖析保國寺大殿木構(gòu)體系的全貌。

最后，對模型的優(yōu)化和整合后，將三維模型、貼圖和動畫等虛擬信息分類打包成FBX / OBJ文件，在Unity引擎中對模型資源和三維動畫進(jìn)行繪制和編排。

3.3 交互式教學(xué)模式應(yīng)用設(shè)計

將底層驅(qū)動和相關(guān)的系統(tǒng)開發(fā)軟件構(gòu)建的教學(xué)應(yīng)用程序發(fā)布到HoloLens上后，在HoloLens上打開應(yīng)用程序，HoloLens通過自身傳感器捕獲物理世界三維結(jié)構(gòu)信息、學(xué)生主體位置和姿態(tài)信息以及學(xué)生的交互指令（凝視、手勢識別和語音），將實時創(chuàng)建的虛實融合場景投影到設(shè)備上的全息透視鏡。如圖3為HoloLens教學(xué)創(chuàng)設(shè)系統(tǒng)的結(jié)構(gòu)[17]。

根據(jù)建筑史教學(xué)內(nèi)容和功能的需求，設(shè)計了兩種虛實融合的交互式教學(xué)模式應(yīng)用，即引導(dǎo)式構(gòu)件認(rèn)知模式和開放式情境任務(wù)模式，兩種模式的交互流程如圖4所示。

1）引導(dǎo)式構(gòu)件認(rèn)知模式：學(xué)生在三維可視空間中的任意位置放置保國寺大殿的沙盤模型，自行切換觀察的視角，多角度剖析建筑外觀;通過凝視、語音識別和手勢的交互方式，選擇想要了解的構(gòu)件模型，通過移動、縮放和旋轉(zhuǎn)等方式進(jìn)一步觀察，從中探索建筑結(jié)構(gòu)上的邏輯;構(gòu)件在交互的過程中會顯示出詳細(xì)名稱和說明文字，構(gòu)件和構(gòu)件的搭配方式、交接處理方式以及對斗紋信息規(guī)律的解析;學(xué)生在觀察的過程中，可以結(jié)合使用菜單工具欄中的虛擬道具：放大鏡用于局部放大結(jié)構(gòu)的部分區(qū)域，標(biāo)尺用于測量結(jié)構(gòu)的尺寸，虛擬互聯(lián)網(wǎng)用于信息的實時查詢。

2）開放式情境任務(wù)模式：系統(tǒng)根據(jù)專業(yè)知識模擬真實情境，設(shè)計動態(tài)的敘事情節(jié)發(fā)展路線以及與教學(xué)內(nèi)容相對應(yīng)的任務(wù)，讓學(xué)生在情境中了解和學(xué)習(xí)木構(gòu)建筑的相關(guān)知識。教學(xué)中一些比較抽象的概念，例如建筑結(jié)構(gòu)工藝的教學(xué)，可設(shè)計相應(yīng)的虛擬構(gòu)件組裝環(huán)節(jié)，以便于學(xué)生切身感受建筑的結(jié)構(gòu)和做法;通過設(shè)計名稱與構(gòu)件的組合匹配，讓學(xué)生加深對構(gòu)件信息的記憶;結(jié)合相關(guān)視頻和語音介紹，引導(dǎo)學(xué)生了解木構(gòu)建筑的建造過程，近距離感受古建筑的歷史演變;同時，人是需要故事去引導(dǎo)記憶、學(xué)習(xí)的，混合現(xiàn)實的情境敘事設(shè)計可以構(gòu)建體驗式學(xué)習(xí)的交互空間，生動地呈現(xiàn)某個故事的起源、過程和結(jié)果。通過設(shè)計虛擬角色與情景對話，讓學(xué)生了解某個時代的社會活動，以及從中折射出的民俗、心理結(jié)構(gòu)、禮制、藝術(shù)思想和歷史文化。這既是情境化的故事演繹，也是歷史文化的一種視覺化展示方式。

針對上述兩種教學(xué)應(yīng)用模式，進(jìn)行系統(tǒng)文件的開發(fā)。

3.4 系統(tǒng)文件開發(fā)

為了實現(xiàn)混合現(xiàn)實技術(shù)的應(yīng)用，Visual Studio和Windows 10 SDK為Microsoft HoloLens和Windows混合現(xiàn)實沉浸式（VR）耳機(jī)構(gòu)建應(yīng)用程序所需的工具。本文在Windows 10 64位計算機(jī)環(huán)境下，采用Unity2018.1.0開發(fā)引擎和Visual Studio 2017全功能集成開發(fā)平臺作為交互原型開發(fā)環(huán)境，開發(fā)一款基于HoloLens的建筑史教學(xué)交互系統(tǒng)。

針對在HoloLens平臺上的混合現(xiàn)實技術(shù)的應(yīng)用開發(fā)，Microsoft官方網(wǎng)站上提供了相關(guān)軟件開發(fā)的安裝包。在Unity3D中打開控制平臺，由于相機(jī)用于跟蹤用戶頭部位置和畫面的實時渲染，需要對Unity3D主攝像頭進(jìn)行設(shè)置更改，使其與HoloLens設(shè)備相匹配。在調(diào)整完相關(guān)參數(shù)適配和基礎(chǔ)設(shè)置完成后，利用C#編寫空間掃描數(shù)據(jù)處理及人機(jī)交互方式等控制程序。針對系統(tǒng)開發(fā)過程中的環(huán)境理解和人機(jī)交互的關(guān)鍵技術(shù)分析如下。

3.4.1 環(huán)境理解

若要將全息圖合理地放置在真實世界中，需要具備對周圍環(huán)境的充分理解，即正確識別地板、天花板、墻壁和桌椅等三維物理空間信息。本系統(tǒng)需要在Unity3D中使用空間映射API，以此實現(xiàn)對環(huán)境的充分認(rèn)知、虛擬物體的放置以及真實物體與虛擬物體之間的遮擋關(guān)系。首先，需要在Unity中啟用spatialPerception功能，針對需要空間映射數(shù)據(jù)的空間區(qū)域初始化一個SurfaceObserver對象，并為每個SurfaceObserver對象指定它們需要獲取數(shù)據(jù)的具體空間范圍大小和形狀，例如對于天花板、地面和墻面的識別方法：地面即為用戶頭部位置下方的最大水平區(qū)域，天花板即為用戶頭部位置上方的最大水平區(qū)域，墻面即為用戶視線范圍內(nèi)最大垂直區(qū)域，也可以用于識別球體、桌椅等。系統(tǒng)需要在用戶對空間搜索逐漸完善的過程中，實時更新并迭代數(shù)據(jù)。最后，將掃描得到的空間網(wǎng)格數(shù)據(jù)轉(zhuǎn)換成平面，作為具體虛擬對象生成的基礎(chǔ)空間，也是真實物體與虛擬物體之間產(chǎn)生正確遮擋關(guān)系的關(guān)鍵所在。

在應(yīng)用設(shè)計上需要提供給用戶良好的空間識別體驗。結(jié)合語音或者視覺上的操作引導(dǎo)，提示用戶需要掃描的范圍、所站的位置（比如需要靠近或者后退等）和視線的方向，以此獲得較高的環(huán)境掃描質(zhì)量;同時，將掃描過的區(qū)域可視化，通過繪制不同的空間映射網(wǎng)格的掃描特效材質(zhì)，提供給用戶視覺上的反饋，用于指示用戶某塊具體區(qū)域是否完成掃描。如圖5為可視空間的掃描信息，出現(xiàn)可視線框即為完成掃描。

3.4.2 人機(jī)交互技術(shù)

結(jié)合HoloLens自身交互特征，本系統(tǒng)主要的交互方式有三種：凝視、手勢識別和語音控制。用戶頭戴HoloLens設(shè)備時，設(shè)備中心會發(fā)出一條向前的射線，射線的方向即為用戶的視線方向，且射線可以與范圍內(nèi)的目標(biāo)物體發(fā)生碰撞。在Hololens中相機(jī)的位置與用戶的位置是同步的，因此需要對Unity中的相機(jī)作出對應(yīng)的調(diào)整。在本次應(yīng)用設(shè)計中，當(dāng)凝視射線在可交互對象上時光標(biāo)會變亮，離開時光標(biāo)變暗，以此告知用戶當(dāng)前視線位置，以及凝視的物體是否可交互;HoloLens提供的API可以設(shè)計不同的手勢，包括單擊、雙擊、長按、拖拽等。使用GestureRecognizer可以創(chuàng)建不同的手勢手勢類型，定義不同手勢的觸發(fā)事件;語音識別的腳本編輯主要采用KeywordRecognizer或GrammarRecognize指定需要識別的詞匯，并在識別指定的詞匯后，采用OnPhraseRecognized觸發(fā)相對應(yīng)的事件。例如，在本系統(tǒng)中設(shè)置了用語音控制拍照記錄的功能。Hololens設(shè)備具備Web攝像頭，可通過在Unity3D調(diào)用Web Camera API實現(xiàn)拍照功能。當(dāng)用戶發(fā)出交互命令“PHOTO”時，系統(tǒng)會開啟相機(jī)模式并等待用戶的命令，當(dāng)用戶調(diào)整好視角并發(fā)出交互命令“TAKE”時，相機(jī)會將用戶視線范圍的內(nèi)容以圖片的方式記錄并保存。

在用戶與全息圖交互的過程中，當(dāng)重要事件或?qū)ο蟪鲇脩舢?dāng)前可視空間范圍，需要結(jié)合箭頭、光跡、虛擬角色引導(dǎo)、指針以及空間聲音等引導(dǎo)設(shè)計，來提示用戶查看重要內(nèi)容。

3.5 調(diào)試及發(fā)布

在unity3D中進(jìn)行主程序設(shè)計時，通過打開Window-XR-Holographic Emulation，連接HoloLens，即可在HoloLens設(shè)備中獲取Unity 3D中的畫面，實時預(yù)覽演示系統(tǒng)的實際效果。最終程序完成后，將unity3D中的數(shù)據(jù)處理程序?qū)隫S2017，構(gòu)建和部署UWP應(yīng)用程序。通過有線USB或遠(yuǎn)程控制將應(yīng)用加載到HoloLens上，并在設(shè)備上進(jìn)行調(diào)試，實現(xiàn)混合現(xiàn)實的最終效果。

HoloLens通過傳感器對環(huán)境進(jìn)行掃描和識別，獲取真實世界的相關(guān)物理信息和主體位置信息后，出現(xiàn)系統(tǒng)主界面，選擇“構(gòu)件認(rèn)知”，學(xué)生可以自行放置保國寺大殿的沙盤模型;在學(xué)習(xí)的過程中，學(xué)生可以自由提取、拆分其想要觀察的構(gòu)件內(nèi)部細(xì)節(jié)，以與真實構(gòu)件1∶1原比例放置。以保國寺大殿的外檐鋪作的橫拱拱型為例，該鋪作由泥道拱、扶壁瓜子拱和扶壁慢拱等構(gòu)件組合而成，學(xué)生可以通過其三維虛擬模型與周圍環(huán)境真實物體之間的對比，主觀感受其體量關(guān)系;結(jié)合使用測繪工具，測量其拱長;通過拆分和組裝斗拱構(gòu)件，了解各個構(gòu)件的名稱，理解構(gòu)件和構(gòu)件之間的搭配方式，教學(xué)界面如圖6所示。

Hololens可將學(xué)習(xí)者的可視場景和交互狀況投射到計算機(jī)屏幕上，處在同一個學(xué)習(xí)空間中的老師和其他同學(xué)可以實時觀看，有利于互相的交流和協(xié)作。學(xué)生在課堂中的學(xué)習(xí)交互過程的視頻也可以保存到計算機(jī)上，以便于課后的查看。

4 結(jié)語

在每個教學(xué)環(huán)節(jié)結(jié)束后，根據(jù)學(xué)生對課堂內(nèi)容的反饋，教師在課堂上的記錄以及學(xué)生學(xué)習(xí)狀況的測試結(jié)果，對傳統(tǒng)教學(xué)模式和混合現(xiàn)實教學(xué)模式進(jìn)行綜合對比分析，如表1所示。

研究發(fā)現(xiàn)，混合現(xiàn)實的學(xué)習(xí)模式將學(xué)習(xí)從傳統(tǒng)的二維屏幕和書本擴(kuò)展到整個現(xiàn)實世界的教學(xué)可視空間，加深了學(xué)生對于木構(gòu)建筑體量關(guān)系和結(jié)構(gòu)特征的理解，使理論學(xué)習(xí)變得更富于多樣性和實踐性，通過其豐富的動態(tài)交互特性帶給學(xué)生更多的學(xué)習(xí)樂趣，有效提高學(xué)生學(xué)習(xí)的主動性和自主學(xué)習(xí)能力。這種教學(xué)方式是在已有建筑史教學(xué)體系基礎(chǔ)上的一種新思路，為教育理念與科技和現(xiàn)代信息技術(shù)的結(jié)合提供了新的方法。隨著技術(shù)的完善和研究的深入，混合現(xiàn)實技術(shù)在教學(xué)領(lǐng)域應(yīng)用的廣度和深度必將進(jìn)一步拓展。

參考文獻(xiàn)

[1]李林瞳，王有春，謝曄，等.適用宇航智能交互場景的混合現(xiàn)實技術(shù)研究[J].計算機(jī)測量與控制， 2017，25（12）：255-258.（LI L T， WANG Y C， XIE Y， et al. A study of mixed reality applied to aerospace intelligent interaction [J]. Computer Measurement and Control， 2017， 25（12）： 255-258.）

[2]衡軍.增強(qiáng)現(xiàn)實技術(shù)在船舶行業(yè)的應(yīng)用[J].艦船科學(xué)技術(shù)，2014，36（12）：103-106.（HENG J. Research on application of augumented reality technology in ship industry [J]. Ship Science and Technology， 2014， 36（12）： 103-106.）

[3]廖嶼荻，張興國，杜源.從傳統(tǒng)建筑到營造傳統(tǒng)——重慶大學(xué)中國古典建筑史模型實踐課程體系深化研究[J].高等建筑教育，2017，26（6）： 99-104.（LIAO Y D， ZHANG X G， DU Y. From traditional architecture to inheritance of building tradition：reflecting on the optimization teaching of Chinese classical architecture under the background of the new normal [J]. Journal of Architectural Education in Institutions of Higher Learning， 2017， 26（6）： 99-104.）

[4]周堅.外國建筑史課程教學(xué)改革研究[J].高等建筑教育，2014，23（2）：63-65.（ZHOU J. Teaching reform of foreign architectural history course [J]. Journal of Architectural Education in Institutions of Higher Learning， 2014， 23（2）： 63-65.）

[5]李小平，張琳，趙豐年，等.虛擬現(xiàn)實/增強(qiáng)現(xiàn)實下混合形態(tài)教學(xué)設(shè)計研究[J].電化教育研究， 2017， 38（7）： 20-25.（LI X P，ZHANG L，ZHAO F N，et al.Research on AR/VR blended style instructional design [J]. E-Education Research，2017， 38（7）： 20-25.）

[6]Milgram P， Kishino F. A taxonomy of mixed reality visual displays[J]. IEICE Transactions on Information and Systems， 1994， 77（12）： 1321-1329.

MILGRAM P， KISHINO F. A taxonomy of mixed reality visual displays [J]. IEICE Transactions on Information and Systems， 1994， E77-D（12）： 1321-1329.

[7]黃紅濤，孟紅娟，左明章，等.混合現(xiàn)實環(huán)境中具身交互如何促進(jìn)科學(xué)概念理解 [J]. 現(xiàn)代遠(yuǎn)程教育研究，2018（6）： 28-36.（HUANG H T， MENG H J， ZUO M Z， et al. How embodied ineraction facliltates the understanding of scientific concepts in mixed reality environment [J]. Modern Distance Education Research， 2018（6）： 28-36.）

[8]陳寶權(quán)，秦學(xué)英.混合現(xiàn)實中的虛實融合與人機(jī)智能交融[J].中國科學(xué)：信息科學(xué)，2016， 46（12）： 1737-1747.（CHEN B Q，QIN X Y.Composition of virtual-real worlds and intelligence integration of human-computer in mixed reality[J].Scientia Sinica（Informationis），2016， 46（12）： 1737-1747.）

[9]黃進(jìn)，韓冬奇，陳毅能，等.混合現(xiàn)實中的人機(jī)交互綜述[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2016，28（6）：869-880.（HUANG J， HAN D Q， CHEN Y N， et al. A survey on human-computer interaction in mixed reality [J]. Journal of Computer-Aided Design and Computer Graphics， 2016， 28（6）： 869-880.）

[10]黃鳴奮.藝術(shù)與混合現(xiàn)實[J].東南大學(xué)學(xué)報（哲學(xué)社會科學(xué)版）， 2008，10（6）：74-78.（HUANG M F. Art and mixed reality [J]. Journal of Southeast University （Philosophy and Social Science）， 2008， 10（6）： 74-78.）

[11]紀(jì)連恩，張鳳軍，付永剛，等.虛擬環(huán)境下基于語義的三維交互技術(shù)[J].軟件學(xué)報，2006，17（7）：1535-1543.（JI L E， ZHANG F J， FU Y G， et al. 3D interaction techniques based on semantics in virtual environments [J]. Journal of Software， 2006，17（7）：1535-1543.）

[12]梁思成.中國建筑史[M].北京：三聯(lián)書店，2005：107-207.（LIANG S C. A History of Chinese Architecture [M]. Beijing： SDX Joint Publishing， 2005： 107-207.）

[13]潘谷西，何建中.《營造法式》解讀[M].南京：東南大學(xué)出版社，2005：21-165.（PAN G X， HE J Z. Interpretation of Rules of Architecture [M]. Nanjing： Southeast University Press， 2005： 21-165.）

[14]淳慶，孟哲，賈肖虎，等.典型江南傳統(tǒng)木構(gòu)建筑的構(gòu)件重要性分析方法[J].華僑大學(xué)學(xué)報（自然科學(xué)版），2019，40（1）：64-71.（CHUN Q， MENG Z， JIA X H， et al. Evaluation methods of component importance of typical traditional timber buildings in yangtze river regions [J]. Journal of Huaqiao University （Natural Science）， 2019， 40（1）： 64-71.）

[15]張十慶.寧波保國寺大殿：勘測分析與基礎(chǔ)研究[M].南京：東南大學(xué)出版社，2012：5-128.（ZHANG S Q. Ningbo Baoguo Temple Hall： Survey Analysis and Basic Research [M]. Nanjing： Southeast University Press， 2012： 5-128.）

[16]王丹婷，蔣友燏.古建筑三維虛擬建模與虛實交互軟件實現(xiàn)[J].計算機(jī)應(yīng)用， 2017，37（S2）：186-189.（WANG D T， JIANG Y Y. 3D-virtual modeling for historic architecture and realization of virtual interactive software [J]. Journal of Computer Applications， 2017， 37（S2）： 186-189.）

[17]廖宏建.應(yīng)用Kinect構(gòu)建英語課堂虛擬教學(xué)情境研究[J]. 現(xiàn)代教育技術(shù)，2014，24（3）：64-70.（LIAO H J. Research on construting virtual context in English classroom teaching by Kinect [J]. Modern Educational Technology， 2014， 24（3）： 64-70.）

This work is partially supported by the Ministry of Education Humanities and Social Sciences Research Program （Z2018117009907）.

YAO Luji， born in 1994， M. S. candidate. Her research interests include mixed reality， human-computer interaction.

ZHANG Li， born in 1971， M. S.， associate professor. His research interests include virtual reality， human-computer interaction.