楊昕彤 朱丹丹 張晶 倪心宇 關(guān)云興
摘要:增強(qiáng)現(xiàn)實(shí)是虛擬現(xiàn)實(shí)技術(shù)的拓展?;谠鰪?qiáng)現(xiàn)實(shí)的交互手段可以為學(xué)習(xí)對(duì)象提供新的表達(dá)方式,并且可以通過最自然的交互方式為學(xué)習(xí)者構(gòu)建一個(gè)獨(dú)立探索的空間。運(yùn)用AR技術(shù)與中醫(yī)藥教學(xué)相結(jié)合,以軟件的形式將傳統(tǒng)的中醫(yī)藥教學(xué)變?yōu)榫哂腥の缎浴Ⅲw驗(yàn)性、交互性的增強(qiáng)現(xiàn)實(shí)教學(xué)。通過開發(fā)相應(yīng)軟件利用手機(jī)攝像頭掃描AR卡片,還原中藥本草的三維立體形象,改變以往單一、平面的傳統(tǒng)教學(xué)方式,多維度的展現(xiàn)中藥植物的地道產(chǎn)區(qū)、本草溯源、功效主治等知識(shí)。將中藥材的教學(xué)內(nèi)容更直觀地體現(xiàn),把抽象復(fù)雜的知識(shí)變的可視化、形象化。打破空間和時(shí)間的限制,讓教學(xué)場(chǎng)景更加豐富生動(dòng),讓教學(xué)內(nèi)容變得更生動(dòng)有趣。
關(guān)鍵詞:AR;中藥教學(xué);增強(qiáng)現(xiàn)實(shí)
中圖分類號(hào):TP391? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼:A
文章編號(hào):1009-3044(2020)02-0179-05
這幾年來,隨著不斷深入的科技發(fā)展以及教學(xué)改革,多模式多樣化的新型教學(xué)方式不斷產(chǎn)生;AR技術(shù)作為一種新興的技術(shù),在制造業(yè)應(yīng)用廣泛,對(duì)于提升制造業(yè)的信息化智能化水平有極大幫助??萍疾亢蛧抑嗅t(yī)藥管理局聯(lián)合發(fā)布文件,將“VR/AR技術(shù)用于中藥智能制造”提升到了國家政策的高度,這也是中醫(yī)藥文化發(fā)展的一個(gè)機(jī)遇與挑戰(zhàn)。同時(shí)《“十三五”中醫(yī)藥科技創(chuàng)新專項(xiàng)規(guī)劃》《新一代人工智能規(guī)劃》等多項(xiàng)國家規(guī)劃書中都提出發(fā)展人工智能技術(shù),將傳統(tǒng)文化與增強(qiáng)現(xiàn)實(shí)技術(shù)相結(jié)合,推動(dòng)我國中醫(yī)藥文化的前進(jìn)。AR技術(shù)在中醫(yī)藥教育中的應(yīng)用,可以充分發(fā)揮AR技術(shù)的優(yōu)勢(shì),對(duì)減輕學(xué)生的學(xué)習(xí)壓力,提高教育教學(xué)質(zhì)量,促進(jìn)中醫(yī)藥文化的發(fā)展具有積極的作用。本軟件開發(fā)利用VR技術(shù),將中藥本草的真實(shí)立體形象展示給學(xué)生并給予實(shí)時(shí)交互性使教學(xué),過程直觀真實(shí),形象易記,對(duì)于中藥課堂教學(xué)起到了很好的輔助作用。
1 AR技術(shù)在領(lǐng)域的研究現(xiàn)狀
近年來,AR技術(shù)作為新型的人機(jī)接口和仿真工具,在各領(lǐng)域的應(yīng)用日益廣泛。AR技術(shù)已應(yīng)用在軍事、航空、醫(yī)學(xué)、船舶等多個(gè)領(lǐng)域;在針灸教學(xué)、患者康復(fù)訓(xùn)練以及醫(yī)藥教輔類有所應(yīng)用,且反響良好。[1]AR在智能手機(jī)上的應(yīng)用也日漸增多。利用手機(jī)進(jìn)行草藥識(shí)別,并將草藥的細(xì)微結(jié)構(gòu)、標(biāo)本飲片細(xì)節(jié)呈現(xiàn)出來,是一種挑戰(zhàn),同時(shí)也具有一定的前景。目前全球多家公司已經(jīng)推出了各具特色的AR軟件開發(fā)平臺(tái),為不擅長(zhǎng)編程者提供了可操作的平臺(tái),只需按照自己的思維邏輯來設(shè)計(jì)流程,將已經(jīng)分裝好的程序模塊嵌入,就可以通過AR工具設(shè)計(jì)開發(fā)符合自己需求的AR軟件產(chǎn)品。這為我們做中醫(yī)藥教學(xué)軟件的開發(fā)提供了便利。目前各醫(yī)學(xué)院校未設(shè)置中草藥植物園或中藥飲片陳列室, 學(xué)生沒有機(jī)會(huì)直接接觸中藥, 不能直接觀察中藥原植物或標(biāo)本, 不利于了解中藥四氣五味、性狀特征等性能。沒有理論結(jié)合實(shí)踐, 學(xué)生對(duì)所學(xué)印象不深[6]。
2 設(shè)計(jì)理念
2.1 科學(xué)性
本軟件設(shè)計(jì)的科學(xué)性,主要體現(xiàn)在中草藥模型制作的規(guī)范。通過查閱大量的文獻(xiàn),嚴(yán)格按照中草藥文獻(xiàn)中草藥的外觀特點(diǎn)進(jìn)行建模。對(duì)于所識(shí)別草藥的植物基源、形態(tài)特征以及功效的介紹做到有據(jù)可依,保證用戶在平臺(tái)上所獲得的知識(shí)具有一定的科學(xué)性和可信性。
2.2 創(chuàng)新性
本軟件設(shè)計(jì)的創(chuàng)新性主要體現(xiàn)在運(yùn)用AR增強(qiáng)技術(shù),將圖片的描述立體、直觀的呈現(xiàn)在學(xué)生面前。研究表明采用語言描述與彩色照片, 兩者認(rèn)知程度相差2倍之多。將抽象的學(xué)習(xí)內(nèi)容形象化、可視化、直觀化的展示出來,增強(qiáng)現(xiàn)實(shí)的可視化效果,能夠提高學(xué)生對(duì)于抽象概念、微觀現(xiàn)象的理解,提升學(xué)習(xí)效率和效果[2]。將AR技術(shù)運(yùn)用于中藥教學(xué)中,這種方式可以打破以往對(duì)于中藥學(xué)習(xí)的時(shí)空限制,能夠更好地適應(yīng)學(xué)生的個(gè)別差異,同時(shí)也滿足了學(xué)生自主個(gè)性的學(xué)習(xí)需求,豐富了獲取知識(shí)的途徑,真實(shí),具體的教學(xué)情景有利于學(xué)生對(duì)知識(shí)點(diǎn)的掌握。這種新型互聯(lián)網(wǎng)+技術(shù)可以提高學(xué)生的學(xué)習(xí)興趣,調(diào)動(dòng)學(xué)習(xí)積極性。是現(xiàn)代信息化技術(shù)與傳統(tǒng)中藥教學(xué)的完美結(jié)合。
2.3 服務(wù)性
本軟件設(shè)計(jì)本著服務(wù)學(xué)生的思想,主要用于課堂教學(xué),草藥模型的建立、簡(jiǎn)介等主要用于課堂教學(xué),服務(wù)教師、服務(wù)學(xué)生,對(duì)于優(yōu)化課堂教學(xué)模式具有良好作用。
3 軟件的特點(diǎn)
增強(qiáng)現(xiàn)實(shí)技術(shù)是真實(shí)世界和虛擬世界的信息集成,具有實(shí)時(shí)交互性,是在三維尺度空間中增添定位虛擬物體。
該項(xiàng)目旨在運(yùn)用AR技術(shù)與中醫(yī)藥教學(xué)相結(jié)合,以軟件的形式將傳統(tǒng)的中醫(yī)藥教學(xué)變?yōu)榫哂腥の缎?、體驗(yàn)性、交互性的增強(qiáng)現(xiàn)實(shí)教學(xué)。通過利用手機(jī)攝像頭掃描AR卡片,還原中藥本草的三維立體形象,改變以往單一、平面的傳統(tǒng)教學(xué)方式,多維度的展現(xiàn)中藥植物的產(chǎn)地溯源、功效等知識(shí)。提供更直觀的中藥材教學(xué)內(nèi)容,將抽象復(fù)雜的知識(shí)可視化、形象化。打破空間和時(shí)間的限制,讓教學(xué)場(chǎng)景更加豐富生動(dòng),讓教學(xué)內(nèi)容變得更生動(dòng)有趣。
4 設(shè)計(jì)方法與開發(fā)過程
4.1 設(shè)計(jì)方法
本項(xiàng)目研究主要采用文獻(xiàn)法、基于設(shè)計(jì)的研究法和快速原型法。通過文獻(xiàn)檢索法,整理中草藥數(shù)據(jù)庫,通過基于設(shè)計(jì)的研究的方法對(duì)軟件的基本功能需求進(jìn)行設(shè)計(jì)、改進(jìn)、完善、應(yīng)用,在運(yùn)用中設(shè)計(jì)、設(shè)計(jì)中進(jìn)行完善。在App項(xiàng)目開發(fā)中采用快速原型法,根據(jù)設(shè)計(jì)與基本需求建立軟件原型。在軟件設(shè)計(jì)中采用面向?qū)ο蟮姆椒ㄟM(jìn)行開發(fā)。
4.2 開發(fā)流程
1) 插件的安裝
AR識(shí)別卡插件:
4.3 開發(fā)過程
增強(qiáng)現(xiàn)實(shí)AR軟件教學(xué)系統(tǒng)的核心功能, 該功能開發(fā)中采用了unity 3D AR場(chǎng)景搭建、3DMAX建模、自然場(chǎng)景識(shí)別等技術(shù), 用戶可以通過虛擬現(xiàn)實(shí)系統(tǒng)感受到在客觀物理世界中所經(jīng)歷的“身臨其境”的逼真性,還能突破空間、時(shí)間以及其他客觀限制,感受到在真實(shí)世界中無法親身經(jīng)歷的體驗(yàn)。
具體開發(fā)過程如下:3DMAX建模,確定植物藥材選擇。以人參為例,搜集人參全株圖片、根莖圖、葉片細(xì)節(jié)圖等作為素材。首先用CAD繪圖軟件繪制平面圖形,將CAD軟件中的平面圖形導(dǎo)入到3Dmax當(dāng)中,利用3Dmax軟件的輪廓和尺寸,繪制出初始平面圖形,如圖2。
將二維圖形進(jìn)行處理,將其轉(zhuǎn)化為三維立體的模型。再通過貼圖使模型完整,為達(dá)到更好的效果先用Photoshop對(duì)前期收集的人參素材進(jìn)行處理,對(duì)貼圖材質(zhì)中的光線、顏色進(jìn)行強(qiáng)化。用zbrush做貼圖和細(xì)節(jié)處理,針對(duì)材質(zhì)貼圖的紋理設(shè)計(jì),進(jìn)行相應(yīng)的調(diào)整,再導(dǎo)入到3dMax中檢查貼圖,建立一個(gè)更加生動(dòng)的實(shí)體模型。還可以根據(jù)實(shí)際情況的要求調(diào)整添加燈光、渲染輸出,如圖3。
4.4 搭建Vuforia數(shù)據(jù)庫
通過Vuforia增強(qiáng)現(xiàn)實(shí)插件可以將Unity3D 生成的虛擬現(xiàn)實(shí)世界疊加到真實(shí)環(huán)境中,基于Unity3D+Vuforia增強(qiáng)現(xiàn)實(shí)技術(shù)可以開發(fā)具有交互功能的App。AR Camera需要Vuforia SDK的支持。點(diǎn)擊Get Development Key自己定義項(xiàng)目名如上圖創(chuàng)建你的Vuforia項(xiàng)目,如圖4。
復(fù)制粘貼密鑰,如圖5。
回到Unity,點(diǎn)擊AR Camera,然后在右邊Inspector窗口點(diǎn)擊Open Vuforia Configuration,將密鑰粘貼到App Licese Key,如圖6。
點(diǎn)擊Target Manager,添加識(shí)別卡,這樣當(dāng)攝像頭拍攝到我們指定的東西上,就在上面浮現(xiàn)AR模型。點(diǎn)擊Add Database,選擇Device,然后點(diǎn)開新建的Database,如圖7。
4.3 搭建AR場(chǎng)景
打開Unity3D,選擇Android Build Support、iOS Build Support 界面,如圖8。
然后搭建AR相機(jī),刪除Main Camera,搜索AR Camera,拖動(dòng)到hierarchy,如圖9。
然后導(dǎo)入下載的Database,如圖10。
然后Assets目錄下會(huì)多出StreamingAssets文件夾,添加的識(shí)別卡也在目錄下面。添加ImageTaget,將ImageTarget拖動(dòng)到左上角,如圖11。
然后將模型文件從本地電腦拖動(dòng)到Assests目錄下,模型拖動(dòng)到ImageTarget目錄下,使得其變成子目錄,如圖12。
然后點(diǎn)擊ImageTarget,將Database選為我們?cè)赩uforia建立的database,步驟正確的話,有兩個(gè)選項(xiàng),一個(gè)是Empty,另一個(gè)就是新建立的database,如圖13。
然后點(diǎn)擊AR Camera,在Datasets里面將下面兩個(gè)選項(xiàng)勾選上即可完成AR場(chǎng)景的搭建,如圖14。
4.5 AndroidAPK打包
安裝 JDK,運(yùn)行安裝程序jdk-7u67-windows-x64,完成之后點(diǎn)擊確定,完成環(huán)境變量的配置。復(fù)制android-sdk-windows文件夾到C盤或者D盤或者你可以找到的任意盤任意目錄,復(fù)制完成之后,打開unity,新建一個(gè)項(xiàng)目,打開Edit-Preferences選項(xiàng),Javajdk環(huán)境和SDK環(huán)境搭建完成。完成之后,新建場(chǎng)景,保存場(chǎng)景,添加到build里面去切換平臺(tái)為安卓Android平臺(tái),如圖15。
然后點(diǎn)擊Player settings,修改Other Settings,如圖16。
修改完成后,點(diǎn)擊Build,如圖17所示。
添加文件名,打包保存,如圖18所示。
4.6 效果演示
5 總結(jié)與展望
雖然AR技術(shù)已廣泛被大眾接受,但在教學(xué)實(shí)施中,如何平衡虛擬與現(xiàn)實(shí)是一個(gè)待解決的問題。對(duì)基本教育理念的沖擊和對(duì)傳統(tǒng)教學(xué)方式的突破都需要一段時(shí)間的適應(yīng)。同時(shí),由于AR產(chǎn)品技術(shù)需要相關(guān)設(shè)備的條件滿足,成本較高于以往的教學(xué)設(shè)備,所以尚未全面走進(jìn)各大高校。
增強(qiáng)現(xiàn)實(shí)技術(shù)能為包括中醫(yī)藥教學(xué)在內(nèi)的各個(gè)領(lǐng)域的發(fā)展提供一個(gè)全新的突破口,隨著網(wǎng)絡(luò)技術(shù)不斷地飛速發(fā)展增強(qiáng)現(xiàn)實(shí)技術(shù)會(huì)得到更為長(zhǎng)足的發(fā)展,與中醫(yī)藥教學(xué)的結(jié)合也會(huì)更加完美,必將更為廣泛的運(yùn)用于中醫(yī)藥教學(xué)領(lǐng)域。
AR技術(shù)中藥本草的真實(shí)立體形象展示給用戶并給予實(shí)時(shí)交互性,使教學(xué)過程直觀真實(shí),形象易記。許多過去難以講述的內(nèi)容,如植物形態(tài)、藥用部位、飲片性狀等,通過AR教學(xué),現(xiàn)在變得易于識(shí)別和理解,這種教學(xué)形式將會(huì)掀起改革式的熱潮。
將AR技術(shù)應(yīng)用于中藥教學(xué)中,這種方式可以打破以往對(duì)于中藥學(xué)習(xí)的時(shí)空限制,能夠更好地適應(yīng)學(xué)生的個(gè)別差異,同時(shí)也滿足了學(xué)生自主個(gè)性的學(xué)習(xí)需求,豐富了獲取知識(shí)的途徑,真實(shí),具體的教學(xué)情景有利于學(xué)生對(duì)知識(shí)點(diǎn)的掌握。將實(shí)現(xiàn)現(xiàn)代信息化技術(shù)與傳統(tǒng)中藥教學(xué)的完美結(jié)合。
參考文獻(xiàn):
[1] 萬倩茹,劉旭初,尹瑞英,等.AR技術(shù)應(yīng)用在中醫(yī)藥教育中的可行性探討[J].中國中醫(yī)藥現(xiàn)代遠(yuǎn)程教育,2018(19):29-32.
[2] 田方,巢建國.植物圖片庫在藥用植物學(xué)教學(xué)中的應(yīng)用[J].中國醫(yī)藥指南,2013(36):590-59.
[3] 涂子琰,孫濟(jì)洲.增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用和研究[J].計(jì)算機(jī)工程與應(yīng)用,2003(12):100-102+125.
[4] 徐敏,童強(qiáng).一種基于Unity3D+Vuforia的增強(qiáng)現(xiàn)實(shí)交互App的開發(fā)[J].現(xiàn)代計(jì)算機(jī),2016(12):71-75.
[5] 王丹婷,蔣友燏.古建筑三維虛擬建模與虛實(shí)交互軟件實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用,2017(S2):186-189.
[6] 唐建紅,黃佳伊,劉川玉.中藥學(xué)課程授課現(xiàn)狀及改革探討[J].中國中醫(yī)藥現(xiàn)代遠(yuǎn)程教育,2018,16(19):18-20.
[7] 吳小惠.基于AR的計(jì)算機(jī)軟件教學(xué)工具設(shè)計(jì)與研究[J].吉林省教育學(xué)院學(xué)報(bào),2018,34(11):76-78.
【通聯(lián)編輯:朱寶貴】