孟祥軍 馬志慶* 趙文華 孟 美

應(yīng)用增強(qiáng)現(xiàn)實(shí)技術(shù)于醫(yī)療器械課本的研究與設(shè)計(jì)*

孟祥軍①馬志慶①*趙文華①孟 美②

目的：應(yīng)用增強(qiáng)現(xiàn)實(shí)(AR)技術(shù)，改進(jìn)醫(yī)療器械課本中二維圖片的諸多缺點(diǎn)，進(jìn)行形象具體可交互的三維(3D)圖片展示，便于學(xué)生更加清楚、透徹地理解課本內(nèi)容。方法：比較Vuforia、ARToolKit、Easy等AR解決方案，利用Unity 3D作為開(kāi)發(fā)平臺(tái)，利用C#計(jì)算機(jī)語(yǔ)言作為開(kāi)發(fā)語(yǔ)言，采用識(shí)別準(zhǔn)確率更高的Vuforia AR技術(shù)，設(shè)置虛擬按鈕進(jìn)行交互；利用智能終端設(shè)備完成醫(yī)學(xué)課本的相關(guān)應(yīng)用程序(APP)設(shè)計(jì)。結(jié)果：基于AR技術(shù)的醫(yī)學(xué)課本APP開(kāi)發(fā)設(shè)計(jì)，在原有醫(yī)學(xué)課本的基礎(chǔ)上實(shí)現(xiàn)了觀察某些特定醫(yī)學(xué)二維圖像，可以實(shí)時(shí)展示單個(gè)或多個(gè)3D立體模型，可直接使用設(shè)計(jì)的虛擬按鈕功能與虛擬3D立體模型進(jìn)行交互。結(jié)論：利用AR技術(shù)的APP學(xué)習(xí)方案，能夠顯著提高醫(yī)療器械的學(xué)習(xí)效率，使學(xué)生學(xué)習(xí)興趣極大增強(qiáng)，并可將該技術(shù)移植到其他課本中進(jìn)行研究。

增強(qiáng)現(xiàn)實(shí)；醫(yī)療器械；課本

增強(qiáng)現(xiàn)實(shí)(augmented reality，AR)[1-2]即為利用相關(guān)技術(shù)在原有場(chǎng)景中構(gòu)建新的虛擬模型或場(chǎng)景并使其與現(xiàn)實(shí)場(chǎng)景融為一體，是一種實(shí)時(shí)地計(jì)算攝影機(jī)影像的位置及角度并加上相應(yīng)圖像、視頻和三維(threedimensional，3D)模型的技術(shù)。在醫(yī)療器械課本中，傳統(tǒng)紙質(zhì)課本只能展示二維圖片，相比傳統(tǒng)紙質(zhì)課本，研究基于增強(qiáng)現(xiàn)實(shí)技術(shù)的“增強(qiáng)現(xiàn)實(shí)課本”可帶來(lái)新的應(yīng)用體驗(yàn)，增強(qiáng)學(xué)習(xí)醫(yī)療器械相關(guān)知識(shí)效果，而且可以推而廣之，擴(kuò)展到整個(gè)教育領(lǐng)域使用。本研究應(yīng)用AR技術(shù)，對(duì)原有醫(yī)療器械課本二維圖片的諸多缺點(diǎn)進(jìn)行改進(jìn)，實(shí)現(xiàn)其形象具體、可交互的3D圖片展示。

1 AR技術(shù)的解決方案

1.1 AR技術(shù)分類

AR技術(shù)目前市場(chǎng)上解決方案大致有PTC公司的Vuforia、開(kāi)源的ARToolKit、Metaio以及國(guó)內(nèi)的EasyAR等系統(tǒng)軟件解決方案，ARToolKit僅僅用于個(gè)人電腦(personal computer，PC)平臺(tái)的開(kāi)發(fā)。此外，Metaio被Apple公司收購(gòu)后已經(jīng)不在對(duì)外提供服務(wù)[3-6]。本研究采用移動(dòng)平臺(tái)作為開(kāi)發(fā)平臺(tái)，本項(xiàng)目采用被廣泛應(yīng)用于移動(dòng)端AR開(kāi)發(fā)的Vuforia系統(tǒng)作為AR開(kāi)發(fā)的解決方案(如圖1所示)。

圖1 AR技術(shù)主要解決方案示圖

1.2 Vuforia系統(tǒng)

Vuforia系統(tǒng)是由PTC公司推出的AR開(kāi)發(fā)工具包，最新版本為Vuforia 6.2，其開(kāi)發(fā)的AR應(yīng)用能夠在現(xiàn)實(shí)世界中構(gòu)建虛擬物體，利用移動(dòng)終端的顯示屏將虛擬對(duì)象和攝像頭捕捉的現(xiàn)實(shí)場(chǎng)景結(jié)合到一起，從而實(shí)現(xiàn)對(duì)現(xiàn)實(shí)世界進(jìn)行增強(qiáng)的作用。Vuforia系統(tǒng)開(kāi)發(fā)工具包(software development kit，SDK)在AR技術(shù)之所以被廣泛使用，主要有以下優(yōu)勢(shì)[7-9]：①AR ToolKit主要針對(duì)PC，而Vuforia系統(tǒng)對(duì)移動(dòng)終端有著較好的支持；②應(yīng)用Vuforia可以同時(shí)識(shí)別多個(gè)物體、同時(shí)構(gòu)建多個(gè)3D模型；③支持用戶自定義目標(biāo)；④有著優(yōu)良的追蹤性能，不會(huì)因?yàn)橐苿?dòng)終端設(shè)備的移動(dòng)而受到干擾，無(wú)法進(jìn)行識(shí)別；⑤最新版能夠支持OpenGL ES 3.X；⑥具備良好的容錯(cuò)性，即使對(duì)圖像進(jìn)行遮擋也能夠正確識(shí)別；⑦能夠適應(yīng)不同的光照環(huán)境，即使在非常明亮以及非常暗淡的環(huán)境下也能夠正確識(shí)別；⑧應(yīng)用Unity 3D開(kāi)發(fā)，其有著良好的兼容性，可以適配不同的移動(dòng)終端設(shè)備。Vuforia SDK主要包含本地識(shí)別以及收費(fèi)的云識(shí)別兩種方案。

2 Vuforia系統(tǒng)應(yīng)用于Unity 3D開(kāi)發(fā)

2.1 Vuforia系統(tǒng)總體開(kāi)發(fā)流程

Vufoira系統(tǒng)應(yīng)用于Unity 3D引擎的整體工作如圖2所示。

圖2 Vuforia系統(tǒng)應(yīng)用于Unity 3D開(kāi)發(fā)流程示圖

利用專業(yè)攝像頭拍攝識(shí)別物的圖像，再應(yīng)用3D建模與動(dòng)畫(huà)軟件開(kāi)發(fā)配套3D模型，將拍攝好的圖像導(dǎo)入到Vuforia系統(tǒng)中，由系統(tǒng)算出每個(gè)圖片的特征點(diǎn)以及對(duì)應(yīng)的應(yīng)用密鑰，然后導(dǎo)出為Unitypackage文件，在Unity 3D中導(dǎo)入Vuforia SDK與配套3D模型以及上述導(dǎo)出的Unitypackage文件，然后編寫(xiě)相應(yīng)的代碼邏輯，并對(duì)其組件的多個(gè)屬性進(jìn)行配置，完成應(yīng)用的基礎(chǔ)開(kāi)發(fā)[10-14](如圖3所示)。

2.2 應(yīng)用Virtual Button進(jìn)行人機(jī)交互

如實(shí)現(xiàn)對(duì)醫(yī)療器械3D模型進(jìn)行控制，則需要研究其人機(jī)交互方案，除直接在UI端設(shè)計(jì)，如能利用遮擋識(shí)別點(diǎn)，對(duì)模型進(jìn)行直接操作，更加方便簡(jiǎn)單，若實(shí)現(xiàn)這種方案需首先下載Vuforia SDK，然后導(dǎo)入Vuforia SDK到Unity 3D工程中[15-16]。在Image Target控件下，新建空對(duì)象命名為btn_left、btn_ right并添加VB Plane、Mesh Renderer、Virtual Button Behaviour、Turn Off Behaviour等控件，對(duì)Virtual Button Behaviour腳本配置其Name屬性為btn_left和btn_right、Sensitivity Setting屬性設(shè)置為HIGH如圖4所示。

圖3 應(yīng)用運(yùn)行界面圖

圖4 Virutal Button配置示圖

創(chuàng)建名為VirtualButtonEventHandler.cs的C#腳本繼承IVirtualButtonEventHandler接口，在Start方法中注冊(cè)虛擬按鈕，其關(guān)鍵代碼如圖5所示。

圖5 注冊(cè)虛擬按鈕示圖

對(duì)按鈕按下和按鈕釋放(OnButtonPressed和OnButtonReleased)兩個(gè)方法編寫(xiě)其他邏輯代碼實(shí)現(xiàn)應(yīng)用控制功能，需要注意兩個(gè)方法傳入的是Virtual Button Abstract Behaviour對(duì)象，其擁有VirtualButtonName屬性可以方便調(diào)用設(shè)計(jì)的VirtualButton名稱。最后完成界面如圖6所示。

圖6 虛擬按鈕功能運(yùn)行界面圖

3 結(jié)論

在醫(yī)學(xué)教育中傳統(tǒng)醫(yī)療器械課本只能單純展示文字與圖片，一些場(chǎng)景無(wú)法形象具體展示出來(lái)，不利于學(xué)生進(jìn)行理解，而應(yīng)用目前流行的多媒體也只能展示部分相關(guān)課程要點(diǎn)。以醫(yī)療器械課本為例，如學(xué)生僅僅依靠課本與多媒體內(nèi)容很難完全理解，而搭建相應(yīng)實(shí)驗(yàn)室存在一定弊端，雖然一定程度上使學(xué)生獲得較好的學(xué)習(xí)體驗(yàn)，但是學(xué)生無(wú)法隨時(shí)隨地進(jìn)行在實(shí)驗(yàn)室學(xué)習(xí)[17]。本研究創(chuàng)新之處在于利用AR技術(shù)對(duì)應(yīng)開(kāi)發(fā)與應(yīng)用，極大增強(qiáng)了原有醫(yī)療器械課本的生命力，提高了使用者的學(xué)習(xí)效果。

參考文獻(xiàn)

[1]陳澤嬋.基于Unity3D的移動(dòng)增強(qiáng)現(xiàn)實(shí)光學(xué)實(shí)驗(yàn)平臺(tái)[D].北京：北京理工大學(xué)，2015.

[2]顧亞平.基于智能語(yǔ)音交互技術(shù)的智慧語(yǔ)音助理系統(tǒng)實(shí)現(xiàn)[D].南京：南京郵電大學(xué)，2015.

[3]羅永東.基于Unity3D的移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)與應(yīng)用研究[D].青島：青島科技大學(xué)，2015.

[4]王志強(qiáng).基于移動(dòng)增強(qiáng)現(xiàn)實(shí)的虛擬機(jī)械臂系統(tǒng)研究與實(shí)現(xiàn)[D].邯鄲：河北工程大學(xué)，2015.

[5]王曉雨.沉浸式虛擬3D敦煌莫高窟場(chǎng)景重現(xiàn)技術(shù)研究[D].西安：西安工程大學(xué)，2016.

[6]王陽(yáng).基于Android的室內(nèi)WiFi定位系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].南京：南京大學(xué)，2016.

[7]黃賢立，羅冬梅.基于訊飛語(yǔ)音技術(shù)的智能家居控制APP設(shè)計(jì)[J].福建電腦，2016，32(8)：112.

[8]張宇.現(xiàn)實(shí)亦虛擬虛擬亦現(xiàn)實(shí)[J].機(jī)器人產(chǎn)業(yè)，2016(2)：46.

[9]徐德華，張雪艷.中國(guó)VR技術(shù)發(fā)展現(xiàn)狀、應(yīng)用前景與對(duì)策研究[J].經(jīng)營(yíng)管理者，2017(1)：271.

[10]王延可.增強(qiáng)現(xiàn)實(shí)幾何一致性相關(guān)問(wèn)題研究[D].濟(jì)南：山東大學(xué)，2014.

[11]孫鵬飛.移動(dòng)綜合網(wǎng)絡(luò)應(yīng)用客戶端和服務(wù)器的研究與開(kāi)發(fā)[D].北京：北京郵電大學(xué)，2014.

[12]宋杰銀.以社會(huì)責(zé)任為己任的民族語(yǔ)音品牌[J].質(zhì)量與標(biāo)準(zhǔn)化，2013(8)：11-12.

[13]陳向東，曹楊璐.移動(dòng)增強(qiáng)現(xiàn)實(shí)教育游戲的開(kāi)發(fā)—以“快樂(lè)尋寶”為例[J].現(xiàn)代教育技術(shù)，2015(4)：101-107.

[14]康帆.增強(qiáng)現(xiàn)實(shí)技術(shù)支持的幼兒教育環(huán)境研究—基于武漢市某幼兒園的調(diào)查與實(shí)驗(yàn)[J].電化教育研究，2015(7)：61-65.

[15]羅永東，張淑軍.一種基于Unity3D的移動(dòng)增強(qiáng)現(xiàn)實(shí)自動(dòng)導(dǎo)覽方法[J].計(jì)算機(jī)與數(shù)字工程，2015，(11)：2024-2028.

[16]趙建宏.VR中碰撞響應(yīng)的一種解析解及對(duì)FCPF算法的改進(jìn)[D].太原：太原理工大學(xué)，2003.

[17]楊露.基于云計(jì)算的嵌入式系統(tǒng)輸入法研究與設(shè)計(jì)[D].合肥：合肥工業(yè)大學(xué)，2012.

Research and design of augmented reality technique applied in medical apparatus and instrument textbook/

MENG Xiang-jun, MA Zhi-qing, ZHAO Wen-hua, et al//China Medical Equipment,2017,14(9):120-122.

Objective: To improve the shortcomings of the two-dimensional image in the book of medical apparatus and instrument, and to display visual, specific and interactive 3D image so that students can clearer and more thoroughly understand content of the textbook through applying augmented reality (AR) technique. Methods: By comparing different solutions of AR included Vuforia, ARToolKit, Easy and so on, using Unity 3D as development platform, using C# computer language as development language, adopting Vuforia AR technique with higher accurate, installing virtual button to achieve interaction and using intelligent terminal equipment to complete the design for relative application progress of medical textbook. Results: The development design of APP for medical textbook that based on AR technique has achieved the observation for some specific medical 2-dimentional images on the basis of original medical textbook, and it could real-time display single or multiple 3D spatial model, and could directly use virtual button function to achieve interaction with virtual 3D spatial model. Conclusion: The APP learning plan based on AR technique can significantly increase learning efficiency for medical apparatus and instrument, and can enhance the learning interest, and this technique can be transferred to other textbooks to research more APP according to above results.

Augmented reality; Medical apparatus and instrument; Textbook

College of science and engineering, Shandong University of Traditional Chinese Medicine, Ji'nan 250355, China.

1672-8270(2017)09-0120-03

R-058

A

10.3969/J.ISSN.1672-8270.2017.09.033

孟祥軍,男,(1990- ),碩士研究生。山東中醫(yī)藥大學(xué)理工學(xué)院，研究方向：醫(yī)學(xué)圖像處理、醫(yī)學(xué)增強(qiáng)現(xiàn)實(shí)與虛擬現(xiàn)實(shí)。

2017-04-13

山東省研究生教育創(chuàng)新計(jì)劃(SDYY16069)“基于《生物醫(yī)學(xué)圖像處理與分析》課程群移動(dòng)學(xué)習(xí)資源的研究與設(shè)計(jì)”

①山東中醫(yī)藥大學(xué)理工學(xué)院 山東 濟(jì)南 250355

②中國(guó)海洋大學(xué)信息科學(xué)與工程學(xué)院 山東 青島 266100

*通訊作者：mazhq126@163.com