張 琦， 黃展鵬

(廣東藥科大學(xué) 醫(yī)藥信息工程學(xué)院，廣州 510006)

0 引 言

在目前的“互聯(lián)網(wǎng)+”的大背景下，高等教育信息化是促進(jìn)高等教育改革創(chuàng)新和提高質(zhì)量的有效途徑，推進(jìn)信息技術(shù)與高等教育的深度融合，利用先進(jìn)的信息技術(shù)，建立高等教育資源共建共享機(jī)制[1]，來(lái)實(shí)現(xiàn)教育信息化可持續(xù)發(fā)展。以信息技術(shù)應(yīng)用為本質(zhì)特征的虛擬仿真實(shí)驗(yàn)教學(xué)，適應(yīng)了信息時(shí)代高等教育開(kāi)放辦學(xué)、資源共享的變革要求，為實(shí)驗(yàn)教學(xué)改革和實(shí)驗(yàn)室建設(shè)增添了活力[2]。通過(guò)虛擬實(shí)驗(yàn)的真實(shí)感，使學(xué)生模擬實(shí)驗(yàn)的全部操作過(guò)程，可加強(qiáng)學(xué)生的主觀能動(dòng)性和對(duì)知識(shí)的理解，克服傳統(tǒng)教學(xué)方式呆板、師生間互動(dòng)不足、趣味性不強(qiáng)的弊端，真正提升醫(yī)學(xué)實(shí)驗(yàn)教學(xué)價(jià)值[3]。而數(shù)據(jù)手套是目前比較流行的虛擬現(xiàn)實(shí)交互設(shè)備之一，當(dāng)用戶穿戴設(shè)備之后，可以在虛擬的三維環(huán)境中實(shí)時(shí)操控虛擬手。因此，虛擬手模型的構(gòu)建，以及與真實(shí)手之間的運(yùn)動(dòng)匹配決定了虛擬交互中自然與否，同時(shí)也是進(jìn)行虛擬醫(yī)學(xué)實(shí)驗(yàn)平臺(tái)建設(shè)的首要任務(wù)。

近年來(lái)，國(guó)內(nèi)外對(duì)于虛擬手的三維構(gòu)建方法多數(shù)是以人手的解剖學(xué)特性為根據(jù)，利用三維軟件3DsMax進(jìn)行幾何模型的構(gòu)建[4-7]， 再利用其他軟件或算法實(shí)現(xiàn)虛擬手的運(yùn)動(dòng)模型，最后實(shí)現(xiàn)與數(shù)據(jù)手套相關(guān)聯(lián)。而本文則選用三維動(dòng)畫(huà)軟件Maya作為建模工具，因?yàn)樗鞘澜珥敿?jí)的三維動(dòng)畫(huà)制作軟件，雖然在游戲工業(yè)領(lǐng)域，稍遜于3DsMax，但在動(dòng)畫(huà)制作行業(yè)可以稱得上是絕對(duì)的創(chuàng)立者和領(lǐng)先者[8]。特別是在醫(yī)學(xué)虛擬仿真開(kāi)發(fā)方面，Maya更為適合構(gòu)建醫(yī)學(xué)虛擬模型[9]。在實(shí)現(xiàn)交互方面，Unity3D是一款輕量級(jí)的開(kāi)發(fā)引擎，在開(kāi)發(fā)虛擬現(xiàn)實(shí)方面易于操作，且開(kāi)發(fā)成本低，適合開(kāi)發(fā)虛擬現(xiàn)實(shí)教育類的產(chǎn)品[10]。因此，本文提出一種基于數(shù)據(jù)手套進(jìn)行虛擬現(xiàn)實(shí)交互過(guò)程的更簡(jiǎn)便的解決方案，通過(guò)Maya建立逼真虛擬手的幾何模型，并利用其強(qiáng)大的動(dòng)畫(huà)優(yōu)勢(shì)實(shí)現(xiàn)虛擬手的運(yùn)動(dòng)變形，最后在虛擬現(xiàn)實(shí)引擎Unity3D對(duì)虛擬手術(shù)訓(xùn)練的常用手勢(shì)進(jìn)行測(cè)試，仿真效 果良好，手勢(shì)匹配度高。

1 虛擬手的三維模型構(gòu)建

1.1 數(shù)據(jù)手套簡(jiǎn)介

本文采用的是新型數(shù)據(jù)手套WiseGlove，采用高質(zhì)量彈性料制作，在手指關(guān)節(jié)彎曲處設(shè)置傳感器，以測(cè)量每個(gè)手指關(guān)節(jié)的彎曲度及每相鄰兩個(gè)手指之間的夾角。WiseGlove系列手套的型號(hào)有5、14、18和19等傳感的數(shù)據(jù)手套。傳感器個(gè)數(shù)越多，采集手部各關(guān)節(jié)數(shù)據(jù)越多，則可以實(shí)現(xiàn)的手勢(shì)動(dòng)作越復(fù)雜。而本文采用的是14傳感的右手?jǐn)?shù)據(jù)手套，傳感器分布如圖1所示。可作每個(gè)手指的第1關(guān)節(jié)MP與第2關(guān)節(jié)PIP的屈伸，以及手指并攏分開(kāi)的手勢(shì)動(dòng)作。

1.2 人手的生理結(jié)構(gòu)及運(yùn)動(dòng)規(guī)律

建立虛擬手的運(yùn)動(dòng)模型，模擬人手的運(yùn)動(dòng)，首先要了解人手的生理結(jié)構(gòu)以及每個(gè)手指的運(yùn)動(dòng)特點(diǎn)，才能保證在手勢(shì)仿真過(guò)程中取得良好的效果。重點(diǎn)是針對(duì)五個(gè)手指的位置信息在空間上的變化進(jìn)行研究。人手骨包括腕骨、掌骨和指骨共有27塊，腕骨8塊，掌骨5塊，指骨有14塊[11]。由于數(shù)據(jù)手套捕獲的是手部關(guān)節(jié)的運(yùn)動(dòng)數(shù)據(jù)，因此本文只對(duì)手指骨以及手指間關(guān)節(jié)的運(yùn)動(dòng)進(jìn)行研究。如圖2所示為簡(jiǎn)化的右手手部關(guān)節(jié)結(jié)構(gòu)圖，其中A、B、C分別代表第1關(guān)節(jié)MP、第2關(guān)節(jié)PIP和第3關(guān)節(jié)DIP?；谌耸值倪@種呈樹(shù)狀關(guān)系的結(jié)構(gòu)，手指的運(yùn)動(dòng)主要分為屈伸，內(nèi)收和外展(簡(jiǎn)稱為收展)。結(jié)合本文中數(shù)據(jù)手套的傳感器的角度定義范圍，各關(guān)節(jié)的運(yùn)動(dòng)形式及范圍如表1所示。由于傳感器個(gè)數(shù)的限制，食指、中指、無(wú)名指以及小姆指的第3個(gè)關(guān)節(jié)處沒(méi)有設(shè)置傳感器，因此無(wú)法實(shí)現(xiàn)彎曲。另外，數(shù)據(jù)手套規(guī)定中指不能作收展動(dòng)作。

1.3 手部結(jié)構(gòu)與三維模型

文獻(xiàn)[12]中指出，三維化的人體結(jié)構(gòu)也就是一種拓?fù)浣Y(jié)構(gòu)，研究掌握了人體的相關(guān)拓?fù)浣Y(jié)構(gòu)，就能夠很容易地使用三維方法將該結(jié)構(gòu)描繪出來(lái)，圖3所示為手掌與手背的結(jié)構(gòu)。

圖1 14個(gè)傳感器的分布圖2 右手手部關(guān)節(jié)結(jié)構(gòu)圖

表1 數(shù)據(jù)手套中各傳感器的彎曲范圍值

圖3 手掌與手背的結(jié)構(gòu)

按照真實(shí)手部的結(jié)構(gòu)特征，所創(chuàng)建三維模型的布線必須與之相符合，才能達(dá)到仿真的目的。因此在對(duì)手部進(jìn)行三維構(gòu)建時(shí)，布線合理與否直接影響到后續(xù)的變形效果。在構(gòu)建過(guò)程中，從最簡(jiǎn)單的正方體開(kāi)始，通過(guò)加環(huán)線和擠出先將手部的大致輪廓構(gòu)建出來(lái)，特別在可彎曲的關(guān)節(jié)處需要3條環(huán)線來(lái)保證彎曲的平滑，并且在每根手指指根處進(jìn)行切分線保證虛擬手的正確拓?fù)浣Y(jié)構(gòu)。在正確的基礎(chǔ)模型上，再進(jìn)行細(xì)節(jié)刻畫(huà)，例如關(guān)節(jié)的細(xì)節(jié)以及指甲的結(jié)構(gòu)等。

最終創(chuàng)建出來(lái)的虛擬手是由949個(gè)四邊面組成的低多邊形模型，簡(jiǎn)稱低模，經(jīng)過(guò)一級(jí)平滑效果之后為3 796個(gè)四邊面的高多邊形模型，簡(jiǎn)稱高模，如圖4所示。低模與高模的主要區(qū)別為低面數(shù)的三維多邊形模型主要以互動(dòng)操作為主，運(yùn)行在游戲程序或虛擬現(xiàn)實(shí)設(shè)計(jì)中；而高面數(shù)的三維多邊形模型由于面數(shù)較多，多應(yīng)用在預(yù)設(shè)的演示動(dòng)畫(huà)中[13],因此本文的后續(xù)實(shí)驗(yàn)中將采用低模版本進(jìn)行。

通過(guò)上述方法構(gòu)建虛擬手三維模型之后，為了將其最盡可能地做到逼真，必須為模型展UV繪制貼圖來(lái)達(dá)到。UV提供了一種模型表面與紋理圖像之間的連接關(guān)系，UV負(fù)責(zé)確定紋理圖像上的一個(gè)點(diǎn)(像素)應(yīng)該放置在模型表面的哪一個(gè)頂點(diǎn)上，由此可將整個(gè)紋理都鋪蓋到模型上[14]。特別需要注意的是，展UV時(shí)的分割線不要出現(xiàn)在虛擬手手背顯眼的地方，應(yīng)盡可能安排在手掌面。之后采用人類皮膚的素材圖片為其繪制手部紋理貼圖，如圖5所示?？梢钥闯?，虛擬手視覺(jué)仿真效果良好，具有一定的逼真性，從而達(dá)到增加用戶沉浸感的目的。

圖4 高模(右)與低模(左)圖5 手部貼圖效果

2 數(shù)據(jù)手套與虛擬手的關(guān)聯(lián)

2.1 實(shí)現(xiàn)虛擬手的運(yùn)動(dòng)方法

在目前虛擬交互技術(shù)中，使虛擬物體實(shí)現(xiàn)運(yùn)動(dòng)，大多是通過(guò)手動(dòng)為其創(chuàng)建骨骼結(jié)構(gòu)，再與網(wǎng)格模型進(jìn)行蒙皮關(guān)聯(lián)，最后調(diào)節(jié)網(wǎng)格模型的權(quán)重值而實(shí)現(xiàn)的。為了模擬虛擬手運(yùn)動(dòng)可以像真實(shí)手那樣，本文利用Maya中骨骼系統(tǒng)作為工具，為虛擬手進(jìn)行骨骼綁定工作，包括創(chuàng)建手部骨骼，蒙皮以及權(quán)重的設(shè)定。

按照人手真實(shí)骨骼結(jié)構(gòu)為虛擬手創(chuàng)建骨骼，其中腕骨處用一個(gè)關(guān)節(jié)來(lái)代替多塊骨頭，其它關(guān)節(jié)按照真實(shí)手部各關(guān)節(jié)的位置進(jìn)行創(chuàng)建。需要注意的是，虛擬手的每個(gè)關(guān)節(jié)都擁有獨(dú)立的局部坐標(biāo)系，因此每個(gè)關(guān)節(jié)的坐標(biāo)方向，必須是統(tǒng)一向上的，否則將影響虛擬手的運(yùn)動(dòng)變形效果，如圖6所示。

在計(jì)算機(jī)圖形學(xué)上，蒙皮網(wǎng)格技術(shù)的雛形就是模型皮膚完全包圍著骨骼模型，關(guān)節(jié)附近處的皮膚頂點(diǎn)同時(shí)被幾塊骨骼作用，而它們有著不同的權(quán)重，共同影響著這個(gè)頂點(diǎn)的位置，這種方法的關(guān)鍵就是頂點(diǎn)混合算法[15]。而目前的三維軟件會(huì)依照某種頂點(diǎn)混合算法自動(dòng)為網(wǎng)格頂點(diǎn)分配的權(quán)重值，但效果并不會(huì)十分理想，需要用戶手動(dòng)對(duì)頂點(diǎn)的權(quán)重值進(jìn)行微調(diào)，以減少網(wǎng)格變形時(shí)的畸變現(xiàn)象，達(dá)到正確彎曲變形的效果。其原理是網(wǎng)格模型中的每個(gè)頂點(diǎn)受到某個(gè)骨骼變形約束的程度用0到1之間的數(shù)字表示，0表示不受約束，1表示受最大程度的約束，并且規(guī)定每個(gè)頂點(diǎn)所受到的所有骨骼控制的權(quán)重總和為1。圖7所示當(dāng)手指發(fā)生大角度彎曲時(shí)，通過(guò)調(diào)節(jié)權(quán)重值的前后皮膚變形情況的對(duì)比。為網(wǎng)格模型分配準(zhǔn)確的權(quán)重值，力保虛擬手動(dòng)作變形正確，才不會(huì)影響在后續(xù)虛擬實(shí)驗(yàn)中的視覺(jué)效果。在完成權(quán)重值的調(diào)整之后，將虛擬手的頂點(diǎn)坐標(biāo)，骨骼以及頂點(diǎn)權(quán)重值等完整信息，以FBX文件格式導(dǎo)出。

圖6 手部綁骨及各關(guān)節(jié)的局部坐標(biāo)方向

圖7 調(diào)整權(quán)重值的前后對(duì)比

2.2 數(shù)據(jù)手套與虛擬手的運(yùn)動(dòng)映射

在創(chuàng)建好虛擬手網(wǎng)格模型之后，需要與數(shù)據(jù)手套實(shí)現(xiàn)關(guān)聯(lián)，將數(shù)據(jù)手套傳感器采集的數(shù)據(jù)值傳遞給虛擬手，并驅(qū)動(dòng)虛擬手做出正確的相應(yīng)動(dòng)作手勢(shì)。在本文中使用Unity 3D作為虛擬實(shí)驗(yàn)平臺(tái)來(lái)完成這一過(guò)程。主要有以下幾個(gè)重要步驟：

(1) WiseGlove數(shù)據(jù)手套通過(guò)計(jì)算機(jī)RS-232串口采集到的傳感器原始數(shù)據(jù)范圍是0～255，通過(guò)公式將它們轉(zhuǎn)換為彎曲角度，即：

(1)

式中：θ為所求的彎曲角度；β和γ分別為傳感器的最大與最小值；Φ為當(dāng)前手套值；α為手指的活動(dòng)角度。利用式(1)對(duì)手指進(jìn)行歸一化活動(dòng)范圍[0，1]：

當(dāng)(Φ-β)/(γ-β)<0.5時(shí)手指為展開(kāi)動(dòng)作；

當(dāng)(Φ-β)/(γ-β)>0.5時(shí)為手指收攏動(dòng)作。

(2) 將14個(gè)傳感器的彎曲角度逐個(gè)分配給虛擬手與之相對(duì)應(yīng)骨骼關(guān)節(jié)，一一對(duì)應(yīng)。

(3) 由于每個(gè)用戶的手部尺寸大小各不相同，因此當(dāng)用戶帶上手套后，作握拳手勢(shì)為其進(jìn)行標(biāo)定，更新此用戶手指各關(guān)節(jié)的最大最小的彎曲范圍。

(4) 為防止各手指收展動(dòng)作時(shí)發(fā)生穿插面的情況，可以乘上一個(gè)系數(shù)來(lái)控制手指收展過(guò)度的情況。

3 實(shí)驗(yàn)及結(jié)果

實(shí)驗(yàn)硬件包括臺(tái)式計(jì)算機(jī)一臺(tái)(采用Intel Core i7-4790 四核CPU，8GB內(nèi)存)和 14傳感的WiseGlove右手手套一個(gè)，軟件包括Maya 2012三維建模軟件，WiseGlove SDK開(kāi)發(fā)包以及虛擬現(xiàn)實(shí)引擎Unity3D v5.0.1版本。在本實(shí)驗(yàn)的驗(yàn)證中，所使用的虛擬手為低模版本，進(jìn)行了兩類測(cè)試，一類是對(duì)基本手勢(shì)進(jìn)行驗(yàn)證，另外一類是針對(duì)術(shù)者在手術(shù)中常用手勢(shì)來(lái)進(jìn)行驗(yàn)證。

(1) 圖8所示為握拳手勢(shì)效果，分別是實(shí)驗(yàn)過(guò)程中實(shí)拍圖與Unity3D中正面與側(cè)面的實(shí)時(shí)效果截圖。

圖8 實(shí)拍(左)、握拳側(cè)面截圖(中)、握拳正面截圖(右)

(2) 國(guó)內(nèi)外醫(yī)務(wù)工作者形成并普遍地接受和遵循著一種手語(yǔ)，即術(shù)者以手勢(shì)向助手及器械護(hù)士表達(dá)意圖。為的是在手術(shù)時(shí)配合默契，保持肅靜，同時(shí)可以減少飛沫污染切口，防止語(yǔ)音訊息對(duì)患者的刺激。在本實(shí)驗(yàn)中挑選幾個(gè)大家共同認(rèn)可的手術(shù)中常用手語(yǔ)作為手勢(shì)進(jìn)行驗(yàn)證效果，圖9～11所示為模擬術(shù)者在手術(shù)過(guò)程中要手術(shù)刀、剪刀以及要鑷子時(shí)的開(kāi)合動(dòng)作。

圖9 要手術(shù)刀的手勢(shì)實(shí)拍與截圖

圖10 要剪刀的手勢(shì)實(shí)拍與截圖

實(shí)驗(yàn)結(jié)果表明虛擬手在作各類動(dòng)作時(shí)，彎曲平滑，沒(méi)有破面穿插的情況，且各手指彎曲流暢自然，沒(méi)有手指抖動(dòng)或卡頓的情況，說(shuō)明虛擬手運(yùn)動(dòng)與數(shù)據(jù)手套的匹配精度高，達(dá)到了視覺(jué)仿真的效果，增加了用戶的沉浸感。

圖11 要鑷子的開(kāi)合手勢(shì)截圖

4 結(jié) 語(yǔ)

本文完成了虛擬手的三維幾何模型的構(gòu)建，實(shí)現(xiàn)了與數(shù)據(jù)手套進(jìn)行關(guān)聯(lián)裝配的過(guò)程，實(shí)驗(yàn)效果良好，虛擬手與人手的運(yùn)動(dòng)匹配精度高，達(dá)到了虛擬仿真的目的。特別是將數(shù)據(jù)手套應(yīng)用到醫(yī)學(xué)虛擬實(shí)驗(yàn)方面，無(wú)疑增加了用戶的交互性與沉浸感，為未來(lái)的虛擬醫(yī)學(xué)實(shí)驗(yàn)教學(xué)平臺(tái)建設(shè)打下良好的基礎(chǔ)。在日后進(jìn)一步的研究里，可引入數(shù)據(jù)手套的定位器，使虛擬手可在虛擬環(huán)境中自由移動(dòng)，并可以與場(chǎng)景中的物體發(fā)生交互碰撞，豐富用戶的體驗(yàn)性，使數(shù)據(jù)手套在虛擬醫(yī)學(xué)仿真這方面的應(yīng)用更加廣泛且有意義。

參考文獻(xiàn)(References)：

[1] 摘編自教育部《教育信息化十年發(fā)展規(guī)劃 -年 》. 推動(dòng)信息技術(shù)與高等教育深度融合,創(chuàng)新人才培養(yǎng)模式[J]. 中國(guó)信息技術(shù)教育, 2014(14):1.

[2] 王衛(wèi)國(guó), 胡今鴻, 劉 宏. 國(guó)外高校虛擬仿真實(shí)驗(yàn)教學(xué)現(xiàn)狀與發(fā)展[J]. 實(shí)驗(yàn)室研究與探索, 2015, 34(5):214-219.

[3] 諶新興, 龔興牡, 石慧娟,等. 醫(yī)學(xué)虛擬實(shí)驗(yàn)平臺(tái)在實(shí)驗(yàn)教學(xué)中的應(yīng)用[J]. 衛(wèi)生職業(yè)教育, 2016, 34(2):45-46.

[4] 任 程, 戴樹(shù)嶺. 基于數(shù)據(jù)手套的逼真虛擬手的實(shí)現(xiàn)[J]. 系統(tǒng)仿真學(xué)報(bào), 2008(22):6214-6217.

[5] 安 明, 陳善廣, 劉玉慶. 基于數(shù)據(jù)手套的虛擬手精確建模的研究與實(shí)現(xiàn)[J]. 計(jì)算機(jī)仿真, 2010, 27(1):241-244.

[6] 李 波, 王增輝, 曹福毅. 基于5點(diǎn)數(shù)據(jù)手套的虛擬手精確控制方法[J]. 沈陽(yáng)工程學(xué)院學(xué)報(bào)(自然科學(xué)版), 2015(2):155-158.

[7] 胡 弘, 晁建剛, 林萬(wàn)洪,等. 基于虛擬手交互的航天員虛擬裝配訓(xùn)練仿真方法[J]. 計(jì)算機(jī)應(yīng)用, 2015(s2):200-203.

[8] 鄭 直. MAYA三維技術(shù)在動(dòng)漫領(lǐng)域立體造型中的應(yīng)用研究[D]. 北京：北京工業(yè)大學(xué), 2013.

[9] 劉文苗, 楊 雪, 王 麗,等. 基于Maya技術(shù)的醫(yī)學(xué)虛擬實(shí)驗(yàn)?zāi)Ｐ蜆?gòu)建[J]. 實(shí)驗(yàn)技術(shù)與管理, 2011, 28(4):76-79.

[10] 汪騰浪, 田 元. 基于Unity 3D的教育產(chǎn)品開(kāi)發(fā)研究[J]. 軟件導(dǎo)刊·教育技術(shù), 2017, 16(5):83-85.

[11] 李 鋒, 葉 銘, 付增良,等. 人手部骨組織建模的B樣條擬合方法研究[J]. 計(jì)算機(jī)仿真, 2009, 26(9):184-186.

[12] 邱兆平. 人體解剖學(xué)在寫實(shí)三維游戲角色制作中的應(yīng)用研究[D]. 上海：東華大學(xué), 2009.

[13] 尹愛(ài)菊. 高職動(dòng)漫專業(yè)三維建模教學(xué)研究[D]. 昆明：云南師范大學(xué), 2015.

[14] 鄭利平, 張 娟, 周乘龍,等. 人群仿真中角色紋理多樣化方法[J]. 圖學(xué)學(xué)報(bào), 2014, 35(1):110-114.

[15] 陳志榮, 陳福民. 基于骨骼混合的蒙皮網(wǎng)格技術(shù)[J]. 計(jì)算機(jī)輔助工程, 2006, 15(4):57-60.