程鴻芳，唐賢傳

(蕪湖職業(yè)技術(shù)學(xué)院，安徽蕪湖 241000)

據(jù)統(tǒng)計(jì)，我國(guó)現(xiàn)有聾啞人2057萬(wàn)，按每個(gè)聾啞人有直系親屬四人計(jì)算,使用手語(yǔ)的人口應(yīng)該在一億人左右。此外，特殊教育工作者、服務(wù)行業(yè)、政府職能部門(mén)以及手語(yǔ)愛(ài)好者也是一個(gè)很大的使用手語(yǔ)的群體。而目前手語(yǔ)學(xué)習(xí)主要依托于聾啞學(xué)校，學(xué)生在課堂上接受教育，但是由于受傳統(tǒng)特殊教育手段的限制，學(xué)生在接受方面存在著諸多障礙。在“老少邊窮”地區(qū)，上網(wǎng)困難的聾啞人無(wú)法學(xué)習(xí)手語(yǔ)。針對(duì)這一現(xiàn)象，本文開(kāi)發(fā)一款基于移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)的手語(yǔ)學(xué)習(xí)系統(tǒng)，幫助聾啞人學(xué)習(xí)手語(yǔ)，使他們更好地融入社會(huì)，與健全人進(jìn)行無(wú)障礙交流。

1 增強(qiáng)現(xiàn)實(shí)技術(shù)概述

增強(qiáng)現(xiàn)實(shí)技術(shù)(Augmented Reality，AR)，是一個(gè)非常有發(fā)展?jié)摿Φ男录夹g(shù)，它能夠?qū)崿F(xiàn)虛擬信息和真實(shí)世界的無(wú)縫融合，呈現(xiàn)給用戶(hù)一個(gè)視覺(jué)感官效果真實(shí)的新環(huán)境。隨著移動(dòng)終端的迅速發(fā)展，多種傳感器的廣泛應(yīng)用，為實(shí)現(xiàn)移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)提供了強(qiáng)有力的保障。

2 基于移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)手語(yǔ)學(xué)習(xí)系統(tǒng)的設(shè)計(jì)

2.1 系統(tǒng)整體設(shè)計(jì)

整個(gè)手語(yǔ)學(xué)習(xí)輔助系統(tǒng)包含移動(dòng)APP、AR學(xué)習(xí)手冊(cè)、云端服務(wù)器。

2.1.1 移動(dòng)“守望”聾啞人手語(yǔ)學(xué)習(xí)無(wú)障礙輔助APP

“守望”APP如圖1所示，目前只包含AR識(shí)字、AR手語(yǔ)教學(xué)、語(yǔ)音識(shí)別三個(gè)模塊。

2.1.2 AR學(xué)習(xí)手冊(cè)

該手冊(cè)包含聾啞人日常用語(yǔ)，包含常識(shí)主題、出行需求、人際交往、社會(huì)往來(lái)。收錄手語(yǔ)詞匯上千個(gè)，具有瀏覽、查詢(xún)等功能，圖文并茂，可以添加修改詞庫(kù)，是學(xué)習(xí)手語(yǔ)的好工具，如圖2所示。

圖1 移動(dòng)“守望”聾啞人手語(yǔ)學(xué)習(xí)無(wú)障礙輔助APP

圖2 手語(yǔ)AR學(xué)習(xí)手冊(cè)

2.1.3 云端服務(wù)器

“守望”APP由于包含了大量的3D手語(yǔ)動(dòng)畫(huà)以及可識(shí)別圖片，占用存儲(chǔ)較大。針對(duì)此我們將推出兩款產(chǎn)品：第一款A(yù)PP將把資源存儲(chǔ)到云端，本地存儲(chǔ)占用低，在云端進(jìn)行圖片識(shí)別后，服務(wù)器會(huì)把對(duì)應(yīng)的3D手語(yǔ)動(dòng)畫(huà)推送到客戶(hù)端；第二款A(yù)PP將包含所有資源，針對(duì)的用戶(hù)是“老少邊窮”地區(qū)上網(wǎng)困難的聾啞人，所有的圖片識(shí)別都是在本地，可以更好地縮短發(fā)達(dá)地區(qū)與欠發(fā)達(dá)地區(qū)的差距，幫助更多的聾啞人了解科技技術(shù)，融入社會(huì)。

2.2 手勢(shì)模型設(shè)計(jì)

2.2.1 模型階段

在最初的模型階段，通過(guò)人物手部的骨骼來(lái)判斷手部的大小以及人物手部的關(guān)節(jié)位置，只有對(duì)關(guān)節(jié)位置有一個(gè)正確的把握，才能對(duì)手部的動(dòng)作有正確的調(diào)整基礎(chǔ)。同時(shí)，在建模初期需將手部全部平展開(kāi)來(lái)，達(dá)到五指張開(kāi)、平伸直的狀態(tài)，以便后面步驟的操作，如圖3所示。

2.2.2 貼圖及渲染階段

在建立好模型以后需要對(duì)模型加上手部的紋理以及手部的顏色。首先將模型UV展開(kāi)，單獨(dú)將UV渲染出來(lái)，存為T(mén)IF格式。再將渲染好的UV圖放進(jìn)Substance printer軟件中進(jìn)行人物手部的紋理及貼圖繪制。在繪制好貼圖和紋理后，將其貼入3DMAX中的手部模型上，然后在自帶的燈光中渲染即可，如圖4所示。

圖4 貼圖及渲染階段設(shè)計(jì)

2.2.3 動(dòng)畫(huà)調(diào)整階段

在調(diào)整動(dòng)作之前，需要經(jīng)過(guò)繁瑣又復(fù)雜的權(quán)重階段。權(quán)重意味著骨骼所帶動(dòng)的皮膚變化位置及多少。在完成骨骼的權(quán)重調(diào)整之后，開(kāi)始做動(dòng)畫(huà)部分。先將手部五根手指的基礎(chǔ)動(dòng)作做成控制盤(pán)，這里需要利用動(dòng)畫(huà)反映控制器和IK解算器。完成反應(yīng)器制作以后，再對(duì)照手語(yǔ)文本進(jìn)行逐幀的動(dòng)畫(huà)制作，如圖5所示。

圖5 動(dòng)畫(huà)調(diào)整階段

2.3 手勢(shì)動(dòng)作的識(shí)別

通過(guò)Unity 3d調(diào)用DefaultTrackableEventHandler類(lèi)，對(duì)識(shí)別圖進(jìn)行識(shí)別，識(shí)別出不同的圖片、出現(xiàn)的不同模型以及匹配相應(yīng)的動(dòng)作。

2.4 移動(dòng)端實(shí)現(xiàn)

在Unity3d中導(dǎo)入Vuforia的SDK，制作AR，最后導(dǎo)出成Android APP。

第一步：環(huán)境搭建。把Unity3d的項(xiàng)目以Gradle方式導(dǎo)出；將導(dǎo)出的項(xiàng)目中l(wèi)ib文件夾下的jar包拷貝到Android工程的libs目錄下；然后把Unity3d導(dǎo)出項(xiàng)目下的assets和jniLibs文件夾拷貝到Android工程的main目錄下。此時(shí)開(kāi)發(fā)環(huán)境搭建完畢，如圖6所示。

圖6 第一步設(shè)計(jì)界面圖

第二步：繼承UnityActivity的類(lèi)(此類(lèi)為Unity3d中的classes.jar包下的類(lèi)，并繼承activity類(lèi))，使其場(chǎng)景顯示在activity組件中。此后就是在Android中的開(kāi)發(fā)了。(Unity3d中場(chǎng)景的腳本與Android中通信交互方式是通過(guò)UnityPlayer.UnitySendMessage()API函數(shù)通信的)，如圖7所示。

圖7 第二步設(shè)計(jì)界面圖

2.5 移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)手語(yǔ)學(xué)習(xí)系統(tǒng)

手語(yǔ)學(xué)習(xí)教學(xué)平臺(tái)(圖8)的手勢(shì)模型，提供了大量的手勢(shì)動(dòng)作(圖9、圖10)。該平臺(tái)具備查看歷史記錄、中英文輸入識(shí)別、語(yǔ)音識(shí)別、AR識(shí)別等功能。

圖8 手語(yǔ)學(xué)習(xí)教學(xué)平臺(tái)

圖9 字母C手語(yǔ)展示

圖10 字母A手語(yǔ)展示

3 結(jié)語(yǔ)

增強(qiáng)現(xiàn)實(shí)作為近年來(lái)快速發(fā)展的一種新技術(shù)，為手語(yǔ)學(xué)習(xí)提供了新的教學(xué)方法，同時(shí)解決了傳統(tǒng)教學(xué)中的弊端。采用3DMAX、Unity3d、Vuforia、Andriod等技術(shù)，開(kāi)發(fā)一款基于移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)手語(yǔ)學(xué)習(xí)系統(tǒng)。該系統(tǒng)利用3DMAX實(shí)現(xiàn)手的模型，內(nèi)貼皮膚，制作手的骨骼，通過(guò)控制骨骼節(jié)點(diǎn)制作骨骼動(dòng)畫(huà)，運(yùn)用Unity3d腳本實(shí)現(xiàn)模型的控制與動(dòng)畫(huà)的播放，在Unity3d中導(dǎo)入Vuforia的SDK，制作AR，最后導(dǎo)出為Android APP。系統(tǒng)界面簡(jiǎn)單，操作方便，實(shí)時(shí)性高，給聾啞人以身臨其境的感覺(jué)，幫助他們更好地融入到健全人的社會(huì)生活中。同時(shí)，本系統(tǒng)還可以幫助與殘疾人接觸的民政、社工、康復(fù)等工作者，提高他們學(xué)習(xí)手語(yǔ)的效果。

[參考文獻(xiàn)]

[1]張林鍹,辛獻(xiàn)杰,崔冰,等.面向汽車(chē)產(chǎn)品設(shè)計(jì)的虛擬現(xiàn)實(shí)服務(wù)平臺(tái)研究[J].系統(tǒng)仿真學(xué)報(bào),2014(10):2407-2411.

[2]周靈,張舒予,朱金付,等.增強(qiáng)現(xiàn)實(shí)教科書(shū)的設(shè)計(jì)研究與開(kāi)發(fā)實(shí)踐[J].現(xiàn)代教育技術(shù),2014(9):107-113.

[3]徐劍坤.增強(qiáng)現(xiàn)實(shí)技術(shù)在采礦工程實(shí)驗(yàn)教學(xué)中的應(yīng)用[J].實(shí)驗(yàn)室研究與探索,2013(2):136-139.

[4]沈克.基于增強(qiáng)現(xiàn)實(shí)的大學(xué)計(jì)算機(jī)基礎(chǔ)課程教學(xué)研究[J].電腦知識(shí)與技術(shù),2010(15):4079-4080.

[5]申玉斌,蔡勇.基于增強(qiáng)現(xiàn)實(shí)技術(shù)中虛擬物體投影的應(yīng)用研究[J].微計(jì)算機(jī)應(yīng)用,2008(5):73-77.

[6]劉遹菡.基于增強(qiáng)現(xiàn)實(shí)技術(shù)的手機(jī)應(yīng)用研究[J].湘潭大學(xué)學(xué)報(bào):哲學(xué)社會(huì)科學(xué)版,2015(3):127-130.

[7]孟昭睿.基于快速響應(yīng)碼的移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的研究[J].韶關(guān)學(xué)院學(xué)報(bào),2015(2):19-24.