吳金波 帖軍 鄭祿

摘要：基于當(dāng)今社會(huì)對(duì)手語(yǔ)翻譯的迫切需求，系統(tǒng)分析了手語(yǔ)翻譯、口語(yǔ)翻譯、練習(xí)系統(tǒng)、自定義手語(yǔ)、娛樂(lè)模塊五大功能模塊?；隗w感和3D虛擬仿真技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了靜態(tài)手語(yǔ)-口語(yǔ)互譯軟件系統(tǒng)。從指尖坐標(biāo)獲取、語(yǔ)音識(shí)別、口語(yǔ)翻譯、練習(xí)系統(tǒng)、體感游戲、自定義手語(yǔ)六大方面詳細(xì)介紹了其技術(shù)路線與實(shí)現(xiàn)過(guò)程。

關(guān)鍵詞關(guān)鍵詞：體感技術(shù)；手語(yǔ)翻譯；Kinect；Unity3D

DOIDOI：10.11907/rjdk.161417

中圖分類號(hào)：TP319文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)文章編號(hào)：16727800（2016）007006702

0引言

據(jù)調(diào)查，目前全世界有3.6億的聽(tīng)力障礙人士，其中有近2 100萬(wàn)來(lái)自中國(guó)，手語(yǔ)是聽(tīng)力障礙人士實(shí)現(xiàn)溝通的主要語(yǔ)言，然而由于大部分人不懂手語(yǔ)，使得聾啞人士和普通人之間的交流十分困難。而通過(guò)人工進(jìn)行手語(yǔ)和口語(yǔ)實(shí)時(shí)互譯，來(lái)解決大多數(shù)人的溝通問(wèn)題又極不現(xiàn)實(shí)。隨著計(jì)算機(jī)科學(xué)技術(shù)的飛速發(fā)展，以體感和虛擬現(xiàn)實(shí)為代表的各種新興技術(shù)的出現(xiàn)，使得通過(guò)技術(shù)的創(chuàng)新、融合以更加低廉的成本和更高的效率滿足日益增長(zhǎng)的需求成為可能。將體感和3D虛擬仿真技術(shù)相結(jié)合，并運(yùn)用于靜態(tài)手語(yǔ)和口語(yǔ)互譯實(shí)現(xiàn)中，不僅極大提高了效率，同時(shí)也為當(dāng)前手語(yǔ)翻譯研究提供了一個(gè)新的切入點(diǎn)。

1功能分析

手語(yǔ)翻譯： 用戶只需要在Kinect前面做出相應(yīng)的手語(yǔ)動(dòng)作，系統(tǒng)便能自動(dòng)捕捉，通過(guò)分析并處理深度圖像數(shù)據(jù)，將其翻譯并以文字的方式展現(xiàn)出來(lái)[1]。

口語(yǔ)翻譯： 系統(tǒng)提供了兩種方式，分別是文本輸入方式和語(yǔ)音輸入方式。用戶可以選擇使用文字或是語(yǔ)音的方式向系統(tǒng)傳遞需要翻譯的信息，單擊“翻譯”按鈕后，3D虛擬人物就會(huì)將其自動(dòng)轉(zhuǎn)化為手語(yǔ)展示給用戶，相當(dāng)方便。

練習(xí)系統(tǒng)： 用戶通過(guò)觀看3D虛擬人物所做的手語(yǔ)動(dòng)作來(lái)分辨出其對(duì)應(yīng)的手語(yǔ)意思，并點(diǎn)擊系統(tǒng)顯示在界面上多個(gè)漢語(yǔ)意思中自己認(rèn)為正確的一個(gè)，然后系統(tǒng)會(huì)對(duì)用戶的分辨結(jié)果作出判斷，通過(guò)直觀簡(jiǎn)潔的流程讓用戶更好地學(xué)習(xí)手語(yǔ)。

自定義手語(yǔ)：自定義手語(yǔ)功能目前只支持自定義一種手語(yǔ)（再見(jiàn)時(shí)的擺手動(dòng)作），該功能是預(yù)留給下一版作為擴(kuò)充之用。

娛樂(lè)模塊： 主要以體感游戲的方式呈現(xiàn)給用戶，用戶通過(guò)簡(jiǎn)單的手勢(shì)來(lái)控制游戲主角，從而融入游戲[2]。

2系統(tǒng)設(shè)計(jì)

本系統(tǒng)以Unity3D為開(kāi)發(fā)平臺(tái)，使用CCT.NUI開(kāi)源體感識(shí)別庫(kù)、OpenNI/NITE組合開(kāi)發(fā)包和KinectWrapperPackage中間件的接口進(jìn)行開(kāi)發(fā)。系統(tǒng)整體架構(gòu)如圖1所示。

2.1OpenNI簡(jiǎn)介

OpenNI（開(kāi)放式的自然交互）是一個(gè)非營(yíng)利組織，該組織專注于提高和改善自然交互設(shè)備，應(yīng)用軟件的互操作能力，通過(guò)使用這些硬件和中間件來(lái)很方便地訪問(wèn)和使用一些設(shè)備。

OpenNI的API允許開(kāi)發(fā)人員直接基于最原始的數(shù)據(jù)格式編寫中間件上層算法，而不管這些數(shù)據(jù)是由哪個(gè)傳感器設(shè)備產(chǎn)生。OpenNI的這種機(jī)制給了傳感器制造商一個(gè)充分的自由空間去制造自己的傳感器而不用考慮上層OpenNI兼容的應(yīng)用程序。

OpenNI API使得自然交互應(yīng)用開(kāi)發(fā)人員通過(guò)傳感器輸出的標(biāo)準(zhǔn)化數(shù)據(jù)類型來(lái)處理真實(shí)的三維數(shù)據(jù)，這些標(biāo)準(zhǔn)化的數(shù)據(jù)類型可以表示人體全身、手的位置，或者僅僅是一個(gè)含有深度信息的像素圖等。

2.2系統(tǒng)模塊組成

本系統(tǒng)主要包括靜態(tài)手語(yǔ)識(shí)別、口語(yǔ)識(shí)別、練習(xí)系統(tǒng)、娛樂(lè)模塊、自定義手語(yǔ)庫(kù)共5個(gè)模塊。

（1） 靜態(tài)手語(yǔ)識(shí)別。靜態(tài)手語(yǔ)識(shí)別是本系統(tǒng)最核心的模塊之一，用戶只需要在Kinect可識(shí)別范圍內(nèi)做出相應(yīng)手語(yǔ)動(dòng)作，系統(tǒng)通過(guò)分析處理從Kinect獲取的深度和骨骼數(shù)據(jù)，將其翻譯成漢語(yǔ)，以文字的形式顯示在屏幕上，簡(jiǎn)單直觀[3]。

（2） 口語(yǔ)識(shí)別?？谡Z(yǔ)識(shí)別模塊提供了兩種方式以方便用戶向系統(tǒng)傳遞需要翻譯的信息，分別是文本框輸入、語(yǔ)音識(shí)別輸入。①文本框輸入：用戶直接在輸入框輸入需要翻譯的內(nèi)容，單擊“翻譯”按鈕，系統(tǒng)的3D虛擬人物便將此內(nèi)容以手語(yǔ)的形式展示出來(lái)；②語(yǔ)音識(shí)別輸入：用戶只需開(kāi)啟語(yǔ)音識(shí)別，然后在Kinect可識(shí)別的范圍內(nèi)直接說(shuō)出想要翻譯的內(nèi)容，Kinect識(shí)別出信息后便會(huì)顯示在文本框內(nèi)，用戶確認(rèn)內(nèi)容無(wú)誤后，單擊“翻譯”按鈕，3D虛擬人物便會(huì)將其翻譯[4]。

（3） 練習(xí)系統(tǒng)。用戶點(diǎn)擊“開(kāi)始”后，系統(tǒng)會(huì)按照一定順序選擇一則手語(yǔ)的動(dòng)畫并播放出來(lái)。用戶可以根據(jù)動(dòng)畫判斷相應(yīng)的手語(yǔ)意思并選擇，系統(tǒng)會(huì)作出判斷。該系統(tǒng)簡(jiǎn)單易用，適合大多數(shù)人的日常學(xué)習(xí)。

（4） 娛樂(lè)模塊。主要以體感游戲的方式呈現(xiàn)，用戶通過(guò)簡(jiǎn)單的手勢(shì)來(lái)控制游戲主角。

（5） 自定義手語(yǔ)。用戶在自定義手語(yǔ)頁(yè)面只需單擊錄制按鈕，手勢(shì)錄制進(jìn)程即被啟動(dòng)，視頻錄制完畢后，通過(guò)算法處理加入到程序中，關(guān)閉錄制進(jìn)程并在自定義手語(yǔ)庫(kù)頁(yè)面的文本框內(nèi)填寫對(duì)應(yīng)的文字意思，然后單擊“提交”按鈕，自定義的手語(yǔ)便自動(dòng)保存。

3技術(shù)路線與實(shí)現(xiàn)

3.1指尖坐標(biāo)獲取

在手勢(shì)識(shí)別模塊中，最關(guān)鍵的部分就是對(duì)于手指指尖坐標(biāo)的獲取。Kinect本身無(wú)法直接識(shí)別出手指，而開(kāi)源庫(kù)體感識(shí)別庫(kù)CCT.NUI實(shí)現(xiàn)了Kinect對(duì)手指指尖坐標(biāo)的捕捉，同時(shí)兼容OpenNI/NITE以及Kinect SDK兩種驅(qū)動(dòng)及其開(kāi)發(fā)包?？梢酝ㄟ^(guò)CCT.NUI的接口，很方便地獲取到指尖坐標(biāo)，進(jìn)而對(duì)坐標(biāo)進(jìn)行處理，通過(guò)有限自動(dòng)機(jī)轉(zhuǎn)化成相應(yīng)手語(yǔ)。手語(yǔ)識(shí)別過(guò)程如圖2所示。

3.2語(yǔ)音識(shí)別

利用Kinect對(duì)特定命令識(shí)別（recognition of command）的功能，將Kinect SDK中的Microsoft.Speech.dll作進(jìn)一步封裝，將原本只能識(shí)別英文的DLL封裝成可以識(shí)別中文的DLL，從而達(dá)到識(shí)別中文語(yǔ)音的目的。再利用進(jìn)程間的通信，把通過(guò)Kinect識(shí)別的語(yǔ)音傳到主進(jìn)程中，從而實(shí)現(xiàn)Kinect與Unity3D的交互。

3.3口語(yǔ)翻譯

當(dāng)系統(tǒng)獲取到需要翻譯的信息后，需要讓3D虛擬人物將其以手語(yǔ)的方式展示出來(lái)。此過(guò)程是首先將能夠識(shí)別的手語(yǔ)制作成一個(gè)個(gè)3D動(dòng)畫，然后分別導(dǎo)入到Unity3D中，利用Unity3D的動(dòng)畫系統(tǒng)，將其循環(huán)播放。至于手語(yǔ)動(dòng)畫的選擇，則由輸入系統(tǒng)所需要翻譯的信息決定，從需要翻譯的信息到手語(yǔ)的轉(zhuǎn)化過(guò)程同樣是借助有限狀態(tài)機(jī)實(shí)現(xiàn)?？谡Z(yǔ)翻譯流程如圖3所示。

3.4練習(xí)系統(tǒng)

練習(xí)系統(tǒng)主要分為兩個(gè)部分：手語(yǔ)展示部分和用戶選擇結(jié)果判定的決策部分。通過(guò)將每一則手語(yǔ)和特定的漢語(yǔ)意思進(jìn)行關(guān)聯(lián)，當(dāng)系統(tǒng)以一定的順序播放手語(yǔ)動(dòng)畫時(shí)，用戶可以同步進(jìn)行語(yǔ)意判定，系統(tǒng)的判定決策系統(tǒng)由狀態(tài)機(jī)實(shí)現(xiàn)。

3.5體感游戲

基于Unity3D的體感游戲也是本項(xiàng)目的一個(gè)技術(shù)難點(diǎn)。Kinect與Unity3D本身并不能直接進(jìn)行數(shù)據(jù)交互，如果自己去寫中間件將花費(fèi)大量時(shí)間，將大量時(shí)間花在系統(tǒng)的非核心部分是得不償失的，因此采用現(xiàn)有的中間件便成為了最佳選擇。本軟件中采用的是卡內(nèi)基梅隆大學(xué)的KinectWrapperPackage插件，只需將此插件包導(dǎo)入到Unity3D里便可使用插件包提供的接口，方便地獲取到Kinect的數(shù)據(jù)，再通過(guò)獲取到的骨骼數(shù)據(jù)進(jìn)行處理，識(shí)別出相應(yīng)手勢(shì)，再將其轉(zhuǎn)化為控制游戲角色的指令，就能實(shí)現(xiàn)體感控制。體感控制實(shí)現(xiàn)流程如圖4所示。