依沙·吾阿提別克，阿里甫·庫爾班，郝子煜，周 雷，呂情深

新疆大學 軟件學院，烏魯木齊830046

1 引言

聾啞人通過手語[1-2]表達思想、獲取知識、與其他人交流，因此手語成為聾啞人學習、生活中必不可少的工具。學習語文課時，聾人和老師都遇到前所未有的困難,聾人學習困難，老師教學更困難[3-4]。老師用手語將課文表達出來，會耗費大量體力、精力。盧葦在文獻[5]中闡述多媒體技術在手語教學中應用的優(yōu)勢，提出包含視頻、音頻、動畫、圖像的多媒體技術擁有包含超強的綜合能力的論點，進一步指出傳統(tǒng)手語與多媒體教學的最佳結合點，從而提高教學效率和質量。這啟發(fā)人們開發(fā)一套手語輔助教學系統(tǒng)來初步解決手語教學過程中老師和學習共同面對的問題。

2 系統(tǒng)架構與實現流程

2.1 系統(tǒng)框架

面向語文學習的手語教學系統(tǒng)主要是處理文本數據，將文本數據轉化成可以發(fā)送給動畫模塊的手語序列編碼，編碼順序可以根據文法手語的語法進行調整，從而達到最終翻譯出來的手語滿足文法手語的句子特性。圖1為手語教學系統(tǒng)架構，整個系統(tǒng)框架分為手語文本分析處理模塊和手語動畫合成播放模塊。兩個模塊之間采用Socket技術連接，將處理好的文本編碼結果通過Socket 機制發(fā)送給動畫合成播放模塊。手語文本分析處理模塊包含課文讀取、課文文本分詞、手語編輯調整語序、手語轉碼等功能。課文內容翻譯成手語，體現在文本分詞、手語編輯等功能的恰當應用上。老師課堂上講語文，使用手語編輯功能將課文內容翻譯成文法手語或者自然手語，最終使文本轉化成動畫序列并播放出來，提高講課效率。

圖1 手語教學系統(tǒng)架構

2.2 實現流程

聾校語文教學系統(tǒng)以課文內容為中心，圍繞文本數據進行，根據標點符號實現初步分句，對每個句子分別做手語翻譯及編輯，實現流程圖如圖2所示。對每個句子進行分詞，形成初步的分詞序列，找出直接可以用手語詞表示的詞語，存入待發(fā)送給動畫模塊的列表；不能直接用手語詞表示的詞語，如果是分詞錯誤，可以使用系統(tǒng)的編輯功能進行重新人工手動分詞；找不到對應的手語詞表示，原因如果不是分詞錯誤，可以使用手語近義詞表示，若找不到手語近義詞，則按照漢語拼音用對應的手語表示，并存入待發(fā)送列表。最終將待發(fā)送列表里面的手語序列轉化成對應的手語動畫編號，通過模塊之間的Socket連接發(fā)送給動畫模塊。最終，文本處理結果經過動畫模塊轉化成可視化的手語動畫序列，從而達到課文文本內容轉化成手語動畫的目的。系統(tǒng)總體流程如圖2所示。

圖2 系統(tǒng)流程圖

3 關鍵技術

3.1 分詞實現

結巴分詞（JieBa）[6]具有快速、簡單、運行速度快、占有的內存小、分詞效率高等特點，被廣泛應用于各種中文自然語言處理任務中。

結巴分詞原理如圖3所示，基于前綴詞典對文本進行詞圖掃描，得到句子中所有可能的成詞情況構成的有向無環(huán)圖（Directed Acylic Graph，DAG）；采用動態(tài)規(guī)劃算法查找最大概率路徑，即最大切分情況；對于未在詞典里出現的詞語用具有漢語構詞能力的HMM（Hidden Markov Model）方法處理[7]。

圖3 結巴分詞原理

本文使用結巴分詞對文本進行分詞，但是由于手語詞匯數量少（5 000 多個），無法準確地表達自然中文中的所有的詞語。同時結巴分詞對前綴詞典的依賴性較大，對手語詞典進行基于外部知識庫的擴充，從而提高分詞的準確率和效果。因此，為了滿足根據手語詞語對課文句子進行分詞的要求，對結巴分詞進行改進。改進方面主要是擴充前綴詞典[8]。在外部知識庫的文本擴展中，一般有基于同義詞詞林或知網等的特征擴展方法[9]。采用同義詞詞林進行擴展手語詞典，擴充方法如下：選擇哈工大《同義詞詞林》的同義詞項，找出包含手語詞的項，把它們全部加入到新的詞典中，作為結巴分詞算法的前綴詞典。例如選擇《同義詞詞林》中的某一項。

例子Aa01A01=人士人物人士人氏人選。編號表示同義詞所在的分類，等號表示在某一個上下文語義下，后面的每個詞語是等價的，即同義詞。手語詞典中存在“人”這個詞語，因此當文本中遇到“士”“人物”“人士”“人氏”等就可以進行單獨分詞，翻譯過程中用手語詞“人”的動畫來替換它們。

擴充手語詞典之前，手語詞語只有5 000多個，當所有能表示手語的近義詞加到新的詞典以后，得到的代表手語語義的詞語有148 656個。不論是手語分詞的準確率還是翻譯的質量，擴充后的詞典表現更好。

3.2 文法手語編輯

手語分詞完成之后，進行手語編輯、轉碼等操作。由于手語構詞構形、語法和正常的漢語句子有很大的區(qū)別，這要求系統(tǒng)有編輯手語的功能。老師備課的時候可以對手語句子進行語序調整，使其滿足手語語法。手語編輯區(qū)域主要有上移、下移、添加、刪除詞語等功能。實現原理是將分詞好的詞語序列放在一個鏈表中，上下移動手語詞語，調整語序；對不滿足手語詞語構詞構形、分詞錯誤等詞語進行刪除，向句子中添加其準確的手語詞語，如果手語詞語不存在，則可以用近義詞表示。最終按“結束”按鈕生成對應的文法手語序列。

手語轉碼是指將文法手語序列轉化成能夠發(fā)送給動畫模塊的編碼序列。其關鍵是制作一個手語文本詞典，即手語轉碼表，如表1 所示。每個手語對應一個編碼（ID），每個編碼對應相應的手語動畫。通過匹配手語詞語能夠查到其對應的編碼，再通過這個編碼播放對應的手語動畫。文法手語序列是手語詞語序列，為了播放該序列對應的手語動畫，只要將編碼發(fā)送給動畫模塊，調動對應的動畫播放即可。

表1 手語轉碼表

3.3 手語動畫合成

使用Maya對人體進行建模。首先創(chuàng)建虛擬人的骨骼，需要完整的手部骨骼模型。之后給骨骼系統(tǒng)添加蒙皮，如頭發(fā)、臉部、上衣和褲子等。為了實現動畫合成播放，使用關鍵幀原理[10]制作手語動畫；使用Unity3D動畫引擎開發(fā)手語動畫模塊，將Maya 做出來的虛擬人模型導入Unity中，根據關鍵幀動畫原理實現單個動畫播放，使用線性插值算法實現動畫之間的過渡融合。圖4 為虛擬人骨骼，圖5為虛擬人的關鍵幀。

圖4 帶骨骼的虛擬人和手部骨骼

圖5 表示“烏魯木齊”的動畫的關節(jié)幀

關鍵幀動畫[11-12]通過設置物體的關鍵幀位置與屬性，中間幀的生成均可由計算機來完成。因此在多種計算機動畫技術中，關鍵幀動畫以其便捷、智能的特點成為計算機動畫中最基本、運用最廣泛的方法[13]。本研究中采用關鍵幀技術完成手語動畫的制作。給定兩個關鍵幀，通過線性差值算法（Linear Interpolation，LERP）[14]求得其骨骼中間姿勢?？杀硎救缦拢?/p>

其中，β 為混合百分或混合因子，表示兩個動畫之間融合的時間比例。當β 處于0～1 之間，得最終兩個骨骼中間姿勢。當β 為0 時，最終得到的是關鍵幀。當β 為1 時，最終得到的是關鍵幀

3.4 手語動畫融合過渡

為了達到手語動畫之間觀賞性連貫、自然的效果，需要使用插值算法來處理動畫序列。在Unity3D 游戲引擎中定義一個PlayAnimation（）的協程[15]函數用于在Unity主線程中播放動畫。其核心代碼如下：

IEnumerator PlayAnimation（）{

int Count =NLPresult.ToArray（）.Length;

for（int i=0;i

float time =

this.GetCurrentAnimatorClipInfo（0）[0].clip.length;

this.CrossFade（NLPresult[i].ToString（），time*0.2f）;

yield return newWaitForSeconds（time）;

}

}

圖6 編輯系統(tǒng)界面

首先定義一個整型變量Count 存放要播放的手語動畫數量。對該常量其中的每一個動畫，得到單個動畫合成播放時間time。調用Unity 游戲引擎系統(tǒng)提供的CrossFade（）[16]函數依次播放動畫，兩個動畫之間采用線性插值函數[14]來進行動畫過渡融合，動畫連接時間為第一個動畫的播放時間的0.2倍，即β=0.2。最后，讓協程等待時間time，并渲染播放手語動畫，目的是不影響主線程渲染整個引擎。

3.5 手語動畫庫建立

為了得到一個完整的手語動畫庫，顏慶聰等人[17]采用數據手套來采集手語運動軌跡信息。由于數據手套存在價格昂貴、操作復雜等缺點，此方法不能用于輔助教學系統(tǒng)中。因此根據問題的需要，采用先進的動畫制作軟件Maya 來進行動畫制作。首先使用Maya 創(chuàng)建完整的人體骨骼，其中包含完整的手部的骨骼。之后，在此骨骼系統(tǒng)基礎上添加蒙皮，如臉部、頭發(fā)、皮膚、衣服等，形成完整的不帶動畫的fbx文件。最后，給fbx文件添加動畫曲線，根據手語動畫，主觀推測關鍵幀在手語動畫過程中的位置，并且給動畫曲線挨個添加關鍵幀。

由于fbx 文件里包含了完整的骨骼和蒙皮信息，使用fbx 會導致動畫庫過于龐大，不便于使用。因此需要把動畫從fbx 文件里分離出來。將fbx 導入Unity 游戲引擎中，Unity 引擎能夠識別出是否含有動畫。如果有動畫就能夠使用Unity引擎的動畫分離功能批量分離出單獨的動畫文件，即動畫庫中的最小元素anim 文件。anim 文件只包含骨骼運動的信息，相比于帶蒙皮信息的fbx文件，anim文件具有占用空間小、操作性強、易用性等特點。同時anim 動畫能夠很好地導入Unity3D 引擎中，以便用于動畫合成、動畫播放及動畫過渡融合等操作。

4 實驗結果與分析

開發(fā)環(huán)境為：Visual Studio 2017版本，Unity 2018.1.2f1（64-bit）。使用微軟提供的基于C#語言的用戶界面框架WPF（Windows Presentation Foundation）開發(fā)課文處理模塊，選擇C#語言實現課文分句、分詞、手語編輯、新詞添加、近義詞表示等功能；使用服務器/客戶端模式（B/C）實現課文處理模塊和動畫模塊之間的通信交互，目的是為了將待發(fā)送列表里的手語編號序列發(fā)送給動畫模塊。

系統(tǒng)編輯界面由課文分句、虛擬人、手語編輯、文法手語顯示等功能模塊組成，如圖6所示。課文分句功能負責將輸入進來的文本進行分句，以便以句子為單位進行手語翻譯教學。虛擬人由Unity3D游戲引擎開發(fā)，嵌入到桌面應用中，負責手語動畫的播放顯示。由于面向聾啞學生的語文教學對手語翻譯準確率要求很高，手語編輯提供對課文句子編輯的功能，使翻譯準確率得到全面提升。

以聾啞學校第十冊第一篇課文的第一句話為例進行實驗，并給出對應系統(tǒng)使用分析。例如：“清晨，天氣格外晴朗，溫暖的陽光灑滿山村”，首先對這句話采用改進的結巴分詞算法進行分詞，得到圖7中的結果。

圖7 文法手語的例子

該句子中，分詞后得到9 個詞語，其中只有3 個（藍色背景）詞語能夠直接被手語表示，顯然這無法滿足教學要求，無法做到文本翻譯成手語。因此需要通過編輯功能，使用近義詞或者重新分詞等人工干預操作，將例子中的每個詞語直接用手語表示。

圖8 左圖中，詞語“清晨”“格外”“晴朗”“陽光”“灑滿”“山村”都不能直接用手語表示?？梢圆捎镁庉嫻δ軐⑺鼈冇媒x詞等表示成手語詞語，如圖8右圖。此方法能夠準確傳遞文本中的句子信息，又能讓聾啞學生學習更多的詞語意思。

圖8 編輯功能（左）及編輯后的句子（右）

對比顏慶聰等人設計的成型系統(tǒng)[17]，本系統(tǒng)有設計簡單、手語數據采集簡便、跨平臺性、手語翻譯結果準確等優(yōu)點。首先，本文使用Maya 等專業(yè)建模軟件制作動畫，基于關鍵幀算法合成手語動畫，反觀顏慶聰等人使用Glove數據手套采集手部運動軌跡的數據，此方法具有不好精確控制手部運動軌跡、做出的手語動畫不準確等缺點。其次，本文使用Unity3D動畫引擎來渲染手語動畫，Unity3D 引擎具有跨平臺性，可以在蘋果、安卓、Linux 等系統(tǒng)中運行，相對于顏慶聰等人的系統(tǒng)更具有廣泛使用的優(yōu)點。最后，此系統(tǒng)包含手語編輯等功能，對于文本具有詞語級別的精細控制，翻譯結果更準確。

5 結論

手語教學作為一種特殊教學方式，需要多方面合作。開發(fā)一種手語教學系統(tǒng)能夠減輕老師備課、上課的壓力，也給聾啞學生提供一個自主學習的工具，開拓他們的視野，同時為聽人提供一種學習手語途徑，起到促進聽人和聾啞人交流的作用。但這在手語教學推廣過程中遠遠是不夠的。手語教學需要多方合作，如家長、老師等都要參與到聾啞學生的學習、教育、生活中。