楊淑瑩，田 迪，郭楊楊，趙 敏

(天津理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，天津 300384)

1 引言

隨著網(wǎng)絡(luò)視頻和電視媒體的不斷發(fā)展，人民日常生活中的信息和休閑娛樂越來越離不開它們，但對于聽障人群而言視頻和電視卻可望不可“及”。據(jù)相關(guān)數(shù)據(jù)顯示，全國約120個(gè)頻道的1000多個(gè)電視欄目中配有字幕的實(shí)屬少數(shù)其中配有實(shí)時(shí)手語翻譯的更是寥寥無幾[1]，而作為最受全國電視觀眾歡迎且關(guān)注度極高的節(jié)目《新聞聯(lián)播》也并未加配字幕或手語翻譯。如此一來聽障人群空對電視難“聽”其聞，對于各種國家實(shí)事的了解也只是只言片語與社會嚴(yán)重脫節(jié)。

目前我國大陸現(xiàn)有聽力殘障人總數(shù)約為2054萬人，占全國人口總數(shù)的1.46%[2]。但我國現(xiàn)有高水平手語翻譯人員嚴(yán)重不足，國內(nèi)擁有國家資質(zhì)認(rèn)證的手語翻譯員人數(shù)不足百人[3]，從事手語翻譯工作的專職人員更是少之又少。想要為全部視頻及電視節(jié)目字幕或是手語翻譯工作量極大且手語翻譯人力資源嚴(yán)重短缺，對于《新聞聯(lián)播》這類的直播節(jié)目更是要求手語翻譯迅速、嚴(yán)謹(jǐn)、準(zhǔn)確。鑒于以上提及的各問題，開發(fā)一個(gè)能夠被廣泛應(yīng)用的實(shí)時(shí)手語翻譯系統(tǒng)是非常有意義且極具價(jià)值的。

對于手語翻譯系統(tǒng)的研究，國內(nèi)外學(xué)者都在不斷的進(jìn)行探索。早些年間微軟亞洲研究院和中科院計(jì)算所就已經(jīng)合作開發(fā)出了基于Kinect的手語翻譯系統(tǒng)，能夠完成手語翻譯；由日本東芝公司開發(fā)的人形手語機(jī)器人也已經(jīng)可以實(shí)現(xiàn)手語交流[4]。及至后來普遍興起的基于傳感器等相關(guān)設(shè)備的手語翻譯研究，如基于傳感機(jī)械設(shè)備或數(shù)據(jù)手套的手語翻譯系統(tǒng)等[5-6]。但綜合來看，以上手語翻譯系統(tǒng)或設(shè)備雖為手語翻譯領(lǐng)域帶來了新的技術(shù)和理念，在其真正應(yīng)用過程中卻存在著諸多問題，如設(shè)備價(jià)格昂貴無法普遍推廣、設(shè)備操作復(fù)雜易用性差等。而且現(xiàn)有較多研究都集中于識別手語即手語向語音的翻譯，如基于Leap Motion深度傳感器的手語手勢識別[7]等，而進(jìn)行語言向手語進(jìn)行翻譯的則為數(shù)不多，且現(xiàn)有技術(shù)多為視頻合成或視頻拼接[8]等方式，缺少了手語輸出的直觀現(xiàn)實(shí)性。

所以，本文依照中國手語標(biāo)準(zhǔn)，設(shè)計(jì)實(shí)現(xiàn)了仿真手語翻譯系統(tǒng)，通過B/S模式實(shí)現(xiàn)前端頁面和后臺運(yùn)行的互聯(lián)，使用WebGL技術(shù)進(jìn)行虛擬人加載和場景渲染；JavaScript語言進(jìn)行虛擬人運(yùn)動(dòng)控制，實(shí)現(xiàn)虛擬仿真手語翻譯；以HTML和CSS語言開發(fā)前端用戶界面，集成各功能模塊；以深度學(xué)習(xí)為根本算法實(shí)現(xiàn)快速語音識別。此仿真手語翻譯系統(tǒng)以虛擬人代替?zhèn)鹘y(tǒng)翻譯專員實(shí)現(xiàn)仿真手語翻譯，較現(xiàn)有手語翻譯系統(tǒng)，在實(shí)用性、直觀現(xiàn)實(shí)和可推廣程度等方面均有所提升。

2 仿真手語翻譯系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)結(jié)構(gòu)

為實(shí)現(xiàn)識別語音并將其翻譯成仿真手語的功能，本手語翻譯系統(tǒng)設(shè)計(jì)了如圖1所示的系統(tǒng)結(jié)構(gòu)共包含三大模塊，分別為語音識別模塊、文本處理模塊和虛擬人控制模塊。語音識別模塊通過前端交互界面采集語音進(jìn)行識別得到文本信息；文本分詞模塊負(fù)責(zé)把識別得到的文本進(jìn)行處理，將文本轉(zhuǎn)化成字詞序列并傳送至虛擬人控制模塊；虛擬人控制模塊則根據(jù)接收到的字詞序列順次調(diào)用文本對應(yīng)的手語動(dòng)作，將手語信息以虛擬人仿真手語動(dòng)作的方式呈現(xiàn)在用戶眼前，從而實(shí)現(xiàn)語音到手語的仿真翻譯過程。模塊之間通過網(wǎng)頁端和后臺服務(wù)器端互聯(lián)實(shí)現(xiàn)數(shù)據(jù)信息傳遞，并結(jié)合WebGL的第三方圖形庫Three.js實(shí)現(xiàn)手語動(dòng)作調(diào)用。

圖1 系統(tǒng)總體結(jié)構(gòu)圖

2.2 系統(tǒng)實(shí)現(xiàn)流程

本文設(shè)計(jì)實(shí)現(xiàn)的手語翻譯系統(tǒng)是將語音向手語的翻譯過程，系統(tǒng)實(shí)現(xiàn)流程如圖2所示。此系統(tǒng)有兩種使用模式供用戶選擇，分別是網(wǎng)絡(luò)視頻手語翻譯和說話人手語翻譯。網(wǎng)絡(luò)視頻手語翻譯模式類似于同聲傳譯軟件，對視頻中的聲音進(jìn)行識別并輸出仿真手語，說話人手語翻譯模式則適用于車站或一些公共場所，以仿真手語作為信息載體通過屏幕傳遞給聽障人士。采集到的語音信號要先經(jīng)過語音識別模塊進(jìn)行預(yù)處理和特征提取，之后使用深度學(xué)習(xí)算法對其進(jìn)行識別，并將語音信號對應(yīng)的文本輸出。語音識別得到的文本信息經(jīng)過文本分詞處理輸出字詞序列，最后將序列傳遞至虛擬人控制模塊進(jìn)行相應(yīng)的仿真手語動(dòng)作調(diào)用播放演示，從而實(shí)現(xiàn)語音到手語的翻譯。為保證手語動(dòng)作完整且準(zhǔn)確的輸出，在文本分詞后會對手語動(dòng)作庫進(jìn)行檢索。當(dāng)序列中出現(xiàn)沒有對應(yīng)手語動(dòng)作的詞時(shí)，會將此詞登記在待補(bǔ)列表中，同時(shí)依次讀取該詞中所含文字，并將其保存成字序列進(jìn)行手語動(dòng)作調(diào)用嘗試，即將詞語中包含的所有字成分依次進(jìn)行手語表示。后期及時(shí)對待補(bǔ)列表中的字詞手語動(dòng)作進(jìn)行補(bǔ)充。

圖2 系統(tǒng)實(shí)現(xiàn)流程圖

3 關(guān)鍵技術(shù)

3.1 語音識別

近年來深度學(xué)習(xí)快速發(fā)展，CNN(Convolutional Neural Network，CNN)在圖像識別和分類中的表現(xiàn)近乎完美[9-10]，其在語音識別領(lǐng)域中的表現(xiàn)也毫不遜色，識別技術(shù)也逐漸趨于成熟[11-12]。本文將聲學(xué)特征轉(zhuǎn)換成圖片，用CNN直接對特征圖進(jìn)行模型訓(xùn)練和識別，相較于傳統(tǒng)方法，減少了語音信號在時(shí)域和頻域上的信息損失[13]，極大限度的保留了完整的聲學(xué)特征更易于網(wǎng)絡(luò)的訓(xùn)練和識別[14]，取得了良好的語音識別效果。文中所設(shè)計(jì)的手語翻譯系統(tǒng)在進(jìn)行翻譯時(shí)，先使用語音識別模塊對輸入的語音進(jìn)行預(yù)處理和特征提取，再將其存儲為語音特征圖像，使用這些語音特征圖像進(jìn)行CNN訓(xùn)練和識別。語音識別流程如圖3所示。

圖3 語音識別流程圖

為了提取到準(zhǔn)確且具有代表性的語音信號特征，需要先對采集到的語音信號進(jìn)行預(yù)處理：將語音信號通過一個(gè)高通濾波器執(zhí)行預(yù)加重操作，之后執(zhí)行分幀加漢明窗操作并使用能量結(jié)合過零率方法進(jìn)行端點(diǎn)檢測。預(yù)處理過后即可對其進(jìn)行特征提取操作。手語翻譯系統(tǒng)主要語音信號來源均為人聲，所以本文使用符合人類聽覺機(jī)制的梅爾倒譜系數(shù)(Mel Frequency Cepstrum Coefficient，MFCC)作為語音識別特征參數(shù)[15]。同時(shí)用小波包分解代替?zhèn)鹘y(tǒng)聲學(xué)特征提取過程中的快速傅里葉變換，以Mel尺度的頻率范圍劃分語音信號頻段，保證了語音信號特征的完整性[16]?；贛FCC子帶頻譜的小波包分解特征參數(shù)提取流程如圖4所示。

圖4 基于MFCC子帶頻譜的小波包分解系數(shù)提取流程圖

基于MFCC子帶頻譜的小波包分解特征參數(shù)提取過程：

1)對經(jīng)過預(yù)處理的各幀語音信號進(jìn)行小波包分解求得各子頻帶系WPKk，m，其中WPKk，m，為第k個(gè)子帶的第m個(gè)小波系數(shù)。

2)計(jì)算各子頻帶能量

(1)

其中Nk為第k個(gè)子帶的小波系數(shù)的個(gè)數(shù)k=1，2，3，……，K為所選頻帶的索引編號。

3)得到各子頻帶能量后對其進(jìn)行歸一化處理并執(zhí)行對數(shù)運(yùn)算

(2)

4)對Sk離散余弦變換得到MFCC特征：

(3)

式中，n=1，2，……，P，P為特征參數(shù)的維數(shù)。

5)提取MFCC特征后，使用矩陣可視化函數(shù)matshow()將系數(shù)矩陣轉(zhuǎn)換為圖像以便于后期CNN模型的訓(xùn)練和識別。圖5為一條語音信號的特征系數(shù)矩陣轉(zhuǎn)換得到的特征圖。

圖5 語音信號特征圖

在CNN模型搭建方面，本文手語翻譯系統(tǒng)使用包含十三層網(wǎng)絡(luò)的CNN，由卷積層、池化層、全連接層組成。網(wǎng)絡(luò)包含三個(gè)卷積段，每個(gè)卷積段有三層卷積層并有一層池化層作為結(jié)尾，完成圖片特征局部感知和下采樣。其中每一卷積層均取3*3卷積核，步長取1。并使用BatchNorm2d函數(shù)進(jìn)行歸一化操作，后用激活函數(shù)ReLU進(jìn)行激活。池化層則均使用核大小為2*2的MaxPool2d函數(shù)取最大值。最后一層全連接層負(fù)責(zé)根據(jù)已提取的特征來實(shí)現(xiàn)特征圖像的分類。

本次實(shí)驗(yàn)中為得到足夠規(guī)模的訓(xùn)練集，以提升CNN的分類效果，征集了100名學(xué)生志愿者對選定的20條常用語句進(jìn)行語音錄制，每名同學(xué)對同一條語句重復(fù)5遍，共得到了1000條語音文件。選擇其中800條語音作為訓(xùn)練集，剩余200條作為測試集對識別最終效果進(jìn)行檢測，在學(xué)習(xí)率設(shè)定為0.001的條件下進(jìn)行了1500次訓(xùn)練，最終模型識別準(zhǔn)確率為95%。

3.2 文本分詞

jieba中文分詞是自然語言處理領(lǐng)域中非常受歡迎的一種開源分詞工具[17]，以其使用方便、分詞快速準(zhǔn)確而備受推崇。jieba分詞有三種分詞模式，分別是精確模式、全模式和搜索引擎模式。其中精確模式對句子的分割最為準(zhǔn)確，適合文本分析；全模式則將句子中所有的可以成詞的詞語進(jìn)行掃描分割；搜索引擎模式則是在精確模式的基礎(chǔ)上對較長詞進(jìn)一步切分，提高召回率。

本文使用jieba的精確模式作為默認(rèn)分詞模式，對語音識別得到的文本進(jìn)行分詞，經(jīng)過分詞得到的字詞序列傳送至虛擬人控制模塊按順序依次調(diào)用對應(yīng)的仿真手語動(dòng)作。如果出現(xiàn)沒有對應(yīng)手語動(dòng)作的詞時(shí)，依次讀取該詞中所含文字，并將其保存成字序列進(jìn)行手語動(dòng)作調(diào)用嘗試，即將詞語中包含的所有字成分依次進(jìn)行手語表示。例如，句子“我是天津理工大學(xué)開發(fā)的手語翻譯員”的分詞結(jié)果為“我/是/天津/理工大學(xué)/開發(fā)/的/手語/翻譯員”，但其中“理工大學(xué)”并沒有對應(yīng)的手語動(dòng)作，所以對該詞依次讀取其中文字按字序列進(jìn)行手語動(dòng)作調(diào)用。通過字候補(bǔ)的字詞序列調(diào)用方式最大程度的保證了仿真手語輸出的完整性。

3.3 虛擬人

3.3.1 虛擬人制作

本文使用建模動(dòng)畫軟件Maya進(jìn)行模型制作和關(guān)鍵幀動(dòng)畫制作，先通過多邊形建模[20]的方式建立大體輪廓模型，再分別從“面”、“線”、“點(diǎn)”各層次逐級完善3D模型，并為其身體各部分添加材質(zhì)[17]，如衣服、皮膚、頭發(fā)等。之后為模型創(chuàng)建骨骼并進(jìn)行蒙皮，本文中的模型為類人型動(dòng)畫模型所以可以直接使用HumanIK[20]插件生成一副骨架，然后依次調(diào)整各關(guān)節(jié)的位置使其與文的人物模型相匹配。同時(shí)選中骨架及模型文件點(diǎn)擊“裝備中的”“蒙皮”選項(xiàng)完成蒙皮綁定。完成骨骼及綁定后使用權(quán)重繪制工具對各部分關(guān)節(jié)的蒙皮權(quán)重進(jìn)行繪制[17]，使各部分關(guān)節(jié)合理帶動(dòng)相應(yīng)部位的蒙皮。為方便后邊動(dòng)畫的制作，可在HumanIK插件中點(diǎn)擊“一鍵生成控制器”為各部分關(guān)節(jié)建立控制器。帶有骨骼的虛擬人模型及模型控制器如圖6所示。

圖6 帶有骨骼的虛擬模型及模型控制器

本文采用關(guān)鍵幀動(dòng)畫技術(shù)[21]來為模型創(chuàng)建動(dòng)畫，選中需要添加動(dòng)作的控制器并調(diào)整其位置達(dá)到最終效果即完成此關(guān)鍵幀。表示“你好”的仿真手語關(guān)鍵幀如圖7所示。為使手語動(dòng)作的播放效果更貼近于人工手語動(dòng)作，本文設(shè)置幀頻率為24，每個(gè)關(guān)鍵幀的間隔為20幀，即先后動(dòng)作間隔約為一秒的時(shí)間。完成關(guān)鍵幀動(dòng)畫之后使用Maya中的Babylon插件對模型中的動(dòng)作進(jìn)行分組，記錄每個(gè)動(dòng)作的起止幀設(shè)為模型的動(dòng)畫序列，并以手語動(dòng)作表示的含義對動(dòng)作命名。最后，導(dǎo)出模型文件。

圖7 表示“你好”的仿真手語關(guān)鍵幀

3.3.2 手語動(dòng)作庫

為實(shí)現(xiàn)手語翻譯系統(tǒng)的手語展示功能，還需要建立一個(gè)完整的手語動(dòng)作庫。本文使用先進(jìn)的三維動(dòng)畫制作軟件Maya來實(shí)現(xiàn)動(dòng)畫制作過程，按手語的種類劃分動(dòng)畫動(dòng)作組，完成手語動(dòng)作庫的建立。此種建庫方式，相較于使用數(shù)據(jù)手套采集手語動(dòng)作軌跡信息方法省去了購買高昂設(shè)備的成本，也隨之省去了復(fù)雜的設(shè)備及技術(shù)操作流程；相較于北京工業(yè)大學(xué)朱婷婷[22]等人手語視頻合成的方式，在提高手語動(dòng)作現(xiàn)實(shí)性、增強(qiáng)直觀動(dòng)作傳輸方面都有很多提升。因此結(jié)合Maya制作三維立體模型并創(chuàng)建手語動(dòng)作庫最后通過WebGL的相關(guān)技術(shù)實(shí)現(xiàn)網(wǎng)頁端直觀顯示3D模型實(shí)現(xiàn)手語翻譯的方式是十分可行且非常有效的。

本次實(shí)驗(yàn)中以手語翻譯系統(tǒng)的應(yīng)用場所作為劃分標(biāo)準(zhǔn)，共制作了16組不同主題的手語動(dòng)作庫。主題主要涉及存在聽障人溝通障礙的生活場所，如醫(yī)院、車站、餐廳等。每個(gè)主題中包含200個(gè)詞語手語動(dòng)作，覆蓋大部分常用語句。每個(gè)手語動(dòng)作以詞作為主要分割標(biāo)準(zhǔn)同時(shí)輔以單字，即對于“天氣”和“天”這一類會同時(shí)對詞和字進(jìn)行動(dòng)作設(shè)定，保證手語動(dòng)作的完整性。

3.3.3 虛擬人交互設(shè)計(jì)

為此手語翻譯系統(tǒng)通過使用WebGL的第三方圖形庫Three.js[23]來實(shí)現(xiàn)虛擬人三維模型的網(wǎng)頁端可視化展示，通過Three.js的相關(guān)操作實(shí)現(xiàn)指定手語動(dòng)作控制。首先要設(shè)置模型展示環(huán)境，對要展示模型的環(huán)境進(jìn)行初始化。通過初始化相機(jī)、添加場景并為其設(shè)置背景和霧化效果、添加燈光來構(gòu)成展示模型的基本環(huán)境，之后通過Three.js的WebGLRenderer()方法來為環(huán)境進(jìn)行渲染，以實(shí)現(xiàn)理想的三維立體環(huán)境效果。完成模型展示環(huán)境設(shè)置以后即可加載虛擬人模型。對于本系統(tǒng)使用的glTF模型首先要添加模型加載器，然后為模型實(shí)例化一個(gè)指定加載器，之后通過loader.load()函數(shù)將虛擬人模型加載到對應(yīng)頁面。完成虛擬人配置之后，便可以結(jié)合其他模塊調(diào)用相關(guān).js語句實(shí)現(xiàn)虛擬人手語動(dòng)作展示。

4 仿真結(jié)果

本文使用Python3.7語言開發(fā)后臺語音識別和其它系統(tǒng)結(jié)構(gòu)，使用PyTorch深度學(xué)習(xí)框架搭建神經(jīng)網(wǎng)絡(luò)。仿真手語翻譯系統(tǒng)界面如圖8所示，其中包含：功能演示、功能模式選擇、虛擬人視窗和識別結(jié)果文本框。在說話人手語翻譯模式中，通過界面上方的控制按鈕進(jìn)行語音采集和識別，識別完成后虛擬人將以仿真手語的形式展示語音所表示的手語動(dòng)作。

圖8 翻譯系統(tǒng)界面圖

作為系統(tǒng)測試，隨機(jī)輸入一段語音進(jìn)行實(shí)驗(yàn)并對其結(jié)果進(jìn)行分析。以“我愛天津理工大學(xué)”作為語音輸入。得到的仿真手語呈現(xiàn)在虛擬人框中，同時(shí)識別得到的對應(yīng)文本將在文本框中顯示?！拔覑厶旖蚶砉ご髮W(xué)”對應(yīng)的仿真手語動(dòng)作連續(xù)截圖如圖9所示。

圖9 表示“我愛天津理工大學(xué)”的仿真手語圖

在視頻手語翻譯模式中，在視頻框中選擇要進(jìn)行手語翻譯的視頻并打開，在此以隨機(jī)一期新聞聯(lián)播節(jié)目作為測試，在視頻開始播放后系統(tǒng)將會自動(dòng)進(jìn)行識別并輸出對應(yīng)的仿真手語和文本內(nèi)容。

圖10 翻譯系統(tǒng)界面圖

5 總結(jié)

本文設(shè)計(jì)開發(fā)了仿真手語翻譯系統(tǒng)，實(shí)現(xiàn)了語音到仿真手語的翻譯過程，以仿真虛擬人取代一些現(xiàn)有翻譯設(shè)備中價(jià)格昂貴的機(jī)械手語翻譯設(shè)備，可推廣性和實(shí)用性優(yōu)勢明顯；同時(shí)其特有的虛擬仿真效果使其能夠媲美手語翻譯專員，較現(xiàn)有的一些視頻合成手語系統(tǒng)在手語展示翻譯效果方面也有很大的優(yōu)勢。此系統(tǒng)有效的解決了翻譯人員短缺的問題，且系統(tǒng)使用成本低、操作方便簡單，是可惠及所有聽障人的實(shí)用性翻譯系統(tǒng)。

此仿真手語翻譯系統(tǒng)雖使用簡單、手語翻譯反應(yīng)迅速，但對于虛擬人的手語動(dòng)作含量(即手語動(dòng)作庫容量)要求較為嚴(yán)格。本次實(shí)驗(yàn)中制作的3200個(gè)手語動(dòng)作在日常交流對話使用中表現(xiàn)良好，但在包含內(nèi)容較多涉及場景廣泛的視頻翻譯中手語動(dòng)作庫則略顯不足。所以接下來將開發(fā)基于根手語動(dòng)作的可合成類手語翻譯系統(tǒng)，以根手語動(dòng)作為基礎(chǔ)，結(jié)合驅(qū)動(dòng)引擎來完成手語合成，將其建設(shè)成一個(gè)完整且實(shí)用的仿真手語翻譯系統(tǒng)。