劉又瑜 謝本齊 江煥 姜林

關(guān)鍵詞： 智能眼鏡; 云服務(wù); 手語識(shí)別; 聽障人士; 智能系統(tǒng)

1 概述

根據(jù)世界衛(wèi)生組織2020年3月統(tǒng)計(jì)[1]，全球患有殘疾性聽力障礙人口高達(dá)4.66億人。人數(shù)眾多的聽障人士群體間交流以手語為主。因手語普及率低，導(dǎo)致聽障人士難以融入正常人生活。針對(duì)該問題，基于人工智能的手語識(shí)別技術(shù)相繼研究，經(jīng)過多年的發(fā)展，穿戴式傳感器手語識(shí)別和機(jī)器視覺手語識(shí)別逐漸成為主流技術(shù)。

穿戴式傳感器手語識(shí)別系統(tǒng)利用物理傳感器如數(shù)據(jù)手套、數(shù)據(jù)臂環(huán)、智能手表，記錄手部在運(yùn)動(dòng)過程中產(chǎn)生的物理信息，再將運(yùn)動(dòng)信息傳送至接收設(shè)備進(jìn)行處理分析，得以實(shí)現(xiàn)對(duì)手語動(dòng)作的識(shí)別。最早的穿戴式傳感器手語識(shí)別方案來自1983年Grimes等人發(fā)明的數(shù)據(jù)手套[2]，聽障人士單手戴上手套展示美國手語的字母動(dòng)作，并將數(shù)據(jù)傳送至接收設(shè)備，實(shí)現(xiàn)對(duì)基本動(dòng)作的識(shí)別。2010年Fu等人[3]提出利用數(shù)字手套操控虛擬鍵盤的方式幫助聽障人士進(jìn)行交流；2021年冉孟元等人[4]利用帶有九軸慣性傳感器的數(shù)據(jù)手套獲取30個(gè)漢語拼音字母的手語動(dòng)作信息，并采用K-鄰近算法和前饋神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了基于慣性傳感器融合控制算法的手語識(shí)別。

機(jī)器視覺手語識(shí)別系統(tǒng)通過錄制手語動(dòng)作視頻，利用圖像處理、深度學(xué)習(xí)、計(jì)算機(jī)視覺相關(guān)算法等技術(shù)對(duì)連續(xù)幀中的畫面信息以及信息的變動(dòng)規(guī)律進(jìn)行總結(jié)學(xué)習(xí)，實(shí)現(xiàn)對(duì)輸入視頻的分類，得出相應(yīng)的手語釋義?，F(xiàn)有機(jī)器視覺手語識(shí)別以深度神經(jīng)網(wǎng)絡(luò)技術(shù)為主，通過建立視頻信號(hào)到手語分類的網(wǎng)絡(luò)結(jié)構(gòu)，提高手語識(shí)別精度[5]。在手語特征學(xué)習(xí)方面，常用的網(wǎng)絡(luò)結(jié)構(gòu)有VGG[6]、AlexNet[7]、ResNet[8]等，在視頻動(dòng)作識(shí)別方面，2D卷積神經(jīng)網(wǎng)絡(luò)模型有Two-stream方法[9]以及在此基礎(chǔ)上改進(jìn)而來的TSN（Temporal Segment Network） 網(wǎng)絡(luò)[10]。2D-CNN方法的重點(diǎn)在于如何更好地提取視頻時(shí)空信息[5]，3D-CNN方法在2D的基礎(chǔ)上引入了時(shí)序信息，增加了對(duì)時(shí)間維度幀間運(yùn)動(dòng)信息的關(guān)注度。常見方法有C3D[10]、I3D[11]、P3D[12]等。在基于GNN的方法中，常與人體骨架坐標(biāo)識(shí)別進(jìn)行結(jié)合，Amorim等[13]在得到手語動(dòng)作視頻中的每幀人體骨架坐標(biāo)后引入時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)ST-GCN，建立了連續(xù)幀之間節(jié)點(diǎn)變化的相互關(guān)系，實(shí)現(xiàn)對(duì)手語視頻的識(shí)別。

現(xiàn)有技術(shù)中，穿戴式傳感器手語識(shí)別技術(shù)可準(zhǔn)確獲取手部動(dòng)作，識(shí)別率較高，但存在成本高、用戶體驗(yàn)感差等問題；機(jī)器視頻手語識(shí)別方法雖克服了穿戴式傳感器的不便問題，但卻因移動(dòng)設(shè)備端算力資源不足、各框架兼容條件苛刻等問題影響了其應(yīng)用。

本項(xiàng)目沿用機(jī)器視覺技術(shù)，使用智能眼鏡平臺(tái)進(jìn)行手語識(shí)別，識(shí)別過程中將深度學(xué)習(xí)模型部署在云端，可解決深度學(xué)習(xí)模型在智能設(shè)備上部署所需算力資源過大的問題，同時(shí)因智能眼鏡舒適的體驗(yàn)感和便攜性，可為聽障人士與正常人交流提供應(yīng)用方案。

2 基于智能眼鏡的手語識(shí)別系統(tǒng)架構(gòu)

基于智能眼鏡的手語識(shí)別系統(tǒng)架構(gòu)如圖1，該系統(tǒng)以智能眼鏡作為硬件平臺(tái)，主要負(fù)責(zé)采集聽障人士手勢(shì)，并將手勢(shì)視頻以圖片幀的形式上傳至云端，由部署在云端的深度神經(jīng)網(wǎng)絡(luò)識(shí)別模型將手勢(shì)的結(jié)果返回到智能眼鏡，由智能眼鏡呈現(xiàn)識(shí)別結(jié)果，當(dāng)正常人戴上眼鏡后，即可實(shí)時(shí)識(shí)別聽障人士手勢(shì)。

本文智能眼鏡平臺(tái)采用Epson BT-300（圖2） ，該平臺(tái)內(nèi)置了安卓系統(tǒng)，操作系統(tǒng)界面可顯示在鏡片中的光學(xué)顯示器，有利于呈現(xiàn)手勢(shì)識(shí)別結(jié)果，眼鏡搭載了500萬像素?cái)z像頭，可高清捕獲聽障人士手勢(shì)。云服務(wù)平臺(tái)采用百度EasyDL，本項(xiàng)目將事先訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)識(shí)別模型部署在云端，通過EasyDL提供的API接口進(jìn)行識(shí)別系統(tǒng)的調(diào)用。

3 手語識(shí)別設(shè)計(jì)

3.1 構(gòu)建手語識(shí)別神經(jīng)網(wǎng)絡(luò)

本文手語識(shí)別神經(jīng)網(wǎng)絡(luò)為TSN與LSTM交叉模型（如圖3所示）。Limin Wang等[10]提出的TSN模型是視頻分類領(lǐng)域經(jīng)典的基于2D-CNN的解決方案。該網(wǎng)絡(luò)常被用于解決視頻分類中的長時(shí)間行為判斷問題。它通過稀疏采樣視頻幀的方式代替稠密采樣，希望捕獲整段視頻中的概括性動(dòng)作趨勢(shì)，該方法有效降低了計(jì)算量。

在TSN模型中將輸入視頻分為K段，并從K段中分別隨機(jī)抽取一定幀數(shù)圖像，通過雙路CNN 結(jié)構(gòu)分別處理抽取幀的普通圖像特征和光流特征，獲取這一段視頻的分類得分分布，最終通過片段共識(shí)函數(shù)將K個(gè)視頻段的得分結(jié)果進(jìn)行融合后得出整段視頻的最終分類結(jié)果。

但在TSN模型的處理中缺少了對(duì)K段視頻先后關(guān)系的處理，而手語動(dòng)作作為一種動(dòng)作語言，具有嚴(yán)格的上下文語義關(guān)系。為了解決這個(gè)問題，引入了LSTM模型替代TSN模型中的片段共識(shí)函數(shù)，增加神經(jīng)網(wǎng)絡(luò)對(duì)視頻動(dòng)作上下文關(guān)系的敏感度。根據(jù)筆者的實(shí)驗(yàn)測(cè)試，TSN-LSTM模型識(shí)別準(zhǔn)確率相較于傳統(tǒng)的TSN模型可提升20%的識(shí)別準(zhǔn)確率。

3.2 模型訓(xùn)練及云端部署

手語識(shí)別模型所使用的訓(xùn)練數(shù)據(jù)集為明亮試驗(yàn)環(huán)境下用智能眼鏡攝像頭錄制的數(shù)據(jù)集，包含10個(gè)常用手語動(dòng)作，每個(gè)動(dòng)作30個(gè)樣本。測(cè)試集與訓(xùn)練集采用8：2比例劃分。

模型訓(xùn)練及部署均采用百度EasyDL提供的模型在云端進(jìn)行。在上傳數(shù)據(jù)集及模型結(jié)構(gòu)后進(jìn)行云端訓(xùn)練，經(jīng)百度云端測(cè)試TSN-LSTM模型在手語識(shí)別準(zhǔn)確率達(dá)到95.37%。由于深度學(xué)習(xí)模型在安卓系統(tǒng)本地移植過程中占用資源過大，易出現(xiàn)閃退、轉(zhuǎn)換速度下降等情況，破壞了項(xiàng)目的穩(wěn)定性，最后采用百度EasyDL提供的深度學(xué)習(xí)模型云部署服務(wù)，在模型云端訓(xùn)練完成后部署為API供系統(tǒng)開發(fā)端直接調(diào)用。

經(jīng)測(cè)試，在20段連續(xù)視頻的識(shí)別中，每段視頻手語識(shí)別返回結(jié)果平均耗時(shí)為3.33s，滿足連續(xù)手語識(shí)別的實(shí)時(shí)條件。

3.3 模型調(diào)用

模型調(diào)用流程如圖4所示，在用戶啟動(dòng)手語識(shí)別功能后，openCamera（）函數(shù)開啟攝像頭并配置相應(yīng)的參數(shù)，onSurfaceChanged（）函數(shù)將獲取相機(jī)預(yù)覽幀，當(dāng)一句完整的手語短語結(jié)束，攝像頭停止錄制，queue.put（） 函數(shù)將生成視頻放置進(jìn)待識(shí)別隊(duì)列。VideoEn?coderThread處理線程將不斷檢測(cè)待識(shí)別隊(duì)列中是否有未處理的視頻，并將未處理的視頻進(jìn)行編碼，通過getBase64（） 函數(shù)將視頻從mp4格式轉(zhuǎn)換到base64格式，最后由callAPI將視頻上傳至手語識(shí)別模型接口，接口將返回對(duì)視頻中手語動(dòng)作的識(shí)別結(jié)果。系統(tǒng)將選擇置信度在50%以上且得分最高的結(jié)果發(fā)送至前端界面顯示。

在調(diào)用API得到手語識(shí)別結(jié)果的過程中要求設(shè)備聯(lián)網(wǎng)，平均返回時(shí)間為3.33秒，此速度足夠有效避免待處理視頻棧積壓，滿足日常交流速度需求，無卡頓感。

4 系統(tǒng)實(shí)現(xiàn)效果

普通人佩戴一副智能眼鏡，通過本系統(tǒng)與聽障人士進(jìn)行交流。本項(xiàng)目采用的智能眼鏡EpsonBT-300由操控器與眼鏡主體組成，操控器連接在眼鏡上為眼鏡提供電力支持同時(shí)充當(dāng)控制器。啟動(dòng)本系統(tǒng)后，智能眼鏡攝像頭自動(dòng)捕捉視頻畫面，并以每秒5幀的速率上傳圖片至云端服務(wù)器，云端服務(wù)器對(duì)圖片進(jìn)行識(shí)別后將結(jié)果返回到智能眼鏡的程度中，其識(shí)別結(jié)果以對(duì)話框形式呈現(xiàn)到用戶眼鏡鏡片上，系統(tǒng)運(yùn)行效果如圖5所示。

5 結(jié)論

本文以深度學(xué)習(xí)模型云部署方案為基本思路，基于智能眼鏡平臺(tái)實(shí)現(xiàn)了一款手語識(shí)別系統(tǒng)。云部署的思路突破了深度學(xué)習(xí)模型部署在移動(dòng)端平臺(tái)時(shí)的硬件資源限制，極大縮減了移動(dòng)端神經(jīng)網(wǎng)絡(luò)模型應(yīng)用系統(tǒng)的體積并提高了運(yùn)行時(shí)的流暢度，避開了各式模型框架在安卓平臺(tái)部署的兼容性問題，使得移動(dòng)端神經(jīng)網(wǎng)絡(luò)模型應(yīng)用系統(tǒng)的開發(fā)變得更為簡(jiǎn)便。同時(shí)，模型API的調(diào)用情況將被實(shí)時(shí)記錄在云端管理系統(tǒng)，實(shí)現(xiàn)了模型管理、應(yīng)用開發(fā)的隔離工作環(huán)境，增加了系統(tǒng)的可維護(hù)性。本文所提出的解決方案可為正常人識(shí)別聽障人士手語提供幫助，對(duì)于解決聽障人士融入日常社會(huì)生活具有重要意義。