李棟 李大華 高強 于曉

摘要：為提高我國聾人高等教育水平，提出了一種基于ALEXNET神經(jīng)網(wǎng)絡手語翻譯系統(tǒng)的教學模式。該教學模式根據(jù)神經(jīng)網(wǎng)絡設計一種手語自動識別系統(tǒng)，通過跟蹤手部運動軌跡，將動態(tài)手語信息轉(zhuǎn)化為特征信息，從而完成手語信息向語言文字信息的轉(zhuǎn)化，實現(xiàn)教師和學生之間的信息交流。該系統(tǒng)能夠幫助教師了解聾人學生課堂知識掌握情況，提升課堂教學效率，增強了聾人學生的課堂參與度，能夠促進我國特殊教育的發(fā)展。

關鍵詞：聾人高等教育;人工神經(jīng)網(wǎng)絡;手語識別;課堂交流

中圖分類號：G642.0 ? 文獻標志碼：A

特殊教育事業(yè)一直是我國教育事業(yè)發(fā)展需要攻克的難關，其中高等教育更是一個重點[1]。本文基于深度卷積神經(jīng)網(wǎng)絡提出一套針對聾人工高等教育改革方面的手語翻譯系統(tǒng)[2]，將卷積神經(jīng)網(wǎng)絡應用于聽障大學生手語語法分析[3-6]。

1 聽障大學生在高等教育教學中存在的問題

普通教師在教學過程中，教師會根據(jù)在傳授知識時學生的反應與學生對課堂知識的吸收程度對課程進行教學上的調(diào)整。30%左右的聾人與正常人的溝通存在著很大的障礙，這就導致聾人學生在課堂上的疑惑并不能及時的得到解決，問題積累過多，會導致學生不愿意與教師進行溝通，從而形成惡性循環(huán)。

2 基于深度卷積神經(jīng)網(wǎng)絡的手語識別模型

目前，國內(nèi)許多研究人員針對手語翻譯問題已經(jīng)提出了一些想法，天津理工大學的袁甜甜等人提出一種基于深度學習（Deep Learning）[7]的中國手語翻譯系統(tǒng)，該系統(tǒng)利用CNN提取視頻特征進行預訓練，利用兩層LSTM用于脫機機器翻譯。并且與天津理工大學聾人工學院一線教師及教育學專業(yè)研究生共同設計語料庫文本，共形成了一萬句中文文字在10個至30個之間的句子范疇，最終能夠取得較好的識別效果。西安建筑科技大學的王民[8]等人將圖像語義分析的思維引入手語識別研究中，提出一種優(yōu)化全卷積神經(jīng)網(wǎng)絡算法對手語進行識別，平均識別率達到了94.41%。

本文提出基于深度卷積神經(jīng)網(wǎng)絡的手語翻譯系統(tǒng)的網(wǎng)絡模型，該模型選取ALEXNET深度模型作為基礎網(wǎng)絡框架，用于獲取手勢運動軌跡的高層屬性特征，進而實現(xiàn)對手語的識別。該方法由兩部分組成，分別是手勢運動信息的預處理和ALEXNET的訓練及手勢含義的識別。

3 基于深度神經(jīng)網(wǎng)絡的手語翻譯系統(tǒng)實現(xiàn)方案

手語識別系統(tǒng)將學生表達的手語信息轉(zhuǎn)化為文字信息傳遞給授課教師，實現(xiàn)課堂互動及信息交換。當教師需了解學生對于所授知識的理解程度時，啟用手語檢測功能，學生利用手語表達理解程度，采集設備實時記錄學生動作，并跟蹤學生手部運動軌跡。其后啟用手語分析功能，系統(tǒng)將采集的軌跡圖像輸入經(jīng)過訓練的ALEXNET卷積神經(jīng)網(wǎng)絡中，網(wǎng)絡會輸出不同軌跡動作相對應的含義。手語識別系統(tǒng)運作方式可分為以下步驟：學生檢測、手語記錄、信息分析、選擇兩類學生動作，即“聽懂”和“聽不懂”、 狀態(tài)重置。

利用現(xiàn)代人工智能技術對手語進行自動識別和分析，應用到高校的課堂教學中教師和學生之間手語動作的翻譯和信息傳輸交流，實現(xiàn)手語動作和語言之間的無障礙融合，不僅提高聽障學生在課堂中獲取知識的效率，同時幫助聽障學生進行課堂知識討論并加深理解。

4 總結

利用手語識別系統(tǒng)，能夠?qū)崿F(xiàn)課堂中學生手語動作的軌跡跟蹤，并分析手語動作所代表的語言含義，傳輸給授課教師，實現(xiàn)了課堂中教師和學生之間的信息交流，通過人工卷積神經(jīng)網(wǎng)絡的信息分析，將手語動作信息轉(zhuǎn)換為語言文字信息提供給教師，實現(xiàn)了良好的識別效果，為教師和學生之間的互動提供很好的幫助，分析結果準確有效。

參考文獻：

[1]寧遠.國務院印發(fā)《關于加快推進殘疾人小康進程的意見》[J].現(xiàn)代特殊教育，2015（05）：42.

[2]張茂聰. 中國殘疾人教育事業(yè)發(fā)展70年[N]. 中國社會科學報，2019-11-07（004）.

[3]劉春穎.以新媒體拓展高校聽障學生思想政治教育渠道[J].文化創(chuàng)新比較研究，2018，2（03）：195-196.

[4]黃鶯.信息技術應用于聽障生語文教學的實踐[J].文學教育（上），2019（05）：90-91.

[5]Anwar Alsalamah. Using Captioning Services With Deaf and Hard of Hearing Students in Higher Education： A Systematic Review. 2020， 165（1）：114-127.

[6]吳玉超，林嵐，王婧璇，吳水才.基于卷積神經(jīng)網(wǎng)絡的語義分割在醫(yī)學圖像中的應用[J].生物醫(yī)學工程學雜志，2020，37（03）：533-540.

[7]閆凱. 基于深度學習的3DMRI腦腫瘤分割算法研究[D].中國科學院大學（中國科學院深圳先進技術研究院），2020.

[8]王民，郝靜，要趁紅，史其琦.基于優(yōu)化全卷積神經(jīng)網(wǎng)絡的手語語義識別[J].激光與光電子學進展，2018，55（11）：214-220.0D652B42-827B-41D2-B201-DEBB6A426068