楊觀賜，韓海峰，劉賽賽，蔣亞汶，李楊

（貴州大學(xué) a.機(jī)械工程學(xué)院 b.現(xiàn)代制造技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室 c.省部共建公共大數(shù)據(jù)國家重點(diǎn)實(shí)驗(yàn)室，貴陽 550025）

據(jù)全國殘疾人調(diào)查情況數(shù)據(jù)顯示：中國的聽障人數(shù)超過2 000 萬[1]。聽障患者因溝通障礙導(dǎo)致難以融入社會工作，給他們帶來沉重壓力。手語是聽障患者與人交流的最常用方式，但是手語比較抽象，學(xué)習(xí)成本較高，若不經(jīng)過系統(tǒng)訓(xùn)練，人們與聽障患者交流較為困難[2]。隨著人工智能技術(shù)的發(fā)展，越來越多的研究關(guān)注手語識別，試圖通過手語識別技術(shù)將手語翻譯成文本或者語音輸出，進(jìn)而緩解人們與聽障患者的溝通障礙[3]。

根據(jù)手語數(shù)據(jù)獲取方式的不同，手語識別類型可以分為基于傳感器的識別和基于視覺的識別[4]。數(shù)據(jù)手套和臂環(huán)等傳感器可以捕獲佩戴者的手部關(guān)節(jié)信息和運(yùn)動軌跡并識別佩戴者的表達(dá)意圖。文獻(xiàn)[5]針對使用者個體差異的問題，使用雙線性模型來處理肌電信號，然后使用LSTM 網(wǎng)絡(luò)對20 個手語動作進(jìn)行識別，表現(xiàn)出了較高的識別精度。為減少環(huán)境對傳感數(shù)據(jù)的影響，文獻(xiàn)[6]針對九軸慣性傳感器特性，利用反饋控制融合姿態(tài)計(jì)算提高姿態(tài)獲取的實(shí)時性，然后對支持向量機(jī)、K-近鄰法和前饋神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行自適應(yīng)模型集成進(jìn)行手語分類，識別率有所提高。文獻(xiàn)[7]通過臂環(huán)收集手臂的表面肌電信號和慣性傳感器數(shù)據(jù)，經(jīng)過歸一化和濾波處理后，運(yùn)用滑動窗口分割數(shù)據(jù)。將單個手語詞信號平均分為n組，并每次取出n–1 組按原順序組合成新數(shù)據(jù)，進(jìn)行多次識別，提高連續(xù)手語語句識別率。雖然基于傳感器的手語識別精度較高，但依賴于硬件設(shè)備，并且需要穿戴傳感器，導(dǎo)致用戶體驗(yàn)較差。

文獻(xiàn)[8]使用上下文信息作為先驗(yàn)知識，使用一個生成器從視頻序列中提取時空特征來提高手語語句識別連貫性，并用一個判別器對文本信息進(jìn)行建模以評估生成器的預(yù)測效果。文獻(xiàn)[9]改進(jìn)了融合雙流3維卷積神經(jīng)網(wǎng)絡(luò)模型的相關(guān)參數(shù)和結(jié)構(gòu)以提高模型的收斂速度和穩(wěn)定性，使用批量歸一化優(yōu)化網(wǎng)絡(luò)，在中國手語數(shù)據(jù)集（CSL）[10-11]識別率達(dá)到了90.76%，但是存在網(wǎng)絡(luò)層數(shù)較深、超參數(shù)較多等問題，導(dǎo)致網(wǎng)絡(luò)的訓(xùn)練和優(yōu)化較困難。關(guān)鍵幀是包含關(guān)鍵手勢和語義變換的視頻幀，文獻(xiàn)[12]根據(jù)關(guān)鍵幀圖片特征和日常手語習(xí)慣，利用卷積自編碼器提取視頻幀的深度特征，對其進(jìn)行K-means 聚類，在每類視頻幀中選取最清晰的視頻幀作為關(guān)鍵幀；再利用手語動作中關(guān)鍵手勢時的停頓，通過點(diǎn)密度篩選出視頻關(guān)鍵幀以消除冗余信息構(gòu)建最優(yōu)序列，但仍然存在一些關(guān)鍵幀丟失的問題。

為提高連續(xù)手語識別準(zhǔn)確率，圍繞手語的手部形狀、位置和方向變化多樣性等導(dǎo)致的特征信息丟失問題，文中研究了基于全局注意力機(jī)制和LSTM 的連續(xù)手語識別算法（Continuous Sign Language Recognition Algorithm Based on Global Attention Mechanism and LSTM，CSLR-GAML）。

1 基于全局注意力機(jī)制和LSTM 的連續(xù)手語識別算法

1.1 CSLR-GAML 算法流程

為快速精確識別視頻中的連續(xù)手語，此節(jié)提出了基于全局注意力機(jī)制和LSTM 的連續(xù)手語識別算法，見圖1。首先，使用幀間差分方法提取手語視頻的關(guān)鍵幀，進(jìn)而去除冗余信息；其次，采用深度殘差網(wǎng)絡(luò)逐個對視頻關(guān)鍵幀進(jìn)行特征提取，并將其轉(zhuǎn)換為時序特征序列；再次，利用LSTM 網(wǎng)絡(luò)處理經(jīng)過注意力加權(quán)的有用信息，學(xué)習(xí)到上下文關(guān)系；最后經(jīng)過Softmax網(wǎng)絡(luò)輸出完整的文本信息以達(dá)到手語視頻識別的目的。算法1 詳細(xì)流程如下所述。

圖1 算法1 的網(wǎng)絡(luò)架構(gòu)Fig.1 Network architecture of algorithm 1

算法1：基于全局注意力機(jī)制和LSTM 的連續(xù)手語識別算法（CSLR-GAML）

輸入：Kinect 攝像頭采集的時序視頻流V。

輸出：手語文本S。

步驟1：初始化殘差網(wǎng)絡(luò)、全局注意力機(jī)制和LSTM 網(wǎng)絡(luò)參數(shù)，關(guān)鍵幀序列K=?，時間窗口大小為8 s，初始時刻t=0 s。

步驟2：如果t能被8 整除，則采用基于差分方法的關(guān)鍵幀提取算法（詳見1.2 節(jié)）獲得V的關(guān)鍵幀序列K。

步驟3：采用基于ResNet 的特征提取算法（詳見1.3 節(jié)），將關(guān)鍵幀序列K輸入至殘差網(wǎng)絡(luò)中，經(jīng)過卷積和池化操作，提取圖像的局部特征f，通過全連接層進(jìn)行拼接，獲得關(guān)鍵幀序列特征向量F。

步驟4：將F作為初始狀態(tài)輸入到LSTM 網(wǎng)絡(luò)，計(jì)算出手語詞預(yù)測的概率P。

步驟5：采用基于全局注意力機(jī)制的LSTM 手語語義信息提取算法（詳見1.4 節(jié)），更新特征向量權(quán)重W輸出手語文本S。

步驟6：如果攝像頭數(shù)據(jù)為空，則結(jié)束，否則返回步驟2。

1.2 基于差分方法的關(guān)鍵幀提取算法

針對手語視頻中存在大量冗余信息的問題，使用差分方法提取關(guān)鍵幀以篩選出視頻中的關(guān)鍵信息。通過衡量幀間圖像相對平均像素的強(qiáng)度變化來確定關(guān)鍵幀，從而設(shè)計(jì)基于差分方法的關(guān)鍵幀提取算法。算法2 詳細(xì)流程如下所述。

算法2：基于差分方法的關(guān)鍵幀提取算法

輸入：手語視頻流V。

輸出：關(guān)鍵幀序列K。

步驟1：初始化K=?。

步驟2：對視頻流V逐幀進(jìn)行灰度化處理，經(jīng)過濾波處理后得到由q張圖片構(gòu)成的集合P={p0,p1,…,pt,…,pq}。

步驟3：對P進(jìn)行圖像二值化操作并求和輸出絕對差分值I={I0,I1,…,It,…,Iq}。

步驟4：使用平滑方法去除干擾項(xiàng)峰值，獲得新的I={I0,I1,…,It,…,Iq}。之后，計(jì)算所有相鄰幀間的差分值 |It-It-1|的算術(shù)平均值作為標(biāo)準(zhǔn)差分值T。

步驟5：從t=1 開始到t=q，將 |It-It-1|與T進(jìn)行比較，若 |It-It-1|>T，則K=K∪pt。

步驟6：輸出關(guān)鍵幀序列K。

需要說明的是，在步驟2 中，原始圖像大小為1 280×720×3，利用加權(quán)平均方法的灰度化圖像，然后通過高斯濾波，統(tǒng)一圖像大小為224×224×3。計(jì)算過程見式(1)。

式中：x、y為像素坐標(biāo)值；σ為像素標(biāo)準(zhǔn)差。

在步驟3 中，利用灰度圖像計(jì)算所有像素值的均值作為閾值，實(shí)現(xiàn)圖像二值化。

在步驟4 中，計(jì)算標(biāo)準(zhǔn)差分值過程見式(2)。

步驟5 中，通過判定相鄰幀間的差分值與T的關(guān)系，確定關(guān)鍵幀，判定過程見式(3)。

1.3 基于ResNet 的特征提取算法

ResNet[13]在獲取局部特征方面具有優(yōu)勢。為了獲得由于光照及背景變化而丟失的特征，設(shè)計(jì)了基于ResNet 的特征提取算法，以獲得更多有效的特征信息。其計(jì)算過程見圖2，算法3 詳細(xì)流程如下所述。

圖2 基于ResNet 的特征提取過程Fig.2 Feature extraction process based on ResNet

算法3：基于ResNet 的特征提取算法

輸入：關(guān)鍵幀序列K。

輸出：關(guān)鍵幀序列特征向量F。

步驟1：初始化網(wǎng)絡(luò)參數(shù)，殘差塊數(shù)量n=8，卷積核大小為3，步長為2，F(xiàn)=?。

步驟2：對于?kt∈K：

步驟2.1：將kt輸入第一層網(wǎng)絡(luò)進(jìn)行卷積和池化操作，得到特征向量。

步驟2.4：i=i+1，若i>8，輸出特征向量ft，否則跳到步驟2.3。

步驟 2.5：將ft輸入到全局平均池化層生成1×1×512 維的特征向量ft。

步驟2.6：F=F∪ft；t=t+1。

步驟2.7：若t>m，轉(zhuǎn)到步驟3，否則，轉(zhuǎn)到步驟2.1。

步驟3：F={f0,f1,…,ft,…,fm}。

步驟2.1 中輸入圖像維度為224×224×3，卷積后得到的特征圖大小為112×112×64，再經(jīng)過池化后得到56×56×64 的特征向量，作為殘差單元的輸入。步驟2.2 中采用線性整流函數(shù)作為激活函數(shù)，以避免梯度爆炸和梯度消失的問題。

1.4 基于全局注意力機(jī)制的LSTM 手語語義信息提取算法

LSTM 作為針對時間序列的訓(xùn)練模型，雖然能夠考慮歷史信息對當(dāng)前狀態(tài)的影響，但是在網(wǎng)絡(luò)層數(shù)多及時間跨度大的情況下，容易丟失有效信息。針對上述問題，文中在LSTM[14]中引入全局注意力機(jī)制[15]作為解碼器，來考慮每一個時間步長的隱藏狀態(tài)，與解碼器前一步的輸出一同輸入到下一步解碼器中進(jìn)行運(yùn)算。與此同時，研究者注意到全局注意力模型的中心思想是在推導(dǎo)上下文向量時考慮編碼器的所有隱藏狀態(tài)。此模型通過對有效信息加權(quán)，以提高其與當(dāng)前隱藏層狀態(tài)的關(guān)聯(lián)程度，避免信息丟失，以提高識別的準(zhǔn)確率。受上述啟發(fā)，此節(jié)提出了基于全局注意力機(jī)制的LSTM 手語語義信息提取算法，詳細(xì)流程見算法4。

算法4：基于全局注意力機(jī)制的LSTM 手語語義信息提取算法

輸入：F={f0,f1,…,fk,…,fm}，手語詞庫L={l0,l1,…,lt,…,lz}。

輸出：文本信息S。

步驟1：隨機(jī)初始化權(quán)重W，S=?，k=0；

步驟2：將手語詞庫L={l0,l1,…,lt,…,lz}導(dǎo)入到Embedding 網(wǎng)絡(luò)層，利用word2vec 詞向量模型生成詞向量L′= {l0＇,… ,lt＇ , …,lz＇}。

步驟3：將高維語義特征向量F與詞向量L′經(jīng)過Padding 操作轉(zhuǎn)換成相同的維度；

步驟4：將fk和L′作為LSTM 網(wǎng)絡(luò)的原始狀態(tài)輸入，通過注意力加權(quán)解碼器計(jì)算L中每個詞lt的預(yù)測概率分布；

步驟5：通過softmax 輸出概率最大的詞lt，S=S∪tl。

步驟6：k=k+1;若k<=m，轉(zhuǎn)到步驟4。

步驟7：輸出S。

在步驟1 中，生成空序列S，用于存儲手語語義信息；在步驟2 中，手語詞庫L={l0,l1,…,lt,…lz}包含演示視頻所有動作所對應(yīng)的單詞，用于網(wǎng)絡(luò)識別判斷與輸出；在步驟4 中，利用LSTM 網(wǎng)絡(luò)計(jì)算由注意力加權(quán)過的詞向量l＇t輸出詞lt的概率tlP，選取概率最大的單詞作為輸出，解碼器輸出見式(4)。

式中：ft表示特征向量；lt為手語詞庫的子集；htw-1表示上下文隱藏狀態(tài)。遍歷F和L′，利用Softmax函數(shù)輸出預(yù)測結(jié)果。

2 性能測試與分析

2.1 數(shù)據(jù)集

選用中國科學(xué)技術(shù)大學(xué)公開發(fā)布的中文連續(xù)手語視頻數(shù)據(jù)集CSL 作為測試數(shù)據(jù)集。CSL 數(shù)據(jù)集由微軟 Kinect 攝像頭記錄，提供RGB 信息、深度信息和肢體骨架信息。文中實(shí)驗(yàn)取RGB 信息。選取語料庫中100 個主要用于日常交流的句子，每個句子平均由4 個單詞組成，共178 個中文單詞，數(shù)據(jù)集中每個句子由50 個不同的表演者完成。其中每一個表演者演示5 次，在這個數(shù)據(jù)集中一共有25 000 個手語視頻。

2.2 評價指標(biāo)

采用識別準(zhǔn)確率（A）評價算法識別性能，以詞錯誤率（W）、B1、Cr、RL及MR評價翻譯性能。

1）準(zhǔn)確率。識別準(zhǔn)確率A的計(jì)算過程見式(5)。

式中：TP表示預(yù)測樣本為正例且實(shí)際為正例；TN表示預(yù)測樣本為負(fù)例而實(shí)際樣本為負(fù)例，F(xiàn)P表示預(yù)測樣本為正例而實(shí)際為負(fù)例；FN表示預(yù)測樣本為負(fù)例而實(shí)際為正例。

2）詞錯誤率。詞錯誤率（W）常用于評判識別出來的詞序列和標(biāo)準(zhǔn)的詞序列之間的一致性，計(jì)算過程見式(6)。

式中：s表示替換詞數(shù)目；d表示刪除詞數(shù)目；i表示插入詞數(shù)目；n表示標(biāo)簽句子中的單詞數(shù)目。在測試時，首先在真實(shí)文本中替換、插入或刪除一個單詞，然后重復(fù)這個操作幾次。插入或替換的新單詞從訓(xùn)練集中的詞匯表中選取。這樣可以得到一個偽視頻文本，與標(biāo)準(zhǔn)文本進(jìn)行比對從而得到詞錯誤率（W）評價指標(biāo)。

3）BLEU-1(B1)[16]是手語識別任務(wù)中的常見評價指標(biāo)，主要用于評估翻譯語句中的詞準(zhǔn)確率，其結(jié)果可以表示為翻譯結(jié)果中詞的正確匹配次數(shù)與所有詞出現(xiàn)次數(shù)的比值。ROUGE-L(RL)[17]是一種基于召回率的相似性度量方法。用于評價預(yù)測結(jié)果與實(shí)際文本中詞的共現(xiàn)率。用于評價手語識別中譯文的流暢性METEOR(MR)[18]，考慮了基于整個語料庫上的準(zhǔn)確率和召回率，能夠得出最佳識別結(jié)果和目標(biāo)標(biāo)簽之間的準(zhǔn)確率和召回率的調(diào)和，解決了BLEU 標(biāo)準(zhǔn)中一些固有的缺陷。CIDEr(Cr)[19]指標(biāo)將每個句子看成文檔，通過計(jì)算TF-IDF 獲取向量余弦距離來度量文本相似性。

2.3 實(shí)驗(yàn)設(shè)置與比較算法

實(shí)驗(yàn)在Dell Tower 5810 工作站上完成，使用Microsoft Kinect V2 深度攝像頭，顯卡配置為NVIDIA Tesla V100，處理器為Intel Xeon 5218，內(nèi)存為32 GB，軟件環(huán)境為：Ubuntu18.04，Python3.7，PyTorch1.7.0，Opencv3.4.2。

實(shí)驗(yàn)參數(shù)設(shè)置如下：epoch 為50，批處理參數(shù)為4，編碼器學(xué)習(xí)率設(shè)置為0.001，解碼器學(xué)習(xí)率設(shè)置為0.004，權(quán)重衰減率為0.000 5。

實(shí)驗(yàn)過程中將100 個中文句子細(xì)分為4 個小的類別，見表1。在每個類別下取10%的視頻作為測試數(shù)據(jù)集，剩余部分作為訓(xùn)練數(shù)據(jù)集。

表1 數(shù)據(jù)集的句子類別情況Tab.1 Sentence category of data set

選取5 種手語識別算法作為對比算法進(jìn)行實(shí)驗(yàn)，分別是HLSTM-attn[20]、HMM-DTC[21]、HRF-Fusion[22]、LSTM&CTC[14,23]及S2VT（3 layers）[18]。

2.4 結(jié)果與分析

根據(jù)表1 的設(shè)置運(yùn)行所提出的CSLR-GAML 算法。c1、c2、c3和c4類別下連續(xù)手語視頻訓(xùn)練過程中的算法訓(xùn)練準(zhǔn)確率統(tǒng)計(jì)結(jié)果見圖3。觀察圖3 可知，c1的準(zhǔn)確率最高，為92.094%；c2的準(zhǔn)確率為91.848%；c3的準(zhǔn)確率為91.294%；c4的準(zhǔn)確率最低，為89.099%。訓(xùn)練過程中，網(wǎng)絡(luò)在迭代5 次后開始收斂，c1和c2中句子的類型較為單一，組成成分基本為主謂賓結(jié)構(gòu)，在訓(xùn)練過程中表現(xiàn)良好。c3的句子成分稍微復(fù)雜，但是重復(fù)出現(xiàn)的單詞較多，也取得不錯的識別效果。c4句子成分復(fù)雜，且語句之間差別較大，在訓(xùn)練過程中沒有特別好的表現(xiàn)。

圖3 訓(xùn)練準(zhǔn)確率Fig.3 Training accuracy

針對以上4 個類別的手語視頻識別，分別運(yùn)行CSLR-GAML，HLSTM-attn[20]、HMM-DTC[21]、HRFFusion[22]、LSTM&CTC[14,23]及S2VT(3 layers)[18]算法，識別準(zhǔn)確率A的統(tǒng)計(jì)結(jié)果見圖4 所示。從圖4a 可知，HLSTM-attn 算法準(zhǔn)確率較高，但算法在不同類別下的識別準(zhǔn)確率波動較大，表現(xiàn)不穩(wěn)定；觀察圖4b 可知，HMM-DTC 算法在不同類別下的識別準(zhǔn)確率波動較小，但識別精度不高；而由圖4c—圖4e 可知，這些算法對應(yīng)的盒子圖矩形框面積大，這表明在單一類別上的識別準(zhǔn)確率分布較散。相反，文中所提算法對應(yīng)的圖4f，不同類別間的矩形分布高度相對一致，矩形框的面積也相對較小，精度也高于比較算法，在4 類數(shù)據(jù)集的平均識別率準(zhǔn)確率是90.08%，這表明此文算法具有更好的識別準(zhǔn)確率和魯棒性。

圖4 識別準(zhǔn)確率AFig.4 Recognition accuracy a

各算法的B1、Cr、RL、MR及W統(tǒng)計(jì)結(jié)果見表2。由表2 可知，對比算法在4 個分類中的平均W值分別為0.419、0.728、0.716、0.761、0.608，此文算法的平均W值為41.2%，比其中最好的結(jié)果高出0.7%，但是在c4類別中，文中算法的W值略低于HLSTMattn 算法的結(jié)果，這表明在小樣本無規(guī)律詞組下此文算法依舊有待改進(jìn)。在其他指標(biāo)下，此文算法的表現(xiàn)依然優(yōu)于其他算法的結(jié)果。與最好的HLSTM-attn 算法相比，B1、Cr、RL及MR指標(biāo)下此文算法分別提高了0.3%、0.9%、0.5%及0.8%。與最差的LSTM&CTC相比，B1、Cr、RL以及MR指標(biāo)下，文中算法分別提高了27.6%、36.4%、28%以及13.8%。

表2 B1、Cr、RL、MR 及W 統(tǒng)計(jì)結(jié)果Tab.2 Statistical results of B1, Cr, RL ,MR and W

為了觀察各算法的運(yùn)行效率，分別從4 個類別中選取20 個手語視頻段統(tǒng)計(jì)其識別的時間，不同算法識別相同數(shù)量手語視頻段的時間統(tǒng)計(jì)結(jié)果見表3。觀察表3 可知，HLSTM-attn、HMM-DTC、HRF-Fusion、LSTM&CTC 和S2VT 這5 種算法平均運(yùn)算時間分別為0.564、0.706、0.698、0.656 和0.642 s，此文算法平均運(yùn)算時間為0.646 s，雖然略差于HLSTM- attn和S2VT 的表現(xiàn)，但優(yōu)于其他3 種算法。這表明文中算法雖然在識別率上與其他算法存在優(yōu)勢，但是在運(yùn)算效率上還需要進(jìn)一步改進(jìn)。

表3 時間統(tǒng)計(jì)結(jié)果Tab.3 Time statistics

綜上所述，在識別準(zhǔn)確率與翻譯性能上文中算法優(yōu)于所比較的5 種算法。

3 結(jié)語

高性能的視覺手語識別算法在幫助聽障人群日常交流中具有廣闊的應(yīng)用前景，對促進(jìn)聽障人群無障礙融入社會方面具有非常積極的意義。文中提出了一種基于全局注意力機(jī)制和LSTM 網(wǎng)絡(luò)的連續(xù)手語識別方法。首先，利用差分方法進(jìn)行關(guān)鍵幀提取，有效去除冗余幀；然后，使用ResNet 提取圖片特征，有效解決由于手語的手部形狀、位置和方向變化多樣性等導(dǎo)致的特征提取困難問題，避免特征丟失；最后利用全局注意力機(jī)制獲取更加全面的序列信息，保證算法的識別準(zhǔn)確性。實(shí)驗(yàn)表明，此文方法在連續(xù)手語識別中具有較高的識別性能以及翻譯性能。本研究的實(shí)驗(yàn)數(shù)據(jù)集選用RGB 信息，GRB+深度信息實(shí)驗(yàn)也是值得深入的工作。與此同時，結(jié)合具體的應(yīng)用場景，研制使用友好的系統(tǒng)是值得進(jìn)一步推進(jìn)的方向。