韓文靜，羅曉曙，楊日星

1.廣西師范大學(xué) 電子工程學(xué)院，廣西 桂林 541004

2.廣西師范大學(xué) 創(chuàng)新創(chuàng)業(yè)學(xué)院，廣西 桂林 541004

隨著計(jì)算機(jī)視覺(jué)技術(shù)的飛速發(fā)展[1]，計(jì)算機(jī)在社會(huì)各領(lǐng)域的應(yīng)用更加廣泛和深入，逐漸成為人們?nèi)粘Ｉ畈豢苫蛉钡囊徊糠?。人機(jī)交互（Human Computer Interaction，HCI）[2]作為人與計(jì)算機(jī)交換信息的過(guò)程，智能化成為其發(fā)展趨勢(shì)。手勢(shì)能夠表達(dá)豐富的信息，是一種自然而又直觀的人際交流模式，具有極強(qiáng)的信息表達(dá)與傳遞功能。手勢(shì)識(shí)別被廣泛應(yīng)用于機(jī)器人控制[3]、智能駕駛和智能家居等領(lǐng)域。在人機(jī)交互中，與鼠標(biāo)、鍵盤、觸摸屏等圖形用戶界面相比，手勢(shì)通信顯得更加自然。人們嘗試使用基于手套的設(shè)備來(lái)解決人機(jī)交互中的手勢(shì)識(shí)別問(wèn)題，但是基于手套的界面要求用戶佩戴笨重的設(shè)備，限制了用戶與計(jì)算機(jī)交互的自由度[4]。2010年，微軟推出了一款名為Kinect 的3D 深度感應(yīng)相機(jī)[5]。雖然Kinect 在增強(qiáng)現(xiàn)實(shí)、人體跟蹤、人體動(dòng)作識(shí)別等方面取得了很多成功的應(yīng)用，例如能夠很好地跟蹤人類身體運(yùn)動(dòng)這樣大型的對(duì)象，但由于Kinect 的低分辨率深度圖，很難檢測(cè)和分割具有低分辨率的小物體圖像[6]，在手勢(shì)識(shí)別領(lǐng)域使用Kinect方法仍是一個(gè)有待優(yōu)化和完善的問(wèn)題?；诰矸e神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）[7]的手勢(shì)識(shí)別方法，它不再依靠人工設(shè)計(jì)的方法來(lái)提取特征，通過(guò)組合簡(jiǎn)單的非線性模塊，網(wǎng)絡(luò)能夠自主學(xué)習(xí)，逐步將原始數(shù)據(jù)轉(zhuǎn)化為高層次并且抽象的表示。例如，Yamashita 等人[8]是第一個(gè)利用CNN 并將手勢(shì)定位和分類一起處理的系統(tǒng)，他們提出了一種自底向上結(jié)構(gòu)的深度CNN，包含一個(gè)特殊的層，用于提取可以分割手部的二值化圖像。Li 等人[9]使用靜態(tài)RGB-D 圖像進(jìn)行關(guān)節(jié)手勢(shì)圖像的特征提取，以端到端的方式訓(xùn)練一個(gè)基于注意力機(jī)制的CNN 模型，該模型能夠使用單個(gè)網(wǎng)絡(luò)自動(dòng)定位手勢(shì)并對(duì)手勢(shì)進(jìn)行分類。馮家文等人[10]構(gòu)建了雙通道卷積神經(jīng)網(wǎng)絡(luò)模型，通過(guò)使用不同大小卷積核的雙通道卷積網(wǎng)絡(luò)來(lái)提取圖像特征并在手勢(shì)識(shí)別上進(jìn)行應(yīng)用，取得了較好的識(shí)別效果。Hinton等人[11]提出膠囊網(wǎng)絡(luò)（Capsule-EM），膠囊網(wǎng)絡(luò)采用神經(jīng)膠囊，上一層神經(jīng)膠囊輸出到下一層神經(jīng)膠囊中的是向量，向量可以表示出組件的朝向和空間上的相對(duì)關(guān)系，以及高層特征與低層特征之間的位姿關(guān)系。莫偉瓏[12]構(gòu)建了基于膠囊網(wǎng)絡(luò)的手勢(shì)識(shí)別網(wǎng)絡(luò)模型（ICapsule-EM），通過(guò)在膠囊網(wǎng)絡(luò)中使用多尺度卷積核，在多角度手勢(shì)圖像上實(shí)現(xiàn)了較好的識(shí)別效果。

為了使卷積神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)到更加豐富的特征信息，同時(shí)不改變輸入數(shù)據(jù)量的大小，本文在上述工作基礎(chǔ)上，提出了一種雙通道卷積神經(jīng)網(wǎng)絡(luò)的特征融合與動(dòng)態(tài)衰減學(xué)習(xí)率相結(jié)合的復(fù)合型手勢(shì)識(shí)別方法。手勢(shì)圖像通過(guò)兩個(gè)相互獨(dú)立的通道進(jìn)行特征提取，使用SENet（Squeeze-and-Excitation Networks）[13]構(gòu) 成 的 第一通道提取手勢(shì)圖像全局特征，使用RBNet（Residual Block Networks）構(gòu)成的第二通道提取手勢(shì)圖像局部特征，然后將全局特征和局部特征在通道維度上進(jìn)行融合，使得網(wǎng)絡(luò)學(xué)習(xí)到更全面的手勢(shì)特征信息，實(shí)現(xiàn)手勢(shì)圖像的精確識(shí)別。同時(shí)，利用動(dòng)態(tài)衰減的學(xué)習(xí)率訓(xùn)練模型，以提高模型的收斂速度及穩(wěn)定性，仿真實(shí)驗(yàn)結(jié)果證實(shí)了本文方法的有效性。

1 理論方法概述

卷積神經(jīng)網(wǎng)絡(luò)是近幾年圖像處理領(lǐng)域最熱門的技術(shù)，其強(qiáng)大的學(xué)習(xí)能力受到研究者們的青睞。與此同時(shí)也出現(xiàn)了一大批優(yōu)秀的圖像識(shí)別網(wǎng)絡(luò)模型，如LeNet[7]、ResNet[14]、Xception[15]、EfficientNet[16]和 SENet 等。下面介紹本文涉及到的兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型ResNet 和SENet的基本工作原理與算法流程。

1.1 ResNet

卷積（Convolution，Conv）是卷積神經(jīng)網(wǎng)絡(luò)最重要且最基礎(chǔ)的部分，其參數(shù)是卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的核心，具有強(qiáng)大的特征提取能力[17-18]。在圖像識(shí)別過(guò)程中，加深卷積神經(jīng)網(wǎng)絡(luò)的深度可以提高網(wǎng)絡(luò)的學(xué)習(xí)能力，但隨著網(wǎng)絡(luò)層數(shù)增加到一定深度，會(huì)帶來(lái)梯度消失的問(wèn)題。為了解決梯度消失的問(wèn)題，微軟亞洲研究院在文獻(xiàn)[14]中提出了殘差網(wǎng)絡(luò)（ResNet），這種簡(jiǎn)單的跨層連接方式，在幾乎不增加參數(shù)量的前提下，有效地提升了網(wǎng)絡(luò)的學(xué)習(xí)能力。該網(wǎng)絡(luò)并不會(huì)受到網(wǎng)絡(luò)層數(shù)的限制，可以通過(guò)加深網(wǎng)絡(luò)層數(shù)提升網(wǎng)絡(luò)性能。圖1 為ResNet 中的殘差結(jié)構(gòu)，可以用如下公式表示：

其中，xl+1為l+1 層的輸出，xl為l層的輸出，Wl表示權(quán)重。F(·)表示待學(xué)習(xí)的殘差映射。其性能主要?dú)w功于一種恒等映射的思想：假設(shè)在網(wǎng)絡(luò)達(dá)到最優(yōu)的條件下繼續(xù)加深網(wǎng)絡(luò)，只需讓深層的網(wǎng)絡(luò)能夠保持恒等映射，則網(wǎng)絡(luò)性能不會(huì)受到干擾而出現(xiàn)退化問(wèn)題。

圖1 ResNet殘差結(jié)構(gòu)

1.2 SENet

現(xiàn)有的多種圖像分類網(wǎng)絡(luò)是通過(guò)引入空間維度的創(chuàng)新來(lái)提升網(wǎng)絡(luò)的性能，2017年，來(lái)自自動(dòng)駕駛公司的Momenta 研發(fā)團(tuán)隊(duì)（WMW）在文獻(xiàn)[13]中提出了SENet架構(gòu)，其以2.3%的識(shí)別錯(cuò)誤率榮獲2017 年ILSVRC 挑戰(zhàn)賽物體識(shí)別任務(wù)的冠軍。該網(wǎng)絡(luò)通過(guò)自動(dòng)學(xué)習(xí)特征信息，獲得特征圖每個(gè)通道的重要程度，然后根據(jù)重要程度去增強(qiáng)有益特征并抑制無(wú)用特征，從而實(shí)現(xiàn)特征通道的自適應(yīng)校準(zhǔn)。圖2 是SENet 模塊，其映射關(guān)系可以表示為：

其中，F(xiàn)sq(·)表示對(duì)特征進(jìn)行壓縮操作，F(xiàn)ex(·)表示對(duì)特征進(jìn)行提取操作，F(xiàn)scale(·) 表示對(duì)特征進(jìn)行重標(biāo)定操作。壓縮所采取的方式是將原始特征圖（SENet模塊的Base layer）的一個(gè)通道uc的均值作為其特征表示，從而達(dá)到數(shù)據(jù)降維的目的，對(duì)應(yīng)于圖2中的全局平均池化（Global Average Pooling，GAP），將多通道的二維特征圖轉(zhuǎn)化為壓縮特征向量zc后，通過(guò)兩個(gè)全連接（Fully Connected，F(xiàn)C），權(quán)重分別為W1和W2，訓(xùn)練出對(duì)特征圖具有選擇能力的網(wǎng)絡(luò)，在兩個(gè)全連接之間使用激活函數(shù)δ進(jìn)行非線性處理，激活函數(shù)δ為ReLU（Rectified Linear Units），最后通過(guò)歸一化函數(shù)σ（Sigmoid），輸出一個(gè)不同特征圖的相對(duì)應(yīng)的權(quán)重向量，并與原始特征圖對(duì)應(yīng)相乘得到最終輸出xc。

圖2 SENet模塊

2 雙通道卷積神經(jīng)網(wǎng)絡(luò)的特征融合模型

本文提出的復(fù)合型手勢(shì)識(shí)別方法，其雙通道卷積神經(jīng)網(wǎng)絡(luò)的特征融合模型的具體結(jié)構(gòu)如圖3 所示。該模型將手勢(shì)圖像的全局特征和局部特征進(jìn)行通道維度上的融合，使得網(wǎng)絡(luò)學(xué)習(xí)到更全面的手勢(shì)特征信息。

圖3 雙通道卷積神經(jīng)網(wǎng)絡(luò)的特征融合模型

為了增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的特征提取能力，提高泛化能力，將輸入數(shù)據(jù)為32×32×3 的手勢(shì)圖像，經(jīng)過(guò)隨機(jī)的亮度和對(duì)比度調(diào)整等預(yù)處理（Preprocess）操作，得到含有噪聲的手勢(shì)圖像。

雙通道卷積神經(jīng)網(wǎng)絡(luò)的特征融合模型由兩個(gè)相對(duì)獨(dú)立的通道構(gòu)成。對(duì)于第一個(gè)通道，如圖4（a）所示，在SENet模塊之后添加第二個(gè)Conv+BN+ReLU層，以加強(qiáng)SENet模塊的特征提取能力，從而提取手勢(shì)圖像的全局特征。

對(duì)于第二個(gè)通道，即RBNet模塊，如圖4（b）所示，包括順序連接的第三個(gè)Conv+BN+ReLU 層、Stacked block（如圖4（c）所示）、第四個(gè)Conv+BN+ReLU層、由3個(gè)相同深度可分離卷積（Separable Convolution，Separable-Conv）順序連接構(gòu)成的深度可分離卷積層和第五個(gè)Conv+BN+ReLU層?？紤]到過(guò)深的網(wǎng)絡(luò)結(jié)構(gòu)雖然可以使圖像的特征得到更好的擬合，學(xué)習(xí)到更高層次的紋理信息，但同時(shí)也可能由于層數(shù)過(guò)多而帶來(lái)梯度消失、特征丟失等問(wèn)題。RBNet 模塊選擇了ResNet 殘差網(wǎng)絡(luò)來(lái)進(jìn)行改善，使網(wǎng)絡(luò)更快更好地達(dá)到收斂。

圖4 雙通道結(jié)構(gòu)

第一通道和第二通道提取的手勢(shì)圖像特征進(jìn)行通道維度上的融合，隨后使用GAP，將融合后的特征展開(kāi)為一維向量模式，最后添加一個(gè)FC進(jìn)行手勢(shì)圖像的分類。

3 網(wǎng)絡(luò)模型參數(shù)的動(dòng)態(tài)衰減學(xué)習(xí)率

為提高雙通道卷積神經(jīng)網(wǎng)絡(luò)的特征融合模型的收斂速度及穩(wěn)定性，本文使用動(dòng)態(tài)衰減的學(xué)習(xí)率進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練，動(dòng)態(tài)衰減的學(xué)習(xí)率公式為：

其中，α表示衰減系數(shù)，ηn表示當(dāng)前的學(xué)習(xí)率，ηn-1表示前一個(gè)迭代次數(shù)的學(xué)習(xí)率，θ表示最小學(xué)習(xí)率。在網(wǎng)絡(luò)模型訓(xùn)練過(guò)程中，當(dāng)ηn ＞θ時(shí)，ηn=αηn-1，當(dāng)ηn≤θ時(shí)，ηn=θ，當(dāng)n=1時(shí)，η0即為初始學(xué)習(xí)率。

4 仿真實(shí)驗(yàn)

4.1 參數(shù)設(shè)置

本文主要實(shí)驗(yàn)環(huán)境：Intel Xeon Gold 6152，256 GB RAM，NVIDIA Tesla P40。實(shí)現(xiàn)的代碼均采用python語(yǔ)言在tensorflow1.8-gpu框架下完成。利用CUDA和cuDNN提供的并行加速能力實(shí)現(xiàn)快速的訓(xùn)練和識(shí)別任務(wù)。

本文使用優(yōu)化算法Adam（Adaptive Moment Estimation）進(jìn)行訓(xùn)練。Adam優(yōu)化器的參數(shù)為β1=0.1，β2=0.999。其中數(shù)據(jù)批處理大小為32，卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行隨機(jī)初始化，采用動(dòng)態(tài)衰減學(xué)習(xí)率。在訓(xùn)練的初始階段，利用初始學(xué)習(xí)率加快迭代更新的速度，隨著迭代次數(shù)的增加，學(xué)習(xí)速率將以動(dòng)態(tài)衰減的方式減小，以期望獲取模型的全局最優(yōu)解。采用此方法的目的是希望減弱迭代過(guò)程中收斂曲線的震蕩，提高模型收斂速度與穩(wěn)定性，得到全局最優(yōu)解。

4.2 在ASL數(shù)據(jù)集上仿真實(shí)驗(yàn)

美國(guó)手語(yǔ)手勢(shì)數(shù)據(jù)集ASL[19]由36種手勢(shì)類別組成，包含26 種字母手勢(shì)和10 種數(shù)字手勢(shì)，圖像總數(shù)量為2 515 張。設(shè)置2 165 張圖像為訓(xùn)練集，350 張圖像為測(cè)試集。數(shù)據(jù)集中的手勢(shì)圖像類別示意圖如圖5所示。

圖5 ASL數(shù)據(jù)集上36種手勢(shì)類別示意圖

4.2.1 動(dòng)態(tài)衰減學(xué)習(xí)率對(duì)網(wǎng)絡(luò)性能的影響

首先驗(yàn)證學(xué)習(xí)率對(duì)手勢(shì)圖像訓(xùn)練集的準(zhǔn)確率及l(fā)oss曲線的影響，如圖6、圖7所示。當(dāng)初始學(xué)習(xí)率η0設(shè)置為0.100，最小學(xué)習(xí)率θ設(shè)置為0.000 1，衰減系數(shù)α設(shè)置為0.99 時(shí)，由于初始學(xué)習(xí)率大，而網(wǎng)絡(luò)權(quán)重更新變化小，導(dǎo)致訓(xùn)練集準(zhǔn)確率及l(fā)oss 曲線收斂速度慢，且震蕩幅度較大。當(dāng)初始學(xué)習(xí)率η0設(shè)置為0.100，最小學(xué)習(xí)率θ設(shè)置為 0.000 1，衰減系數(shù)α設(shè)置為 0.90 時(shí)，網(wǎng)絡(luò)權(quán)重更新快，訓(xùn)練集準(zhǔn)確率及l(fā)oss 曲線收斂速度加快，但仍然有震蕩。當(dāng)初始學(xué)習(xí)率η0設(shè)置為0.001，最小學(xué)習(xí)率θ設(shè)置為 0.000 001，衰減系數(shù)α設(shè)置為 0.90 時(shí)，由于訓(xùn)練后期學(xué)習(xí)率過(guò)小，導(dǎo)致訓(xùn)練集準(zhǔn)確率及l(fā)oss曲線不收斂。當(dāng)初始學(xué)習(xí)率η0設(shè)置為0.001，最小學(xué)習(xí)率θ設(shè)置為0.000 001，衰減系數(shù)α設(shè)置為0.99 時(shí)，訓(xùn)練集準(zhǔn)確率達(dá)到最高，且訓(xùn)練集準(zhǔn)確率及l(fā)oss曲線收斂快，穩(wěn)定性好。

圖6 ASL數(shù)據(jù)集上訓(xùn)練準(zhǔn)確率曲線

圖7 ASL數(shù)據(jù)集上訓(xùn)練損失值曲線

然后驗(yàn)證學(xué)習(xí)率對(duì)手勢(shì)圖像測(cè)試集的準(zhǔn)確率曲線的影響，如圖8 所示?？梢钥闯?，學(xué)習(xí)率對(duì)測(cè)試集準(zhǔn)確率曲線的影響與學(xué)習(xí)率對(duì)訓(xùn)練集準(zhǔn)確率及l(fā)oss 曲線的影響一致。由此，對(duì)于ASL數(shù)據(jù)集選取初始學(xué)習(xí)率η0=0.001，最小學(xué)習(xí)率θ=0.000 001，衰減系數(shù)α=0.99 作為最優(yōu)的學(xué)習(xí)率參數(shù)。

圖8 ASL數(shù)據(jù)集上測(cè)試準(zhǔn)確率曲線

4.2.2 手勢(shì)圖像特征提取可視化結(jié)果

為了使網(wǎng)絡(luò)學(xué)習(xí)到更全面的手勢(shì)圖像特征信息，提高手勢(shì)圖像的分類準(zhǔn)確率。雙通道卷積神經(jīng)網(wǎng)絡(luò)的特征融合模型，對(duì)輸入的手勢(shì)圖像，如圖9（a）所示，使用SENet構(gòu)成的第一通道提取手勢(shì)圖像全局特征，如圖9（b）所示，使用RBNet構(gòu)成的第二通道提取手勢(shì)圖像局部特征，如圖9（c）所示，將全局特征和局部特征進(jìn)行通道維度上的融合，如圖9（d）所示，從而實(shí)現(xiàn)手勢(shì)圖像的精確識(shí)別。使用tensorboard 進(jìn)行特征提取過(guò)程的可視化結(jié)果如圖9所示。

圖9 ASL數(shù)據(jù)集上特征提取的可視化結(jié)果

4.3 在LIS數(shù)據(jù)集上仿真實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文方法的有效性和適應(yīng)的廣泛性，使用LIS數(shù)據(jù)集進(jìn)行仿真實(shí)驗(yàn)。

意大利手語(yǔ)手勢(shì)數(shù)據(jù)集LIS由26種手勢(shì)類別組成，包含22種靜態(tài)字母手勢(shì)和4種動(dòng)態(tài)字母手勢(shì)，每種手勢(shì)分別從前、后、左、右和頂部5個(gè)不同的角度拍攝。本文使用的靜態(tài)字母手勢(shì)圖像總數(shù)量為8 980張，設(shè)置8 080張圖像為訓(xùn)練集，900張圖像為測(cè)試集。數(shù)據(jù)集中的手勢(shì)圖像類別和5種不同拍攝角度的示意圖如圖10所示。

圖10 LIS數(shù)據(jù)集26種字母手勢(shì)類別和不同拍攝角度示意圖

4.3.1 動(dòng)態(tài)衰減學(xué)習(xí)率對(duì)網(wǎng)絡(luò)性能的影響

對(duì)于LIS數(shù)據(jù)集，動(dòng)態(tài)衰減學(xué)習(xí)率對(duì)網(wǎng)絡(luò)性能的影響如圖11～圖13 所示，與ASL 數(shù)據(jù)集類似，也存在最優(yōu)的學(xué)習(xí)率參數(shù)。當(dāng)初始學(xué)習(xí)率η0設(shè)置為0.001，最小學(xué)習(xí)率θ設(shè)置為 0.000 001，衰減系數(shù)α設(shè)置為 0.99 時(shí)，訓(xùn)練集準(zhǔn)確率達(dá)到最高，且訓(xùn)練集準(zhǔn)確率及l(fā)oss曲線收斂快，穩(wěn)定性好。學(xué)習(xí)率對(duì)測(cè)試集準(zhǔn)確率曲線的影響與學(xué)習(xí)率對(duì)訓(xùn)練集準(zhǔn)確率及l(fā)oss曲線的影響一致。

圖11 LIS數(shù)據(jù)集上訓(xùn)練準(zhǔn)確率曲線

圖12 LIS數(shù)據(jù)集上訓(xùn)練損失值曲線

圖13 LIS數(shù)據(jù)集上測(cè)試準(zhǔn)確率曲線

由此，選取初始學(xué)習(xí)率η0=0.001，最小學(xué)習(xí)率θ=0.000 001，衰減系數(shù)α=0.99 作為最優(yōu)的學(xué)習(xí)率參數(shù)。

4.3.2 手勢(shì)圖像特征提取可視化結(jié)果

雙通道卷積神經(jīng)網(wǎng)絡(luò)的特征融合模型，對(duì)輸入的手勢(shì)圖像（圖14（a）），使用SENet 構(gòu)成的第一通道提取手勢(shì)圖像全局特征（圖14（b）），使用RBNet構(gòu)成的第二通道提取手勢(shì)圖像局部特征（圖14（c）），將全局特征和局部特征進(jìn)行通道維度上的融合（圖14（d）），從而實(shí)現(xiàn)手勢(shì)圖像的精確識(shí)別。使用tensorboard 進(jìn)行特征提取過(guò)程的可視化結(jié)果如圖14所示。

圖14 LIS數(shù)據(jù)集上特征提取的可視化結(jié)果

4.4 模型的運(yùn)行時(shí)間復(fù)雜度分析

將在最優(yōu)學(xué)習(xí)率參數(shù)下的模型訓(xùn)練好后，分別使用不同數(shù)量的ASL 和LIS 測(cè)試集中手勢(shì)圖像做識(shí)別仿真實(shí)驗(yàn)，記錄每次識(shí)別的時(shí)間，仿真結(jié)果如圖15、圖16 所示。從圖中可以看出，在模型測(cè)試階段，設(shè)手勢(shì)圖像數(shù)量為n，那么模型的運(yùn)行時(shí)間復(fù)雜度基本為O(n)。

圖15 ASL數(shù)據(jù)集上時(shí)間復(fù)雜度分析

圖16 LIS數(shù)據(jù)集上時(shí)間復(fù)雜度分析

4.5 不同模型的測(cè)試集準(zhǔn)確率對(duì)比分析

為增加實(shí)驗(yàn)結(jié)果的完整性與說(shuō)服力，將本文提出的方法與經(jīng)典的四層CNN網(wǎng)絡(luò)模型及文獻(xiàn)[11-12]方法進(jìn)行對(duì)比，結(jié)果呈現(xiàn)在表1 中。仿真實(shí)驗(yàn)結(jié)果表明，本文方法相較于其他方法在識(shí)別率上提升效果明顯，且網(wǎng)絡(luò)模型的參數(shù)數(shù)量少，體現(xiàn)了雙通道卷積神經(jīng)網(wǎng)絡(luò)的特征融合與動(dòng)態(tài)衰減學(xué)習(xí)率相結(jié)合的復(fù)合型手勢(shì)識(shí)別方法在手勢(shì)識(shí)別問(wèn)題中的優(yōu)越性。

表1 不同模型的測(cè)試集準(zhǔn)確率比較

5 結(jié)論

本文提出了一種雙通道卷積神經(jīng)網(wǎng)絡(luò)的特征融合與動(dòng)態(tài)衰減學(xué)習(xí)率相結(jié)合的復(fù)合型手勢(shì)識(shí)別方法。本文方法通過(guò)兩個(gè)相互獨(dú)立的通道，進(jìn)行手勢(shì)圖像的全局特征和局部特征提取，兩個(gè)通道提取的手勢(shì)圖像特征進(jìn)行通道維度上的融合，可以獲得更加豐富的手勢(shì)局部信息和整體信息。利用兩個(gè)手勢(shì)圖像數(shù)據(jù)集，通過(guò)數(shù)值模擬的方法找到了最優(yōu)的學(xué)習(xí)率參數(shù)。在最優(yōu)參數(shù)條件下，本文提出的方法手勢(shì)識(shí)別率高，參數(shù)數(shù)量少，且適應(yīng)性廣，在手勢(shì)識(shí)別控制領(lǐng)域，有較好的應(yīng)用前景。