于 瓅, 馬天祥

(安徽理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,安徽 淮南 232001)

0 引 言

手勢(shì)識(shí)別可分為基于可穿戴設(shè)備的手勢(shì)識(shí)別和基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別。前者需要讓被識(shí)別對(duì)象穿戴上手勢(shì)數(shù)據(jù)采集設(shè)備,再進(jìn)行手勢(shì)的捕獲和識(shí)別[1],該方法可識(shí)別在時(shí)空中運(yùn)動(dòng)較為復(fù)雜的手勢(shì)動(dòng)作,同時(shí)識(shí)別的精度和速度也十分可觀。后者則通過(guò)攝像頭采集到的動(dòng)作圖像,并通過(guò)設(shè)計(jì)算法提取畫面中的手勢(shì)特征信息和分析不同特征對(duì)應(yīng)的含義,從而實(shí)現(xiàn)手勢(shì)的識(shí)別。

在當(dāng)前的研究背景下,為了保障數(shù)據(jù)的共享性和使用的便攜性,大多數(shù)研究者選擇使用基于計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)的研究方法。機(jī)器學(xué)習(xí)在容錯(cuò)性、魯棒性和抗干擾性上表現(xiàn)優(yōu)秀,并且在自組織性和自學(xué)習(xí)性上也具備優(yōu)勢(shì)。當(dāng)訓(xùn)練樣本足夠豐富時(shí),模型所學(xué)到的“知識(shí)”具有一定的語(yǔ)義特征,在目標(biāo)和行為識(shí)別的方面更加適合。

在使用計(jì)算機(jī)視覺(jué)的方式下已有了許多研究成果[2-7]。王玄[8]提出了一種結(jié)合時(shí)空運(yùn)動(dòng)分布和運(yùn)動(dòng)軌跡的多特征提取、特征融合并結(jié)合SVM而實(shí)現(xiàn)的交警手勢(shì)識(shí)別方法。羅昆等[9]通過(guò)分析交警手勢(shì)深度圖片中像素點(diǎn)的變化實(shí)現(xiàn)了交警手勢(shì)的識(shí)別。趙思蕊等[10]采用DTW搭配關(guān)鍵幀中的人體抽象骨架實(shí)現(xiàn)了交警手勢(shì)的識(shí)別。方路平等[11]提出了一種通過(guò)骨架化特征模板匹配的交警手勢(shì)識(shí)別方案,首先通過(guò)算法將交警的手勢(shì)進(jìn)行抽象和骨架化,并得到骨架化后的特征模板,再將獲取的交警的骨架手勢(shì)與模板庫(kù)進(jìn)行比較以實(shí)現(xiàn)手勢(shì)的識(shí)別。周天彤等[12]使用Kinect提取出人物抽象的骨架,再利用unity構(gòu)建出模擬現(xiàn)實(shí)的道路環(huán)境實(shí)現(xiàn)對(duì)交警手勢(shì)識(shí)別和測(cè)試的方法。王新等[13]將改進(jìn)后的YOLOv5應(yīng)用到交警手勢(shì)的識(shí)別中,得到平均精度為98.54的識(shí)別效果。劉陽(yáng)等[14]提出了一種基于Kinect的骨架信息的交通警察手勢(shì)識(shí)別方案,該方案將Kinect中提取到人體關(guān)鍵點(diǎn)的運(yùn)動(dòng)軌跡作為手勢(shì)特征進(jìn)行訓(xùn)練和測(cè)試,結(jié)合距離加權(quán)動(dòng)態(tài)時(shí)間規(guī)劃算法和K最鄰近分類器進(jìn)行識(shí)別。張備偉[15]等提出了一種基于DTW的交警指揮手勢(shì)識(shí)別方法,首先使用Kinect設(shè)備提取出人體關(guān)鍵點(diǎn),并通過(guò)進(jìn)一步的預(yù)處理來(lái)建立手勢(shì)的模板,最后通過(guò)分析對(duì)別比同類手勢(shì)和不同類手勢(shì)中的特性實(shí)現(xiàn)交警手勢(shì)的識(shí)別。

綜上,盡管前人對(duì)交警手勢(shì)識(shí)別已有了不少的研究,但仍存在以下問(wèn)題:(1)識(shí)別情景單一,無(wú)法在人群中定位交警;(2)運(yùn)行效率及速度較低,無(wú)法較好滿足實(shí)時(shí)的識(shí)別效果。針對(duì)以上待解決問(wèn)題,擬通過(guò)改進(jìn)輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)NanoDet以及門控單元GRU,實(shí)現(xiàn)近實(shí)時(shí)的多人物場(chǎng)景下的交警手勢(shì)識(shí)別。

1 關(guān)鍵技術(shù)

1.1 NanoDet

FCOS全卷積單階段目標(biāo)檢測(cè)算法,該算法不同于著名的SSD和YOLOv5系列目標(biāo)檢測(cè)算法,FCOS采用無(wú)錨框的方式,剔除了錨框的預(yù)定義,使其避免了和錨框有關(guān)的一些復(fù)雜計(jì)算:(1)對(duì)于不同的數(shù)據(jù)需要使用聚類方法得到適用于該數(shù)據(jù)集的預(yù)定義錨框尺寸;(2)在使用預(yù)定義錨框時(shí),還需要設(shè)置大量的超參數(shù),在對(duì)其進(jìn)行設(shè)置時(shí)費(fèi)時(shí)費(fèi)力;(3)在圖像中設(shè)置的大量錨框中,正負(fù)樣本分布十分不均,使得在訓(xùn)練過(guò)程中的正負(fù)樣本不平衡問(wèn)題加劇。FCOS采用無(wú)錨框的方式,其將特征圖上的每個(gè)點(diǎn)映射回原圖,判斷映射回的點(diǎn)對(duì)應(yīng)原圖中物體的類別,以及是否在原圖的目標(biāo)框內(nèi),并通過(guò)訓(xùn)練逐漸更新網(wǎng)絡(luò)參數(shù)。

如圖1所示,標(biāo)準(zhǔn)的NanoDet是一種啟發(fā)自FCOS的單階段目標(biāo)檢測(cè)算法,其主要由三部分構(gòu)成:Head、Neck和Backbone。在主干網(wǎng)絡(luò)上的選擇上,原作者使用ShuffleNetV2作為特征提取網(wǎng)。為了在保證精度的前提下去提高推理速度,其作者刪除了ShuffleNetV2中的最后一個(gè)卷積層,并將8,16,32倍下采樣得到的特征圖輸入到 PAN 中進(jìn)行多尺度的特征融合。在損失函數(shù)的選擇上,該網(wǎng)絡(luò)使用的是由李翔等人提出的Generalized Focal Loss,使檢測(cè)頭中的計(jì)算開銷得以減少,提高檢測(cè)速率。邊界框損失函數(shù)的選擇上,NanoDet使用的是GIoU,相較于使用IoU而言最終的得到目標(biāo)框更加準(zhǔn)確。

圖1 NanoDet的結(jié)構(gòu)圖

1.2 注意力機(jī)制

1.2.1 通道注意力

通道注意力機(jī)制最先在SeNet網(wǎng)絡(luò)中提出,顧名思義該機(jī)制是為特征圖的每個(gè)通道賦給一定的權(quán)值,從而達(dá)到加強(qiáng)有效特征,削弱無(wú)用特征的效果,結(jié)構(gòu)見(jiàn)圖2。該機(jī)制分為Squeeze和Excitation兩個(gè)操作,前者是使用全局平局池化(GAP) 來(lái)壓縮特征圖的維度,如輸入的C×H×W維度的特征圖經(jīng)過(guò)處理后將會(huì)變?yōu)镃×1×1。后者的操作包含兩個(gè)部分:其一是使用一個(gè)全連接層將輸入的C×1×1維數(shù)據(jù)降維成C/r×1×1,其二仍是使用一個(gè)全連接層將C/r×1×1維的數(shù)據(jù)重新映射回C×1×1。最后再通過(guò)一個(gè)sigmoid函數(shù)得到各個(gè)通道的權(quán)值信息。

圖2 通道注意力機(jī)制

1.2.2 Attention

注意力機(jī)制(Attention)最早由Bahdanau提出,并在機(jī)器翻譯上取得了成功。隨著該技術(shù)的發(fā)展,如今在圖像處理、文本分析等多個(gè)領(lǐng)域都將其應(yīng)用其中。Attention從其概念上可以理解為,有選擇地把少量重要的信息從大量的信息中抽取出來(lái),并增加對(duì)這些重要信息的關(guān)注度,對(duì)大多數(shù)不重要的信息進(jìn)行忽略處理。該機(jī)制的體現(xiàn)主要就在“權(quán)重”的概念上,權(quán)重對(duì)信息的重要程度進(jìn)行衡量,當(dāng)某值對(duì)應(yīng)的權(quán)重越大時(shí),其重要程度也就越高,對(duì)后續(xù)分類任務(wù)的影響也就越大。

注意力機(jī)制Attention主要分為三個(gè)階段,分別為:階段一,根據(jù)query(交警手勢(shì)類型)和key(人體關(guān)鍵點(diǎn)序列)計(jì)算兩者的相似性,獲得原始的注意力得分。其中計(jì)算相似度的方式有多種,常用的有計(jì)算兩者的余弦相似性、或者計(jì)算兩者間的相似點(diǎn)積、也可以通過(guò)使用另外的神經(jīng)網(wǎng)絡(luò)進(jìn)行求解;階段二,使用歸一化的方式對(duì)階段一中得到的注意力得分進(jìn)行處理,處理方式可是使用softmax函數(shù)將結(jié)果映射到0～1上得到權(quán)重系數(shù);階段三,將階段二中得到的權(quán)重系數(shù)對(duì)Value(等同于key,即人體關(guān)鍵點(diǎn)序列)進(jìn)行加權(quán)求和。Attention結(jié)構(gòu)如圖3所示。

圖3 Attention結(jié)構(gòu)圖

1.3 門控單元GRU

圖4是門控單元中一個(gè)單元的結(jié)構(gòu)。GRU(Gate Recurrent Unit)和LSTM都是RNN的改進(jìn)型,是為解決在處理長(zhǎng)序列的反向傳遞中梯度消失和梯度爆炸等問(wèn)題提出的。

圖4 GRU結(jié)構(gòu)圖

GRU和LSTM在很多情況下實(shí)際表現(xiàn)上相差無(wú)幾,只有更新門和重置門兩個(gè)控制門,相較于LSTM而言 GRU的參數(shù)較少,訓(xùn)練速度更快,GRU能降低過(guò)擬合的風(fēng)險(xiǎn)。

2 算法設(shè)計(jì)

2.1 數(shù)據(jù)集采集

2.1.1 交警和行人數(shù)據(jù)集構(gòu)建

由于網(wǎng)絡(luò)上不存在可供使用的公開交警和行人數(shù)據(jù)集,因此,通過(guò)編寫網(wǎng)絡(luò)爬蟲的方式進(jìn)行爬取和構(gòu)建。首先編寫爬蟲從主流圖片網(wǎng)站爬取交警和行人的圖片兩千多張,經(jīng)過(guò)篩選后得到共計(jì)兩千張圖片。在爬取少量圖片時(shí),編寫的爬蟲腳本可正常執(zhí)行獲取圖片,但由于訪問(wèn)速度過(guò)快且隨著訪問(wèn)次數(shù)的增加,爬蟲程序開始觸發(fā)網(wǎng)站的反爬蟲機(jī)制,即本機(jī)的IP暫時(shí)被網(wǎng)站封鎖無(wú)法正常對(duì)其訪問(wèn)。為解決上述問(wèn)題,使得爬蟲程序能夠獲取到指定數(shù)量的圖片,因此,為爬蟲程序添加兩個(gè)機(jī)制,使其盡量避免被偵測(cè)。首先,在爬取一頁(yè)圖片后會(huì)進(jìn)行若干秒的暫停,模仿正常的瀏覽,避免觸發(fā)反爬蟲機(jī)制;之后,使用幾十條可用的IP創(chuàng)建IP代理池,當(dāng)爬蟲程序每次進(jìn)行訪問(wèn)操作時(shí),都會(huì)隨機(jī)地從代理池中選擇一個(gè)可用IP進(jìn)行替換,盡量減少同一IP連續(xù)多次訪問(wèn)同一站點(diǎn)的情況,降低爬蟲程序被偵測(cè)的可能性,以實(shí)現(xiàn)正常的圖片爬取操作。

2.1.2 交警行人數(shù)據(jù)集的擴(kuò)充

由于NanoDet是輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò),自身并不帶有數(shù)據(jù)集增強(qiáng)功能,因此無(wú)法向YOLOv5一樣通過(guò)較少的數(shù)據(jù)集就可進(jìn)行訓(xùn)練并得到不錯(cuò)的效果。使用Mosaic、色彩變換、平移反轉(zhuǎn)以及縮放等方式對(duì)數(shù)據(jù)集進(jìn)行增強(qiáng),效果如圖5所示。

圖5 數(shù)據(jù)集增強(qiáng)

2.1.3 交警手勢(shì)數(shù)據(jù)集構(gòu)建

為了便于后期的處理,采用自行錄制的方式構(gòu)建交警手勢(shì)數(shù)據(jù)集。首先規(guī)定動(dòng)作采集人員站在固定的動(dòng)作采集點(diǎn)處,使得人員的頭部和腳部盡量接近畫面的邊界部分進(jìn)行錄制。之后讓測(cè)試人員按照如下的順序做出相應(yīng)的交警指揮手勢(shì):左轉(zhuǎn)彎信號(hào)、左轉(zhuǎn)彎待轉(zhuǎn)信號(hào)、停止信號(hào)、減速慢行信號(hào)、變道信號(hào)、示意車輛靠邊停車信號(hào)、右轉(zhuǎn)彎信號(hào)、直行信號(hào)。為便于后期的數(shù)據(jù)處理,對(duì)于每個(gè)動(dòng)作會(huì)固定采集50幀的畫面,重復(fù)上述流程100次,得到整套交警指揮手勢(shì)視頻片段集合。

2.2 改進(jìn)的NanoDet

原始NanoDet具有很高的運(yùn)行速度,在本機(jī)上可達(dá)每秒50幀,但在實(shí)際訓(xùn)練和測(cè)試過(guò)程中的識(shí)別錯(cuò)誤情況也較為明顯。為了在保障識(shí)別速度的前提下提高識(shí)別精度,對(duì)該目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行了如下改進(jìn)。

修改主干特征提取網(wǎng)減少非必要參數(shù):首先,經(jīng)分析在主干網(wǎng)ShuffleNet的Block中的branch2分支上使用了兩次1×1卷積,而該卷積僅僅是為了融合DW卷積上的通道間信息,因此,刪除DW卷積后的1×1卷積,減少不必要的參數(shù)堆疊;分析ShuffleNetV2網(wǎng)絡(luò)中的參數(shù)分布,在實(shí)際中DW卷積相較于1×1卷積而言,其所占的運(yùn)算量相對(duì)較小,增加卷積核大小,將其由原來(lái)的3×3改進(jìn)為5×5,同時(shí)將特征圖的邊緣填充由1增加為2,保障輸出特征圖的尺度不變。修改前后的ShuffleBlock見(jiàn)圖6。

圖6 修改前后的ShuffleBlock模塊對(duì)比

增添通道注意力機(jī)制進(jìn)一步提高精度:在NanoDet的主干特征提取網(wǎng)中融合了通道注意力機(jī)制,使得在提取特征時(shí)能夠更加專注于有區(qū)分度的部分。經(jīng)過(guò)上述在DW卷積中使用大卷積核,擴(kuò)大感受野,融合通道注意力機(jī)制,提高網(wǎng)絡(luò)信息獲取和特征抽取能力,同時(shí)去除一層1×1卷積降低參數(shù)量,使得NanoDet在保證檢測(cè)實(shí)時(shí)性的情況下盡可能地提高識(shí)別的精度。

2.3 改進(jìn)的GRU

為進(jìn)一步提高GRU捕捉序列中特征的能力,將Attention模塊融合進(jìn)GRU網(wǎng)絡(luò)的末端,使得其在訓(xùn)練過(guò)程中能夠動(dòng)態(tài)地為特征賦予不同的權(quán)重提高識(shí)別精度,融合進(jìn)Attention機(jī)制后的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。

圖7 改進(jìn)后的GRU架構(gòu)

2.4 并行的運(yùn)行架構(gòu)

使用傳統(tǒng)的串行運(yùn)行方式雖可達(dá)到識(shí)別的效果,但運(yùn)行速度大打折扣,無(wú)法充分發(fā)揮計(jì)算機(jī)的多核優(yōu)勢(shì)。因此,設(shè)計(jì)并行的運(yùn)行方式,提高計(jì)算機(jī)資源的利用率和算法的運(yùn)行速度。重新設(shè)計(jì)的并行運(yùn)行架構(gòu)如圖8所示。

圖8 并行化的運(yùn)行架構(gòu)

3 實(shí)驗(yàn)與結(jié)果分析

NanoDet目標(biāo)檢測(cè)網(wǎng)絡(luò)改進(jìn)前后的訓(xùn)練過(guò)程如圖9所示,可見(jiàn)經(jīng)過(guò)改進(jìn)的NanoDet相較于原始網(wǎng)絡(luò),在使用的數(shù)據(jù)集以及訓(xùn)練輪次相同的情況下,訓(xùn)練損失更低。在實(shí)際測(cè)試中原來(lái)的識(shí)別錯(cuò)誤情況也有所改善,同時(shí)識(shí)別的速度也得到了保證,接近每秒50幀。

圖9 改進(jìn)前后NanoDet的訓(xùn)練過(guò)程對(duì)比

4 結(jié) 語(yǔ)

相較于原始網(wǎng)絡(luò),在使用的數(shù)據(jù)集以及訓(xùn)練輪次相同的情況下,經(jīng)過(guò)改進(jìn)的NanoDet訓(xùn)練損失更低。在實(shí)際測(cè)試中,原來(lái)的識(shí)別錯(cuò)誤情況也有所改善,同時(shí)識(shí)別速度也得到了保證,將注意力機(jī)制和GRU相結(jié)合,提高了該網(wǎng)絡(luò)對(duì)交警手勢(shì)的識(shí)別精度。設(shè)計(jì)并行的運(yùn)行架構(gòu),提高了交警手勢(shì)智能識(shí)別系統(tǒng)的整體執(zhí)行效率。