閆洪猛

（德州職業(yè)技術(shù)學(xué)院，山東德州 253034）

0 引言

人機交互系統(tǒng)是人工智能技術(shù)下的重要分支，近年來無人機技術(shù)的不斷進步使得人機交互系統(tǒng)受到了廣泛關(guān)注，越來越多的人機交互方案相繼提出。傳統(tǒng)的無人機操控模式包含遙控器或搖桿以及地面站設(shè)備儀器等，對操作者的技術(shù)要求較高，在無人機的交互與控制方面具有較高的門檻，對無人機技術(shù)的推廣有不利影響。近年來新型無人機控制模式被提出，只需要穿戴特殊的輔助設(shè)備便能實現(xiàn)便利的無人機控制，如基于視覺的無人機控制方法便獲得了廣闊的發(fā)展空間。但因為傳感器傳輸距離限制，系統(tǒng)需要領(lǐng)航員RGB-D 傳感器保持一定距離之內(nèi)，室外運行受到此機制約束。為了進一步拓展人機交互的功能性，克服現(xiàn)有的系統(tǒng)缺陷，通過深度學(xué)習(xí)分析手勢動作，實現(xiàn)在室外進行應(yīng)用，并且在響應(yīng)效率上有了進一步提高。

1 基于雙目視覺與深度學(xué)習(xí)的動作識別方法

本文所述的無人機人機交互系統(tǒng)，在動作識別功能方面具有3 個結(jié)構(gòu)：①視覺中對于操作人員的辨識和跟蹤，在圖像獲取方面，跟蹤的結(jié)果提取將操作者作為中心，對包含操作者的所在位置進行立體匹配，并生成深度圖；②結(jié)合深度視頻序列，形成包括操作者人物動作特點和時間特點的彩色紋理圖；③通過卷積神經(jīng)網(wǎng)絡(luò)，在嵌入式開發(fā)板中實現(xiàn)人物動作的識別。

1.1 操作者跟蹤及深度圖生成

為了實現(xiàn)無人機手勢控制系統(tǒng)在戶外的應(yīng)用，在系統(tǒng)啟用設(shè)計方面，結(jié)合回傳視頻明確操作者的位置信息，結(jié)合位置信息利用快速視覺跟蹤算法來持續(xù)跟蹤操作者。結(jié)合跟蹤位置在雙目攝像機獲取的視頻序列，從中裁剪出一個只有人物內(nèi)容的視頻，按照裁剪的視頻經(jīng)過立體匹配算法形成深度圖。在系統(tǒng)啟動階段結(jié)合攝像機顯示內(nèi)容，在地面站利用鼠標(biāo)點擊的方式將操作者面部范圍設(shè)定為跟蹤區(qū)域。跟蹤期間按照跟蹤位置，在高分辨率的視頻中裁剪一個小范圍視頻，經(jīng)過視頻預(yù)處理和視頻壓縮，不僅能解決相機漂移問題、清除操作者附近的其他外部影響因素，同時也降低了視頻運算量，提高響應(yīng)效率。按照裁剪獲得的兩個圖像計算深度圖，可以選擇基于塊匹配的立體匹配算法，在匹配期間操作者會和地面深度信息差縮小，若地面深度信息抽取穩(wěn)定性不足，地面深度信息通常會影響到深度圖中的人物提取；可以設(shè)計紋理匹配閾值，將地面細微紋理過濾掉，得到一幅較為干凈完整的人物動作畫面。

1.2 彩色紋理圖的生成

在獲取雙目深度圖之后，根據(jù)特征描述方法嘗試改進深度圖，運用彩色信息描述時間信息，將空間信息在同一張圖中疊加顯示。以雙目深度圖作為基準(zhǔn)，視頻序列中的動作空間信息與時間信息都在一張圖片中投射，生成彩色紋理圖。視頻序列中臨近的兩幀深度圖差分出的運動空間特征，都結(jié)合運動時間特點具有不同顏色，而且可以疊加，形成包括運動時間特征和空間特征的彩色紋理圖。再對圖片上的像素位置進行操作處理，使視頻序列能夠壓縮為一張色彩較為飽滿的彩色紋理圖，以像素點值的空間位置描述動作序列的空間特征，像素點相對的顏色值便是動作序列的時間特征。

1.3 訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)

雖然卷積神經(jīng)網(wǎng)絡(luò)可以自動提取圖片特征進行分類處理，但分類功能過于完善導(dǎo)致在訓(xùn)練數(shù)據(jù)不充足的情況下出現(xiàn)過擬合的問題。為了改善這一問題，可以選擇旋轉(zhuǎn)圖片的方式拓展訓(xùn)練數(shù)據(jù)集，緩解過擬合現(xiàn)象。訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)在ImageNet 數(shù)據(jù)集中獲得顯著成績的AlexNet 網(wǎng)絡(luò)結(jié)構(gòu)，這一網(wǎng)絡(luò)結(jié)構(gòu)通過5個卷積層以及3 個全鏈接層形成。后一卷積層的核與前一層中的全部核映射相連，全鏈接層的神經(jīng)元鏈接到前一層的所有神經(jīng)元中，響應(yīng)歸一化層和第1、2 卷積層之后。最大池化層與在響應(yīng)歸一化層和第5 個卷積層后，ReLU 非線性在所有卷積層和全鏈接層的輸出中應(yīng)用。這一網(wǎng)絡(luò)結(jié)構(gòu)讓多分類Logistic 回歸目標(biāo)最大化，能夠最大化預(yù)測分布下訓(xùn)練樣本中正確標(biāo)簽的對數(shù)概率均值。為保證卷積網(wǎng)絡(luò)的結(jié)果正確，AlexNet 網(wǎng)絡(luò)結(jié)構(gòu)在ImageNet 中完成訓(xùn)練的模型可以用作初始網(wǎng)絡(luò)參數(shù)，網(wǎng)絡(luò)中各層權(quán)重利用梯度下降法進行計算，其中的參數(shù)一般會使迭代次數(shù)和學(xué)習(xí)率產(chǎn)生變化，網(wǎng)絡(luò)一次迭代使用250 余張圖片，按照訓(xùn)練數(shù)據(jù)集的具體情況進行訓(xùn)練循環(huán)。

2 數(shù)據(jù)集的構(gòu)建

通過深度學(xué)習(xí)來分類數(shù)據(jù)信息，這種方法需要明確很多位置的具體參數(shù)，也要通過神經(jīng)網(wǎng)絡(luò)針對不同類型的數(shù)據(jù)信息進行預(yù)先的學(xué)習(xí)過程。建立完善樣本數(shù)據(jù)集來實現(xiàn)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，確保神經(jīng)網(wǎng)絡(luò)能夠獲得全面可靠的參數(shù)。為了達到預(yù)定的訓(xùn)練網(wǎng)絡(luò)目標(biāo)，還要通過其他的分類數(shù)據(jù)實現(xiàn)所獲網(wǎng)絡(luò)參數(shù)的可靠性驗證，以下便為數(shù)據(jù)集的構(gòu)建過程。

神經(jīng)網(wǎng)絡(luò)參數(shù)通常根據(jù)所用訓(xùn)練的數(shù)據(jù)集決定，訓(xùn)練結(jié)果的質(zhì)量水平也直接取決于數(shù)據(jù)集：①樣本越大的數(shù)據(jù)集效果越好，但若數(shù)據(jù)集過大則可能對訓(xùn)練的過程及其結(jié)果帶來不利影響，所以數(shù)據(jù)集的構(gòu)建需要明確合理的數(shù)據(jù)量，這是基本環(huán)節(jié)；②用作訓(xùn)練的數(shù)據(jù)集需要盡量包括正確動作的不同狀況，在各種光照和外部背景環(huán)境的條件下進行采集；③用作訓(xùn)練的數(shù)據(jù)集要實現(xiàn)數(shù)據(jù)集中各類圖片的統(tǒng)一性，圖片內(nèi)容分類不能混亂。

無人機所獲得到的畫面信息與靜態(tài)相機能夠拍到的畫面對比可能會出現(xiàn)相機飄移，所以在系統(tǒng)設(shè)計方面，神經(jīng)網(wǎng)絡(luò)算法需要具備較強的適應(yīng)能力：選擇雙目攝像機和無人機，在多種背景和光照條件下建立數(shù)據(jù)集；設(shè)計自控?zé)o人機的多種動作。無人機的實際應(yīng)用會遇到環(huán)境光照不一致等問題，應(yīng)用環(huán)境通常比正常環(huán)境所知的數(shù)據(jù)集更具不確定性，為了規(guī)避誤差、誤判，在動作設(shè)計方面需要盡量選擇特征差異較大的動作，將其作為有效動作，這在有關(guān)實驗中已得到了證實。

為了辨識無關(guān)動作，構(gòu)建的數(shù)據(jù)集要包括多種無關(guān)動作，在系統(tǒng)數(shù)據(jù)集的構(gòu)建上選擇多個小動作和個別的無關(guān)動作，在畫面采集期間盡量讓多個不同的人在不同環(huán)境下分別完成采集工作，采集距離設(shè)定在4～10 m，采集時需要盡量確保任務(wù)在左右兩個攝像頭的公共區(qū)域內(nèi)。采集到的數(shù)據(jù)信息盡量包括不同的使用環(huán)境，如不同的光照環(huán)境和其他復(fù)雜環(huán)境等，無關(guān)動作數(shù)據(jù)信息也可以利用采集數(shù)據(jù)集之外的視頻序列建立。

在視頻信息獲取完成后，按要求處理為彩色紋理圖，選擇出較為標(biāo)準(zhǔn)的動作，刪除無關(guān)動作，并把不同的動作分類、建立列表，便于之后的訓(xùn)練過程。在一番篩選后，確保只有在動作完畢后才能被判定為有效動作，避免動作誤判等問題。在生成的數(shù)據(jù)集中，各個類型的圖片可以達到幾千張，而每一類的彩色紋理圖片都要進行標(biāo)注，確保所有彩色紋理圖在輸入神經(jīng)網(wǎng)絡(luò)時便于分類。無人機在運作期間受到環(huán)境影響，如在刮風(fēng)的條件下運作會傾斜，無人機運行姿態(tài)判斷，結(jié)合姿態(tài)數(shù)據(jù)旋轉(zhuǎn)圖片的運算，對無人機的嵌入式計算機帶來更高的壓力，對此可以通過數(shù)據(jù)拓展的方式擴充數(shù)據(jù)集，避免無人機圖像采集期間受環(huán)境影響而傾斜的現(xiàn)象。在數(shù)據(jù)集中先隨機抽調(diào)一些圖像，將這一部分圖像以4°之內(nèi)的范圍進行隨機方向旋轉(zhuǎn)以補充數(shù)據(jù)集，避免神經(jīng)網(wǎng)絡(luò)過擬合的同時也進一步加強了神經(jīng)網(wǎng)絡(luò)的適應(yīng)能力。

3 系統(tǒng)構(gòu)成

深度學(xué)習(xí)下的無人機人機交互系統(tǒng)，系統(tǒng)的構(gòu)成特征基本在于以下3 點：①將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于實時人機交互系統(tǒng)中，通過生成彩色紋理圖描述視頻序列中時間特征和空間特征，根據(jù)這些描述對后續(xù)圖片進行訓(xùn)練與分類，進一步提高了圖片和視頻的辨識度；②以雙目視覺的方式生成深度圖，以新型的能夠適應(yīng)更復(fù)雜環(huán)境的手勢識別方法，根據(jù)動作標(biāo)準(zhǔn)進行手勢運動便可以識別，并不需要重新訓(xùn)練用作動作識別的模型，相對其他傳感器的識別精準(zhǔn)性和范圍進一步提高；③在無人機中搭載處理器實現(xiàn)人機交互，能夠有效提高信息傳輸效率，降低傳輸延遲。

無人機利用飛行控制器和GPS 模塊能夠做到自主懸停，搭載嵌入式平臺實現(xiàn)圖像與動作的自動識別。無人機平臺通過電壓22.2 V、容量5200 mA·h 的鋰離子電池作為電能來源。嵌入式平臺可以選擇Jetson TK1 平臺，這一平臺所搭載的處理器具有多個CPU，可以保證圖像處理效率和性能。圖像采集處理與動作識別一般在這一平臺中實現(xiàn)，而且平臺是飛行控制和地面站信息傳輸?shù)闹匾?jié)點，利用串口連接飛控，應(yīng)用WiFi與地面站連接；而地面站則可以實現(xiàn)飛行器狀態(tài)監(jiān)控，可以查看運算結(jié)果。

4 結(jié)束語

基于雙目視覺和深度學(xué)習(xí)的無人機人機交互系統(tǒng)，解決了深度相機傳輸范圍制約和光照制約的問題，能夠在室外的更多場景下應(yīng)用。當(dāng)前這一系統(tǒng)依然有很多地方需要繼續(xù)完善，以優(yōu)化動作識別和識別響應(yīng)效率。