王育陽(yáng),古玉鋒,肖子葉,陳孟偉

長(zhǎng)安大學(xué)道路施工技術(shù)與裝備教育部重點(diǎn)實(shí)驗(yàn)室,陜西 西安 710064

0 引言

隨著物聯(lián)網(wǎng)、深度學(xué)習(xí)等技術(shù)的快速興起與應(yīng)用,車輛逐漸向智能化、網(wǎng)聯(lián)化方向發(fā)展,車載人機(jī)交互系統(tǒng)的智能化是實(shí)現(xiàn)車輛智能化的關(guān)鍵一環(huán),對(duì)加快實(shí)現(xiàn)自動(dòng)駕駛、發(fā)展智能交通具有重要意義[1]。手勢(shì)作為信息傳遞最自然的方式之一,在人機(jī)交互領(lǐng)域受到廣泛關(guān)注[2-3],但當(dāng)前手勢(shì)識(shí)別應(yīng)用存在普及程度不高、識(shí)別精度較低等問(wèn)題,此外,基于手工特征提取的傳統(tǒng)手勢(shì)識(shí)別模型易受客觀因素如光照、遮擋和復(fù)雜背景等干擾,導(dǎo)致手勢(shì)識(shí)別較為困難[4]。因此,本文搭建了基于SSDLite-MobileNetV2的離線手勢(shì)識(shí)別智能交互系統(tǒng),模型通過(guò)離線識(shí)別用戶手勢(shì)指令,即可完成對(duì)車輛行進(jìn)方向、加減速、制動(dòng)等功能以及車載多媒體、車載電器等設(shè)備的控制,提高了交互的便捷性和人性化,具有廣闊的應(yīng)用前景。

1 智能交互系統(tǒng)架構(gòu)

本文設(shè)計(jì)的車輛手勢(shì)識(shí)別智能交互系統(tǒng)框圖如圖1所示。靜態(tài)手勢(shì)識(shí)別算法采用基于SSDLite-MobileNetV2的目標(biāo)檢測(cè)模型搭建,并使用Light-HaGRID公開(kāi)手勢(shì)數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試。將訓(xùn)練完成后的手勢(shì)識(shí)別算法部署在嵌入式設(shè)備上,輸入用戶手勢(shì)圖片進(jìn)行正向推理,將輸出的手勢(shì)類別及位置結(jié)果轉(zhuǎn)化為控制指令并發(fā)送給智能交互終端,智能交互終端響應(yīng)用戶指令完成車載多媒體設(shè)備的控制或利用STM32完成對(duì)車輛動(dòng)力系統(tǒng)、制動(dòng)系統(tǒng)、車載電器(燈光、空調(diào))等設(shè)備的調(diào)整。其中,智能交互終端界面軟件基于Qt開(kāi)發(fā),用于顯示車輛當(dāng)前狀態(tài)信息,用戶可通過(guò)在智能交互終端上觸控實(shí)現(xiàn)上述功能的控制。

圖1 智能人機(jī)交互系統(tǒng)框圖

2 基于SSDLite-MobileNetV2的手勢(shì)識(shí)別算法

2.1 手勢(shì)數(shù)據(jù)集介紹

本次算法訓(xùn)練及驗(yàn)證所用數(shù)據(jù)集源自大型公開(kāi)手勢(shì)數(shù)據(jù)集HaGRID[5],該數(shù)據(jù)集中的手勢(shì)用于設(shè)計(jì)設(shè)備控制系統(tǒng)和提供符號(hào)學(xué)功能,本文使用HaGRID子集Light-HaGRID進(jìn)行訓(xùn)練,該子集包含13 000張彩色圖片,手勢(shì)背景復(fù)雜多樣,數(shù)據(jù)集所含手勢(shì)類型及示例如圖2所示,其中包括13種日常生活常見(jiàn)手勢(shì),每種類型手勢(shì)共1 000張,此外還包含1個(gè)名為no-gesture的自然手部動(dòng)作類,訓(xùn)練與測(cè)試集數(shù)量比例為7：3。為提高深度學(xué)習(xí)模型的泛化性,本文采用隨機(jī)裁剪、水平翻轉(zhuǎn)和色調(diào)變換等數(shù)據(jù)增強(qiáng)手段。

圖2 數(shù)據(jù)集中的手勢(shì)類型及示例

2.2 SSDLite-MobileNetV2模型結(jié)構(gòu)

SSDLite-MobileNetV2算法是目前主流的單階段目標(biāo)檢測(cè)算法之一,具有識(shí)別精度高、識(shí)別速度快等優(yōu)點(diǎn),由前端網(wǎng)絡(luò)、附加提取網(wǎng)絡(luò)、回歸檢測(cè)頭和損失函數(shù)等部分組成。其核心思想是采用多尺度的特征圖對(duì)不同大小的目標(biāo)進(jìn)行檢測(cè),通過(guò)前端網(wǎng)絡(luò)MobileNetV2[6]結(jié)合額外特征提取層,自底向上生成包含不同語(yǔ)義信息的預(yù)測(cè)特征圖。淺層特征圖感受野較小,用于檢測(cè)小目標(biāo);深層特征圖感受野較大,用于檢測(cè)大目標(biāo)。獲得不同尺度的預(yù)測(cè)特征圖后,分別在每個(gè)特征圖上逐點(diǎn)生成不同尺寸、寬高比的先驗(yàn)邊界框,隨后將特征圖送入目標(biāo)預(yù)測(cè)層,對(duì)每個(gè)邊界框進(jìn)行softmax分類及邊界框參數(shù)回歸,通過(guò)邊界框回歸參數(shù)將邊界框調(diào)整到目標(biāo)真實(shí)邊界附近,最后通過(guò)非極大值抑制算法(NMS)濾除重合度較高的檢測(cè)框,從而實(shí)現(xiàn)目標(biāo)檢測(cè)。

與單發(fā)多邊框檢測(cè)(single shot multibox detector,SSD)算法[7]不同的是,本文使用的算法利用MobileNetV2替換VGG16前端網(wǎng)絡(luò),在降低模型規(guī)模的同時(shí),有效提高了模型的推理速度,使其更好地在嵌入式、移動(dòng)端設(shè)備上運(yùn)行。同時(shí),本文算法使用深度可分離卷積構(gòu)建檢測(cè)頭結(jié)構(gòu),對(duì)于3×3卷積來(lái)說(shuō),理論上使用深度可分離卷積的參數(shù)量與計(jì)算量可以達(dá)到普通卷積的1/9,極大地降低了模型的復(fù)雜度[8]。SSDLite-MobileNetV2網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 SSDLite-MobileNetV2模型結(jié)構(gòu)

2.3 模型訓(xùn)練過(guò)程及結(jié)果

本文采用PyTorch深度學(xué)習(xí)框架搭建SSD Lite-MobileNetV2網(wǎng)絡(luò),試驗(yàn)計(jì)算機(jī)CPU型號(hào)為Intel? Core(TM) i5-11260H,GPU型號(hào)為NVIDIA GeForce RTX3050。利用CUDA11.2加速訓(xùn)練,并使用PyCharm軟件平臺(tái)完成程序編寫(xiě)。訓(xùn)練過(guò)程采用Warm-up熱身訓(xùn)練方式,在網(wǎng)絡(luò)訓(xùn)練初期將學(xué)習(xí)率從較小值逐漸增大到預(yù)設(shè)值,可防止出現(xiàn)因訓(xùn)練初期學(xué)習(xí)率設(shè)置過(guò)大而造成的訓(xùn)練不穩(wěn)定現(xiàn)象。batch_size大小設(shè)置為16,學(xué)習(xí)率采用等間隔調(diào)整策略,初始學(xué)習(xí)率設(shè)為0.001,采用SGD算法更新網(wǎng)絡(luò)參數(shù),動(dòng)量參數(shù)設(shè)為0.9,權(quán)重衰減設(shè)為0.000 5。

訓(xùn)練過(guò)程的精度及學(xué)習(xí)率曲線如圖4所示,精度曲線如圖5所示。由圖可知,訓(xùn)練時(shí)模型平均精度(mAP)隨損失的下降而逐步上升至0.93附近,模型收斂性較好。此外,為直觀驗(yàn)證模型的可靠性及精度,本文將室外不同場(chǎng)景下采集的用戶圖像輸入網(wǎng)絡(luò)進(jìn)行預(yù)測(cè),結(jié)果如圖6所示?？梢钥闯?該手勢(shì)識(shí)別算法對(duì)具有單一、復(fù)雜背景的不同手勢(shì),均達(dá)到了99%以上識(shí)別精度和精確的定位效果,模型具有良好的泛化性能,可保證在復(fù)雜背景下手勢(shì)識(shí)別的準(zhǔn)確性。

圖4 訓(xùn)練損失及學(xué)習(xí)率曲線

圖5 訓(xùn)練過(guò)程精度曲線

圖6 復(fù)雜背景手勢(shì)圖像識(shí)別效果

3 智能交互終端界面軟件開(kāi)發(fā)

人機(jī)交互界面(human-machine interface,HMI)可有效提高用戶交互效率和系統(tǒng)的靈活性[9],本文選擇圖形化UI界面設(shè)計(jì),與傳統(tǒng)的命令行、文字界面相比,圖形化界面具有直觀易懂、用戶友好、可視化展示、交互性強(qiáng)等優(yōu)點(diǎn)[10],能夠更好地滿足用戶的需求,提供更好地交互體驗(yàn),用戶可通過(guò)觸控或語(yǔ)音實(shí)現(xiàn)不同功能的控制。

本文基于Qt平臺(tái)完成上位機(jī)程序開(kāi)發(fā)及人機(jī)交互界面設(shè)計(jì),并集成至計(jì)算機(jī)上,該軟件界面主要包括用戶登錄、行車控制、界面設(shè)置、影音娛樂(lè)、車輛狀態(tài)顯示、歷史數(shù)據(jù)查詢等模塊,圖7為智能交互終端界面的軟件架構(gòu)。

圖7 智能交互終端界面軟件架構(gòu)

1)用戶登錄模塊。通過(guò)驗(yàn)證操作者用戶名和密碼完成用戶身份驗(yàn)證和權(quán)限分配,防止非專業(yè)操作人員非法操作車輛,同時(shí)記錄用戶每次操作行為并上傳至數(shù)據(jù)庫(kù),方便后續(xù)檢查和維修,登錄成功后進(jìn)入主界面。該人機(jī)交互終端主界面如圖8所示。

圖8 人機(jī)交互終端主界面

2)行車控制模塊。用于控制車輛的行駛和車載電器設(shè)備,包括加速、剎車、換向等行車控制功能和燈光空調(diào)開(kāi)啟、模式切換等功能。用戶可以通過(guò)界面上的按鈕或語(yǔ)音來(lái)控制車輛的運(yùn)動(dòng)。

3)界面設(shè)置。用于設(shè)置人機(jī)交互界面的主題、背景及字體,同時(shí)用于配置與車輛整車控制器的連接方式。

4)影音娛樂(lè)模塊。該模塊提供播放音樂(lè)、視頻觀看和其他娛樂(lè)功能。用戶可以通過(guò)界面上的控制按鈕來(lái)選擇和播放音樂(lè)、視頻等媒體內(nèi)容。

5)車輛狀態(tài)顯示模塊。該模塊用于實(shí)時(shí)顯示車輛的各項(xiàng)狀態(tài)信息,包括電機(jī)轉(zhuǎn)速、車載電器狀態(tài)等。用戶可以通過(guò)界面上的圖表、數(shù)字或指示燈來(lái)查看車輛的當(dāng)前狀態(tài),界面如圖9所示。

圖9 車輛狀態(tài)顯示界面

6)歷史數(shù)據(jù)查詢。用戶登錄云端數(shù)據(jù)庫(kù)可下載車輛歷史操作信息、狀態(tài)信息等車輛的歷史數(shù)據(jù)記錄,如車輛速度、電機(jī)轉(zhuǎn)速、行駛軌跡等,用戶可通過(guò)選擇日期、時(shí)間范圍等條件進(jìn)行數(shù)據(jù)查詢和分析。

4 仿真驗(yàn)證

交互系統(tǒng)由Jetson Nano、智能交互終端、STM32組成。首先利用攝像頭實(shí)時(shí)采集用戶交互圖像,其次將圖像縮放并轉(zhuǎn)成Tensor格式后送入部署在Jetson Nano的手勢(shì)識(shí)別算法進(jìn)行特征提取、手勢(shì)類型識(shí)別及位置坐標(biāo)輸出,最后將檢測(cè)結(jié)果轉(zhuǎn)化為控制指令,通過(guò)USB數(shù)據(jù)線上傳至交互終端完成手勢(shì)交互控制。

仿真試驗(yàn)過(guò)程如圖10所示:用戶通過(guò)手勢(shì)完成了燈光的控制。通過(guò)試驗(yàn)可知,利用該交互系統(tǒng)進(jìn)行手勢(shì)交互,每次交互和系統(tǒng)響應(yīng)平均時(shí)間約0.1 s,部署在Jetson Nano上的手勢(shì)識(shí)別算法能夠準(zhǔn)確快速地識(shí)別當(dāng)前手勢(shì)及其位置,并發(fā)送相應(yīng)控制指令,且影音娛樂(lè)應(yīng)用、被控設(shè)備能夠按照用戶操作意圖快速響應(yīng)并執(zhí)行相應(yīng)動(dòng)作,控制過(guò)程通信狀況穩(wěn)定,系統(tǒng)工作狀態(tài)正常,實(shí)現(xiàn)了預(yù)期的手勢(shì)交互目標(biāo)。

圖10 仿真試驗(yàn)

5 結(jié)論

本文設(shè)計(jì)的手勢(shì)識(shí)別智能人機(jī)交互系統(tǒng)以深度學(xué)習(xí)和Qt集成開(kāi)發(fā)環(huán)境為平臺(tái),實(shí)現(xiàn)了手勢(shì)凌空控制,用戶無(wú)需與按鍵產(chǎn)生視覺(jué)交互即可完成控制,提高了交互效率及其便捷性,通過(guò)SSDLite-MobileNetV2模型檢測(cè)手勢(shì),識(shí)別精度達(dá)99%,同時(shí)模型對(duì)不同環(huán)境背景下的手勢(shì)均具有較好的識(shí)別效果。此外,上述交互系統(tǒng)不僅可用于車輛領(lǐng)域,而且在工業(yè)控制、智能家居等領(lǐng)域具有廣闊的應(yīng)用前景。

在后續(xù)的研究中,將通過(guò)擴(kuò)充手勢(shì)、采用動(dòng)態(tài)手勢(shì)與靜態(tài)手勢(shì)相結(jié)合的方式,進(jìn)一步豐富車載場(chǎng)景下的手勢(shì)識(shí)別內(nèi)容,提高人機(jī)交互系統(tǒng)的性能。