楊 喆， 伊國(guó)興

0 引 言

為了使無(wú)人機(jī)(unmanned aerial vehicle,UAV)具有更廣泛的用途，如何讓無(wú)人機(jī)更加智能化成為了擴(kuò)大無(wú)人機(jī)應(yīng)用的關(guān)鍵。瑞士蘇黎世聯(lián)邦工業(yè)大學(xué)[1]設(shè)計(jì)的無(wú)人機(jī)使用計(jì)算機(jī)視覺(jué)實(shí)現(xiàn)了對(duì)未知地區(qū)的探索。香港科技大學(xué)的沈劭劼等人[2]通過(guò)激光測(cè)距儀與微軟Kinect傳感器對(duì)室內(nèi)地圖進(jìn)行了重建，并在無(wú)人機(jī)上搭載嵌入式計(jì)算機(jī)實(shí)現(xiàn)自主飛行。隨著計(jì)算機(jī)硬件技術(shù)的不斷發(fā)展，人工智能技術(shù)也在近幾年內(nèi)取得了突破[3～5]。如果將最新的人工智能技術(shù)應(yīng)用的無(wú)人機(jī)行業(yè)中，將能夠大幅提高無(wú)人機(jī)的智能水平。

目前來(lái)看，無(wú)人機(jī)較為復(fù)雜的控制方式阻礙了消費(fèi)級(jí)無(wú)人機(jī)的推廣。本文提出了使用人體姿態(tài)信息完成與無(wú)人機(jī)的交互任務(wù),并在機(jī)載嵌入式計(jì)算設(shè)備上完成了部署，達(dá)到了20幀/s的處理速度。通過(guò)使用該方法，用戶可以拋開傳統(tǒng)的依賴遙控器的人機(jī)交互方式，大幅提高了無(wú)人機(jī)使用的便捷性和自主智能程度。

1 人機(jī)交互流程

人機(jī)交互實(shí)現(xiàn)的核心是完成對(duì)人體姿態(tài)信息的檢測(cè)與分類。傳統(tǒng)的圖像信息檢測(cè)方法[6,7]運(yùn)行速度慢，難以實(shí)現(xiàn)實(shí)時(shí)性。近年來(lái)，基于深度學(xué)習(xí)的檢測(cè)算法[8]如Fast-RCNN等使用耗時(shí)較長(zhǎng)的Selective Search算法[9]為分類器生成候選框(region proposals)，如果能夠找到一種生成候選框的替代辦法，就能夠?qū)z測(cè)問(wèn)題轉(zhuǎn)化為分類問(wèn)題，而分類問(wèn)題的訓(xùn)練樣本制作要簡(jiǎn)單得多。由于人體姿態(tài)信息通常為前景目標(biāo)，本文采用前景信息生成候選窗口。

為了解決無(wú)人機(jī)回傳圖像存在抖動(dòng)而難以進(jìn)行背景建模的問(wèn)題，使用模板匹配的方法對(duì)無(wú)人機(jī)的抖動(dòng)進(jìn)行了補(bǔ)償。對(duì)補(bǔ)償后的圖像，使用改進(jìn)的視覺(jué)背景提取(visual background extraction,ViBe)方法進(jìn)行前景信息提取，并通過(guò)聚類的方法生成了可能存在人體姿態(tài)信息的候選框。串聯(lián)了兩個(gè)神經(jīng)網(wǎng)絡(luò)分類器完成人體姿態(tài)信息的分類任務(wù)。分別用于判斷目標(biāo)是否為人和對(duì)姿態(tài)信息的種類進(jìn)行分類。無(wú)人機(jī)根據(jù)姿態(tài)信息的分類結(jié)果做出響應(yīng)，完成人機(jī)交互任務(wù)。整個(gè)系統(tǒng)的工作流程如圖1所示。

圖1 人機(jī)交互基本流程

2 人體姿態(tài)信息提取

2.1 無(wú)人機(jī)回傳圖像的穩(wěn)定

多旋翼無(wú)人機(jī)在飛行懸停過(guò)程中受到氣流的不穩(wěn)定和控制回路的時(shí)延影響,機(jī)體會(huì)產(chǎn)生一定程度的震動(dòng)和漂移，造成拍攝畫面的不穩(wěn)定，影響到后續(xù)算法對(duì)目標(biāo)的檢測(cè)與跟蹤工作。無(wú)人機(jī)本身通過(guò)添加防震墊圈，為相機(jī)配備云臺(tái)等手段從物理上減弱了震動(dòng)。本文通過(guò)算法補(bǔ)償無(wú)人機(jī)的震動(dòng)與漂移。

通過(guò)實(shí)驗(yàn)與觀察發(fā)現(xiàn)，無(wú)人機(jī)在懸停時(shí)圖像中存在的變化主要體現(xiàn)在水平與豎直方向上的平移變化。在整幅圖像中，實(shí)際位置會(huì)發(fā)生變化的前景目標(biāo)只占一小部分，而占大部分區(qū)域的背景在穩(wěn)定的圖像中的位置應(yīng)當(dāng)維持不變。同時(shí)，由于無(wú)人機(jī)懸停時(shí)的漂移變化是小運(yùn)動(dòng)，因此，可以保證圖像中間部分在下一幀當(dāng)中依然出現(xiàn)。因此，只要將占圖像大部分區(qū)域的背景匹配對(duì)齊，即可消除圖像的水平與豎直方向上的平移變化。使用模板匹配法可以很好地解決這一問(wèn)題。

對(duì)新采集的一幀圖像，在圖像上滑動(dòng)與模板圖像相同大小的窗口并計(jì)算二者的差異，可以獲得在該位置上模板與圖像的相似度。衡量相似度的標(biāo)準(zhǔn)為

(1)

式中R為模板在圖像各個(gè)位置上的相似度，該值越小表明越相似；T為模板的像素值；I為圖像原圖的像素值。

對(duì)整個(gè)圖像都進(jìn)行遍歷移動(dòng)計(jì)算后，可以獲得一個(gè)偏移相似度矩陣。求取該矩陣中的最小值，最小值所在的下標(biāo)即為無(wú)人機(jī)震動(dòng)造成的圖像的偏移量。

2.2 使用前景信息生成候選框

人體姿態(tài)信息通常屬于前景信息。為了獲取前景信息，首先需要完成背景建模工作，主要解決無(wú)人機(jī)震動(dòng)和光照影響。ViBe是一種像素級(jí)的背景建模、前景檢測(cè)算法，具有較高的運(yùn)行速度。通過(guò)對(duì)該算法進(jìn)行改進(jìn)，完成了對(duì)無(wú)人機(jī)懸停時(shí)拍攝的圖像的背景建模。

首先對(duì)讀入的圖像進(jìn)行穩(wěn)定算法處理，消除無(wú)人機(jī)震動(dòng)帶來(lái)的圖像抖動(dòng)。采集前30幀圖像建立背景模型。對(duì)每個(gè)像素點(diǎn)都建立長(zhǎng)度為30的樣本庫(kù)，保存前30幀的樣本信息。對(duì)后續(xù)的圖像，逐個(gè)像素點(diǎn)與樣本庫(kù)比對(duì)并計(jì)算距離L

(2)

式中L代表在讀入圖像像素點(diǎn)與樣本庫(kù)的距離，該值越大，表明該點(diǎn)越可能為前景;Ti為樣本庫(kù)中的第i個(gè)樣本的像素值；I為輸入圖像在(x,y)處的像素值;1{·}為示性函數(shù)，當(dāng)中括號(hào)中的條件為真時(shí)取1，否則,取0;θ為判斷樣本庫(kù)與當(dāng)前像素是否相似的閾值，根據(jù)實(shí)驗(yàn)取經(jīng)驗(yàn)值20。

若計(jì)算L<10，將該點(diǎn)視作背景；否則，歸為前景。為了適應(yīng)戶外光照的變化，對(duì)ViBe方法的背景模型更新策略進(jìn)行了改進(jìn)。當(dāng)該點(diǎn)歸為背景時(shí)，使用該點(diǎn)的像素值替換樣本庫(kù)中在時(shí)間上最老舊的樣本，加速陳舊信息的消除，以適應(yīng)光照變化。計(jì)算完成后可以獲得一幅與輸入圖像大小相同的二值圖像，其中前景像素點(diǎn)值為1，背景像素點(diǎn)值為0。對(duì)該圖像進(jìn)行聚類處理，可以生成可能含有目標(biāo)的候選窗口。本文使用非極大值抑制消除位置重疊的候選窗口。

3 人體姿態(tài)信息分類

3.1 目標(biāo)類別分類器設(shè)計(jì)

對(duì)獲得的所有候選框提取出框內(nèi)的圖像信息并進(jìn)行分類，為了保證目標(biāo)完整的出現(xiàn)在框內(nèi)，對(duì)候選框的長(zhǎng)寬放大1.2倍，再將框內(nèi)圖像送入分類器分類。

由于該分類器僅考慮解決二分類問(wèn)題，選擇使用AlexNet網(wǎng)絡(luò)訓(xùn)練人體目標(biāo)分類器。

1)輸入層與數(shù)據(jù)預(yù)處理

本文主要研究對(duì)站立人體的分類，因此，使用輸入尺寸為128×64的紅綠藍(lán)三原色(RGB)彩色圖像能夠較好地保留人體的特征又不會(huì)占用過(guò)多的空間。

由于采集的圖像的高度與寬度不定，使用雙線性插值將圖像縮放到與輸入層相同的大小。為了保留圖像的邊緣特征，不對(duì)縮放后的圖像進(jìn)行濾波處理。受到光照，拍攝條件等因素的影響，不同的圖像數(shù)據(jù)間還可能存在偏差，因此，對(duì)縮放后的圖像進(jìn)行去均值處理。計(jì)算所有樣本的圖像的各個(gè)通道中每個(gè)像素點(diǎn)的均值，每個(gè)輸入樣本均減去該均值。

2)卷積層與池化層提取特征

卷積層的計(jì)算公式為

(3)

式中l(wèi)為卷積神經(jīng)網(wǎng)絡(luò)的層數(shù);k為卷積核;M為卷積核在上一層的感受野;b為卷積核的偏置。AlexNet網(wǎng)絡(luò)含5個(gè)卷積層。其中第一個(gè)卷積層卷積核大小為11×11，第二個(gè)卷積層為5×5，后面三個(gè)卷積層卷積核大小均為3×3。

采用池化操作可以降低特征維數(shù)，并使網(wǎng)絡(luò)具備平移不變性，抵抗數(shù)據(jù)的平移。池化層通常接在卷積層之后，將N×N區(qū)域的特征聚合到一個(gè)特征中。本文采用最大值池化。

3)全連接層與輸出層

卷積神經(jīng)網(wǎng)絡(luò)在最后一層池化層后連接了多層全連接層用于完成特征序列到分類類別的映射，最后一層使用Softmax分類層輸出各類別的概率。

3.2 人體姿態(tài)分類器設(shè)計(jì)

定義4種容易擺出并且區(qū)別較大的姿態(tài)，如圖2(a)所示。為了保證無(wú)人機(jī)使用的安全性，需要設(shè)計(jì)姿態(tài)作為無(wú)人機(jī)對(duì)人體姿態(tài)信息的響應(yīng)開關(guān)。將圖2(a)從左到右4個(gè)姿態(tài)對(duì)應(yīng)的無(wú)人機(jī)指令設(shè)計(jì)為：開啟無(wú)人機(jī)對(duì)人體姿態(tài)信息的響應(yīng)；關(guān)閉無(wú)人機(jī)對(duì)人體姿態(tài)的信息的響應(yīng)；向右飛行，向左飛行。

圖2 人體姿態(tài)數(shù)據(jù)集

為了獲得較好的分類效果，除了要獲取人體所在區(qū)域信息之外，還需要盡可能準(zhǔn)確地預(yù)測(cè)出人體的輪廓，去除周邊背景等因素的干擾。由于之前的目標(biāo)檢測(cè)過(guò)程中已經(jīng)進(jìn)行了背景建模，本文采用前景信息獲取的方法剔除背景因素的干擾，既能夠提高分類效果，也能夠減少計(jì)算開銷，提取后的姿態(tài)信息如圖2(b)所示。

經(jīng)過(guò)實(shí)驗(yàn)測(cè)試，發(fā)現(xiàn)使用2層的全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練即可夠獲得很高的分類準(zhǔn)確率，并且相較于復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)，該方法的計(jì)算開銷與運(yùn)行時(shí)間亦顯著降低。

4 實(shí)驗(yàn)與驗(yàn)證

4.1 無(wú)人機(jī)實(shí)驗(yàn)平臺(tái)搭建

使用飛越Tarot 650四旋翼無(wú)人機(jī)機(jī)架和Pixhack開源飛控為主體搭建了一架無(wú)人機(jī)，并在無(wú)人機(jī)上搭載了Gopro相機(jī)，雙軸云臺(tái)和Odroid XU4嵌入式計(jì)算機(jī)。Odroid-XU4使用2.0 GHz基于ARM架構(gòu)的處理器作為運(yùn)算單元，擁有2 GB內(nèi)存空間和64 GB存儲(chǔ)空間，具有強(qiáng)大的計(jì)算能力，較低的功耗和小巧的封裝尺寸，十分適合作為機(jī)載嵌入式計(jì)算設(shè)備。

該無(wú)人機(jī)的相關(guān)參數(shù)指標(biāo):最大飛行速度為54 km/h，最大飛行高度為1 000 m，最大數(shù)據(jù)傳輸距離為2 km，姿態(tài)測(cè)量精度為1°，水平方向定位精度為1 m，垂直方向定位精度為1.5 m，最大起飛重量為4 kg，空載重量為2.9 kg，續(xù)航為空載20 min，滿載12 min,對(duì)角電機(jī)軸距為650 mm。相關(guān)參數(shù)基本滿足實(shí)驗(yàn)需求。

4.2 圖像穩(wěn)定處理

對(duì)獲取到的圖像進(jìn)行去抖動(dòng)穩(wěn)定處理。圖3(a)所示為無(wú)人機(jī)上拍攝到未經(jīng)穩(wěn)定算法處理時(shí)臨近2幀差分的結(jié)果，圖3(b)為經(jīng)過(guò)穩(wěn)定算法處理后臨近2幀差分的結(jié)果?？梢悦黠@發(fā)現(xiàn)：在圖3(a)中由于無(wú)人機(jī)的震動(dòng)導(dǎo)致了畫面后方的欄桿在相鄰兩幀間出現(xiàn)了明顯的位移，而圖3(b)中兩幀的欄桿基本已經(jīng)重合，證明了算法實(shí)現(xiàn)了對(duì)無(wú)人機(jī)的震動(dòng)對(duì)圖像造成影響的補(bǔ)償。

圖3 圖像穩(wěn)定算法效果

4.3 前景信息提取與候選框生成

在無(wú)人機(jī)懸停并且成功對(duì)背景進(jìn)行重構(gòu)的情況下，可以利用前景信息完成目標(biāo)檢測(cè)任務(wù)。圖4(a)為無(wú)人機(jī)拍攝到的一幀原始圖像,圖4(b)為使用改進(jìn)的ViBe法提取到的前景信息。為了實(shí)現(xiàn)多目標(biāo)檢測(cè)，圖像劃分為8×6個(gè)區(qū)塊，對(duì)每個(gè)區(qū)塊統(tǒng)計(jì)可能含有前景目標(biāo)的概率。圖4(c)為對(duì)4(b)進(jìn)行概率統(tǒng)計(jì)后的結(jié)果，圖中可能含有前景目標(biāo)的區(qū)塊用黑色標(biāo)識(shí)。圖4(d)為對(duì)圖4(c)的可能區(qū)域進(jìn)行聚類操作并使用非極大值抑制剔除重復(fù)框后得到的結(jié)果，可見(jiàn)該方法能夠較好地完成目標(biāo)檢測(cè)任務(wù)。

圖4 候選框生成

4.4 目標(biāo)種類分類器

為了簡(jiǎn)化問(wèn)題并提高穩(wěn)定性，僅對(duì)站立的人進(jìn)行分類，而行人的特征與本文要求一致，因此，使用INIRIA INRIAPerson行人數(shù)據(jù)集作為訓(xùn)練樣本進(jìn)行訓(xùn)練。INRIAPerson數(shù)據(jù)集的訓(xùn)練集中包含614張含有行人的正樣本圖片和1 218張不含行人的負(fù)樣本圖片，圖片中人體大部分為站立姿勢(shì)且大于100個(gè)像素。

圖5為目標(biāo)種類分類器的訓(xùn)練過(guò)程。在經(jīng)過(guò)2 000批次的迭代訓(xùn)練后，網(wǎng)絡(luò)在INIRAPerson數(shù)據(jù)集上分類準(zhǔn)確率達(dá)到97.6 %。整個(gè)訓(xùn)練過(guò)程中損失函數(shù)變化如圖5(a)所示，分類準(zhǔn)確率變化如圖5(b)所示，發(fā)現(xiàn)，經(jīng)過(guò)1 500次迭代后，網(wǎng)絡(luò)已經(jīng)趨于穩(wěn)定。

4.5 人體姿態(tài)分類器

對(duì)圖3的每一種姿勢(shì)，均采集了1 200張圖像，不同的圖像間手張開的角度和拍攝角度均有一定的不同，并采集了2 000張其他不同的姿勢(shì)作為背景樣本。將1 200張圖像其中1 000張作為訓(xùn)練集，另200張作為測(cè)試集，送入一2層的全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，在訓(xùn)練前對(duì)所用樣本均進(jìn)行了去均值處理。經(jīng)過(guò)每批次100張圖片輸入，共400次迭代后，分類器的分類正確率達(dá)到了99.7 %，整個(gè)訓(xùn)練過(guò)程中分類準(zhǔn)確率與損失函數(shù)變化分別如圖5(c)和圖5(d)所示。

圖5 分類器訓(xùn)練結(jié)果

4.6 算法運(yùn)行效率分析

為了驗(yàn)證本文方法在嵌入式計(jì)算機(jī)上的實(shí)時(shí)性，對(duì)整個(gè)系統(tǒng)各個(gè)環(huán)節(jié)的運(yùn)算耗時(shí)進(jìn)行了統(tǒng)計(jì)，并與當(dāng)下流行的用于檢測(cè)任務(wù)的Faster R-CNN進(jìn)行了對(duì)比。對(duì)本文各算法部分在Odroid-XU4上處理一張大小為640×480的RGB圖像所花費(fèi)的時(shí)間統(tǒng)計(jì)，圖像穩(wěn)定為16.7 ms,前景信息提取為23.6 ms,目標(biāo)種類分類器為12.2 ms,人體姿態(tài)分類器為2.4 ms,單張圖片耗時(shí)總計(jì)為54.9 ms。

整個(gè)系統(tǒng)在Odroid-XU4上可以達(dá)到約20/s幀的處理速率。而Faster RCNN檢測(cè)算法由于在機(jī)載嵌入式計(jì)算機(jī)上缺乏GPU計(jì)算資源，處理一張圖片平均需要花費(fèi)19 s，處理速率十分低下。通過(guò)對(duì)比可見(jiàn)，相比目前的卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)算法如Faster RCNN等本方法在運(yùn)算速度上有很大優(yōu)勢(shì)，具有實(shí)際應(yīng)用價(jià)值。

5 結(jié) 論

設(shè)計(jì)了一種采用人體姿態(tài)信息完成無(wú)人機(jī)人機(jī)交互的方法。整個(gè)系統(tǒng)能夠在機(jī)載嵌入式計(jì)算機(jī)上實(shí)現(xiàn)實(shí)時(shí)性，大幅提高了無(wú)人機(jī)的自主智能程度。

參考文獻(xiàn):

[1] Fraundorfer F,Heng L,Honegger D,et al.Vision-based autonomous mapping and exploration using a quadrotor MAV[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems,IEEE,2012:4557-4564.

[2] Shen S,Michael N,Kumar V.Autonomous indoor 3D exploration with a micro-aerial vehicle[C]∥IEEE International Conference on Robotics and Automation,IEEE,2012:9-15.

[3] Krizhevsky A,Sutskever I,Hinton G E.ImageNet classification with deep convolutional neural networks[C]∥International Conference on Neural Information Processing Systems,Curran Associates Inc,2012:1097-1105.

[4] Everingham M,Gool L V,Williams C K I,et al.The pascal visual object classes (VOC) challenge[J].International Journal of Computer Vision,2010,88(2):303-338.

[5] 田淵棟.阿法狗圍棋系統(tǒng)的簡(jiǎn)要分析[J].自動(dòng)化學(xué)報(bào),2016(5):671-675.

[6] Forsyth D.Object detection with discriminatively trained part-based models[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2010,32(9):1627-1645.

[7] Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition,CVPR 2005,IEEE,2005:886-893.

[8] Girshick R,Donahue J,Darrell T,et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]∥Computer Vision and Pattern Recognition,IEEE,2014:580-587.

[9] Uijlings J R R,Sande K E,Gevers T,et al.Selective search for object recognition[J].International Journal of Computer Vision,2013,104(2):154-171.