劉文匯， 巢 淵， 唐寒冰， 徐 鵬

(江蘇理工學(xué)院，江蘇 常州 213000)

0 引言

當(dāng)前移動(dòng)機(jī)器人市場(chǎng)發(fā)展迅速，隨著移動(dòng)機(jī)器人被應(yīng)用于各個(gè)領(lǐng)域，給社會(huì)帶來(lái)極大便利的同時(shí)也不斷被擴(kuò)充更高級(jí)的任務(wù)功能。能夠?qū)崟r(shí)、準(zhǔn)確地檢測(cè)與跟蹤感興趣的目標(biāo)，是移動(dòng)機(jī)器人實(shí)現(xiàn)智能化的一個(gè)重要性能。到目前為止，移動(dòng)機(jī)器人的跟蹤技術(shù)主要有雷達(dá)跟蹤、視覺(jué)跟蹤和多傳感器融合跟蹤3種。其中，雷達(dá)跟蹤技術(shù)應(yīng)用最為廣泛，但雷達(dá)跟蹤難以判定被測(cè)物體類別和幾何形狀，難以在復(fù)雜場(chǎng)景中實(shí)現(xiàn)穩(wěn)定跟蹤，且雷達(dá)元件成本較高；多傳感器融合跟蹤可獲取特征豐富，是一種較為穩(wěn)定的跟蹤方法，但坐標(biāo)配準(zhǔn)難度較高，成本也較高；視覺(jué)跟蹤相較于其他技術(shù)，擁有對(duì)跟蹤物體類別更好的識(shí)別率，且視覺(jué)傳感器價(jià)格較低，但該技術(shù)涉及較大的計(jì)算量，限制了其在移動(dòng)機(jī)器人領(lǐng)域的應(yīng)用。近年來(lái)，隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，基于機(jī)器視覺(jué)的移動(dòng)機(jī)器人實(shí)時(shí)目標(biāo)檢測(cè)與跟蹤技術(shù)成為研究的熱點(diǎn)[1-2]。目標(biāo)檢測(cè)將目標(biāo)的分割和識(shí)別任務(wù)合二為一，又被稱為目標(biāo)提取。精確的目標(biāo)檢測(cè)決定了后續(xù)跟蹤系統(tǒng)的精度和效率[3]。目標(biāo)跟蹤是根據(jù)目標(biāo)的初始狀態(tài)，通過(guò)跟蹤算法對(duì)該目標(biāo)的空間軌跡進(jìn)行預(yù)測(cè)的過(guò)程。近年來(lái)，目標(biāo)跟蹤算法取得了一些實(shí)質(zhì)性的進(jìn)展。目前，基于視覺(jué)的目標(biāo)檢測(cè)與跟蹤方法的研究對(duì)移動(dòng)機(jī)器人、智能監(jiān)控、無(wú)人駕駛和現(xiàn)代化軍事等領(lǐng)域的發(fā)展起到了至關(guān)重要的作用[4]，其主要應(yīng)用如下：服務(wù)機(jī)器人，如完成重復(fù)檢驗(yàn)、衛(wèi)生清掃、核電廠作業(yè)、油漆噴涂等;智能監(jiān)控，如車輛檢測(cè)、車輛計(jì)數(shù)、行人識(shí)別、犯罪預(yù)防、老幼看護(hù)等;無(wú)人駕駛，如車道線檢測(cè)、自主導(dǎo)航、車輛測(cè)速、障礙物檢測(cè)與避讓等；現(xiàn)代化軍事，如地形識(shí)別、傷員搜救、目標(biāo)精確打擊、飛機(jī)跟蹤、排雷排爆等。

1 移動(dòng)機(jī)器人目標(biāo)檢測(cè)與跟蹤任務(wù)及難點(diǎn)

早期研究中的機(jī)器人視覺(jué)目標(biāo)跟蹤，通常通過(guò)目標(biāo)檢測(cè)算法定位并標(biāo)記目標(biāo)，以此控制機(jī)器人運(yùn)動(dòng)并將目標(biāo)保持在機(jī)器人視野中，即感興趣范圍內(nèi)。此類方法忽略了目標(biāo)本體的移動(dòng)及變化，因此魯棒性較差。在檢測(cè)到目標(biāo)后加入跟蹤算法，估計(jì)其位置，進(jìn)而控制機(jī)器人進(jìn)行運(yùn)動(dòng)跟蹤，則可一定程度上改善上述問(wèn)題。近年來(lái)，視覺(jué)目標(biāo)檢測(cè)與跟蹤算法成為移動(dòng)機(jī)器人相關(guān)技術(shù)中的研究熱點(diǎn)，并取得了一些進(jìn)展，但在實(shí)際應(yīng)用場(chǎng)景中實(shí)現(xiàn)移動(dòng)機(jī)器人快速魯棒跟蹤，仍是一個(gè)具有挑戰(zhàn)性的問(wèn)題。其難點(diǎn)主要在于光照變化、運(yùn)動(dòng)模糊、外觀變形、異物遮擋和實(shí)時(shí)性等。具體描述如下。

1) 光照變化。移動(dòng)機(jī)器人與其他跟蹤任務(wù)相比光源更不穩(wěn)定，拍攝位置變化易造成光源強(qiáng)度的變化，而光源強(qiáng)度則直接影響當(dāng)前幀的曝光程度。如圖1(a)所示[5]，曝光程度太高或太低都容易造成初始特征的丟失。

2) 運(yùn)動(dòng)模糊。如圖1(b)所示[6]，攝像頭運(yùn)動(dòng)過(guò)程中的抖動(dòng)或快速的移動(dòng)都有可能導(dǎo)致運(yùn)動(dòng)模糊，丟失目標(biāo)區(qū)域部分特征信息，這種現(xiàn)象在移動(dòng)機(jī)器人跟蹤過(guò)程中較常見。

3) 外觀變形。如圖1(c)所示[7]，移動(dòng)機(jī)器人跟隨目標(biāo)運(yùn)動(dòng)的過(guò)程中所跟蹤的目標(biāo)難免會(huì)有相對(duì)位置的變化，導(dǎo)致某些幀的目標(biāo)特征與初始幀的提取的特征有較大的角度、形狀甚至尺度上的差異，易造成丟失跟蹤目標(biāo)。

4) 異物遮擋。移動(dòng)機(jī)器人跟蹤的過(guò)程中，視野可能會(huì)被遮擋。目標(biāo)被完全遮擋的情況目前尚無(wú)有效的方法可解決，而部分遮擋，如圖1(d)所示[8]，遮擋物會(huì)造成跟蹤目標(biāo)外觀局部的缺失，導(dǎo)致目標(biāo)不完整、不易分辨，易造成跟蹤漂移。

圖 1 移動(dòng)機(jī)器人目標(biāo)檢測(cè)與跟蹤任務(wù)的難點(diǎn)Fig.1 Difficulties in target detection andtracking of mobile robot

5) 除了以上難點(diǎn)外，移動(dòng)機(jī)器人搭載的目標(biāo)檢測(cè)與跟蹤算法的實(shí)時(shí)性也是移動(dòng)機(jī)器人實(shí)時(shí)準(zhǔn)確執(zhí)行跟蹤任務(wù)的最重要因素。如文獻(xiàn)[9]改進(jìn)光流法設(shè)計(jì)了一套遠(yuǎn)距離運(yùn)動(dòng)車輛快速跟蹤與定位系統(tǒng)，但在應(yīng)對(duì)車速過(guò)快的情況時(shí)會(huì)產(chǎn)生跟蹤不穩(wěn)定的情況，算法的效率還存在改進(jìn)空間。文獻(xiàn)[10]基于深度學(xué)習(xí)框架和短周期核相關(guān)濾波(Kernelized Correlation Filters，KCF)目標(biāo)跟蹤算法實(shí)現(xiàn)無(wú)人機(jī)障礙物感知，檢測(cè)與跟蹤算法的實(shí)時(shí)性直接決定了無(wú)人機(jī)最終的飛行性能。

2 基于視覺(jué)的移動(dòng)目標(biāo)檢測(cè)與跟蹤方法框架

基于視覺(jué)的移動(dòng)目標(biāo)跟蹤方法主體框架如圖2所示。

圖 2 目標(biāo)跟蹤方法主體框架Fig.2 Main frame of target tracking method

移動(dòng)機(jī)器人的跟蹤任務(wù)中，目標(biāo)檢測(cè)是進(jìn)行目標(biāo)跟蹤的前提，也是部分目標(biāo)跟蹤中更新觀測(cè)模型的依據(jù)，因此，目標(biāo)檢測(cè)算法的速度將直接影響到整個(gè)框架的效率?；谝曈X(jué)的移動(dòng)目標(biāo)檢測(cè)與跟蹤方法的主要流程為：輸入第一幀圖像并通過(guò)目標(biāo)檢測(cè)算法給出初始目標(biāo)框；在下一幀圖像中生成候選框，通過(guò)運(yùn)動(dòng)模型確定候選區(qū)域；通過(guò)特征提取算法提取這些候選框的特征，并進(jìn)行外觀建模；根據(jù)觀測(cè)模型計(jì)算候選框的置信分?jǐn)?shù)，再判斷候選區(qū)域是否為目標(biāo)區(qū)域或?qū)Χ鄠€(gè)預(yù)測(cè)值進(jìn)行融合得到最優(yōu)的預(yù)測(cè)目標(biāo)；通過(guò)模型更新確定外觀模型和觀測(cè)模型的更新策略。移動(dòng)機(jī)器人通過(guò)以上步驟提供的目標(biāo)運(yùn)動(dòng)信息調(diào)整機(jī)器人姿態(tài)，將目標(biāo)穩(wěn)定在攝像頭視場(chǎng)中心區(qū)域。

目前主流的運(yùn)動(dòng)模型生成候選框的方法有概率采樣[11]、滑窗[12-13]、循環(huán)移位[14-15]3類；模型更新的方式主要有模板更新[16-17]和自適應(yīng)更新[18-19]2種；特征提取的方式通常分為人工標(biāo)定目標(biāo)和目標(biāo)檢測(cè)算法檢測(cè)目標(biāo)2種；觀測(cè)模型可分為生成式模型和判別式模型。基于生成式模型的跟蹤方法是通過(guò)一定的跟蹤策略估計(jì)運(yùn)動(dòng)目標(biāo)的位置[20-21]，而基于判別式模型的跟蹤方法則是通過(guò)不斷進(jìn)行目標(biāo)檢測(cè)來(lái)得到運(yùn)動(dòng)目標(biāo)位置[22-25]。

由上述框架可知，目標(biāo)檢測(cè)算法是實(shí)現(xiàn)移動(dòng)機(jī)器人目標(biāo)跟蹤任務(wù)的一個(gè)重要組成部分，主要用于初始化特征和跟蹤過(guò)程中的模型判別，而跟蹤算法則是在目標(biāo)檢測(cè)算法的基礎(chǔ)上，對(duì)目標(biāo)的狀態(tài)進(jìn)行連續(xù)估計(jì)的過(guò)程。因此，移動(dòng)機(jī)器人跟蹤任務(wù)依賴于目標(biāo)檢測(cè)算法的特征與跟蹤算法的模型。下文將基于機(jī)器視覺(jué)技術(shù)，從目標(biāo)檢測(cè)算法和跟蹤算法兩方面，進(jìn)行移動(dòng)機(jī)器人目標(biāo)檢測(cè)與跟蹤方法的比較、分析與總結(jié)。

3 目標(biāo)檢測(cè)算法

目標(biāo)檢測(cè)算法分為傳統(tǒng)目標(biāo)檢測(cè)算法、基于候選區(qū)域的目標(biāo)檢測(cè)算法、基于回歸的目標(biāo)檢測(cè)算法和基于增強(qiáng)學(xué)習(xí)的目標(biāo)檢測(cè)算法。本文將結(jié)合特征表達(dá)的類型和檢測(cè)步驟對(duì)4大類目標(biāo)檢測(cè)算法的優(yōu)、缺點(diǎn)進(jìn)行介紹和分析。

3.1 傳統(tǒng)目標(biāo)檢測(cè)算法

傳統(tǒng)目標(biāo)檢測(cè)算法有3個(gè)核心步驟：首先，采用滑動(dòng)窗口方式或圖像分割技術(shù)來(lái)生成大量的候選框;然后，對(duì)每一個(gè)候選框基于人為設(shè)計(jì)的特征提取圖像特征；最后，將這些特征傳遞給一個(gè)分類器用來(lái)判斷該候選區(qū)域的類別。圖3為傳統(tǒng)目標(biāo)檢測(cè)算法流程示意圖。

傳統(tǒng)目標(biāo)檢測(cè)算法主流的分類器有SVM(Support Vector Machines)[26]以及Adaboost和Random Forest[27]等集成分類器。對(duì)于不同的檢測(cè)對(duì)象，需要選擇對(duì)應(yīng)的圖像特征，常用的圖像特征有顏色特征、形狀特征、梯度特征和模式特征4種。

圖 3 傳統(tǒng)目標(biāo)檢測(cè)算法流程圖Fig.3 Flow chart of traditional target detection algorithms

其中，顏色特征主要包括RGB(Red,Green,Blue)，HSV(Hue Saturation Value)和Color Names 3種。RGB是最早的顏色模型，其優(yōu)點(diǎn)是能夠較為直觀地表達(dá)顏色[28-29]；HSV的優(yōu)點(diǎn)是不易受明度變化的影響[30-31]；Color Names將RGB顏色細(xì)化為11種基本顏色，從而進(jìn)一步提升其表達(dá)能力[32]。顏色特征統(tǒng)計(jì)了顏色信息，因此與其他視覺(jué)特征相比，其對(duì)光照和陰影的變化更敏感。但由于其忽略了目標(biāo)的結(jié)構(gòu)特性，因此顏色特征在形變和部分遮擋的情況下更加穩(wěn)定。所以在應(yīng)用中常將顏色特征與其他特征結(jié)合使用，如Color空間不變特征(Color-SIFT)[33]、HSV空間不變特征(HSV-SIFT)[34]、色調(diào)直方圖不變特征(Hue-SIFT)[35]等算法，在利用顏色特征描述目標(biāo)的同時(shí)，通過(guò)融合梯度特征適當(dāng)?shù)匾种破涔庹詹环€(wěn)定性。文獻(xiàn)[36]以相關(guān)濾波的跟蹤算法為基礎(chǔ)，融合HOG和Color Names特征用于訓(xùn)練一個(gè)一維尺度濾波器，該算法可適應(yīng)一定的尺度變化，提高了跟蹤器的魯棒性。

常見的形狀特征有Harris和FAST。Harris算法對(duì)圖像旋轉(zhuǎn)、光線變化、噪聲和視點(diǎn)變換不敏感，但計(jì)算復(fù)雜度較高，所以實(shí)時(shí)性較差[37]。FAST算法速度相對(duì)于Harris更快，但更易受噪聲影響[38]。由于這兩種算法對(duì)尺度變化較敏感，所以多應(yīng)用于相機(jī)位置固定的場(chǎng)合。如文獻(xiàn)[39-40]，將Harris與模式特征相結(jié)合對(duì)目標(biāo)的角點(diǎn)進(jìn)行檢測(cè)與定位，以平衡機(jī)器人伺服定位抓取中對(duì)定位精度和實(shí)時(shí)性的要求。

梯度特征是一種局部特征，其核心步驟是通過(guò)組合局部區(qū)域的梯度方向直方圖以描述目標(biāo)特征。SIFT(Scale Invariant Feature Transform)，HOG(Histogram of Oriented Gradient)和DPM(Deformable Part Model)是目前最具代表性的梯度特征。SIFT通過(guò)特征點(diǎn)附近的梯度信息對(duì)圖像中的目標(biāo)進(jìn)行描述[41]；HOG通過(guò)梯度的強(qiáng)度與方向?qū)D像中的目標(biāo)進(jìn)行描述[42];DPM算法是基于HOG特征的改進(jìn)算法，其最大改進(jìn)為訓(xùn)練不止一個(gè)濾波器對(duì)目標(biāo)的不同部分進(jìn)行描述，該算法的優(yōu)點(diǎn)是能更好地適應(yīng)動(dòng)態(tài)物體的變形，進(jìn)一步提高檢測(cè)精度[43]。梯度特征具有圖像縮放、旋轉(zhuǎn)、光照和仿射不變性等優(yōu)良性質(zhì)，目前已成為眾多車輛識(shí)別、行人識(shí)別算法中的重要組成部分。如文獻(xiàn)[44]算法通過(guò)目標(biāo)候選區(qū)域提取HOG特征得到相應(yīng)深度圖像的局部邊緣特征，并訓(xùn)練SVM分類器進(jìn)行分類，最終實(shí)現(xiàn)行人檢測(cè)。但梯度特征的描述子的維度較大，導(dǎo)致其計(jì)算成本也較大。梯度特征的改進(jìn)算法有PCA(SIFT)和Co HOG(Co-occurrence Histogram of Oriented Gradients)等。PCA-SIFT對(duì)梯度特征描述子通過(guò)主成分分析法進(jìn)行降維，以此來(lái)減少描述子的維度帶來(lái)的大量數(shù)據(jù)，提升了算法的速度[45]，Co HOG在HOG的基礎(chǔ)上引入了共生矩陣，更加細(xì)化地表達(dá)了圖像的形狀信息，進(jìn)一步提升了算法的精度[46]。

模式特征主要有紋理、粗糙度等特征，代表性的算法包括Gabor變換、LBP(Local Binary Pattern)和Haar等。Gabor變換的核心思想是對(duì)圖像通過(guò)Gabor濾波器進(jìn)行卷積以得到特征，其模擬了視覺(jué)感受野機(jī)制，能有效檢測(cè)對(duì)象局部的紋理變化特征[47]。LBP利用像素點(diǎn)與其周圍像素的信息進(jìn)行對(duì)比得到一種局部描述，因其較低的計(jì)算復(fù)雜度和旋轉(zhuǎn)不變性被廣泛使用[48]。Haar描述了線性、邊緣、中心點(diǎn)以及對(duì)角線等特征，其計(jì)算方式為將相鄰矩形區(qū)域的像素和相減，該差值體現(xiàn)了圖像的灰度變化情況[49]。模式特征用于描述與圖像或圖像區(qū)域?qū)?yīng)的表面屬性，所以對(duì)于光照變化更魯棒，但由于其只考慮到對(duì)象表面的特性，因此對(duì)遮擋敏感，常應(yīng)用于人臉檢測(cè)。代表性的VJ(Viola Jone)人臉檢測(cè)算法就是基于模式特征，其關(guān)鍵步驟為：首先基于Haar特征提取邊緣特征、線性特征、圓心環(huán)繞特征和特定方向特征，再使用Adaboost算法訓(xùn)練分類器，最后采用滑動(dòng)窗口進(jìn)行檢測(cè)[50]。

綜上所述，傳統(tǒng)特征表達(dá)總結(jié)如表1所示。

表1 傳統(tǒng)特征表達(dá)總結(jié)Table 1 Summary of traditional feature representation

傳統(tǒng)目標(biāo)檢測(cè)算法都不可避免地采用不同尺寸的滑窗遍歷整幅圖像，此類窮舉策略的缺點(diǎn)是產(chǎn)生冗余窗口較多，效率不高，易拉低算法整體的速度和性能。而傳統(tǒng)算法的準(zhǔn)確性依賴人為設(shè)計(jì)的特征表達(dá)，單一的特征各有其優(yōu)勢(shì)與局限性，而要做到對(duì)復(fù)雜圖像特征的精確描述，則需要融合多種特征，以上特點(diǎn)導(dǎo)致傳統(tǒng)的目標(biāo)檢測(cè)算法依賴經(jīng)驗(yàn)，泛化能力較差且工作量大。

3.2 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)[51-52]是最具代表性的基于深度學(xué)習(xí)的算法之一。LECUN等[53]在1989年構(gòu)建的LeNet首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于計(jì)算機(jī)視覺(jué)領(lǐng)域。HINTON等于2012年提出了AlexNet[54],也對(duì)計(jì)算機(jī)視覺(jué)領(lǐng)域產(chǎn)生了深遠(yuǎn)影響。近年來(lái)，國(guó)內(nèi)外學(xué)者對(duì)深度學(xué)習(xí)目標(biāo)檢測(cè)算法進(jìn)行了大量的研究和開發(fā)，除傳統(tǒng)目標(biāo)檢測(cè)算法之外，按照實(shí)現(xiàn)方式還有以下3種。

1) 基于候選區(qū)域的目標(biāo)檢測(cè)算法。最具代表性的有R-CNN(Regions with Convolutional Neural Network Features),Fast R-CNN以及Faster R-CNN。R-CNN的基本流程是：首先通過(guò)算法提取候選框，然后通過(guò)深度特征對(duì)候選框中的目標(biāo)進(jìn)行分類，接著對(duì)候選區(qū)域進(jìn)行位置回歸，最后定位目標(biāo)并輸出分類結(jié)果[55]。Fast R-CNN利用自適應(yīng)尺度池化優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，相較于R-CNN提高了準(zhǔn)確率[56]。

Faster R-CNN構(gòu)建區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network，RPN)代替了選擇性搜索方法，減少了算法的時(shí)間開銷[57]。文獻(xiàn)[58]基于Faster R-CNN提出了一種實(shí)時(shí)的車輛檢測(cè)方法，并引入多尺度訓(xùn)練和難負(fù)樣本挖掘策略，實(shí)驗(yàn)采集實(shí)際場(chǎng)景中的圖像進(jìn)行測(cè)試，結(jié)果精度和效率相較于傳統(tǒng)算法都取得了較大的進(jìn)步。總體來(lái)說(shuō)，基于候選區(qū)域的目標(biāo)檢測(cè)算法進(jìn)行圖像目標(biāo)檢測(cè)可以做到較為準(zhǔn)確的定位以及識(shí)別，不過(guò)由于識(shí)別過(guò)程中仍離不開反復(fù)選擇候選區(qū)域的步驟，所以效率存在瓶頸。文獻(xiàn)[59]對(duì)Faster R-CNN進(jìn)行改進(jìn)，提出了一種視覺(jué)感知方法，通過(guò)聚類算法劃分出圖像的關(guān)鍵區(qū)域，并利用優(yōu)化算法對(duì)不同區(qū)域的候選框進(jìn)行優(yōu)化，將其應(yīng)用于自主駕駛的對(duì)象檢測(cè)，在保證精度的同時(shí)也提升了檢測(cè)效率。

2) 基于回歸的目標(biāo)檢測(cè)算法。例如YOLO(You Only Look Once)系列算法和SSD(Single Shot Multibox Detector)。其中最先被提出的是YOLO算法[60]：預(yù)測(cè)時(shí)省略了通過(guò)滑窗選擇候選區(qū)域的步驟，直接將整張圖像輸入網(wǎng)絡(luò)中，通過(guò)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行一次前向傳播，在使用非極大值抑制后，直接輸出識(shí)別對(duì)象。SSD則引入多尺度的金字塔結(jié)構(gòu)特征層組融合不同卷積層的特征圖，對(duì)目標(biāo)進(jìn)行分類和定位，其特征表征能力更強(qiáng)，檢測(cè)精度更高[61]。原始的YOLO算法檢測(cè)精度不高，隨后誕生了YOLOv2,YOLOv3,YOLOv4,YOLOv5等一系列的改進(jìn)算法，目的是進(jìn)一步實(shí)現(xiàn)檢測(cè)精度與速度的平衡[62]。YOLO系列算法的優(yōu)點(diǎn)在于其出色的檢測(cè)效率，但正是由于省略了通過(guò)滑窗選擇候選區(qū)域的步驟，該類算法的精度低于基于候選區(qū)域的目標(biāo)檢測(cè)算法，且對(duì)畫面中的小目標(biāo)也更容易發(fā)生漏檢的情況。大量研究人員對(duì)其進(jìn)行改進(jìn)，通過(guò)數(shù)據(jù)增強(qiáng)、融合特征、引入殘差網(wǎng)絡(luò)、改變網(wǎng)絡(luò)參數(shù)等方式產(chǎn)生效果不錯(cuò)的變體，并將其應(yīng)用于多目標(biāo)檢測(cè)、車輛障礙檢測(cè)、遙感圖像檢測(cè)和目標(biāo)跟蹤等場(chǎng)景[63-66]。

3) 基于增強(qiáng)學(xué)習(xí)的目標(biāo)檢測(cè)算法。如Q-learning，該算法可以不斷地對(duì)候選區(qū)域邊框進(jìn)行調(diào)整，并增設(shè)一定的獎(jiǎng)勵(lì)機(jī)制判斷抓取框的大小變化以及上下左右移動(dòng)是否有效，再進(jìn)行識(shí)別并最后輸出結(jié)果，所以這種方法的優(yōu)點(diǎn)是場(chǎng)景適應(yīng)性很強(qiáng)而且靈活[67]。但由于要進(jìn)行主動(dòng)搜索和多次邊框的調(diào)整，所以計(jì)算較耗時(shí)，實(shí)時(shí)性較差，在實(shí)際應(yīng)用中較少見[68]。

3.3 各類目標(biāo)檢測(cè)算法特點(diǎn)

目標(biāo)檢測(cè)算法特點(diǎn)見表2。

表2 目標(biāo)檢測(cè)算法特點(diǎn)Table 2 Characteristics of target detection algorithms

如表2所示，上述目標(biāo)檢測(cè)算法各有優(yōu)劣。傳統(tǒng)的目標(biāo)檢測(cè)算法的優(yōu)點(diǎn)在于易實(shí)現(xiàn)，計(jì)算復(fù)雜度也較低；基于候選區(qū)域的目標(biāo)檢測(cè)算法精度高，但需要反復(fù)進(jìn)行候選區(qū)域的選擇，檢測(cè)速度難免受限制；基于回歸的目標(biāo)檢測(cè)算法速度雖快，但大小目標(biāo)同時(shí)存在時(shí)容易忽略小目標(biāo)從而影響檢測(cè)精度；基于增強(qiáng)學(xué)習(xí)的目標(biāo)檢測(cè)算法的特別之處在于能靈活調(diào)整候選框以適應(yīng)目標(biāo)的變化，但是精度和速度都略遜于另外兩種算法。綜合考慮移動(dòng)機(jī)器人目標(biāo)檢測(cè)與跟蹤任務(wù)的難點(diǎn)，如何探索更優(yōu)的特征以及有效地進(jìn)行特征融合，在保障速度的基礎(chǔ)上提高目標(biāo)檢測(cè)算法的檢測(cè)精度，是值得進(jìn)一步研究的內(nèi)容。

4 跟蹤算法

跟蹤算法可分為生成式和判別式兩種。生成式跟蹤算法多存在于傳統(tǒng)跟蹤算法中，其跟蹤過(guò)程中無(wú)檢測(cè)步驟；判別式跟蹤算法由于在跟蹤過(guò)程中增加了目標(biāo)檢測(cè)的步驟，取得了更好的效果，也逐漸成為主流的跟蹤算法。判別式跟蹤算法又可分為基于稀疏表示的跟蹤算法、基于相關(guān)濾波的跟蹤算法和基于深度學(xué)習(xí)的跟蹤算法。本文將按照時(shí)間順序概括4階段跟蹤算法的主要思想和一些典型跟蹤算法及其改進(jìn)算法。

4.1 傳統(tǒng)跟蹤算法

早期典型的目標(biāo)跟蹤算法主要有光流法、Meanshift和Camshift。光流法早在1950年被提出，SHI等于1994年首次將光流法應(yīng)用于目標(biāo)跟蹤[69],核心思想為：將當(dāng)前幀和下一幀的灰度進(jìn)行比較，以匹配當(dāng)前幀特征點(diǎn)在下一幀的位置。該算法基于兩個(gè)基本假設(shè)：1) 假設(shè)同一物體亮度恒定不變；2) 假設(shè)目標(biāo)只有小距離運(yùn)動(dòng)。其優(yōu)點(diǎn)在于無(wú)需了解場(chǎng)景信息就能準(zhǔn)確地檢測(cè)識(shí)別運(yùn)動(dòng)目標(biāo)位置;缺點(diǎn)是在實(shí)際應(yīng)用中較難滿足其假設(shè)的兩大條件。Meanshift算法[70]的主要步驟是：首先通過(guò)目標(biāo)檢測(cè)算法從初始幀中分離目標(biāo)物體，提取其輪廓，然后收集初始幀中目標(biāo)物體的信息，反向投影該信息得到反向投影圖，再搜索出與目標(biāo)模板最相似的區(qū)域并定位，該算法實(shí)現(xiàn)了運(yùn)動(dòng)目標(biāo)的跟蹤定位。但對(duì)快速運(yùn)動(dòng)的目標(biāo)，還難以實(shí)現(xiàn)準(zhǔn)確跟蹤或會(huì)出現(xiàn)目標(biāo)丟失。Camshift算法[71]則將Meanshift算法從圖像擴(kuò)展到連續(xù)圖像序列，且將特征描述方式從RGB模型變成HSV模型，能一定程度上解決目標(biāo)變形和遮擋的問(wèn)題。文獻(xiàn)[72]將Meanshift算法與Kalman濾波器相結(jié)合，利用位置和速度信息預(yù)測(cè)跟蹤路徑，有效減少了Meanshift算法出現(xiàn)的目標(biāo)丟失現(xiàn)象。由于此類跟蹤算法對(duì)系統(tǒng)資源要求不高，且時(shí)間復(fù)雜度低，所以在移動(dòng)機(jī)器人目標(biāo)跟蹤領(lǐng)域的應(yīng)用仍較活躍[73-77]。

4.2 基于稀疏表示的跟蹤算法

基于稀疏表示的跟蹤算法開創(chuàng)性地通過(guò)一組過(guò)完備字典實(shí)現(xiàn)了圖像信號(hào)的線性表示，再對(duì)得到的線性系數(shù)進(jìn)行稀疏性約束，使其系數(shù)向量的分量多數(shù)為0,其核心思想是將跟蹤問(wèn)題轉(zhuǎn)變成稀疏逼近問(wèn)題。2009年，CHANG等提出L1Tracker[78]，通過(guò)目標(biāo)模板和小模板稀疏表示候選區(qū)域，并實(shí)時(shí)更新目標(biāo)模板，通過(guò)L1正則化的最小二乘法解決稀疏逼近問(wèn)題，最終與目標(biāo)模板誤差最小的候選區(qū)域被認(rèn)定為跟蹤結(jié)果。由于L1Tracker算法中小模板的使用，該算法在目標(biāo)被部分遮擋的情況下也能取得較高的精度，而背景的雜斑問(wèn)題也通過(guò)對(duì)稀疏系數(shù)的非負(fù)約束得到了一定程度的解決。L1Tracker算法魯棒性好，但L1正則化復(fù)雜度高，導(dǎo)致其實(shí)時(shí)性較差。后人的研究也致力于在保證L1Tracker精度的基礎(chǔ)上，提升其運(yùn)行效率。如文獻(xiàn)[79]運(yùn)用最小誤差有界重采樣使L1Tracker運(yùn)行速度加快了4～5倍；文獻(xiàn)[80]引入了Haar-like特征及特征塊的思想，將正負(fù)小模板由單個(gè)像素改為像素塊，減少了稀疏矩陣的計(jì)算量。

4.3 基于相關(guān)濾波的跟蹤算法

在信號(hào)處理領(lǐng)域，常用相關(guān)濾波計(jì)算兩個(gè)信號(hào)之間的相似度。2010年，BOLME等[81]嘗試將相關(guān)濾波方法引入到跟蹤算法中，使計(jì)算從時(shí)域轉(zhuǎn)換到頻域，減少了運(yùn)算量，并提出了MOSSE(Minimum Output Sum of Squared Error)算法。其基本思想是：設(shè)置一個(gè)濾波模板，通過(guò)卷積計(jì)算后續(xù)圖像與濾波模板的相似程度，預(yù)測(cè)目標(biāo)即是相似度最大的區(qū)域。但由于該算法僅采用灰度特征，其跟蹤準(zhǔn)確率并不高。繼MOSSE之后，涌現(xiàn)出了大量的基于相關(guān)濾波的方法。如KCF(Kernelized Correlation Filters)算法[82]，通過(guò)循環(huán)矩陣增加負(fù)樣本數(shù)量，優(yōu)化了分類器；通過(guò)將高斯核加入嶺回歸中，簡(jiǎn)化了算法，最終得到了更高的精度和效率。在KCF的基礎(chǔ)上又發(fā)展出了一系列的算法。如：C-COT(Continuous Convolution Operators Tracker)[83]，采用VGG-net和立方插值優(yōu)化了特征表達(dá)；采用Hessian矩陣將目標(biāo)定位精度提升到亞像素級(jí)別。ECO(Efficient Convolution Operators)算法[84]以C-COT為基礎(chǔ)，利用空間正則化方法或者掩膜矩陣方法處理邊界效應(yīng)，由于采用更大的目標(biāo)搜索范圍，提升了速度，對(duì)包含快速移動(dòng)目標(biāo)的場(chǎng)景的應(yīng)對(duì)能力更強(qiáng)。

4.4 基于深度學(xué)習(xí)的跟蹤算法

由于在線的目標(biāo)跟蹤缺少可供神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的大量數(shù)據(jù)，所以基于深度學(xué)習(xí)的跟蹤算法在早些年的發(fā)展較緩慢。得益于遷移學(xué)習(xí)的研究和發(fā)展，近年來(lái)，專家學(xué)者嘗試把大型數(shù)據(jù)集上預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于目標(biāo)跟蹤任務(wù)。WANG等[85]在2013年提出了DLT(Deep Learning Tracker)，DLT是首個(gè)應(yīng)用深度網(wǎng)絡(luò)模型的目標(biāo)跟蹤算法，其采用遷移學(xué)習(xí)的思想，跟蹤時(shí)通過(guò)有限的樣本對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào)，結(jié)合粒子濾波和基于深度學(xué)習(xí)的分類器完成跟蹤，深度特征對(duì)目標(biāo)運(yùn)動(dòng)過(guò)程中發(fā)生的形變和部分遮擋不敏感，但在多目標(biāo)且部分重疊的情況下效果不佳；文獻(xiàn)[86]對(duì)DLT進(jìn)行了改進(jìn)，在目標(biāo)跟蹤期間，從跟蹤結(jié)果和上下文信息中收集在線訓(xùn)練樣本，訓(xùn)練樣本中包含不同的模糊內(nèi)核，并在粒子濾波框架中估計(jì)對(duì)象的運(yùn)動(dòng)參數(shù)，該算法在模糊的圖像中也能魯棒地跟蹤目標(biāo)，提升了算法的跟蹤效果；文獻(xiàn)[87]提出TOD(Tracking Object based on Detector of YOLOv3)算法，該算法先用YOLOv3提取目標(biāo)特征得到候選框，再結(jié)合LBP特征和顏色直方圖搜索目標(biāo)鄰域?qū)崿F(xiàn)跟蹤，該算法利用了深度特征的優(yōu)勢(shì)，取得了較好的性能。

深度學(xué)習(xí)目標(biāo)跟蹤算法發(fā)展至今,已不滿足于僅采用深度特征進(jìn)行分類，而是將深度網(wǎng)絡(luò)加入到跟蹤過(guò)程中模擬相關(guān)濾波過(guò)程。此類深度學(xué)習(xí)目標(biāo)跟蹤算法一般采用孿生網(wǎng)絡(luò)結(jié)構(gòu)，代表算法包括：1) SiamFC(Fully-Convolutional Siamese Networks)[88]，2016年SiamFC首次將孿生網(wǎng)絡(luò)結(jié)構(gòu)運(yùn)用于目標(biāo)跟蹤領(lǐng)域，利用孿生網(wǎng)絡(luò)學(xué)習(xí)一個(gè)函數(shù)，該函數(shù)用來(lái)計(jì)算第一幀目標(biāo)和后面所有幀采樣的匹配度，將匹配度最高的位置視為目標(biāo)位置，從而將視覺(jué)跟蹤問(wèn)題轉(zhuǎn)化為一個(gè)相似性判定的問(wèn)題。且由于缺少網(wǎng)絡(luò)更新策略，在顯卡加速的條件下可以實(shí)現(xiàn)很快的跟蹤速度，但缺點(diǎn)是丟失目標(biāo)后很難找回。2) SiamRPN(Region Proposal Network Siamese Networks)[89]，SiamRPN在SiamFC算法的跟蹤框架的基礎(chǔ)上引入了Faster RCNN中的RPN(Region Proposal Network)和bounding box regression模塊，利用RPN實(shí)現(xiàn)前景和背景快速判別，而bounding box regression模塊使跟蹤框更加靈活準(zhǔn)確。

4.5 各類跟蹤算法特點(diǎn)

現(xiàn)階段各類跟蹤算法在特征提取、算法結(jié)構(gòu)以及模型更新等方面都進(jìn)行大量的研究和改進(jìn)，使得跟蹤算法的性能得到大幅提升，典型跟蹤算法總結(jié)見表3。

表3 跟蹤算法特點(diǎn)總結(jié)Table 3 Summary of characteristics of tracking algorithms

然而，這些算法在顯著改善相應(yīng)問(wèn)題的同時(shí)，也帶來(lái)一些新情況，如算法復(fù)雜度增大、運(yùn)行速度下降，對(duì)計(jì)算能力要求越來(lái)越高等。如何在移動(dòng)機(jī)器人的應(yīng)用場(chǎng)景中穩(wěn)定搭載現(xiàn)有的跟蹤算法并避免這些問(wèn)題仍需進(jìn)一步研究。

5 總結(jié)

基于視覺(jué)的目標(biāo)檢測(cè)與跟蹤方法在移動(dòng)機(jī)器人技術(shù)研究與發(fā)展中有著重要的研究意義與應(yīng)用價(jià)值。本文對(duì)基于視覺(jué)的目標(biāo)檢測(cè)與跟蹤算法進(jìn)行了對(duì)比分析與總結(jié)?？梢钥闯觯瑢?duì)基于視覺(jué)的目標(biāo)檢測(cè)與跟蹤方法的研究已取得很大的進(jìn)展，但在移動(dòng)機(jī)器人實(shí)際應(yīng)用場(chǎng)景中，在算法特征選擇、網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化與更新策略等方面仍有進(jìn)一步研究的空間。具體描述如下。

1) 針對(duì)運(yùn)動(dòng)場(chǎng)景中單一特征難以對(duì)目標(biāo)和背景可靠建模的問(wèn)題，可從特征選擇的角度進(jìn)行改進(jìn)：如何在避免特征冗余的前提下將互補(bǔ)特征進(jìn)行融合、如何利用高效的檢測(cè)器快速獲取適合跟蹤任務(wù)的深度特征、如何將深度特征與傳統(tǒng)特征融合運(yùn)用等都是值得研究的方向。

2) 針對(duì)深度學(xué)習(xí)方法計(jì)算成本高等問(wèn)題，可從網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化的角度進(jìn)行改進(jìn)。如提出有效的網(wǎng)絡(luò)結(jié)構(gòu)壓縮方法，優(yōu)化深度學(xué)習(xí)方法的算法結(jié)構(gòu)以降低計(jì)算成本等。

3) 針對(duì)移動(dòng)機(jī)器人跟蹤中被跟蹤物體先驗(yàn)信息較少且物體易發(fā)生形變等問(wèn)題，可從模型更新策略的角度開展研究，開發(fā)出更優(yōu)秀的模型更新機(jī)制，使算法速度和精度都得以提高。