劉吉偉，魏鴻磊，裴起潮，邢利然

（1. 大連工業(yè)大學(xué) 機(jī)械工程與自動(dòng)化學(xué)院，遼寧 大連 116034; 2. 華北理工大學(xué) 機(jī)械學(xué)院，河北 唐山 063210）

隨著生活水平的提高，人們對(duì)海參等海珍品的需求量越來(lái)越大。底播養(yǎng)殖是海參的主要養(yǎng)殖方式，即將海參苗播撒在海底進(jìn)行養(yǎng)殖，待長(zhǎng)成后再進(jìn)行捕撈。由于海參無(wú)法采用拖網(wǎng)捕撈，主要以人工下潛作業(yè)的方式采捕，勞動(dòng)強(qiáng)度大、產(chǎn)量低，養(yǎng)殖企業(yè)迫切需要自動(dòng)化的裝備以替代人工采捕[1]。目前水下機(jī)器人廣泛應(yīng)用于水下檢測(cè)、識(shí)別等海洋活動(dòng)中[2-4]，應(yīng)用帶有機(jī)器視覺的水下機(jī)器人進(jìn)行海參采捕也是可行的方式，但由于水下光照、懸浮物、水對(duì)光線的吸收和散射等等原因，水下圖像通常對(duì)比度低，質(zhì)量差，因此應(yīng)用機(jī)器視覺技術(shù)對(duì)海參目標(biāo)進(jìn)行識(shí)別和跟蹤抓捕非常困難。

目前針對(duì)目標(biāo)跟蹤問(wèn)題，已經(jīng)提出了許多算法，主要分為生成式跟蹤算法和判別式跟蹤算法兩類。生成式跟蹤算法通過(guò)搜索與目標(biāo)外觀模型最相似的區(qū)域以實(shí)現(xiàn)跟蹤。判別式跟蹤算法將目標(biāo)跟蹤看作二值分類問(wèn)題，通過(guò)對(duì)目標(biāo)進(jìn)行機(jī)器學(xué)習(xí)生成的分類器將視場(chǎng)中的目標(biāo)和背景區(qū)分開，分類器置信度最大的位置就是目標(biāo)位置?？紤]到水下特殊的光學(xué)環(huán)境，判別式跟蹤算法不需要生成準(zhǔn)確的目標(biāo)模型特征，因此更有優(yōu)勢(shì)。判別式算法中的相關(guān)濾波跟蹤算法由于速度快、精度高，近年來(lái)成為目標(biāo)跟蹤領(lǐng)域的研究熱點(diǎn)[5-19]。David S.Bolme等[6]首先將相關(guān)濾波方法應(yīng)用到視覺跟蹤領(lǐng)域，提出平方輸出誤差總和最小(MOSSE)的相關(guān)濾波器的追蹤方法。Henriques等[7]利用對(duì)單張目標(biāo)圖像循環(huán)移位的方法進(jìn)行密集采樣，并用核嶺回歸分析方法訓(xùn)練濾波器，即CSK濾波器，分類器的訓(xùn)練和檢測(cè)都利用快速傅里葉變換轉(zhuǎn)換到頻域?qū)崿F(xiàn)，追蹤速度很快。在CSK基礎(chǔ)上，Henriques等[8]提出了核相關(guān)濾波方法(KCF)，引入了梯度方向直方圖(HOG)特征,有效提升了算法性能。楊德東等[9]在KCF的基礎(chǔ)上，引入空間正則化和在線SVM分類器重定位組件，以解決KCF跟蹤器在跟蹤過(guò)程中目標(biāo)因嚴(yán)重遮擋、相似目標(biāo)干擾和移出視野等因素而造成的跟蹤失敗問(wèn)題。Zhang等[10]提出了STC方法，利用了置信圖和快速傅里葉變換減少了圖像中目標(biāo)區(qū)域在圖像模糊時(shí)對(duì)目標(biāo)識(shí)別與定位的影響，提高了目標(biāo)定位的準(zhǔn)確度和追蹤效率。張雷等[11]通過(guò)對(duì)正則化最小二乘分類器學(xué)習(xí)獲得位置和尺度核相關(guān)濾波器，并通過(guò)尋找位置和尺度核相關(guān)濾波器輸出響應(yīng)的最大值實(shí)現(xiàn)目標(biāo)位置和尺度的檢測(cè)。段偉偉等[12]提出一種分塊核化相關(guān)濾波跟蹤算法，根據(jù)目標(biāo)外觀特性對(duì)目標(biāo)進(jìn)行子塊劃分，單獨(dú)跟蹤每個(gè)目標(biāo)子塊，并根據(jù)子塊的跟蹤結(jié)果確定整體的位置信息。邢運(yùn)龍等[13]提出了基于相位特征的高斯核相關(guān)算子增強(qiáng)算法對(duì)光照強(qiáng)度變化的適應(yīng)能力，并融合kalman濾波器提高系統(tǒng)在目標(biāo)遮擋時(shí)的準(zhǔn)確性。

大多數(shù)的追蹤方法，如MOSSE、CSK、KCF等都僅限于檢測(cè)目標(biāo)的移動(dòng)，在檢測(cè)目標(biāo)尺度變化時(shí)，追蹤目標(biāo)的效果不好。雖然有少數(shù)的跟蹤算法可以檢測(cè)目標(biāo)尺度變化[14-16]，但是運(yùn)行速度較慢，不能實(shí)現(xiàn)實(shí)時(shí)追蹤要求。本文為實(shí)現(xiàn)利用水下機(jī)器人進(jìn)行海參采捕的要求，在KCF算法的基礎(chǔ)上，提出一種能夠適應(yīng)大尺度變化的海參目標(biāo)跟蹤算法，主要思想是通過(guò)跟蹤兩個(gè)頭部位置計(jì)算出目標(biāo)海參的中心位置，并進(jìn)行尺度估計(jì)。實(shí)驗(yàn)表明本文提出的算法可以有效地提高跟蹤的準(zhǔn)確性和效率。

1 KCF跟蹤方法

KCF算法(Kernel correlation filters)通過(guò)核化嶺回歸分析方法解決目標(biāo)追蹤問(wèn)題。在相關(guān)濾波方法的基礎(chǔ)上，利用基準(zhǔn)樣本的循環(huán)位移方法構(gòu)造訓(xùn)練集訓(xùn)練分類器，而且在訓(xùn)練和檢測(cè)時(shí)利用快速傅里葉變換將耗時(shí)的矩陣運(yùn)算轉(zhuǎn)換到頻域求解，顯著提高了跟蹤精度和效率。

1.1 循環(huán)矩陣

按圖1所示方法，將 的基礎(chǔ)向量 循環(huán)移位可以得到 的循環(huán)矩陣 ，即

1×n x n×n C(x)

圖 1 循環(huán)矩陣Fig. 1 Illustration of a circulant matrix

循環(huán)矩陣可以通過(guò)傅里葉變換對(duì)角化：

式中：x? 是 基礎(chǔ)向量的離散傅里葉變換；H 表示矩陣的共軛；F 是離散傅里葉變換矩陣(DFT)，該矩陣的性質(zhì)為

1.2 訓(xùn)練樣本的建立

在視頻第一幀圖像中，在給出的目標(biāo)位置選取大小為 M ×N 的 圖像塊 x 作為基準(zhǔn)輸入樣本，利用式(3)計(jì)算得到的相同大小高斯響應(yīng)圖像作為基準(zhǔn)輸出樣本 y，如圖2所示。

把 ( x , y) 所 有循環(huán)移位得到的圖像塊 ( xi,yi) 作為訓(xùn)練樣本，如圖3所示。

圖 2 基礎(chǔ)輸出樣本Fig. 2 Basic output sample

圖 3 利用基礎(chǔ)樣本的循環(huán)移位方法示例Fig. 3 Examples depicting the cyclic shifts of a base sample

1.3 跟蹤算法

KCF算法的基本流程分為離線訓(xùn)練和在線檢測(cè)兩步。在訓(xùn)練時(shí)，以初始幀中給出的目標(biāo)圖像為輸入信息，對(duì)應(yīng)的高斯響應(yīng)為輸出信息，利用離散傅里葉變換轉(zhuǎn)換到頻域求解濾波器。在線跟蹤檢測(cè)時(shí)，用濾波器對(duì)包含目標(biāo)的圖像進(jìn)行濾波可得到高斯型的響應(yīng)面。響應(yīng)面最大的位置就是目標(biāo)位置。KCF算法的基本流程如圖4所示。

圖 4 KCF算法的基本流程Fig. 4 Schematic representation of the KCF method

離線訓(xùn)練的關(guān)鍵是求解分類器 f ( z)=wTz，使得在輸入樣本 xi基 礎(chǔ)上計(jì)算得到的 f ( xi) 與輸出樣本 yi的均方差最∑小 ,即 求解式(4)所示目標(biāo)函數(shù)：

式中 λ 為控制過(guò)擬合的正則化系數(shù)。式(4)存在閉式解：

式中 X 和 Y 分別是由輸入樣本 xi和 輸出樣本yi組成的循環(huán)矩陣。令

式 中 K =XXT， 則 分 類 問(wèn) 題 由 求 解 w 轉(zhuǎn) 變 為 求 解對(duì)偶解 α，即

利用核技巧，即采用映射函數(shù) x → φ (x′)，以及用核函數(shù)代替內(nèi)積 κ ( u ,v)→ φ (u)φ(v)，可在不顯式給出映射函數(shù) φ ( ·) 的 情況下，將訓(xùn)練樣本 x 映射到高維特征空間 x′，從而將線性分類問(wèn)題推廣為非線性分類問(wèn)題。則式(6)中 Kij=φT(xi)φ(xj)=κ(xi,xj)，即 K 轉(zhuǎn)化為核矩陣，可以證明當(dāng) κ 采用高斯核函數(shù)時(shí) K 是循環(huán)矩陣,即 K =C(κ(x,x))。應(yīng)用循環(huán)矩陣的性質(zhì)即式(1)和式(2)可將式(6)對(duì)角化得到

式中x 和 y 分別是組成 X 和 Y 的基礎(chǔ)向量。κ?(x,x′)為高斯核函數(shù)的傅里葉變換，按式(9)計(jì)算：

式中： ⊙ 表示兩向量間對(duì)應(yīng)元素乘運(yùn)算；符號(hào) ? 表示復(fù)共軛。

利用核技巧，對(duì)新輸入的圖像塊 z，分類器的響應(yīng)為

應(yīng)用循環(huán)矩陣的性質(zhì)，即式(1)和式(2)，式(10)可進(jìn)一步轉(zhuǎn)換到頻域計(jì)算：

在響應(yīng) f 中定位極大值位置即為目標(biāo)位置。式(11)中， α ? 利 用 式(8)進(jìn) 行 計(jì) 算， κ? ( x,z) 按 式(9)計(jì)算。在實(shí)際跟蹤過(guò)程中，僅在第一幀圖像中以式(8)計(jì)算濾波器 α?，后續(xù)幀按式(12)在線更新濾波器模型：

為適應(yīng)目標(biāo)的變化，對(duì)目標(biāo)模型也需要在線更新：

2 改進(jìn)算法

在海參抓取過(guò)程中機(jī)器人相對(duì)目標(biāo)位置不斷變化，導(dǎo)致目標(biāo)尺度發(fā)生較大變化，直接應(yīng)用

KCF算法跟蹤精度將大幅下降，不能滿足任務(wù)要求。對(duì)KCF算法進(jìn)行改進(jìn)，分別對(duì)兩個(gè)頭部位置進(jìn)行局部跟蹤，并利用兩個(gè)頭部之間的距離變化估計(jì)目標(biāo)尺度，同時(shí)計(jì)算出目標(biāo)的準(zhǔn)確位置。

2.1 海參頭部定位

海參在攝像機(jī)中顯示的姿態(tài)可能有如圖5所示的3種情況，不能簡(jiǎn)單地根據(jù)給定的目標(biāo)中心位置確定兩頭部位置。將目標(biāo)外包框等分成3×3共9個(gè)子圖像，標(biāo)記為 xij， 其中 i = 1,2,3 和 j = 1,2,3分別表示圖像塊的行號(hào)和列號(hào)。由于海參各部分的顏色基本相同，且不論海參處于何種姿態(tài)，中心塊 x22都是海參的中部，因此可通過(guò)周圍塊與中心塊的灰度偏差確定頭部位置。兩個(gè)頭部位置xA和 xB的可能組合有以下種情況(見圖5)：

圖 5 海參目標(biāo)選點(diǎn)原理圖Fig. 5 The target selection principle of a sea cucumber

按式(14)計(jì)算各圖像塊組合與中心塊的像素偏差，取偏差最小的組合為跟蹤目標(biāo)。

式中符號(hào) ‖·‖ 表示對(duì)應(yīng)圖像塊像素灰度值之差的2-范數(shù)。

2.2 尺度和位置估計(jì)方法

由初始幀確定海參頭部位置后開始跟蹤，將第 t 幀中兩圖像塊中心分別記為 pt和 pt，如圖6

A B所示。

圖 6 海參尺度和位置估計(jì)示意Fig. 6 Schematic representation of the scale and location estimation for a sea cucumber

式中：上標(biāo)“1”代表第1幀，上標(biāo)t代表第t幀。

如圖7(a)所示，目標(biāo)尺寸變化大時(shí)KCF算法不能估計(jì)目標(biāo)尺度，跟蹤效果明顯不好；如圖7(b)所示，改進(jìn)算法則可以準(zhǔn)確跟蹤目標(biāo)海參的位置并正確檢測(cè)其尺度。

圖 7 追蹤效果的比較Fig. 7 Comparison of the tracking results

2.3 改進(jìn)算法流程

改進(jìn)算法流程分為頭部定位模塊、訓(xùn)練模塊、檢測(cè)模塊3個(gè)模塊，如算法1所示。在頭部定位模塊中，首先將海參目標(biāo)圖像分塊，然后計(jì)算各塊與中心塊像素灰度值的距離(即2-范數(shù))，選取距離最小的兩塊作為目標(biāo)；在訓(xùn)練模塊中，分別用KCF方法計(jì)算兩塊的濾波器；在檢測(cè)模塊中，分別用KCF方法計(jì)算兩塊的位置,然后計(jì)算目標(biāo)中心和尺度因子。

圖 8 5種算法的定性比較Fig. 8 Qualitative evaluation of the five algorithms

3 實(shí)試驗(yàn)結(jié)果分析

在處理器為Intel Core i5-3317U CPU，主頻1.70 GHz，內(nèi)存為4 GB RAM的筆記本上進(jìn)行跟蹤實(shí)驗(yàn)，采用MATLABR2014a軟件編程。使用本文算法和4種性能優(yōu)秀的相關(guān)濾波算法KCF[8]、CSK[7]、STC[10]、DSST[9]進(jìn)行對(duì)比追蹤測(cè)試，每種算法均使用作者提供的源代碼和預(yù)設(shè)參數(shù)。實(shí)驗(yàn)所用視頻為在海參養(yǎng)殖水域拍攝的7個(gè)水下監(jiān)控視頻具體參數(shù)如表1所示。

表 1 視頻參數(shù)Table 1 Video parameters

3.1 定性分析

5種對(duì)比算法中只有本文算法和DSST算法具有尺度估計(jì)環(huán)節(jié)，另外3種算法KCF、CSK和STC均采用固定尺度跟蹤。圖8中7組視頻的共同特點(diǎn)是：目標(biāo)尺度變化大，且由于水下特殊的成像環(huán)境導(dǎo)致圖像質(zhì)量較差。從跟蹤結(jié)果可以看出：KCF、CSK和STC 3種算法追蹤效果較差，而本文算法和DSST算法跟蹤效果較好，可見對(duì)于尺度變化大的應(yīng)用來(lái)說(shuō)，尺度估計(jì)環(huán)節(jié)非常重要。圖8中視頻1～7代表7組視頻系列實(shí)驗(yàn)比較結(jié)果。

3.2 定量分析

為了評(píng)測(cè)本文跟蹤算法的性能，采用了本領(lǐng)域廣泛應(yīng)用的每秒運(yùn)行幀數(shù)、距離精度和成功率3種評(píng)測(cè)指標(biāo)[5]。

1)跟蹤速度

通過(guò)每秒跟蹤幀數(shù)可以對(duì)比跟蹤算法的運(yùn)行速度。表2給出了5種算法的運(yùn)算速度，其中下劃線標(biāo)出了最大的速度值。可見，在7個(gè)視頻中，本文算法有5個(gè)視頻跟蹤速度最快，平均達(dá)到了111.44 f/s，較排第二位的STC算法高出了33.61 f/s。經(jīng)分析，本文算法速度更快的原因在于：本文算法只取兩個(gè)局部圖像分別進(jìn)行跟蹤，計(jì)算量明顯小于其他整體跟蹤算法。DSST算法跟蹤速度最慢，僅為3.84 f/s，原因是其尺度估計(jì)環(huán)節(jié)非常耗時(shí)。

表 2 平均每秒運(yùn)行幀數(shù)Table 2 The average operation frames f/s

2)距離精度

衡量跟蹤中心準(zhǔn)確性的指標(biāo)是距離精度，即追蹤到目標(biāo)的中心偏離實(shí)際位置的距離 d 小于預(yù)定閥值 d0的 幀數(shù)與視頻總幀數(shù) n 的比值，即

圖9是綜合精確度曲線，表示隨著閾值 d0從0像素到50像素遞增時(shí)算出的距離精度曲線?？梢姳疚乃惴ǜ欀行木让黠@好于其他算法。

圖 9 在7個(gè)序列上的綜合精確度曲線Fig. 9 Precision plot over all the seven sequences

表3是閾值 d0=20 像素時(shí)各算法的精度值，其中最后一行是各算法在所有視頻上按幀數(shù)的加權(quán)平均值。從表3可見，本文算法在所有視頻上平均精確度達(dá)到了90.7%，較排名第2位的DSST算法高出了27.6%。其原因在于：本文算法在選取的兩個(gè)頭部有比較明顯的突起等特征，更容易實(shí)現(xiàn)準(zhǔn)確跟蹤，而其他算法直接以中心為跟蹤目標(biāo)。由于各算法為處理振鈴效應(yīng)對(duì)邊界進(jìn)行了平滑處理，導(dǎo)致邊界部位的突起特征弱化。

表 3 平均精度Table 3 Average precision

3)跟蹤成功率

成功率SR為重疊率s大于選定閥值 s0的幀數(shù)與總視頻幀數(shù)的比值，即

式中：Rr為人工標(biāo)定目標(biāo)框內(nèi)的像素總數(shù)，Rt為算法追蹤到目標(biāo)框內(nèi)像素總數(shù)。式(19)中分子為兩框重合區(qū)域內(nèi)像素?cái)?shù)量，分母是兩框合并后總區(qū)域內(nèi)像素?cái)?shù)量。

圖10是在7個(gè)視頻上的綜合成功率曲線，表示隨著重合率閾值 s0從0到1之間遞增時(shí)，各算法的綜合成功率相應(yīng)的變化。可見，本文算法略好于DSST算法，但遠(yuǎn)好于其他3種算法。其原因在于：DSST和本文算法都能根據(jù)目標(biāo)大小調(diào)整圖像框大小，而其他算法采用固定圖像框，因此重疊率受目標(biāo)尺度變化影響較大。

圖 10 在7個(gè)序列上的綜合成功率曲線Fig. 10 Success plots over all the seven sequences

表4是當(dāng)閾值 s0選定為0.5時(shí)各算法的成功率，其中最后一行是各算法在所有視頻上按幀數(shù)的加權(quán)平均值。本文算法在所有視頻上均取得了最高值，比DSST算法高4.4%，比排在第3位的STC算法高47.5%。雖然DSST算法跟蹤成功率與本文算法接近，但由表2可見該算法速度很慢，在實(shí)時(shí)性要求較高的水下海參采捕中難以應(yīng)用。

表 4 平均成功率Table 4 Average success rate

4 結(jié)束語(yǔ)

針對(duì)跟蹤水下尺度變化的海參，在核相關(guān)濾波器基礎(chǔ)上提出了一種可以追蹤尺度變化海參的算法。首先把追蹤模塊合理地選擇在海參的兩頭部；然后用KCF算法追蹤兩個(gè)頭部，通過(guò)兩個(gè)模塊間距離來(lái)檢測(cè)海參的尺度并計(jì)算出海參的中心。通過(guò)對(duì)比實(shí)驗(yàn)，本文算法的跟蹤速度、精度和成功率均高于其他其他算法，能較好地處理尺度和旋轉(zhuǎn)變化等問(wèn)題。雖然DSST算法跟蹤成功率與本文算法接近，但由于DSST算法跟蹤速度很慢，不能滿足對(duì)實(shí)時(shí)性要求較高的水下海參采捕的實(shí)際跟蹤過(guò)程。下一步的工作：將算法應(yīng)用到海參采捕水下機(jī)器人樣機(jī)進(jìn)行采捕實(shí)驗(yàn)，針對(duì)出現(xiàn)的問(wèn)題進(jìn)行更深入研究，以進(jìn)一步提高跟蹤算法的魯棒性。