蒲 磊 魏振華 侯志強 馮新喜 何玉杰

①(火箭軍工程大學(xué)作戰(zhàn)保障學(xué)院 西安 710025)

②(西安郵電大學(xué)計算機學(xué)院 西安 710121)

③(陽光學(xué)院人工智能學(xué)院 福州 350015)

1 引言

計算機視覺是當(dāng)前人工智能領(lǐng)域的熱門研究方向，從感知上可分為圖像分類[1]、目標(biāo)檢測[2]、圖像分割[3]、視覺跟蹤[4]等多個子任務(wù)。作為計算機視覺的基礎(chǔ)和難點問題，視覺跟蹤持續(xù)受到廣泛的關(guān)注與研究，是實現(xiàn)視覺認(rèn)知和推理等上層任務(wù)的前提，在諸如視頻監(jiān)控、無人駕駛、視覺導(dǎo)航、人機交互等領(lǐng)域都有著廣泛的應(yīng)用。盡管經(jīng)過了多年的發(fā)展，但受限于場景中目標(biāo)與背景的復(fù)雜變化，要實現(xiàn)魯棒且高效地跟蹤依然是一項富有挑戰(zhàn)性的課題。

近年來，視覺跟蹤算法的整體研究框架可以分為兩個方向，一是以嶺回歸和循環(huán)移位為核心的相關(guān)濾波跟蹤框架，二是以全卷積網(wǎng)絡(luò)和模板匹配為基礎(chǔ)的孿生網(wǎng)絡(luò)框架。Bolme等人[5]最早提出基于最小二乘的相關(guān)濾波算法，該算法設(shè)計簡單，采用灰度特征作為外觀表示，跟蹤速度接近700fps，迅速引起了廣泛關(guān)注。但是該算法依然采用粒子濾波方法進行樣本采樣，限制了可利用樣本的數(shù)量。接著，Henriques等人[6]引入循環(huán)矩陣的思想，通過單一樣本實現(xiàn)密集采樣，極大地提高了模型的判別力。但是單通道灰度特征限制了算法對復(fù)雜場景的應(yīng)對能力，對此，Henriques等人[7]引入更加富有表達(dá)能力的多通道HOG(Histogram Of Gradient)特征，使得算法對結(jié)構(gòu)信息的表達(dá)更加豐富，并推導(dǎo)了相應(yīng)的塊圖像循環(huán)方式和多通道相關(guān)濾波模型。在此基礎(chǔ)上，Danelljan等人[8]通過對RGB圖像進行分析，構(gòu)建顏色屬性特征，并將其和相關(guān)濾波算法進行結(jié)合，可以很好地應(yīng)對目標(biāo)形變、旋轉(zhuǎn)變化等復(fù)雜跟蹤場景。在此基礎(chǔ)上，大量的研究人員從改進特征表征[9，10]、多任務(wù)學(xué)習(xí)[11]、可靠性約束[12]、邊界效應(yīng)處理[13–15]、尺度估計[16]等方面開展了一系列的研究工作。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于孿生網(wǎng)絡(luò)的視覺跟蹤框架逐漸成為研究的主流[17]。和相關(guān)濾波算法不同的是，該框架將視覺跟蹤的特征提取、搜索策略、觀測模型3個模塊集成在一起，建立了端到端的跟蹤算法系統(tǒng)。通過離線訓(xùn)練，使網(wǎng)絡(luò)獲得了適應(yīng)于目標(biāo)跟蹤任務(wù)的特征表達(dá)能力，在跟蹤階段通過滑窗的方式將目標(biāo)模板特征和搜索區(qū)域特征進行相似性匹配，選擇相似度最高的點作為目標(biāo)在當(dāng)前幀中的位置。由于網(wǎng)絡(luò)的在線更新需要大量的迭代運算，將在很大程度上影響跟蹤算法的速度，對此，孿生網(wǎng)絡(luò)采用單次學(xué)習(xí)的方法，提取首幀目標(biāo)信息作為跟蹤模板，在后續(xù)幀中不進行模型更新。這種模板不更新方式有兩點好處，一是可以保證算法在GPU上具有較高的跟蹤速度，二是可以避免模型污染。但由于缺乏模型更新，使得算法的性能提升受到一定的限制。對此，研究人員從和相關(guān)濾波結(jié)合、引入在線更新[18，19]、邊框回歸[20]等方面較好地提升了算法的跟蹤精度。

但是在孿生網(wǎng)絡(luò)跟蹤框架下，針對骨干網(wǎng)絡(luò)的選擇與設(shè)計研究較少，主要集中在3個方面，一是研究各層之間如何相互連接，二是如何組合不同層的輸出以提高特征表達(dá)的質(zhì)量，三是選取更深的網(wǎng)絡(luò)。這三種方法在提高特征表達(dá)能力的同時，都引入了額外的參數(shù)，增加了計算量。和基于特征層融合的方法不同，本文從最基本的卷積核出發(fā)，提出了一種不增加算法參數(shù)量的孿生網(wǎng)絡(luò)特征增強方法，通過對離線訓(xùn)練和在線更新進行分別設(shè)計，相比于基準(zhǔn)算法，在跟蹤精度和成功率上都有較大幅度的提升。

2 本文算法

本文提出了一種基于非對稱卷積的孿生網(wǎng)絡(luò)跟蹤算法。首先對基準(zhǔn)算法SiamFC進行簡要介紹，接著利用卷積運算的可加性設(shè)計非對稱卷積核組，并與SiamFC進行結(jié)合，最后給出了算法流程示意圖。

2.1 孿生網(wǎng)絡(luò)結(jié)構(gòu)

2.2 卷積運算可加性

如下所示，K1和K2代表兩個卷積核，I代表特征圖輸入：

在該卷積計算的公式中，?表示卷積運算，⊕表示相加運算。該公式表明卷積運算滿足可加性。

目前卷積神經(jīng)網(wǎng)絡(luò)的卷積核普遍采用d×d的方形結(jié)構(gòu)，本文通過采用大小分別為d×1， 1×d和d×d的卷積核進行并聯(lián)輸出再相加的方式來達(dá)到豐富特征空間的目的，如圖1所示。

圖1 卷積核可加性示意圖

由于添加的 1×d和d×1均為非對稱卷積核，統(tǒng)一將3個核組合在一起稱為非對稱卷積核組。

2.3 非對稱卷積核組

一些早期的工作證明了標(biāo)準(zhǔn)的d×d卷積可以分解為連續(xù)的兩層d×1 和 1 ×d卷積，從而達(dá)到減少參數(shù)和降低計算量的目的，常用于神經(jīng)網(wǎng)絡(luò)壓縮和加速領(lǐng)域。另外在圖像分割領(lǐng)域，EDANet使用了類似的策略對3 ×3卷積核進行分解，在性能有輕微下降的條件下，節(jié)省了1/3的參數(shù)量。本文的策略和以上方法不同，主要在訓(xùn)練階段將原始的方形卷積核都替換為多個非對稱卷積核組，以此來挖掘更加豐富的特征信息。在測試階段，將3個卷積核進行疊加還原為原始大小的方形卷積核。所以，本質(zhì)上并未增加參數(shù)量，圖2和圖3便是以3×3的卷積核為例子，說明訓(xùn)練階段和測試階段卷積核的不同形式。

圖2 訓(xùn)練階段的卷積核輸出形式

圖3 測試階段的卷積核輸出形式

在訓(xùn)練階段，通過利用不同形式的卷積核可以起到擴充特征空間的目的，實現(xiàn)對不同長寬比目標(biāo)的適應(yīng)性學(xué)習(xí)。而在跟蹤階段，利用卷積運算的可加性將不對稱卷積核組融合為原始的卷積核大小，降低了跟蹤階段的運算開銷。

2.4 ACSiam網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

表1和表2顯示了特征提取網(wǎng)絡(luò)在訓(xùn)練階段和跟蹤階段的不同卷積核構(gòu)成情況，將通過不對稱卷積組替換后的卷積神經(jīng)網(wǎng)絡(luò)命名為ACSiam。

表1 訓(xùn)練階段的ACSiam網(wǎng)絡(luò)結(jié)構(gòu)

表2 跟蹤階段的ACSiam網(wǎng)絡(luò)結(jié)構(gòu)

在訓(xùn)練階段，對Conv1到Conv5的卷積核都進行了替換，但是在跟蹤階段，主要是將Conv1到Conv4的非對稱卷積核組進行融合，恢復(fù)為原始的網(wǎng)絡(luò)結(jié)構(gòu)，而Conv5的卷積核組分別進行輸出，可以獲得不同卷積核形式下關(guān)于目標(biāo)的豐富特征，最后對多分支的輸出進行融合。

2.5 算法整體流程

將提出的非對稱卷積模塊和SiamFC算法進行結(jié)合，對AlexNet網(wǎng)絡(luò)進行修改，對所有卷積層都進行了變換，使網(wǎng)絡(luò)可以挖掘關(guān)于目標(biāo)更多的不變性。另外，為了進一步提高算法對不同尺度目標(biāo)的適應(yīng)能力，本文采用了一種模型集成方法。首先，對網(wǎng)絡(luò)的前4層按照上述的訓(xùn)練和測試方法進行設(shè)計，對網(wǎng)絡(luò)的最后一層添加3個不對稱卷積核后，分別對模板特征和搜索區(qū)域特征進行相關(guān)運算得到多個響應(yīng)圖，最后進行加權(quán)融合后選取最大值即為目標(biāo)的位置，如圖4所示。這種方案可以有效地應(yīng)對各類目標(biāo)的不同變換形式，有效提升算法的跟蹤性能。

圖4 算法流程示意圖

3 仿真實驗

與SiamFC類似，我們使用AlexNet作為基礎(chǔ)網(wǎng)絡(luò)，并對網(wǎng)絡(luò)的部分參數(shù)進行了調(diào)整，如表1和表2所示。為了適應(yīng)尺度的變化和降低算法運算負(fù)擔(dān)，僅在3個尺度上進行尺度估計。在訓(xùn)練數(shù)據(jù)方面，主要選取了ILSVRC-VID視頻分類數(shù)據(jù)集和近年來提出的GOT-10k目標(biāo)跟蹤數(shù)據(jù)集，采用方差為0.01的高斯分布進行初始化，總共訓(xùn)練50個周期，前5個周期的學(xué)習(xí)率設(shè)為10-7到10-3的線性增長學(xué)習(xí)率，后45個周期采用余弦退火學(xué)習(xí)率，并采用動量為0.9的隨機梯度下降方法作為優(yōu)化器。

3.1 測試數(shù)據(jù)集和對比算法

OTB2015數(shù)據(jù)集[21]提出于2015年，由100視頻序列組成，幾乎涵蓋了大部分跟蹤場景。在OTB2015數(shù)據(jù)集中，將本文算法(ACSiam)與其他9個算法進行了比較，包括：HCF[22]，Staple[23]，LCT[24]，KCF[7]，CFNet[25]，DCFNet[26]，Siam-FC[17]，SiamRPN[20]，MEEM[27]。

3.2 定性分析

如圖5所示，為了更加直觀地呈現(xiàn)算法的跟蹤效果，在包括Bolt， Dragonbaby， Skiing， David3，ACSiam， Motor Rolling等5個比較困難的視頻上，將本文算法ACSiam和SiamFC， CFNet， SiamRPN進行對比分析。

(1)背景干擾：孿生網(wǎng)絡(luò)算法通過離線訓(xùn)練學(xué)習(xí)較為泛化的目標(biāo)特征表達(dá)，使得當(dāng)場景中存在與跟蹤目標(biāo)相似度較高的背景信息或者場景比較昏暗時，跟蹤效果普遍較差。比如在“Bolt”視頻中，目標(biāo)不停在運動，且環(huán)境中還要許多和目標(biāo)外形非常接近的干擾對象。SiamFC和CFNet由于特征表達(dá)能力不足，都未能跟住目標(biāo)。本文算法通過引入非對稱卷積模塊對網(wǎng)絡(luò)進行特征增強，可以挖掘關(guān)于目標(biāo)更加深層的特征表達(dá)，在應(yīng)對相似物體干擾時具有明顯的優(yōu)勢。

(2)旋轉(zhuǎn)變化：目標(biāo)旋轉(zhuǎn)主要包括平面內(nèi)旋轉(zhuǎn)和平面外旋轉(zhuǎn)，在圖5中的“Skiing”和“Motor-Rolling”兩個視頻中的目標(biāo)運動均屬于平面內(nèi)旋轉(zhuǎn)。要想成功跟住旋轉(zhuǎn)變化的目標(biāo)，需要提取的模板特征滿足旋轉(zhuǎn)不變性。本文提出的非對稱卷積核模塊通過引入相互垂直的1維卷積可以增強特征對旋轉(zhuǎn)變化目標(biāo)的適應(yīng)能力，相比于采用常規(guī)方形卷積的SiamFC和CFNet算法，具有更加魯棒的跟蹤性能。

圖5 算法定性分析對比圖

(3)對稱變化：在“Dragonbaby”和“David3”視頻序列中，都存在跟蹤目標(biāo)的對稱變化，比如“Dragonbaby”的轉(zhuǎn)頭和“David3”的轉(zhuǎn)身動作。目標(biāo)的對稱變化會造成左右像素信息的交換，基于方形的卷積核運算便不具備特征的對稱性，而1維卷積分別在左右和上下交換中都可以體現(xiàn)出一定程度的不變性。通過將非對稱卷積核組應(yīng)用于孿生網(wǎng)絡(luò)算法，可以在增強網(wǎng)絡(luò)對對稱變化場景的處理能力，實現(xiàn)穩(wěn)定且魯棒的跟蹤結(jié)果。

3.3 算法整體性能

圖6顯示了本文算法和對比算法的跟蹤精度和成功率的對比曲線圖。得益于非對稱卷積核的應(yīng)用以及在大規(guī)模數(shù)據(jù)集上進行訓(xùn)練，本文算法相對于SiamFC，在精度和成功率上都有明顯的性能提升，在基準(zhǔn)算法SiamFC上精度提高了8.7%，成功率提高了4.5%。相比于DCFNet和CFNet，本文算法依然取得了更好的性能表現(xiàn)。SiamRPN算法采用了更好的尺度估計方案和更大規(guī)模的訓(xùn)練數(shù)據(jù)，使算法的性能相較于基于SiamFC的本文算法有一定的優(yōu)勢，但是本文算法仍然采用SiamFC的AlexNet骨干網(wǎng)絡(luò)，使得模型參數(shù)量明顯小于基于ResNet網(wǎng)絡(luò)的SiamRPN算法。

圖6 算法的距離精度曲線圖和成功率曲線

3.4 算法各屬性性能分析

我們在圖7和圖8中以不同屬性表示跟蹤結(jié)果。紅線代表最佳結(jié)果，綠色代表次優(yōu)結(jié)果。從圖7和圖8可以看出，本文算法在大部分屬性上取得了最優(yōu)的跟蹤精度和成功率。和SiamFC相比，本文算法在幾乎所有屬性上都獲得了較大幅度的性能提升。在跟蹤精度方面，ACSiam在遮擋、低分辨率、出視野等場景下取得了最好的跟蹤性能，在背景雜波、運動模糊、目標(biāo)形變、光照變化、平面外旋轉(zhuǎn)以及尺度變化場景下取得次優(yōu)的跟蹤結(jié)果，主要得益于網(wǎng)絡(luò)模型在訓(xùn)練階段采用了更加多樣的卷積核形式，使得對不同長寬比目標(biāo)的細(xì)節(jié)特征有了更強的表達(dá)能力，使得在面對部分遮擋、低分辨率、目標(biāo)形變、旋轉(zhuǎn)等場景都有更好的處理能力。在跟蹤成功率方面，ACSiam算法在背景雜波、運動模糊、遮擋等場景下取得了最優(yōu)的跟蹤結(jié)果，而在形變、光照變化、低分辨率、尺度變化上取得了次優(yōu)的性能表現(xiàn)，主要得益于采用了多個模型組合輸出的結(jié)構(gòu)，相比于單一輸出方式，算法在應(yīng)對各類復(fù)雜場景時，跟蹤成功率明顯增加。在部分場景普遍稍次于SiamRPN算法，以尺度估計為例，SiamRPN算法由于采用了檢測領(lǐng)域的RPN回歸網(wǎng)絡(luò)進行尺度估計，使得最后獲得的估計結(jié)果相比于傳統(tǒng)的多尺度搜索方法更加精準(zhǔn)，從而可以獲得比本文算法更好的尺度估計性能。

圖7 不同屬性下算法的跟蹤精度對比曲線

圖8 不同屬性下算法的跟蹤成功率對比曲線

本文算法通過對卷積核的組合訓(xùn)練，本質(zhì)上加強了對目標(biāo)中心區(qū)域的特征提取能力，在應(yīng)對背景雜波、低分辨率等場景都有著明顯的優(yōu)勢。另一方面，通過對一維卷積核的引入，由于具有更好的旋轉(zhuǎn)不變性，從而加強了網(wǎng)絡(luò)對旋轉(zhuǎn)目標(biāo)的處理能力。多模型集成的方法也進一步增強了網(wǎng)絡(luò)的魯棒性，提高了對多種復(fù)雜場景的應(yīng)對能力。

3.5 討論

從網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建機理上出發(fā)，本文算法主要基于3點：(1)卷積運算的可加性，使得采用卷積核組對原始卷積核進行替換有了可能性；(2)訓(xùn)練階段和測試階段的可分離性，從結(jié)構(gòu)上講，兩個階段的網(wǎng)絡(luò)結(jié)構(gòu)是不一樣的，但是最終的模型輸出結(jié)果是一致的，這就讓我們可以將更多的運算負(fù)擔(dān)放到訓(xùn)練階段，而在測試階段就恢復(fù)如初，這種可分離性可以應(yīng)用到很對對運算量要求較高的領(lǐng)域；(3)模型融合方法，通過在最后一層采用不同大小的卷積核，可以進一步挖掘不同類型目標(biāo)的特征信息，再采用模型融合的方法實現(xiàn)互補，可以有效提升跟蹤算法的成功率。

近年來，針對神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的研究越來越多，從加深加寬逐漸到變淺變窄。為了能夠?qū)⑸疃染W(wǎng)絡(luò)用于實際生活中，需要采用多種方法對模型進行壓縮。如果單純使用兩個1維的卷積核實現(xiàn)對正方形卷積核的近似，可以在很大程度上降低模型的參數(shù)量。同時，在已經(jīng)設(shè)計好的模型結(jié)構(gòu)中，可以通過構(gòu)建適應(yīng)于特定任務(wù)的卷積核組來對網(wǎng)絡(luò)進行重新訓(xùn)練，從而提高對特定任務(wù)的特征表達(dá)能力。而在實際部署的時候，可以利用卷積運算的可加性實現(xiàn)對模型的恢復(fù)，這是一種近乎零參數(shù)量增加的方法來換取網(wǎng)絡(luò)性能的提升。

4 結(jié)束語

本文從卷積核的形狀出發(fā)，提出了基于非對稱卷積的孿生網(wǎng)絡(luò)跟蹤算法。通過將原始的卷積核進行分解，構(gòu)建不對稱卷積核組，在訓(xùn)練階段可以實現(xiàn)對不同長寬比目標(biāo)的適應(yīng)性學(xué)習(xí)，提高模型對旋轉(zhuǎn)變化目標(biāo)的處理能力，強化對中心信息的挖掘。實驗結(jié)果表明，本章算法在OTB2015數(shù)據(jù)集上，相比于基準(zhǔn)算法，獲得了較大幅度的性能提升。