，，

(海軍航空大學(xué) 艦面航空保障與場(chǎng)站管理系，山東 青島 266041)

0 引言

目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)研究領(lǐng)域的熱點(diǎn)之一，過(guò)去幾十年以來(lái)，目標(biāo)跟蹤的研究取得了長(zhǎng)足的發(fā)展，和許多機(jī)器視覺(jué)問(wèn)題一樣, 目標(biāo)跟蹤也是在計(jì)算復(fù)雜度與跟蹤魯棒性之間權(quán)衡。跟蹤過(guò)程中影響跟蹤的每一種情況都會(huì)帶來(lái)不同程度的挑戰(zhàn)。為了應(yīng)對(duì)這些挑戰(zhàn), 并獲得一個(gè)強(qiáng)大而魯棒的跟蹤算法, 需要提出一個(gè)普適的復(fù)雜算法。在實(shí)際目標(biāo)跟蹤過(guò)程中, 當(dāng)目標(biāo)機(jī)動(dòng)性高且形變較大, 對(duì)目標(biāo)的跟蹤非常困難。在此需求條件下, 研究者提出了大量的算法來(lái)解決這一問(wèn)題, 但這些算法大都不具備普適性, 且不能用于實(shí)時(shí)跟蹤。大部分基于生成模型的跟蹤算法都是以相關(guān)跟蹤算法為基礎(chǔ), 它易于實(shí)施、跟蹤精度高, 但其計(jì)算量大、易累積誤差, 使其不利于在實(shí)際跟蹤系統(tǒng)中使用, 伴隨著信號(hào)處理技術(shù)和數(shù)字技術(shù)的成熟，視頻監(jiān)控系統(tǒng)在數(shù)字化、網(wǎng)絡(luò)化、智能化和集成化方向飛速發(fā)展，整個(gè)視頻監(jiān)控行業(yè)已經(jīng)快速進(jìn)入了智能監(jiān)控的時(shí)代。經(jīng)過(guò)多年發(fā)展，監(jiān)控行業(yè)已經(jīng)積累了大量的數(shù)據(jù)資源，非常滿足大數(shù)據(jù)為基礎(chǔ)的人工智能算法模型訓(xùn)練的要求；同時(shí)，視頻監(jiān)控行業(yè)的事前預(yù)防、事中響應(yīng)、事后追查的特性剛好吻合了人工智能的算法和技術(shù)。因此，在云計(jì)算、大數(shù)據(jù)、芯片、智能算法等技術(shù)的助推下，視頻監(jiān)控行業(yè)也從單一的安全領(lǐng)域向多行業(yè)應(yīng)用、提升生產(chǎn)效率、提高生活智能化方向發(fā)展。

視覺(jué)跟蹤算法的一個(gè)重要模塊就是適應(yīng)跟蹤目標(biāo)的外觀變化。這可以在跟蹤開(kāi)始時(shí)通過(guò)在線學(xué)習(xí), 或者更新目標(biāo)模板來(lái)實(shí)現(xiàn)。文[1]中提出, 在跟蹤期間可以對(duì)前景和背景建模, 跟蹤過(guò)程對(duì)模型進(jìn)行更新, 其中跟蹤過(guò)程和模型更新可以同時(shí)進(jìn)行。對(duì)模型/模板更新的核心問(wèn)題之一是目標(biāo)該何時(shí)更新。對(duì)于外觀變化適應(yīng)性以及模板更新時(shí)機(jī), 若干文獻(xiàn)進(jìn)行了研究[2-10], 然而這些算法都不適應(yīng)不同外觀變化率。跟蹤過(guò)程的采用固定的更新率不適合視頻目標(biāo)變換的多樣性, 噪聲、光照的干擾也會(huì)給模板引入干擾。因此, 最近一些研究提出了具有自適應(yīng)性的高效算法, 如文獻(xiàn)[8]提到的算法及其基于可控核的模板更新算法。另一些方法使用生成模型對(duì)目標(biāo)進(jìn)行跟蹤[9-10]。在該方法中, 生成模型由不同的姿態(tài)的目標(biāo)構(gòu)造, 并使用最有可能目標(biāo)樣本進(jìn)行自適應(yīng)性訓(xùn)練。多實(shí)例學(xué)習(xí)方法[11]已成為時(shí)下流行的跟蹤的方法, 如MILTrack[12]就是基于多實(shí)例學(xué)習(xí)方法。魯棒且跟蹤性能良好的跟蹤方法例還有IVT[13], STRUCK[14], 和基于NMF的跟蹤方法[15]。這些研究提出的方法具有較高的魯棒性, 但是計(jì)算量高于基于相關(guān)的跟蹤算法。

大多數(shù)的相關(guān)跟蹤算法都是生成目標(biāo)模型以便更新目標(biāo)外觀的變化。目標(biāo)模型的更新速率與目標(biāo)的外觀變化率成正比。如果目標(biāo)外觀變化劇烈, 應(yīng)增加更新速率以保持跟蹤穩(wěn)定性。另一方面, 使用高更新率會(huì)使目標(biāo)模型對(duì)目標(biāo)環(huán)境敏感, 但對(duì)目標(biāo)非常小的運(yùn)動(dòng)不敏感(尤其是亞像素運(yùn)動(dòng))。為了克服這種折衷帶來(lái)的跟蹤不穩(wěn)現(xiàn)象, 本文在MOSSE相關(guān)濾波算法基礎(chǔ)上提出了一種多模式的視覺(jué)目標(biāo)跟蹤算法, 該算法不僅具有相關(guān)算法的實(shí)時(shí)性, 還適應(yīng)跟蹤目標(biāo)外觀大幅度變化情況。對(duì)基準(zhǔn)視頻數(shù)據(jù)的仿真實(shí)驗(yàn)結(jié)果表明, 與對(duì)應(yīng)的單模型跟蹤算法相比, 本文提出的算法可以明顯改善跟蹤精度和穩(wěn)定性。

MOSSE相關(guān)濾波算法在目標(biāo)跟蹤的任務(wù)中，越來(lái)越多的方法開(kāi)始利用深度學(xué)習(xí)來(lái)進(jìn)行性能的提升，但是基于MOSSE算法思想的傳統(tǒng)方法依然占據(jù)一席之地，本文中, 我們提出的跟蹤方法是以相關(guān)跟蹤為基礎(chǔ)。由于MOSSE跟蹤算法[11]是一種具有魯棒性的有效方法, 我們?cè)谶@一章節(jié)簡(jiǎn)要概括MOSSE方法的。

假定訓(xùn)練目標(biāo)樣本為fi, 它們的對(duì)應(yīng)期望輸出為gi。這些目標(biāo)圖像和期望輸出的FFT都分別以大寫(xiě)字母Fi和Gi表示。MOSSE方法的優(yōu)化目的是在公式(1)中找到一個(gè)最優(yōu)濾波器Hopt。

(1)

如文獻(xiàn)[8]所示, 通過(guò)推導(dǎo), 等式(1)可以得到Hopt的解析解, 其表達(dá)式如下：

(2)

因此, 基于少量訓(xùn)練樣本并使用公式(2)對(duì)濾波器初始化, 就可以采用下列公式在跟蹤時(shí)對(duì)模板更新：

(3)

Ai=μGi?Fi+(1-μ)Ai-1

(4)

Bi=μFi?Fi+(1-μ)Bi-1

(5)

可以看出, MOSSE濾波器是誤差最小均方濾波器, 通過(guò)找出一個(gè)合適的濾波器使其在目標(biāo)上的響應(yīng)最大值。在實(shí)際過(guò)程中, 考慮到目標(biāo)外觀變換以及環(huán)境的復(fù)雜性, 需要參考目標(biāo)的多個(gè)圖像以便增加跟蹤的魯棒性。但是在實(shí)際跟蹤的過(guò)程中我們要考慮到目標(biāo)的外觀變換等因素的影響，所以需要同時(shí)考慮目標(biāo)的m個(gè)圖像作為參考，從而提高濾波器模板的魯棒性，所以作者就提出了MOSSE這個(gè)模型，然而, 如何處理目標(biāo)的大尺度變化和微弱位移這兩種看似矛盾的情況, 是實(shí)現(xiàn)目標(biāo)穩(wěn)定跟蹤的關(guān)鍵問(wèn)題。因此, 本文在相關(guān)濾波的基礎(chǔ)上, 結(jié)合MOSSE濾波器的最優(yōu)濾波的策略, 提出了一種多模式的自適應(yīng)外觀跟蹤算法。

1 本文改進(jìn)的算法

目標(biāo)跟蹤就是在連續(xù)的視頻序列中，建立所要跟蹤物體的位置關(guān)系，得到物體完整的運(yùn)動(dòng)軌跡。給定圖像第一幀的目標(biāo)坐標(biāo)位置，計(jì)算在下一幀圖像中目標(biāo)的確切位置。在運(yùn)動(dòng)的過(guò)程中，目標(biāo)可能會(huì)呈現(xiàn)一些圖像上的變化，比如姿態(tài)或形狀的變化、尺度的變化、背景遮擋或光線亮度的變化等。

本文在相關(guān)跟蹤的基礎(chǔ)上提出了一個(gè)多模式的自適應(yīng)外觀模型。該模型可以在跟蹤期間, 同時(shí)處理目標(biāo)的微量位移變化和迅速形變。因此, 我們提出的自適應(yīng)跟蹤方法可以用來(lái)抵消目標(biāo)不同層次的視覺(jué)變化。

為了解決由于目標(biāo)遮擋以及光線等問(wèn)題帶來(lái)的影響，同時(shí)為了解決不同層次的視覺(jué)變化, 可以使用一種多模型目標(biāo)跟蹤策略, 如公式(6)所示。

(6)

Q=maxF-1(F?H)

(7)

找到目標(biāo)位置后, 在頻域更新模板。更新方法是通過(guò)引入學(xué)習(xí)速率μ, 如下所示。

Hi=(1-μ)Hi-1+(μ)Hcurrent

(8)

其中:Hcurrent是當(dāng)前計(jì)算模板,Hi和Hi-1分別表示相鄰模板。因此, 使用傅里葉逆運(yùn)算的線性變換, 可以得到如下等式。

Qi(μ)=max(1-μ)F-1(F?Hi-1)+μF-1(F?Hcurrent)

(9)

可以看出, 由于Hcurrent被設(shè)定為當(dāng)前幀的最佳濾波器F,Hi-1設(shè)定為前一幀的先前的濾波器, 因此max(F?Hcurrent)一般會(huì)大于max(F?Hi-1)。那應(yīng)該增大該值, 以滿足最優(yōu)匹配效果。因此, 使用我們提出的算法策略, 可以確定較低跟蹤質(zhì)量的更新率。

2 實(shí)驗(yàn)結(jié)果及其分析

為了更加全面地驗(yàn)證本文提出的方法的跟蹤能力, 本文選擇了基準(zhǔn)視頻外序列進(jìn)行定性定量的實(shí)驗(yàn)分析。所有的序列都是針對(duì)單一目標(biāo)的跟蹤, 具有劇烈運(yùn)動(dòng)、相似背景、遮擋、旋轉(zhuǎn)、尺度等特點(diǎn)。

2.1 參數(shù)設(shè)置

為了驗(yàn)證算法的有效性, 本文采取的4個(gè)濾波器進(jìn)行分析。整個(gè)實(shí)驗(yàn)中, 所有參數(shù)都是固定的, 更新率被定為μ1=0.005,μ2=0.005,μ3=0.1,μ4=0.25。本文中MOSSE的更新率保持在0.12。此外, 在實(shí)驗(yàn)過(guò)程中, 本文使用高斯窗抑制背景干擾, 其覆蓋范圍為超過(guò)目標(biāo)大小0.3倍。使用跟蹤框和基準(zhǔn)框的重疊率作為目標(biāo)成功跟蹤的標(biāo)準(zhǔn)。如果重疊區(qū)域?yàn)?0%, 那么可以確定該幀被成功跟蹤。為了算法公平比較, 本文采用的對(duì)比算法都使用作者提供的源代碼, 參數(shù)及其初始化值為默認(rèn)值。

2.2 定性定量分析

圖2展示了各算法的跟蹤性能比較, 其中黑色框是目標(biāo)基準(zhǔn)位置, 綠色跟蹤框?yàn)镸OSSE跟蹤結(jié)果, 紅色則是我們提出算法的結(jié)果。實(shí)驗(yàn)分析發(fā)現(xiàn)當(dāng)具有較低更新率的濾波器H1, 其質(zhì)量降低至低于最小PSR值時(shí), 由于濾波器H2或?yàn)V波器H3開(kāi)始在新一幀中使用一個(gè)較高的更新率,H1的質(zhì)量開(kāi)始增加。當(dāng)超過(guò)最小PSR值后,H1濾波器開(kāi)始使用對(duì)應(yīng)更新率。這表明本文提出的算法完全適合目標(biāo)的外觀變化。幾乎所有的序列中, 本文提出算法定位精度都優(yōu)于MOSSE方法。

表1 不同數(shù)據(jù)集中MOSSE和提出的跟蹤算法的跟蹤成功率和定位誤差

表1表示不同數(shù)據(jù)集中MOSSE[8]和我們提出的跟蹤算法的跟蹤成功率和定位誤差。除了足球序列之外, 在所有的序列中, 我們提出的方法都比MOSSE方法的性能更好。這可能是因?yàn)镸OSSE方法的更新率完全適合”足球”序列中目標(biāo)的外觀變化率。在幾乎所有的序列里, 我們提出的方法定位目標(biāo)都優(yōu)于MOSSE方法。

圖1 各算法的跟蹤性能比較, 左圖粗線框是目標(biāo)基準(zhǔn)位置, 細(xì)線跟蹤框?yàn)镸OSSE跟蹤結(jié)果, 右圖粗線框是本文提出算法的結(jié)果。

圖2 亞像素級(jí)微弱平移的跟蹤結(jié)果(左右圖相差500幀, 白色跟蹤框?yàn)镸OSSE跟蹤結(jié)果, 黑色則是我們提出算法的結(jié)果)

圖2表示, 當(dāng)目標(biāo)存在一個(gè)極小運(yùn)動(dòng)時(shí)，本文算法的性能比較。由于這種情況的更新率相對(duì)較高, MOSSE方法[8]不能處理這種情況, 但是由于逐步外觀變化使具有最低更新率的濾波器活躍, 我們提出的方法可以跟蹤這個(gè)微弱位移的目標(biāo)。

3 結(jié)論

運(yùn)動(dòng)目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)，在制導(dǎo)導(dǎo)航，人工智能等領(lǐng)域應(yīng)用非常廣泛，本文針對(duì)各種復(fù)雜場(chǎng)景及不同目標(biāo)，如何設(shè)計(jì)實(shí)現(xiàn)效率高、魯棒性好、實(shí)時(shí)性強(qiáng)的目標(biāo)跟蹤識(shí)別技術(shù)仍然是當(dāng)今業(yè)界研究的熱點(diǎn)及難點(diǎn)。本文通過(guò)分析更新率和跟蹤穩(wěn)定性的相關(guān)性, 提出了基于改進(jìn)MOSSE的跟蹤更新率方法。仿真實(shí)驗(yàn)結(jié)果表明, 該方法優(yōu)于現(xiàn)有基于多模型框架的跟蹤方法, 可以處理在目標(biāo)微小運(yùn)動(dòng)時(shí)較高的外觀變化率的情形, 并保持適當(dāng)?shù)挠?jì)算復(fù)雜度和實(shí)時(shí)跟蹤。所提出的方法是可擴(kuò)展并應(yīng)用到任何具有更新策略的視覺(jué)跟蹤方法，下一步工作主要還是針對(duì)目標(biāo)跟蹤的精度上進(jìn)一步深入研究。

參考文獻(xiàn)：

[1] Chockalingam P, Pradeep N, Birchfield S. Adaptive fragments-based tracking of non-rigid objects using level sets[A]. Computer Vision 2009[C]. 2009:1530-1537.

[2] Balan A O,Black M J. An adaptive appearance model approach for model-based articulated object tracking, in Computer Vision and Pattern Recognition[A]. IEEE Computer Society Conference on Computer Vision & Pattern Recognition, 2006, 1:758-765.

[3] Matthews I, Ishikawa T, Baker S.The template update problem[J]. IEEE Trans. Pattern Anal. Mach. Intell.,2004,26(6):810-815.

[4] 吳寶成.粒子濾波重采樣算法研究及其應(yīng)用[D]．哈爾濱：哈爾濱工業(yè)大學(xué), 2011.

[5] Kishore M S,Rao K V.Robust correlation tracker[J]. Sadhana,2001,26(3): 227-236.

[6] 王 歡, 王江濤, 任明武,等.一種魯棒的多特征融合目標(biāo)跟蹤新算法[J].中國(guó)圖象圖形學(xué)報(bào), 2009, 14(3)：489-498.

[7] 姚劍敏.粒子濾波跟蹤方法研究[D].長(zhǎng)春：中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所, 2014：17-19.

[8] Bolme D S, Beveridge J R, Draper B A, et al.Visual object tracking using adaptive correlation filters[A]. Computer Vision and Pattern Recognition (CVPR)[C]. 2010:2544-2550.

[9] Henriques J F, Caseiro R, Martins P,et al.High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014,99:1-1.

[10] 連 峰, 韓崇昭, 劉 偉,等．多模型概率假設(shè)密度平滑器[J]．自動(dòng)化學(xué)報(bào), 2010, 36(7)：939-950．

[11] Leistner C, Saffari A, Bischof Horst.Miforests: Multiple-instance learning with randomized trees[A]. Proceedings of the 11th European Conference on Computer Vision: Part VI[C]. Berlin, Heidelberg, 2010, ECCV’10,2010:29-42.

[12] Babenko B, Yang M H, Belongie S. Visual tracking with online multiple instance learning[A]. CVPR 2009. IEEE Conference on Computer Vision and Pattern Recognition[C].2009: 983-990.

[13] Ross D A, Lim J, Lin R S, et al.Incremental learning for robust visual tracking[J]. International Journal of Computer Vision, 2008, 77:125-141.

[14] Hare S, Saffari A, Torr P H S. Struck: Structured output tracking with kernels[A]. 2011 IEEE International Conference on Computer Vision (ICCV) [C]. 2011, 263-270.

內(nèi)實(shí)驗(yàn)的有效性及本文算法的魯棒性。

3 結(jié)語(yǔ)

本文結(jié)合圖像復(fù)原、超分辨率重建及KCF算法，提出了一種基于像素位移估計(jì)的水下湍流退化圖像畸形校正算法。通過(guò)參考幀選取、像素配準(zhǔn)和二維配準(zhǔn)算法，抑制畸變退化。針對(duì)圖像復(fù)原重建算法速度慢的問(wèn)題，采用核相關(guān)濾波算法提高算法的速度和效率。通過(guò)實(shí)驗(yàn)室模擬的湍流環(huán)境和海洋真實(shí)的湍流環(huán)境進(jìn)行實(shí)驗(yàn)驗(yàn)證。本文提出的算法能有效抑制畸變，且客觀評(píng)價(jià)指標(biāo)參數(shù)在處理兩種環(huán)境下獲得的樣本圖像中都明顯優(yōu)于傳統(tǒng)的復(fù)原和重建算法，且改善了算法的效率。其中本文復(fù)原方法適合微湍流情況，本文重建方法適合強(qiáng)湍流情況。

參考文獻(xiàn)：

[1] 孫立穎, 夏 珉, 韓 捷, 等. 湍流環(huán)境中水下成像系統(tǒng)的調(diào)制傳遞函數(shù)研究[J]. 光學(xué)學(xué)報(bào), 2016, 36(8): 18-25.

[2] 蒲 歡, 季小玲. 海洋湍流中光學(xué)成像相關(guān)問(wèn)題研究[J]. 光學(xué)學(xué)報(bào), 2016, 36(10): 175-181.

[3] Weilin H, Sarah W, Ewa J, et al. Optical turbulence on underwater image degradation in natural environments[J]. Applied optics, 2012, 52(14).

[4] 魯嘯天, 楊天鳴, 金偉其, 等. 水面波動(dòng)和水體湍流退化圖像的復(fù)原方法[J]. 應(yīng)用光學(xué), 2017, 38(1): 42-55.

[5] Fried D L. Probability of getting a lucky short-exposure image through turbulence [J]. JOSA, 1978, 68(12): 1651-1657.

[6] Kanaev A V, Hou W, Restaino S R, et al. Correction methods for underwater turbulence degraded imaging[J]. SPIE Remote Sensing, 2014, 9242IP-9242IP-9.

[7] Kanaev A V, Hou W, Restaino S R, et al. Restoration of images degraded by underwater turbulence using structure tensor oriented image quality(STOIQ) metric [J]. Optics Express, 2015, 23(13): 17077-17090.

[8] Hua W, Xiea Y, Zhanga W, et al. Removing water fluctuation via motion field-based Kernel regression [J]. Journal of Information &Computational Science, 2014, 11(15): 5289-5296.

[9] Murase H. Surface shape reconstruction of a nonrigid transport object using refraction and motion [J]. IEEE Trans, 1992, 14(10): 1045-1052.

[10] Holohan M L, Dainty J C. Low-order adaptive optics: A possible use in underwater imaging? [J]. Opt. Laser Technol, 1997, 29(1): 51-55.

[11] Milder D M, Carter P W, Flacco N L, et al. reconstruction of through-surface underwater imagery [J]. Wave Random Complex, 2006, 16(4): 521-530.

[12] Wen Z, Lambert A, Fraser D, et al. Bispectral analysis and recovery of images distorted by a moving water surface [J]. Appl Opt, 2010, 49(33): 6376-6384.

[13] Halder K K, Paul M, Tahtali M, et al. Correction of geometrically distorted underwater images using shift map analysis [J]. Journal of the Optical Society of America, 2010, 49(33): 6376-6384.

[14] 陳藍(lán)鈺, 常 嚴(yán), 王 雷, 等. 基于正則化迭代的并行磁共振圖像重建算法[J]. 計(jì)算機(jī)測(cè)量與控制, 2015, 23(12): 4177-4179.

[15] Hansen G M. Mie scattering as a technique for the sizing of air bubbles [J]. Applied optics, 1985, 24(19): 3214-3220.

[16] Han H ， Zhang X， Ge W. Performance evaluation of underwater range-gated viewing based on image quality metric [A].International Conference on Electronic Measurement & Instruments 2009 (ICEMI 09)[C]. Beijing, 2009：441-444.