肖 剛,冶 平,張星辰,劉 駿,2,貢 克

(1.上海交通大學航空航天學院,上海 200240;2.四川輕化工大學自動化與信息工程學院,四川 宜賓 644000)

目標跟蹤是計算機視覺領域重要研究內容之一，在軍事領域和民用領域具有廣泛的應用基礎和前景,例如戰(zhàn)場目標檢測、跟蹤和識別,情境感知,態(tài)勢評估,機場導航,人類視覺輔助等。然而,受到圖像傳感器綜合及融合算法、高性能處理硬件成本的制約,目前的圖像跟蹤系統(tǒng)普遍采用單傳感器或同類多傳感器作為信源[1]。由于單視覺傳感器提供的數(shù)據(jù)單一,存在視場有限，無法獲取目標的距離、空間信息等問題,無法應對復雜多變的應用場景,所以往往很難保證一致穩(wěn)健跟蹤;而同類多傳感器雖然能部分彌補單傳感器因成像視場局限性造成的不足,但仍舊受成像機理的制約,很難同時兼顧分辨率、定位精度、穿透力(如煙、霧、雨、霾、低能見度)和靈敏度等性能要求[2]。即使改良目標檢測與跟蹤算法彌補了這些缺陷,但收效甚微。因此,為了滿足全天候、全天時觀測條件下對目標檢測與跟蹤系統(tǒng)的實時性、穩(wěn)定性、可靠性要求,彌補基于單一傳感器在對運動目標檢測、跟蹤、識別的信息不確定性[3],將多種傳感器進行數(shù)據(jù)融合十分必要,以實現(xiàn)信息互補,最大程度優(yōu)化數(shù)據(jù),為后續(xù)工作提供決策依據(jù)。

復雜背景下的多源異構圖像融合跟蹤是一個典型的復雜隨機非線性動態(tài)系統(tǒng)估計問題。首先,在動態(tài)圖像中,當運動目標狀態(tài)信息和觀測環(huán)境信息均不完備的情況下,需要建立目標檢測模板,定義目標特征信息;其次,統(tǒng)一主、被動傳感器之間配置參數(shù),需要將包括文字、坐標、距離、圖像等多種異構信息表征為數(shù)學模型;再次,將目標先驗信息、背景屬性與目標特征信息綜合,實現(xiàn)魯棒跟蹤;最后,確立融合跟蹤的決策機制和性能評估辦法,構建完整的性能評估方法和優(yōu)化綜合決策。近年來,多源異構圖像魯棒融合跟蹤成為智能信息處理與信息融合領域的交叉研究熱點,具有十分重要的研究意義。

本文將總結近年來多源異構圖像融合跟蹤的研究進展,從目標跟蹤，圖像融合,多源異構圖像融合跟蹤,異構信息的表征,基于深度學習的圖像融合跟蹤研究現(xiàn)狀幾個方面進行論述,并分析該領域的未來的發(fā)展趨勢。

1 需求與問題

1.1 目標跟蹤

基于視頻圖像的目標跟蹤是對圖像序列中運動目標的位置和形狀進行估計。動態(tài)圖像跟蹤過程存在目標遮擋，目標尺度變化，先驗信息缺失，觀測環(huán)境天氣和光照變化以及跟蹤實時性等問題,是個頗具挑戰(zhàn)研究課題。

根據(jù)目標表觀的描述和更新策略,可將目標表觀模型算法分為生成式(Generative Model)和判別式(Discriminative Model)兩類。生成式模型算法包括基于目標模板的跟蹤方法,無參的概率建模方法,有參的概率建模方法,基于子空間表示方法;判別式模型即基于分類器的目標跟蹤方法,將目標與背景分離,目標信息作為正樣本,背景信息作為負樣本。這兩種模型在某種程度上相輔相成,有學者提出[4-5]將兩者的信任度進行加權,或者兩種方法序貫進行,使用混合型方法獲得目標表觀的變化。

搜索目標位置的方法可分為確定性方法和隨機方法等。Mean shift 算法[6]是確定性目標跟蹤方法中經(jīng)典方法之一,它的理論基礎是核密度估計。該過程是利用梯度下降算法尋找使相似度最大的方向,根據(jù)目標顏色分布概率,不斷迭代找到目標位置。隨機搜索方法中粒子濾波是典型代表算法,首先對跟蹤目標進行建模,并定義一種相似度度量確定粒子與目標的匹配程度。在目標搜索的過程中,統(tǒng)計按照一定分布規(guī)律的粒子(如均勻分布或高斯分布)的相似度,確定目標可能的位置,在下一幀中的這些位置加入更多新的粒子,確保在更大概率對目標進行跟蹤?？柭鼮V波(Kalman Filter)常被用于描述目標的運動模型,對目標的運動模型進行建模,常用于估計目標在下一幀的位置。另外,經(jīng)典的跟蹤方法還有基于特征點的光流跟蹤,在目標上提取特征點,然后在下一幀計算這些特征點的光流匹配點,統(tǒng)計得到目標的位置。在跟蹤的過程中,需要不斷補充新的特征點,同時刪除置信度不佳的特征點,以此來適應目標在運動中的形狀變化。

隨后,基于相關濾波、深度學習的目標跟蹤方法相繼出現(xiàn)。相關濾波(Correlation Filters)算法源自信號處理領域,2010年,David S.Bolme[7]首次將相關濾波算法應用于目標跟蹤,提出了誤差最小平方和濾波器(Minimum Output Sum of Squared Error Filter,MOSSE),通過在線訓練和自適應改進,在目標表觀變化時仍然能夠魯棒跟蹤,使用快速傅里葉變化加快運算速度,幀率可達669幀/秒。2014年,Joao F. Henriques[8]等提出KCF(Kernelized Correlation Filters)算法,對MOSSE算法做了進一步改進,引入多通道特征獲得更好的HOG,強調負樣本的重要性,通過循環(huán)矩陣擴大樣本數(shù)量,使用核函數(shù)將低維空間計算映射到高維空間,從而快速檢測到目標位置。 而在長時間(Long-term)目標跟蹤方面,Z. Kalal[9]提出了TLD(Tracking Learning Detection)目標跟蹤框架,在目標遮擋、目標離開視野等復雜場景中嘗試突破。

2015年,基于深度學習的目標跟蹤算法表現(xiàn)突出,Chao Ma[10]使用深度學習算法HCF(Hierarchical Convolutional Features)提取目標特征,準確性較高,但是由于使用離線訓練,在實時性方便表現(xiàn)欠佳。在此之后,越來越多的研究者改進基于深度學習的目標跟蹤算法,不斷提高其準確性和魯棒性。2016年,Luca Bertinetto[11]提出全卷積孿生網(wǎng)絡(Fully-Convolutional Siamese Networks),孿生網(wǎng)絡為兩個并行的網(wǎng)絡結構,兩個分支共享卷積層的權值,分別進行特征提取和目標搜索,在全卷積孿生網(wǎng)絡中通過隨機梯度下降來適應網(wǎng)絡,簡化目標模板,提高速度,保證準確性。

目前,在目標跟蹤領域基于相關濾波的方法和基于深度學習的方法各有所長,相關濾波在實時性方面表現(xiàn)突出,而基于深度學習的算法更擅長提取目標特征信息。孿生網(wǎng)絡的出現(xiàn)對目標跟蹤領域產(chǎn)生了很大影響,此后出現(xiàn)了很多基于此網(wǎng)絡的目標跟蹤算法,其中,Valmadre J[12]創(chuàng)造性地將深度學習和相關濾波結合到一起,該算法兼具深度學習特征提取的精確性和相關濾波計算速度快的優(yōu)點。

在目標跟蹤領域,目標遮擋和長時跟蹤目前還沒有較好的解決辦法,此外,兼顧準確性和實時性一直是個難題。

1.2 圖像融合

多源圖像融合,本質上是一種由低(層)至高(層)對多源信息進行整合,逐層抽象的信息處理過程,最終達到1+1>2的效果。在醫(yī)學領域,將CT圖像與MRI圖像融合可以為醫(yī)學診斷、人體功能和結構研究提供更充分的信息。在安防監(jiān)控、無人駕駛、機載對地目標檢測等領域,將可見光圖像與紅外圖像融合,可以獲得更好的跟蹤效果。這方面已有一些系統(tǒng)性的研究。邱亞丹,陳雪榮等[13]建立多源人臉識別理論體系,在像素級、特征級、決策級分別提出不同的融合算法,初步建立可見光和長波紅外圖像的人臉識別理論體系。刁海南等[14-15]基于可見光和紅外的成像機理,研究了車船檢測中兩種圖像配準和融合方法;劉剛在[16]采用多分辨率分解的方法對可見光圖像和紅外圖像進行融合,用于構建機載紅外與可見光傳感器圖像融合系統(tǒng)。

Jiayi Ma在[17]總結了多種可見光和紅外圖像融合方法及其應用,指出圖像融合前進行配準的重要性,并將現(xiàn)行多種融合算法進行測試和比較。江南大學李輝博士[18-21]課題組在融合規(guī)則方面做了很多相關研究,將圖像在不同層次、不同區(qū)域進行融合,嘗試采用不同的權值策略。比如將低階矩陣引入融合,對全局和局部分別采用不同的融合規(guī)則;或者運用先解構再重構的思路,將圖像分為基礎部分和細節(jié)部分,使用不同的特征提取方法,隨后進行重構;設計編碼器中的融合層在編碼過程中融合源圖像特性,最后在解碼器端重構。結果表明,這些融合規(guī)則和策略的靈活運用在不同程度提高了融合效果。

但是,這些動態(tài)圖像融合研究多是停留在信息融合層面的算法研究,并未結合面向復雜背景下的目標跟蹤的需求設計融合準則,無法解決目標持續(xù)穩(wěn)定跟蹤的多源輸入數(shù)據(jù)的冗余性、可融合性及有效性。

基于多源圖像與異構信息融合的跟蹤所面臨的背景復雜性、目標運動狀態(tài)概率的非線性、非高斯、多模態(tài)特性等諸多理論問題尚未解決。同時,有效地利用異構信息融合或綜合決策結果解決復雜背景下低信噪比、目標殘缺、目標遮擋、目標隱藏、目標丟失、先驗信息缺失等實際應用問題還需要系統(tǒng)的研究。

2 研究現(xiàn)狀

近幾年來, 國內外學者提出了“融合跟蹤”的概念,并針對復雜背景下紅外與可見光動態(tài)圖像融合跟蹤中目標特征建模、魯棒跟蹤、多目標跟蹤、異構傳感器融合等關鍵問題做了很多研究工作。表1總結了目標融合跟蹤領域中用來衡量算法性能的測試集中具有代表性的場景。

Yang 等[22]提出了一種基于區(qū)域紅外和可見光動態(tài)圖像融合方法,為使用基于特征的融合跟蹤方法奠定了初步理論基礎。 趙高鵬[23]將提取可見光圖像的顏色、紋理和紅外圖像的灰度值作為特征,建立核函數(shù)量化直方圖目標模型,有選擇性地更新目標跟蹤模板,較之單一的可見光或者紅外圖像跟蹤,具有明顯的穩(wěn)定性,該算法需要事先配準可見光和紅外圖像,計算量較大。Lan 等[24-25]提出了一種聯(lián)合稀疏表示實現(xiàn)了魯棒特征融合,利用稀疏表示的優(yōu)勢去除融合跟蹤中的不可靠信息, 隨后在特征級融合跟蹤中,加入先驗信息和文本信息,與圖像信息融合。

表1 RGBT210數(shù)據(jù)集

茍書鑫[26]提出一種基于模型互更新(CoUpdate)的多模圖像融合跟蹤算法,從可見光與紅外圖像中分別提取目標及周圍像素點的特征,采用決策級融合方法得到似然圖像,在Co-Training框架下結合目標跟蹤結果進行模型的互更新,減小模型更新誤差累積問題,能準確跟蹤目標,實現(xiàn)可見光圖像和紅外圖像優(yōu)勢融合互補。Bing Bai等[27]提出一種基于KCF相關濾波的自適應算法,解決了尺度變化和模板漂移的問題。Sulan Zhai[28]將低階約束應用到可見光和紅外的相關濾波器中,引入ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法對模型進行優(yōu)化,實現(xiàn)在遮擋和天氣狀況不良時的魯棒跟蹤,但是該算法的效果在復雜的外部信息干擾時還有待優(yōu)化。

Moulay[29]融合紅外和可見光圖像用于行人檢測,采用HOG-SVM支持向量機(Support Vector Machine, SVM)分類器模型,實時性和準確性較好,但是當被檢測行人相遇的情況下,目標互遮擋較為嚴重,使得檢測效果欠佳,這是多目標跟蹤中普遍面臨的問題。

針對目標遮擋、主動隱身、短時丟失問題,國內外學者正逐步嘗試基于圖像與非圖像的異構信息融合的目標跟蹤,進一步提升目標跟蹤的穩(wěn)定性。Danis Kolev[30]利用單個相機和慣性測量單元傳感器的信息,實現(xiàn)了視頻數(shù)據(jù)和傳感器數(shù)據(jù)的融合。Jing[31]提出了一種激光測距儀(LRF)和單目攝像機數(shù)據(jù)融合框架,并設計了一個接近理想的LRF與攝像機數(shù)據(jù)融合的粒子過濾器,通過圖像匹配解決了全遮擋問題。

綜上所述,在多源異構圖像融合跟蹤方面,其中需要解決的關鍵問題在于異構圖像信息的融合表征、特征提取和跟蹤器的魯棒性。

圖1 多源異構信息融合跟蹤框架圖

3 多源異構信息融合的表征

圖1總結了同構信息融合和異構信息融合所研究的科學問題和獲得的收益。在復雜場景中,運動目標空間觀測模型的尺度、分辨率、異構特征具有連續(xù)、快速、非線性變化的特點,運動目標狀態(tài)的非完備性、觀測環(huán)境的非完備性、運動目標信息的非結構化是影響融合跟蹤性能的條件因素。實際應用場景中,目標殘缺、遮擋、隱藏及丟失,先驗信息缺失,背景信息缺失,電磁干擾等導致的信號低信噪比,致使運動目標和傳感器平臺端的信號源不完備;同時,已獲取信息的非結構化需要建立系統(tǒng)的預處理規(guī)則,其中,目標先驗信息包括局部特征、目標屬性、目標類型、目標方位、目標材質等,背景先驗信息包括光照變化、背景紋理、相對運動、空間位置等,多傳感器采集平臺包括紅外圖像、可見光圖像、多光譜圖像、激光、雷達等不同數(shù)據(jù)格式。因此,將具有非結構化屬性的運動目標狀態(tài)與觀測環(huán)境的非完備性信息進行表征(表征形式為文本、標量、交互數(shù)據(jù)、低維或高維數(shù)據(jù)等),對多個來源的異構信息進行數(shù)學定義,構建數(shù)學模型、物理模型及約束和假設條件,是實現(xiàn)魯棒融合跟蹤的前提條件。

針對多源異構信息建立時空配準規(guī)則,在時域或頻域的兩維圖像信息建立線性或非線性映射關系與匹配準則,形成面向多源異構圖像融合跟蹤的非結構信息抽象表征、原理表征、圖式表征等不同表征方式,通過構建歸一化模型及其特征矢量構建,解決異構圖像融合跟蹤的數(shù)據(jù)率不一致，數(shù)據(jù)屬性不一致以及測量維數(shù)不匹配問題,形成有效地異類傳感信息融合處理之前對具有非結構化屬性的多源異構信息的統(tǒng)一表征。

采用基于空間關系一致性配準或尺度不變特征變換(SIFT)方法的配準算法,解決多源圖像的平移、縮放及非平面旋轉(多視角)配準問題;針對多源異構信息,分析信息組的內在特征和因素冗余,依據(jù)相關關系與特定規(guī)則,通過功能處理關聯(lián)、任務目標關聯(lián)、融合過程關聯(lián)、目標環(huán)境關聯(lián)及其信息綜合,建立基于最優(yōu)估計的多傳感器異構數(shù)據(jù)間時空配準方法的數(shù)學模型,降低因配準誤差引起的主被動異類傳感器的觀測頻率、觀測范圍、觀測時間與空間分辨率等不一致導致的融合不確定性。

4 基于深度學習的多源圖像融合跟蹤

深度學習是近些年來才出現(xiàn)的機器學習領域的新方向,目前很多網(wǎng)絡框架,如深度神經(jīng)網(wǎng)絡(Deep Neural Networks,DNN)、卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks, CNN) 、深度置信網(wǎng)絡(Deep Belief Networks,DBN)和遞歸神經(jīng)網(wǎng)絡(Recursive Neural Network, RNN)在計算機視覺、語音識別、自然語言處理、音頻識別以及生物信息學等領域解決了實際應用中的很多棘手問題。在目標跟蹤領域中,自2013 年以來,基于深度學習的一系列跟蹤算法大量出現(xiàn),凸顯出其在魯棒性跟蹤方面的優(yōu)勢。

在多源圖像融合跟蹤領域,建立目標特征模型、設計跟蹤模板和決策機制、減少多源異構信息之間的差異性都是研究者們關注的問題。Christian Bailer[32]對基于幀的目標動態(tài)軌跡進行優(yōu)化,提高軌跡連續(xù)性和平滑度,算法更具通用性。Tewodros A[33]設計了兩個貝葉斯跟蹤器融合的跟蹤算法,在線評估每個跟蹤器效果并實時更新,使融合保持在相對優(yōu)化的水平。

Fayez Lahoud[34]提出了一種實時圖像融合方法,將圖像分解為強度不同的基礎層和細節(jié)層,使用視覺顯著性來融合底層和深層特征。Lan[25]針對可見光模糊的問題,提出的跟蹤算法解決在模態(tài)一致性約束條件下的模態(tài)差異性問題,為異構圖像的協(xié)同表示和可分辨性生成識別特征模板。

在紅外和可見光的融合跟蹤問題上,徐寧文[36]使用卷積神經(jīng)網(wǎng)絡融合了可見光和紅外的特征信息,不需要大量數(shù)據(jù)進行訓練,將紅外圖像作為第4通道與可見光進行融合,目標跟蹤幀率大約為 5 幀/秒。Zhan[36]首次將全卷積孿生神經(jīng)網(wǎng)絡用于紅外和可見光圖像特征級融合,分別對模板框和搜索框進行特征融合并進行互相關運算,該算法在一定程度上兼顧了準確性和實時性。唐聰[37]提出了一種基于深度學習的紅外與可見光決策級融合跟蹤方法。通過建立參數(shù)傳遞模型,以可見光深度學習檢測模型為基礎,微調參數(shù),得到紅外檢測模型。并且進行單波段和雙波段融合跟蹤對比試驗,在跟蹤過程中,選取置信度較高的波段更新跟蹤模板,融合后的跟蹤精度和成功率較之單波段跟蹤顯著提高,跟蹤速度2～3幀/秒,實時性有待提高。

5 結束語

在多源異構信息融合跟蹤領域,仍然存在許多尚未解決的問題,譬如非結構化信息的定義與表征,建立目標特征通用數(shù)學模型,動態(tài)目標多尺度變化,多目標跟蹤中目標之間相互遮擋,長時跟蹤魯棒性等?？偟脕碚f,需要構建包括場景定義、特征定義、目標特征建模、跟蹤性能評價在內的完整閉合的融合跟蹤理論框架。

在未來的多源異構信息融合領域,可以融合隨機噪聲,以文本和位置做先驗信息,構建RGB-D目標特征模型等方法強化目標特征;此外視覺顯著性學習、強化學習以及注意力機制等在目標魯棒性跟蹤方面是新的研究熱點;此外,目前針對多源異構信息融合跟蹤的測試集非常少,已經(jīng)有紅外和可見光的測試集,但是更多形式的視頻數(shù)據(jù)集還有待建立。

本文總結了復雜場景下多源異構信息融合跟蹤中關鍵問題的研究現(xiàn)狀,分析了各種算法的優(yōu)缺點及解決的問題以及未來趨勢,希望為本文的讀者理解多源異構信息融合跟蹤提供有用信息。