宋 勇， 趙宇飛， 楊 昕， 王楓寧， 張子爍， 李國齊

0 引 言

作為計算機視覺領域的重要研究方向，目標檢測與跟蹤技術廣泛應用于視頻監(jiān)控、虛擬現(xiàn)實、人機交互、行星探測和行為理解等領域[1].然而，在實際應用場景中，目標檢測與跟蹤系統(tǒng)面對的情況往往復雜多變，如背景復雜[2]、目標被遮擋及目標尺度和外觀變化[3]等，上述情況直接或間接影響了目標檢測與跟蹤的精度和魯棒性.

作為人類獲得外界信息的主要手段之一，人腦視覺系統(tǒng)(human visual system, HVS)擁有高效的信息處理能力，其性能在信息處理的多個方面都遠遠超過現(xiàn)有的計算機視覺系統(tǒng)[4].在HVS中，視覺信息經(jīng)過多種人腦視覺信息處理機制的加工和處理，如側抑制[5]、視覺注意[6]和認知記憶[7]機制等，通過人腦信息處理機制的協(xié)同作用，可實現(xiàn)目標和場景的準確感知.受此啟發(fā)，利用HVS中的類腦機制解決計算機視覺中的復雜背景下的目標檢測與跟蹤問題成為重要的研究方向.如：利用人腦視覺系統(tǒng)中的視覺注意機制，ACHANTA等[8]提出了基于全分辨率的視覺注意模型，該模型通過計算圖像區(qū)域相對于其鄰域的不同比例的局部對比度來獲得顯著圖；HOU等[9]提出一種基于頻譜殘差的視覺注意模型，該模型通過在頻域中執(zhí)行傅立葉逆變換來獲得顯著圖.實驗結果表明，上述基于視覺注意機制的目標檢測算法均具有較好的突出目標和抑制背景能力；基于人腦視覺系統(tǒng)的認知記憶機制，MA等[10]提出了一種基于自適應相關濾波器的跟蹤算法，該算法具有長時記憶和短時記憶，可實現(xiàn)對目標外觀的記憶；WAN等[11]在跟蹤問題中引入了長短時記憶(long short-term memory, LSTM)，該方法考慮了LSTM的時空特征，使目標跟蹤精度得到了較大提高；MIKAMI等[12]將記憶模型用于臉部姿勢追蹤，在復雜背景下獲得了較高的魯棒性.

目前，對人腦視覺處理過程的模擬主要通過兩種途徑：一種是建立神經(jīng)工程導向的類腦模型，這種類腦模型以神經(jīng)工程為基礎，從人腦的形態(tài)、信息獲取方式和信息處理機制等方面模擬大腦，通過建立類腦模型解決計算機視覺中的具體問題；另一種是建立計算機工程導向的類腦模型，即以計算機工程為基礎，通過機器學習算法解決計算機視覺問題.其中，神經(jīng)工程導向的類腦模型具有無需訓練樣本、對硬件計算能力要求低、具有生物可解釋性等優(yōu)勢.同時，計算機工程導向的類腦模型具有圖像特征提取能力強、無需手工設計特征等優(yōu)勢.

基于上述分析，本文主要面向復雜條件下的目標檢測與跟蹤，開展了基于類腦模型和DNNs的目標檢測與跟蹤技術研究，提出了基于演算側抑制的運動目標檢測算法、基于SC視覺注意模型的弱小目標檢測算法、基于記憶機制與分層卷積特征的目標跟蹤算法等，為實現(xiàn)復雜背景下的高精度目標檢測與跟蹤奠定基礎.

1 基于類腦模型的目標檢測與跟蹤算法

1.1 基于演算側抑制的運動目標檢測算法

作為一種神經(jīng)工程導向的類腦模型，演算側抑制(algorithmic lateral inhibition, ALI)模型采用邏輯推理方法模擬了人腦視覺系統(tǒng)中的側抑制機制，將 其應用于運動目標檢測中，可獲得目標輪廓完整，對目標尺度變化不敏感等優(yōu)點.

ALI模型可分為循環(huán) ALI 模型和非循環(huán) ALI 模型兩種，其推理過程如圖1所示.

圖1 ALI模型的推理過程Fig.1 The reasoning process of ALI model

圖1(a)為循環(huán)ALI模型的推理過程，其將循環(huán)側抑制模型中與某一系數(shù)相乘的數(shù)學過程轉換成利用評價函數(shù)進行評價的過程，同時將兩個輸入相加的過程轉換成利用一個比較選擇單元進行推理的過程.循環(huán)ALI模型的處理過程為：將中心單元的輸入Ii與周圍單元的輸出φj分別經(jīng)過評價函數(shù)Kii與Kij進行評價，作為循環(huán)ALI模型的輸入；然后在循環(huán)ALI模型中按照比較規(guī)則Ci對兩個輸入進行比較，得到當前單元的輸出結果φi.

非循環(huán)ALI模型如圖1(b)，其與循環(huán)ALI模型具有相似的推理過程.將中心單元的輸入Ii與周圍單元的輸入Ij分別經(jīng)過評價函數(shù)Kii與Kij進行評價，作為非循環(huán)ALI模型的輸入；然后，在非循環(huán)ALI模型中按照比較規(guī)則Ci對兩個輸入進行比較，得到當前單元的輸出結果φi.因此，循環(huán)ALI模型實現(xiàn)的是一個時域動態(tài)的過程，輸入會受到輸出的影響.而在非循環(huán)ALI模型中，輸入不受輸出的影響.

本文所提出的基于演算側抑制的運動目標檢測算法總體流程如圖2所示.

圖2 基于演算側抑制模型的目標檢測算法流程圖Fig.2 Flow chart of target detection algorithm based on ALI model

(1)基于信息量的自適應分通道方法

首先，按照圖像的灰度分布將每一幀圖像分為n個并行處理通道，從而獲得較高的運行速度和效率.其中，通道個數(shù)n根據(jù)圖像的信息量自適應確定，可使圖像的灰度值更均勻地分配在于各通道，該方法流程圖如圖3所示.

圖3 基于信息量的自適應分通道方法的流程圖Fig.3 Flow chart of adaptive threshold segmentation method based on information volume

如圖3所示，基于信息量的自適應分通道方法的主要步驟包括：

1)設置參數(shù)m和T，其中m為每次圖像分割產(chǎn)生二值圖像的數(shù)量，T為所設定的閾值；

2)將當前幀輸入圖像灰度化(如需要)，并按照m個雙閾值[0, 255/m)，[255/m, 255×2/m)，[255×2/m, 255×3/m), …， [255×(m-1)/m, 255]進行閾值分割，生成m幅二值圖像；

3)比較第i幅二值圖像中值為1的像素數(shù)量fi和T·P(P是輸入圖像總的像素數(shù)量).若fi≥T·P，則對該通道二值圖像中值為1的像素點對應于輸入圖像中的部分進行二次閾值分割，否則輸出分割后的二值圖像.

(2)ALI運動檢測

將輸入圖像分配到多個通道，每個通道內ALI運動檢測均獨立進行.在這一過程中，通過比較當前幀與上一幀圖像中對應像素點的灰度值即可確定點(i,j)的運動狀態(tài).

(3)改進的模板匹配

利用基于信息量的自適應分通道方法將輸入圖像分成多個通道后，每個通道內的圖像經(jīng)過ALI運動檢測可獲得輸入圖像中的運動區(qū)域.由于基于ALI的運動目標檢測具有輪廓完整等優(yōu)勢，可利用模板匹配法確定運動目標的位置.另一方面，一般情況下，圖像序列中運動目標的輪廓在相鄰兩幀之間變化較小.因此，可利用上一幀圖像的目標作為模板對下一幀圖像進行模板匹配，實現(xiàn)運動目標提取.

1.2 基于SC視覺注意模型的弱小目標檢測算法

視覺注意機制可使人腦在特定場景中快速找到感興趣的區(qū)域并獲得有用的信息，具有突出顯著目標等特性.

本文基于視覺注意機制，建立了一種SC視覺注意模型，如圖4所示.

圖4 SC視覺注意模型流程圖Fig.4 Flow chart of Structure & Contrast Visual Attention model

首先，SC模型將圖像分別輸入到S通道和C通道中進行處理.在C通道中，圖像利用側抑制網(wǎng)絡濾波實現(xiàn)對比度增強得到對比度特征圖；在S通道中，利用基于Harris角點理論構造結構函數(shù)處理圖像得到結構特征圖.然后，為了進一步提高弱小目標的信雜比，在得到特征圖之后，利用松弛閾值法[13]得到權重特征圖和融合進一步增強目標.具體步驟為，將特征圖灰度拉伸至[0, 255]，然后對特征圖進行多閾值分割，其中閾值組{Ti}由灰度值范圍和固定步長δ確定，從而得到權重特征圖.本文中設置的步長δ=4，閾值組{Ti}的選取范圍為1～251，用來平衡計算效率與檢測性能.每張權重特征圖的權值按照公式(1)計算.

(1)

式中，Nfront和Ntotal分別表示松弛閾值分割時的前景像素點數(shù)量和全圖的像素點總數(shù).

而后，將S通道和C通道中的權重特征圖分別加權融合即可得到結構顯著圖和對比度顯著圖，如式(2)所示.

(2)

式中，Y是S通道中融合后的結構顯著圖，yj是S通道中的第j張權重特征圖，wj是對應的權值.以此類推，可得C通道融合的對比度顯著圖.

最后，將結構顯著圖和對比度顯著圖相乘融合得到總的顯著圖.

在SC模型的S通道中，利用基于Harris算子理論構造的結構函數(shù)處理圖像突出弱小目標以得到結構分量顯著圖.對于具有弱小目標的紅外圖像而言，圖像局部塊按照灰度變化基本可分為：小目標區(qū)域、邊緣區(qū)域及背景區(qū)域.圖5為紅外弱小目標的圖像的不同種類圖像局部塊的特性，小目標所在區(qū)域一般對各個方向灰度都有明顯的變化；邊緣區(qū)域一般對某個方向上的灰度變化明顯；在背景區(qū)域，圖像較為平坦，各方向灰度變化較為平緩.

圖5 不同的圖像局部塊特性Fig.5 Different image local block characteristics

基于以上分析，利用小目標區(qū)域的局部結構特點構造結構函數(shù)即可突出弱小目標.Harris角點算子是由Chris Harris等[14]提出的用于檢測圖像角點特征的算法子，被廣泛應用到目標匹配、目標跟蹤、三維重建等領域中.該算子利用水平，豎直差分算子對圖像的每個像素進行濾波以求得Ix，Iy，Ixy并按照公式(3)構造局部自相關矩陣M.

(3)

其中，w(x,y)是圖像的窗口函數(shù).

矩陣M的特征值λ1和λ2具有如圖6所示的性質.

圖6 自相關矩陣M的特征值性質Fig.6 Eigenvalue properties of autocorrelation matrix M

(1)對于平坦區(qū)域，特征值λ1≈λ2≈0，說明此時圖像窗口在所有方向上的移動都沒有明顯的灰度變化.

(2)對于角點區(qū)域，特征值λ1≈λ2>0，說明此時圖像窗口在所有方向上移動都產(chǎn)生明顯的灰度變化.

(3)對于邊緣區(qū)域，特征值λ1?λ2>0或λ2?λ1>0，說明此時圖像窗口在某個方向上移動產(chǎn)生明顯灰度變化.

基于紅外圖像局部塊的分析和Harris角點算子中自相關矩陣特征值的性質，構造結構函數(shù)H突出弱小目標，如公式(4)所示：

(4)

對于小目標區(qū)域，λ1+λ2的值最大且λ1/λ2≈1，此時H的值最大；對于邊緣區(qū)域，λ1+λ2的值較大，但因為λ1?λ2或λ2?λ1，此時H的值很小；對于背景區(qū)域，λ1+λ2≈0，且λ1/λ2≈1，此時H的值最小.利用函數(shù)H即可表示出圖像不同結構對應的函數(shù)值，且小目標區(qū)域對結構函數(shù)的響應值最大，從而突出小目標區(qū)域.同時，將得到的結構函數(shù)圖邊界置0去除邊界角點.

在SC模型的C通道中，利用側抑制網(wǎng)絡處理圖像提高目標的對比度以得到對比度分量顯著圖.其中，側抑制網(wǎng)絡的濾波模板L[14]如式(5)所示：

(5)

利用側抑制模板L對原圖像中的各像素點所在的圖像塊進行濾波，得到圖像的對比度特征圖.濾波處理過程如式(6)：

F(x+m,y+n)

(6)

式中，F(xiàn)(x,y)為輸入圖像的灰度分布，G(x,y)為經(jīng)過側抑制模板濾波后的輸出圖像的灰度分布，L(m,n)是像素點 (m,n) 對像素點(x,y)的抑制系數(shù)，l為抑制野半徑.

1.3 基于記憶機制與分層卷積特征的目標跟蹤算法

基于記憶機制與分層卷積特征的目標跟蹤算法融合了神經(jīng)工程導向的記憶機制和計算機工程導向的卷積神經(jīng)網(wǎng)絡，該算法對樣本數(shù)和計算能力要求低，同時具有較強的特征提取能力，可在較少的訓練樣本和硬件計算能力下有效提取更多特征.

基于記憶機制與分層卷積特征的目標跟蹤算法在相關濾波方法的框架下，采用分層卷積特征替代HOG特征，先利用高層特征進行粗定位，再逐層向下精確定位，從而提高目標跟蹤精度.同時，利用響應圖分析網(wǎng)絡處理分類器產(chǎn)生的響應圖，計算當前幀分類器的置信分數(shù)，估計目標的狀態(tài).通過調整更新的學習率與間隔，實現(xiàn)高置信度、自適應的分類器更新，從而可解決目標在圖像中被遮擋的問題.

(1)響應圖分析網(wǎng)絡

當目標受到干擾，跟蹤精度下降時，響應圖的形狀也會隨之變得不規(guī)則.所提出算法設計并訓練了一個響應圖分析網(wǎng)絡(response map analysis network，RAN)，該網(wǎng)絡以響應圖作為輸入，輸出當前幀分類器的跟蹤置信度評分.

如圖7所示，以OTB100數(shù)據(jù)集中的Girl2序列為例.圖中，上一行為圖像與跟蹤結果，其中紅色框代表目標的真實位置，綠色框代表算法估計的目標位置，下一行是分類器在該幀產(chǎn)生的對應的響應圖，以及由所設計并訓練的響應圖分析網(wǎng)絡RAN求得的跟蹤置信分數(shù).在104幀，目標發(fā)生遮擋前，響應圖的形狀比較規(guī)則，近似于二維的高斯函數(shù)，峰值的位置可以視為目標的中心位置；從105幀開始，目標開始受到遮擋時，形狀開始變得不規(guī)則、崎嶇，出現(xiàn)了干擾峰，目標模型被背景干擾污染，導致分類器徹底丟失目標；第140幀之后，由于連續(xù)不斷地更新，導致分類器完全將干擾物體視為目標進行學習，因此響應圖的形狀反而開始恢復正常.因此，分類器產(chǎn)生的響應圖可作為目標狀態(tài)判斷的依據(jù).

圖7 目標受到遮擋時響應圖形狀與置信分數(shù)的變化情況Fig.7 Changes in the shape of the response map and the confidence score when the target is occluded

首先，對進行跟蹤置信度評價的卷積神經(jīng)網(wǎng)絡進行設計與訓練.利用現(xiàn)有的相關濾波跟蹤方法，建立分類器響應圖的數(shù)據(jù)集.然后，對網(wǎng)絡結構進行設計.最后，利用數(shù)據(jù)集對所提出的網(wǎng)絡進行訓練與驗證.該網(wǎng)絡稱為響應圖分析網(wǎng)絡，用φ表示.

響應圖分析網(wǎng)絡訓練完畢之后，基于此網(wǎng)絡，在相關濾波跟蹤方法中加入置信度評價的環(huán)節(jié)，根據(jù)此分數(shù)對目標的變化情況進行估計，模擬人腦的跟蹤過程，通過高置信度、自適應的更新，保持對目標外觀模型的良好的短期記憶；能夠確定目標消失的時刻，并且利用對目標外觀的長期記憶，在更大的搜索范圍內尋找保持對目標外觀模型的短期與長期記憶，提高跟蹤的精度與效率.

如圖8所示，分類器的參數(shù)矩陣在與搜索區(qū)域的特征進行卷積，產(chǎn)生響應圖后，將響應圖送入訓練好的網(wǎng)絡，經(jīng)過前向傳播，即可得到這一幀分類器的置信分數(shù).如圖7所示，置信分數(shù)與響應圖形狀的變化趨勢幾乎一致.在發(fā)生遮擋前，置信分數(shù)較高且比較穩(wěn)定；開始受到遮擋后，置信分數(shù)開始急劇下降；在完全被遮擋后，置信分數(shù)長期處于接近于0的水平.因此由響應圖分析網(wǎng)絡得到的置信分數(shù)在一定程度上與目標變化的情況相關聯(lián)，可用于于判斷目標的狀態(tài)，對分類器的更新進行調整，并幫助跟蹤器在目標消失時進行檢測尋回.

圖8 基于響應圖分析網(wǎng)絡的跟蹤置信分數(shù)計算過程Fig.8 Tracking confidence score calculation process based on response map analysis network

(2)分類器自適應更新機制

在常規(guī)相關濾波跟蹤算法中，分類器會以固定的間隔與學習率進行更新，不僅容易使目標外觀模型受到污染，還使得算法效率低下，過擬合的風險高.所提出算法根據(jù)相鄰幀內分類器所得置信分數(shù)的變化情況劃分出四種更新模型，自適應地調整更新的學習率與頻率.具體地，將所生成的響應圖ft輸入到訓練好的卷積神經(jīng)網(wǎng)絡中，得到其對應的跟蹤置信分數(shù)φ(ft).設置τl和τs兩個長、短時間閾值與φh和φl兩個高、低跟蹤置信分數(shù)閾值，其中τl>τs，φh>φl.然后，根據(jù)τl幀內置信分數(shù)的變化情況確定分類器更新頻率：

1)長期高置信度更新模式：在τl幀這一長時間段內，所有的置信分數(shù)φ(f)均大于高置信度閾值φh時，認為目標處于長期高跟蹤置信度.在這種情況下，每三幀更新一次分類器，更新的學習率的放大倍率α=α3.

2)短期高置信度更新模式：雖然在τl幀內，不是所有的置信分數(shù)φ(f)都大于高置信閾值φh，但滿足對任意的τ∈[0,1,…,τs-1]，均滿足φ(ft-τ)>φh時，認為目標在τs幀這一短時間段內，處于短期高置信度.每兩幀更新一次分類器，學習率的放大倍率α=α2.

3)普通更新模式：如不滿足(1)和(2)，但此時的置信分數(shù)仍大于低置信閾值φl時，認為目標受到一定干擾，但對定位精度影響不大，目標與分類器仍可較好地匹配.此時每幀更新一次分類器，放大倍率α=α1.

4)停止更新：當?shù)趖幀估計的置信分數(shù)小于低置信度閾值φl時，分類器處于低置信度狀態(tài)，短期記憶分類器與目標特征幾乎無法匹配，跟蹤結果不再可靠.此時不再更新分類器.

當目標處于高跟蹤置信度狀態(tài)時，認為目標的外觀在相鄰幾幀內高度相似，通過降低更新的頻率，可以提升跟蹤算法的時間與空間效率；并且使跟蹤的學習率與置信分數(shù)正相關，在低置信度時甚至會停止更新，以防止目標的外觀模型受到污染，保持良好的短期記憶.

2 實驗與結果分析

2.1 基于演算側抑制的運動目標檢測算法

選取Change Detection Benchmark數(shù)據(jù)集[15]，選擇混合高斯模型[16]、非參數(shù)模型[17]和碼本法[18]是3種典型的動態(tài)背景下運動目標檢測算法對比算法，開展基于演算側抑制的運動目標檢測算法的比較實驗.

圖9為所提出算法與對比算法的實驗結果.圖9(b)，(c)，(d)所示的運動目標檢測結果表明：對于動態(tài)背景下的運動目標檢測，3種對比算法的檢測結果中，部分目標產(chǎn)生了空洞，且背景雜波較多，不利于進一步對其進行識別等處理.此外，對于lakeSide序列，碼本法未能實現(xiàn)運動目標檢測.圖9(e)所示的運動目標檢測結果表明：所提出的基于演算側抑制模型的目標檢測算法的檢測結果中目標輪廓完整，背景雜波較少，表明所提出算法在目標輪廓完整度、背景雜波抑制等方面具有良好的特性.

圖9 對比實驗結果Fig.9 Comparison results

2.2 基于SC視覺注意模型的弱小目標檢測算法

選取最大均值濾波(max-mean)[19]，最大中值濾波(max-median)[20]，二維最小均方誤差算法(TDLMS)[21]，Top-hat，Wang’s[22]算法進行對比實驗，得到如圖10所示的對比實驗結果.

圖10 弱小目標檢測對比實驗結果Fig.10 Comparison experiment results of dim target detection

由圖10可以看出，max-mean，max-median和TDLMS雖然可以增強目標，但是它們都不能有效抑制背景，如圖10(a)中的海面雜波仍然存在.Top-hat算法可以較好地抑制背景，但仍然存在背景雜波.而且它的目標增強能力較弱，尤其當目標的信號較弱時，其檢測結果不是很理想，如圖10(e)-(f)所示.Wang’s算法是近年來提出的一種基于視覺注意機制的檢測算法，但是該算法所需參數(shù)較多，需要知道目標的大小，對比度閾值及擴展區(qū)域大小等，當這些參數(shù)不適合一些圖像時，檢測性能就大大降低，例如對于圖10(e)，該算法就無法檢測出目標.和這五種算法相比，本論文所提出的算法在不同的測試圖像中檢測效果較好，能夠有效抑制背景雜波和增強目標.即使是在背景雜波較強和目標信號較弱的情況下，如圖10(b)和圖10(e)，仍然具有較好的檢測效果

2.3 基于記憶機制與分層卷積特征的目標跟蹤算法

如圖11所示，在OBT100[23]公開數(shù)據(jù)集中選擇存在目標從圖像中消失等情況的Girl2，Jogging1，Bird1和Box序列，記錄每一幀的置信分數(shù)，并繪出曲線圖.圖中藍色與紅色的直線分別代表高置信度與低置信度閾值線.

圖11 發(fā)生目標消失的序列中置信分數(shù)變化曲線Fig.11 Confidence score change curves in the sequence where the target disappears

可以看出，在目標受到遮擋的過程中，跟蹤置信度均以相似的規(guī)律發(fā)生變化：在消失前，置信分數(shù)處于較高水平，且比較穩(wěn)定，波動較?。辉诎l(fā)生遮擋開始消失時，置信分數(shù)迅速下降；完全消失后，停留在低置信分數(shù)水平.

實驗結果表明，所設計并訓練出的響應圖分析網(wǎng)絡能夠有效地對分類器的跟蹤置信度進行評價，反映目標外觀的變化情況以及分類器與目標模型的匹配程度，因此可作為分類器的定位與更新的依據(jù).

2.4 算法對比分析

由上述結果可以看出，所提出的三種算法具有不同的適用范圍.

基于演算側抑制的運動目標檢測算法適用于運動目標檢測，主要解決的是存在動態(tài)背景及干擾情況下的運動目標檢測問題；基于SC視覺注意模型的弱小目標檢測算法，主要解決的是目標微弱、對比度較低的情況下的目標檢測問題；基于記憶機制與分層卷積特征的目標跟蹤算法適用于復雜情況下的目標跟蹤，主要解決的是目標被遮擋、相似目標干擾等情況下的準確目標跟蹤問題.

3 結 論

本文結合神經(jīng)工程導向的類腦模型(包括側抑制、視覺注意、認知記憶模型等)和計算機工程導向的DNNs，提出了三種基于類腦模型和DNNs的目標檢測與跟蹤算法，包括：針對運動背景下的目標檢測，提出了一種基于演算側抑制的目標檢測算法；針對弱小目標的目標檢測，提出了一種基于SC視覺注意模型的弱小目標檢測算法；針對目標跟蹤過程中目標被遮擋、目標姿態(tài)變化、相似目標干擾等情況，提出了一種基于記憶機制與分層卷積特征的目標跟蹤算法.實驗結果表明，與對比算法相比，所提出算法在目標檢測和跟蹤精度方面具有優(yōu)勢.