張麗紅，周天，徐超，韓婷婷

基于聲吶圖像序列SIFT特征的多目標跟蹤方法研究

張麗紅1,2,3，周天1,2,3，徐超1,2,3，韓婷婷1,2,3

(1. 哈爾濱工程大學水聲技術(shù)重點實驗室，黑龍江哈爾濱 150001；2. 海洋信息獲取與安全工信部重點實驗室(哈爾濱工程大學)，工業(yè)和信息化部，黑龍江哈爾濱 150001；3. 哈爾濱工程大學水聲工程學院，黑龍江哈爾濱 150001)

針對高頻成像聲吶多目標跟蹤中聲成像的不穩(wěn)定問題，在基于檢測前跟蹤的聲吶圖像序列尺度不變特征變換(Scale Invariant Feature Transform, SIFT)的基礎上，提出了一種結(jié)合對數(shù)變換的聲吶圖像序列SIFT特征跟蹤方法。該方法利用對數(shù)變換進行圖像預處理，進而利用聲吶圖像序列SIFT特征進行多目標跟蹤。水池試驗數(shù)據(jù)的處理結(jié)果表明：與中值濾波和動態(tài)亮度分配的方法相比，結(jié)合對數(shù)變換的聲吶圖像序列SIFT特征跟蹤方法具有更好的多目標跟蹤效果。

聲吶圖像序列；檢測前跟蹤；尺度不變特征變換；圖像預處理；對數(shù)變換；多目標跟蹤

0 引言

近年來，隨著水下小目標探測需求的迫切，利用中、高頻成像聲吶進行水下目標、特別是水下運動目標的探測和跟蹤研究得到了廣泛關注。水下多目標跟蹤問題可歸結(jié)為由漏檢和雜波的量測來估計每一時刻的目標數(shù)目和目標狀態(tài)，并且每個目標形成時間上連續(xù)的軌跡。常規(guī)的檢測后跟蹤方法要在每一幀圖像內(nèi)做出檢測，而由于單幅圖像信息局限，面臨分割閾值選擇的問題，增加了目標檢測和后續(xù)跟蹤的難度。檢測前跟蹤(Track Before Detect, TBD)[1-2]是對單幀圖像中有無目標先不做出判決，而在圖像序列中對所有潛在的目標進行特征跟蹤，依據(jù)航跡的連續(xù)性篩選出真實目標?；赥BD在多波束聲吶圖像序列中進行特征跟蹤，是實現(xiàn)水下多目標跟蹤的一種新技術(shù)。

2004年，LOWE[3]提出了尺度不變特征變換(Scale Invariant Feature Transform, SIFT)算法，SIFT特征對旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性。相比常用特征[4-5]跟蹤方法更適用于表征成像質(zhì)量相對較差的聲吶圖像中的潛在目標。

SIFT已經(jīng)在光學領域得到成功應用[6-7]，但利用聲吶圖像序列SIFT特征進行水下目標跟蹤的應用非常少。文獻[8]利用基于檢測前跟蹤的聲吶圖像序列SIFT特征跟蹤方法進行單個動態(tài)目標的跟蹤以及靜態(tài)目標與動態(tài)目標的區(qū)分。該方法的不足之處在于聲吶圖像的不穩(wěn)定性會影響目標跟蹤效果。因此，本文針對上述問題提出一種結(jié)合對數(shù)變換的SIFT多目標跟蹤方法，利用對數(shù)變換壓縮高像素值，來提高聲吶圖像的穩(wěn)定性。高頻成像聲吶的水池試驗結(jié)果表明，本文方法具有更好的目標跟蹤效果。

1 結(jié)合對數(shù)變換的SIFT目標跟蹤算法

1.1 聲吶圖像的生成和預處理

為利用聲吶圖像序列SIFT特征進行水下多目標跟蹤，首先要對聲吶所采集的數(shù)據(jù)進行處理，生成聲吶圖像，并對圖像進行必要的預處理。圖1(a)給出了聲吶圖像生成和預處理的流程圖。

在聲吶圖像生成處理中，考慮到多波束聲吶圖像普遍存在旁瓣干擾嚴重[9]的特點，因此需要對波束形成輸出進行旁瓣抑制，繼而進行聲吶圖像插值。插值原理示意圖如圖1(b)所示，可以看到，扇形的交叉點表示插值前的像素，這些像素是波束形成獲得的波束值，呈現(xiàn)等角分布，尤其在遠距離時波束非常稀疏；矩形網(wǎng)格的交叉點表示插值后的像素，表現(xiàn)為直角坐標系下的均勻分布，使圖像更為細膩并利于后續(xù)處理。

(a) 聲吶圖像生成和預處理流程圖

(b) 聲吶圖像插值示意圖

圖1 聲吶圖像的預處理

Fig.1 Sonar image preprocessing

接著進行必要的圖像預處理。為驗證本文所提預處理方法的有效性，用文獻[8]中的方法和本文方法分別處理，進行對比。具體算法和理論依據(jù)如下。

本文所提預處理方法為對聲吶圖像進行對數(shù)變換，再線性映射至灰度值[0, 255]。采用的對數(shù)變換公式為

值得注意的是，常規(guī)的對數(shù)變換形式為[10]

本文利用該變換來擴展圖像中的暗像素值，同時壓縮高灰度級的像素值。暗像素的擴展意味著放大背景噪聲的動態(tài)范圍。類似地，高灰度級像素的壓縮意味著減小目標像素灰度的動態(tài)范圍。如此可提高目標在聲吶圖像序列中的穩(wěn)定性，進而改善SIFT特征的提取和跟蹤效果。從對數(shù)變換原理可見，雖然其用于圖像處理具有降低動態(tài)范圍的優(yōu)點，但由于該運算為非線性處理，對圖像信噪比有較高要求，不適合低信噪比應用場景。

1.2 聲吶圖像生成SIFT特征向量

SIFT特征檢測是在高斯差分算子(Difference of Gaussian, DOG)尺度空間提取聲吶圖像中不隨尺度變化的“穩(wěn)定”特征點，也即“關鍵點”。主要包括以下3個基本步驟：

步驟1：尺度空間構(gòu)造

步驟2：關鍵點位置和方向確定

DOG尺度空間中的每個點需要跟同一尺度的周圍鄰域8個點和相鄰尺度對應位置的周圍鄰域18個點進行比較，如圖2所示。當該點為局部極值時，判定為候選特征點。

圖2 尺度空間極值檢測[3]

候選特征點最終成為關鍵點須經(jīng)兩步判定：與鄰域像素的對比度足夠大，且不是邊緣特征點，具體如下：

步驟3：關鍵點特征向量描述

圖3 關鍵點特征向量描述

1.3 聲吶圖像序列中的SIFT特征跟蹤

通過對聲吶圖像序列連續(xù)地進行SIFT特征的幀間匹配來實現(xiàn)多目標跟蹤。以關鍵點特征向量的歐氏距離作為相似性度量，尋找待匹配關鍵點的最近鄰和次近鄰，如果最近鄰距離與次近鄰距離的比值小于某閾值，則判定最近鄰點與這個關鍵點為匹配對，否則視為匹配失敗?？紤]聲吶圖像易受環(huán)境干擾、分辨力低、噪聲強、穩(wěn)定性低等局限，僅當某SIFT特征連續(xù)3幀匹配失敗時，終止對該特征的跟蹤，并判定為雜波，這可以在一定程度上提高算法的容錯能力。SIFT特征跟蹤的算法流程如圖4所示。

圖4 SIFT多目標跟蹤算法流程

2 水池實驗數(shù)據(jù)處理

為驗證結(jié)合對數(shù)變換的SIFT目標跟蹤算法對聲吶圖像穩(wěn)定性的改善效果以及在水下多目標跟蹤中的應用效果，利用高頻成像聲吶在某消聲水池中進行試驗，并對試驗數(shù)據(jù)進行處理。

高頻成像聲吶工作頻率為500 kHz，接收陣陣元間距為半波長，陣元數(shù)目為32。聲吶位置固定，信號形式為單頻脈沖信號，脈沖寬度為0.1 ms，發(fā)射周期1/15 s，帶通采樣頻率為220 kHz。所跟蹤目標為兩個直徑15 cm的塑料材質(zhì)球，兩個目標在水中相向運動。多波束聲吶和實驗水池如圖5所示。

2.1 聲吶圖像的生成和預處理

首先依次通過波束形成、旁瓣抑制[10]和圖像插值(插值網(wǎng)格區(qū)域為方向[-3,3]，方向[0,6]，單位m，網(wǎng)格節(jié)點間距為0.005 m)處理生成聲吶圖像。

繼而進行聲吶圖像的預處理：為驗證本文方法的有效性，采用文獻[8]的方法和本文方法分別處理，進行對比。

以一幀聲吶圖像為例，其生成和預處理過程在圖6中顯示，其中圖6(a)為波束形成并抑制旁瓣后生成的圖像，圖6(b)為圖像插值后的結(jié)果，圖6(c)為文獻[8]方法的結(jié)果，圖6(d)是本文方法的結(jié)果。

圖5 多波束聲吶和實驗水池

由圖6可以看出，本文方法較好地抑制了圖6(a)旁瓣影響。圖6(b)與圖6(a)相比只保留插值區(qū)域且提高圖像細膩程度。與圖6(b)相比，經(jīng)中值濾波和動態(tài)亮度分配預處理的圖6(c)圖像對比度顯著提高，高灰度級像素區(qū)域擴大。相較圖6(c)，采用對數(shù)變換預處理的圖6(d)圖像對比度大幅減小，圖像細節(jié)得以增強，目標像素更加柔和，正是這一點使得圖像序列中的目標特征更加穩(wěn)定。

(a) 抑制旁瓣后的聲吶圖像 (b) 插值后的聲吶圖像

(c) 中值濾波與動態(tài)亮度分配 (d) 對數(shù)變換預處理

圖6 不同預處理生成的聲吶圖像

Fig.6 Sonar images from different preprocessing

2.2 聲吶圖像序列SIFT特征跟蹤

為驗證本文方法在多目標跟蹤中的應用效果，利用文獻[8]方法和本文方法的處理結(jié)果進行對比。在2.1節(jié)，經(jīng)過文獻[8]方法和本文方法分別預處理，各得到一組聲吶圖像序列。根據(jù)圖4的SIFT算法流程對這兩組圖像序列進行SIFT特征跟蹤，采用文獻[8]方法的跟蹤結(jié)果如圖7所示，采用本文方法的跟蹤結(jié)果如圖8所示。

圖7中，圖7(a)表征了每幀圖像生成SIFT特征的數(shù)目；圖7(b)是第一幀圖像生成的SIFT特征作為特征集模板，跟蹤到第三幀圖像時會舍棄連續(xù)三幀匹配失敗的特征，特征數(shù)目開始減少，之后跟蹤的每一幀都舍棄連續(xù)三幀匹配失敗的特征，特征數(shù)目遞減；圖7(c)是跟蹤結(jié)果，在跟蹤的最后一幀圖像上用青色點跡顯示跟蹤的目標航跡。

圖8中，由圖8(a)可以看出：對于同一幀圖像，經(jīng)文獻[8]方法預處理之后和經(jīng)本文方法預處理之后，所得圖像生成的SIFT特征數(shù)目不同，但總體上兩組圖像序列的SIFT特征數(shù)目都在100～200的區(qū)間。

(a) 特征提取數(shù)目

(b) 特征跟蹤數(shù)目

(c) 跟蹤軌跡

(a) 特征提取數(shù)目

(b) 特征跟蹤數(shù)目

(c) 跟蹤軌跡

由圖8(b)可以看出：與文獻[8]方法預處理的圖像序列相比，本文方法預處理的圖像序列，起始幀圖像生成的特征數(shù)目更少，跟蹤過程中的特征數(shù)目也更少，計算量更小。

對比圖7(c)、8(c)可以看出：文獻[8]方法預處理的圖像序列經(jīng)SIFT特征跟蹤方法只實現(xiàn)了對其中一個目標的跟蹤，并伴隨虛假的目標。本文方法預處理的SIFT特征跟蹤方法獲得兩個目標的運動軌跡，跟蹤效果顯著改善。

分析原因，文獻[8]方法進行圖像預處理的目的是平滑噪聲并提高對比度，存在兩點缺陷：一是由于目標材質(zhì)不完全相同以及兩個目標與聲吶距離不同，兩目標回波一強一弱，較弱目標的強度被動態(tài)亮度分配算法再次削弱；二是對比度增強使得亮區(qū)形狀不穩(wěn)定性更加顯著。而本文圖像預處理的方法可以減小高灰度級的像素的動態(tài)范圍，從而大幅縮小目標之間的灰度差，提高聲吶圖像序列目標特征的穩(wěn)定性。所以，本文方法預處理的聲吶圖像序列更有利于后續(xù)的SIFT特征跟蹤。

3 結(jié)論

聲吶圖像序列的SIFT特征跟蹤是一種立足于檢測前跟蹤技術(shù)的多目標跟蹤方法。本文提出一種利用對數(shù)變換進行圖像預處理，進而采用SIFT算法進行聲吶圖像序列的多目標跟蹤的方法。與文獻[8]方法相比，本文方法可以減小高灰度級的像素的動態(tài)范圍，不僅可以提高聲吶圖像的穩(wěn)定性，而且在回波強弱不同的多目標探測應用中能夠改善對較弱目標的探測能力。水池試驗驗證了該方法較現(xiàn)有方法能獲得更好的目標跟蹤效果，基本消除了野點，目標軌跡更完整，對高頻成像聲吶多目標跟蹤的研究和工程應用具有一定實用價值和推廣意義。

一直以來，水下多目標跟蹤中的軌跡交叉問題比較棘手，尤其是非線性非高斯的情況。以后的研究工作將考慮本文所提方法結(jié)合基于貝葉斯理論的粒子濾波或基于隨機有限集的概率假設密度濾波，以此來提高發(fā)生軌跡交叉時的多目標跟蹤性能。

[1] DAVEY S J，RUTTEN M G，CHEUNG B．Using phase to improve track-before-detect[J]. IEEE transactions on aerospace and electronic systems, 2012, 48(1): 832-849.

[2] LIU S L, CHEN X L, ZENG T, et al．New analytical approach to detection threshold of a dynamic programming track-before-detect algorithm[J]. IET Radar, Sonar & Navigation, 2013, 7(7): 773-779.

[3] LOWE D G．Distinctive image features from scale-invariant key-points [J]. International journal of computer vision, 2004, 60(2): 91-110.

[4] NEGAHDARIPOUR S．On 3-D motion estimation from feature tracks in 2-D FS sonar video[J]. IEEE Transactions on Robotics, 2013, 29(4): 1016-1030.

[5] WANG S G, ZENG X Y. Robust underwater noise targets classification using auditory inspired time-frequency analysis[J]. Applied Acoustics, 2014, 78: 68-76.

[6] LIU Y, LIU S P, WANG Z F. Multi-focus image fusion with dense SIFT[J]. Information Fusion, 2015, 23: 139-155.

[7] LENC L, KRL P. Automatic face recognition system based on the SIFT features[J]. Computers & Electrical Engineering, 2015, 46: 256-272.

[8] 李海森, 高玨, 徐超, 等. 應用TBD的多波束聲吶圖像序列SIFT特征追蹤[J]. 哈爾濱工程大學學報, 2016, 37(8): 1009-1014.

LI Haisen, GAO Jue, XU Chao, et al．SIFT feature tracking in multi-beam sonar image sequences using the track-before-detect technique[J]. Journal of Harbin Engineering University, 2016, 37(8): 1009-1014.

[9] SCHETTINI R, CORCHS S. Underwater image processing: state of the art of restoration and image enhancement methods [J]. EURASIP Journal on Advances in Signal Processing, 2010: 746052.

[10] GONZALEZ R C, WOODS R E. 數(shù)字圖像處理[M]. 阮秋琦, 阮宇智, 等, 譯. 北京: 電子工業(yè)出版社, 2017: 64-71.

GONZALEZ R C, WOODS R E. Digital image processing [M]. RUAN Qiuqi, RUAN Yuzhi, et al., Trans. Beijing: Publishing House of Electronics Industry, 2017: 64-71.

[11] LI H S, GAO J, DU W D, et al. Object representation for multi-beam sonar image using local higher-order statistics[J]. Eurasip Journal on Advances in Signal Processing, 2017(1): 1-9.

[12] 趙海旭, 聶良春, 鄧紅超. 一種基于時域處理的圖像聲吶技術(shù)[C]//水聲對抗技術(shù)學術(shù)交流會, 2014.

ZHAO Haixu, NIE Liangchun, DENG Hongchao. An image sonar technology based on time domain processing[C]//Academic Conference on Underwater Acoustic Warfare, 2014.

Research on multi-target tracking method withSIFT featuresof sonar image sequences

ZHANG Li-hong1,2,3, ZHOU Tian1,2,3, XU Chao1,2,3, HAN Ting-ting1,2,3

(1. Acoustic Science and Technology Laboratory, Harbin Engineering University, Harbin 150001, Heilongjiang, China; 2. Key Laboratory of Marine Information Acquisition and Security(Harbin Engineering University), Ministry of Industry and Information Technology, Harbin 150001, Heilongjiang, China; 3. College of Underwater Acoustic Engineering, Harbin Engineering University, Harbin 150001, Heilongjiang, China)

The instability of acoustic imaging is still a challenge in multi-target tracking of high-frequency imaging sonar. Based on the SIFT (scale-invariant feature transform) feature tracking method using TBD (track-before-detect) technique, a SIFT feature tracking method with logarithm transformation for sonar image sequences is proposed. This method uses logarithmic transformation to preprocess images, and then uses the SIFT features of sonar image sequence to perform multi-target tracking. Logarithmic transformation can compress high gray-scale pixel values to improve the detection ability of weak targets and the stability of sonar imaging. The results of pool experiment showthat the SIFT feature tracking method with logarithm transformation performs better in multi-target tracking of sonar image sequences,compared with the median filtering and dynamic brightness allocation method.

sonar image sequences; track-before-detect; scale-invariant feature transform; image preprocessing; logarithmic transformation; multi-target tracking

TN911.7

A

1000-3630(2019)-05-0514-06

10.16300/j.cnki.1000-3630.2019.05.006

2018-05-09;

2018-06-28

國家自然科學基金 (U1709203、41376103)資助項目。

張麗紅(1996－), 女, 河北武安人, 碩士研究生, 研究方向為水聲信號處理。

周天,E-mail: zhoutian@hrbeu.edu.cn