丁金閃 仲 超 溫利武 徐 眾
(西安電子科技大學(xué)雷達(dá)信號(hào)處理國家級(jí)重點(diǎn)實(shí)驗(yàn)室 西安 710071)
視頻合成孔徑雷達(dá)(Video Synthetic Aperture Radar,Video SAR)作為一種高幀率雷達(dá)成像系統(tǒng),可對(duì)場景連續(xù)觀測[1–3]。視頻SAR具備較強(qiáng)的動(dòng)目標(biāo)實(shí)時(shí)探測潛力,近年來在國內(nèi)外引起廣泛關(guān)注。
傳統(tǒng)SAR地面動(dòng)目標(biāo)顯示(Ground Moving Target Indication,SAR-GMTI)主要圍繞目標(biāo)后向散射能量展開。經(jīng)典的單通道方法有頻域?yàn)V波[4]和時(shí)頻分析方法[5,6]等。多通道方法如偏置相位中心天線[7]和沿航向干涉[8]則通過更有效的雜波抑制進(jìn)而實(shí)現(xiàn)動(dòng)目標(biāo)能量的提取。上述方法通常對(duì)信雜噪比(Signal to Clutter and Noise Ratio,SCNR)、目標(biāo)散焦程度和通道一致性有較高要求。視頻SAR系統(tǒng)的高載頻使得相同分辨率要求下所需合成孔徑時(shí)間更短,因此動(dòng)目標(biāo)易留下能反映其真實(shí)位置的陰影[9],并且不依賴目標(biāo)本身的雷達(dá)散射截面積(Radar Cross Section,RCS),為視頻SAR動(dòng)目標(biāo)檢測跟蹤提供了另一重要途徑。近年來許多單位針對(duì)動(dòng)態(tài)陰影的檢測跟蹤算法展開研究。文獻(xiàn)[10–12]通過經(jīng)典圖像處理方法,實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)陰影的有效檢測。文獻(xiàn)系統(tǒng)分析了視頻SAR中陰影形成機(jī)制和檢測性能,并分別利用經(jīng)典圖像處理方法和深度神經(jīng)網(wǎng)絡(luò)方法實(shí)現(xiàn)了動(dòng)目標(biāo)陰影的檢測與預(yù)測。文獻(xiàn)[13]提出了適用于視頻SAR的檢測前跟蹤(Track-Before-Detect,TBD)陰影檢測與跟蹤方法。文獻(xiàn)[14]利用背景感知的相關(guān)濾波器(Background-Aware Correlation Filter,BACF)實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)陰影的快速跟蹤。文獻(xiàn)[15–17]基于深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)視頻SAR中動(dòng)目標(biāo)陰影檢測。然而,基于陰影的動(dòng)目標(biāo)檢測仍存在諸多問題需要解決。動(dòng)目標(biāo)陰影是典型的弱小目標(biāo),受系統(tǒng)噪聲及復(fù)雜背景環(huán)境影響,在檢測中易產(chǎn)生虛警和漏警。此外,陰影還受目標(biāo)自身的影響,高速目標(biāo)的陰影邊界模糊,不利于觀測,自身或其他目標(biāo)散焦的能量亦對(duì)陰影產(chǎn)生干擾,從而導(dǎo)致漏警。因此,無論是基于目標(biāo)能量或其陰影信息,均難以實(shí)現(xiàn)目標(biāo)的穩(wěn)健檢測。
本文基于雙域聯(lián)合的視頻SAR動(dòng)目標(biāo)檢測思想,使用基于雙域快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Dual Faster Region-based Convolutional Neural Network,Dual Faster R-CNN)[18]的跨域聯(lián)合檢測方法以實(shí)現(xiàn)低虛警率檢測。通過將高分辨SAR圖像和低分辨距離多普勒(Range-Doppler,RD)譜作為輸入,采用一種方位坐標(biāo)變換方法共享兩個(gè)獨(dú)立區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network,RPN)提供的雙域區(qū)域建議,以驅(qū)動(dòng)網(wǎng)絡(luò)在同一距離附近同時(shí)檢測動(dòng)目標(biāo)的陰影與能量。另一方面,本文使用一種基于跨域航跡關(guān)聯(lián)(Joint Track Association,JTA)檢測方案來實(shí)現(xiàn)可靠的動(dòng)目標(biāo)檢測。通過對(duì)目標(biāo)陰影和能量的檢測、幀間關(guān)聯(lián)和域間匹配,逐步實(shí)現(xiàn)虛警抑制。充分結(jié)合目標(biāo)陰影與能量的空時(shí)信息,完成對(duì)漏警目標(biāo)的重建,并給出多種典型情形下機(jī)動(dòng)目標(biāo)的檢測方案。最后,通過太赫茲視頻SAR實(shí)測數(shù)據(jù),驗(yàn)證了算法有效性。
視頻SAR系統(tǒng)一般設(shè)計(jì)工作在高載頻,運(yùn)動(dòng)目標(biāo)回波的多普勒調(diào)制對(duì)目標(biāo)速度極敏感,極小的徑向速度也會(huì)使目標(biāo)能量發(fā)生很大的位置偏移,并在SAR圖像中留下能夠反映真實(shí)位置及狀態(tài)信息的陰影。因此,利用圖像中目標(biāo)陰影,和RD譜中位置偏移的目標(biāo)能量在原理上可實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的檢測。
圖1給出了美國Sandia實(shí)驗(yàn)室公布的視頻SAR結(jié)果,其中紅、白點(diǎn)線表示在SAR圖像(RD譜)中陰影(多普勒能量)的潛在位置??梢钥闯觯倌繕?biāo)陰影較為明顯,其能量位置偏移較?。欢焖倌繕?biāo)的陰影邊界模糊,其能量位置偏移較大。
圖1 美國Sandia實(shí)驗(yàn)室公布的視頻SAR結(jié)果Fig.1 SAR video released by Sandia laboratory
本文通過如圖2所示方法來獲取視頻SAR圖像序列及對(duì)應(yīng)RD譜。沿慢時(shí)間將原始數(shù)據(jù)劃分為連續(xù)子孔徑,SAR圖像序列由各子孔回波經(jīng)預(yù)濾波和成像處理而來,RD譜則通過在子孔徑中心附近的K個(gè)連續(xù)脈沖(虛線框范圍所示)經(jīng)快速傅里葉變換(Fast Fourier Transform,FFT)獲得。為更有效地積累動(dòng)目標(biāo)能量,通常要求K個(gè)脈沖時(shí)間內(nèi)目標(biāo)不發(fā)生過大的距離走動(dòng),本文采用0.5 m作為可接受走動(dòng)量對(duì)K進(jìn)行選取。
圖2 SAR圖像及距離多普勒譜示意圖Fig.2 Illustrations of SAR image and RD spectrum
本節(jié)使用端到端雙域快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)框架以提升視頻SAR中的陰影檢測性能。通過聯(lián)合利用動(dòng)目標(biāo)在SAR圖像和RD譜中的特征,實(shí)現(xiàn)單幀的低虛警檢測。
對(duì)于圖1(a)所示的慢速運(yùn)動(dòng)目標(biāo),陰影與背景的對(duì)比度更強(qiáng),陰影邊界清晰。在這種情況下,由RPN提供的區(qū)域建議A將以較高的置信度檢測SAR圖像中的陰影。假設(shè)在RD譜中,其多普勒能量受限于紅點(diǎn)線范圍內(nèi),則可以將區(qū)域建議A轉(zhuǎn)換至RD譜中的受限區(qū)域,以搜索動(dòng)目標(biāo)的多普勒能量。一旦檢測到對(duì)應(yīng)能量,則宣稱一個(gè)可靠的檢測。另外,對(duì)于圖1(b)所示的快速目標(biāo),主雜波譜外的多普勒能量便于檢測,然而由于模糊的陰影邊界,在SAR圖像中檢測陰影是比較困難的。區(qū)域建議B能夠準(zhǔn)確地檢測目標(biāo)能量,因此陰影位置也受限于紅點(diǎn)線。在這種情況下,通過驅(qū)使網(wǎng)絡(luò)在受限區(qū)域內(nèi)尋找陰影,聯(lián)合檢測方法可以檢測到模糊的陰影。相比于傳統(tǒng)僅基于圖像的陰影檢測,聯(lián)合檢測可以提升對(duì)快速目標(biāo)的檢測性能。此外,假設(shè)在SAR圖像中,區(qū)域建議C是一個(gè)虛假建議。盡管它容易被分類為陰影,但是在RD譜的對(duì)應(yīng)位置無法檢測到其多普勒能量,因此該虛警可被抑制。
本文用于聯(lián)合檢測的雙域快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Dual Faster R-CNN)結(jié)構(gòu)如圖3所示。在預(yù)處理中,所有目標(biāo)被標(biāo)記為3類:陰影(視頻SAR圖像中可見的陰影目標(biāo))、遮擋陰影(視頻SAR圖像中被遮擋的陰影目標(biāo))以及目標(biāo)多普勒(距離多普勒譜中目標(biāo)的多普勒能量)。網(wǎng)絡(luò)的輸入為串聯(lián)的圖像Ω={α,β},尺寸為H×I,其中α是 尺寸為H ×I1的高分辨視頻SAR圖像,β是尺寸為H×I2的低分辨距離多普勒譜,I=I1+I2。圖像Ω輸入網(wǎng)絡(luò)后,被拆分為兩部分,α被輸入至網(wǎng)絡(luò)的圖像域部分而β則被輸入至多普勒域部分。兩個(gè)獨(dú)立的特征提取網(wǎng)絡(luò)被用于對(duì)α和β分別進(jìn)行特征提取,并得到SAR圖像的特征圖和多普勒特征圖。
圖3 基于快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的雙域聯(lián)合檢測流程圖Fig.3 Flow chart of joint detection algorithm based on Dual Faster R-CNN
得到各自的特征圖后,利用文獻(xiàn)[19]提出的RPN產(chǎn)生區(qū)域建議。構(gòu)建兩個(gè)獨(dú)立的區(qū)域建議網(wǎng)絡(luò):圖像域RPN和多普勒域RPN。以圖像域RPN為例,首先基于提取得到的SAR特征圖產(chǎn)生數(shù)個(gè)矩形候選區(qū)(anchors),隨后通過卷積層對(duì)每個(gè)anchor進(jìn)行前/背景二分類以及預(yù)測邊界框的平移、縮放等回歸參數(shù)。圖像域RPN以及多普勒域RPN各自的損失函數(shù)可以表示為[19]
其中,Lrpn_cls(·)是二分類交叉熵?fù)p失函數(shù)(背景/前景),pIi是圖像域中第i個(gè)anchor預(yù)測為目標(biāo)的概率是它的真實(shí)標(biāo)簽(1為目標(biāo),0為背景)。Lrpn_reg(·)是 回歸損失函數(shù)。tIi是預(yù)測框的4個(gè)平移與縮放參數(shù)是標(biāo)簽框的對(duì)應(yīng)參數(shù)。γ是多任務(wù)損失函數(shù)的平衡參數(shù)。Nrpn_cls和Nrpn_reg分別是RPN訓(xùn)練過程中設(shè)置的批尺寸和所有anchor位置的數(shù)量。式(1)中參數(shù)的計(jì)算方式由文獻(xiàn)[19]給出。(多普勒域參數(shù)與圖像域參數(shù)含義相同。)隨后,圖像域RPN和多普勒域RPN分別提供ε個(gè)精確的區(qū)域建議以訓(xùn)練后續(xù)的檢測網(wǎng)絡(luò)。圖像域RPN提供的第i個(gè)區(qū)域建議γi和多普勒域RPN提供的第j個(gè)區(qū)域建議ηj可以表示為
一個(gè)方位坐標(biāo)變換方法被用于共享SAR圖像和RD譜中的區(qū)域建議,以獲得成對(duì)區(qū)域建議,它們具有相同的距離坐標(biāo)和不同的方位坐標(biāo),其主要包含3步。
步驟1 計(jì)算γi與ΛD中所有區(qū)域建議的距離坐標(biāo)差。假設(shè)第m個(gè)區(qū)域建議ηm具有最小的距離坐標(biāo)差,即
步驟2 通過保持距離坐標(biāo)不變并且使用ηm的方位坐標(biāo),SAR圖像中的區(qū)域建議γi可以被轉(zhuǎn)換至RD譜中,其可以表示為
步驟3 使用式(4)和式(5)將ΛI(xiàn)中的所有區(qū)域建議轉(zhuǎn)換至RD譜中,同理將ΛD中的所有區(qū)域建議轉(zhuǎn)換至SAR圖像中,可以得到成對(duì)的區(qū)域建議,表示為
最后,使用兩個(gè)感興趣區(qū)域(Region of Interest,RoI)池化層得到每對(duì)區(qū)域建議對(duì)應(yīng)的圖像域特征和多普勒域特征。這些特征分別經(jīng)過兩個(gè)全連接層進(jìn)行目標(biāo)類別預(yù)測以及檢測框的回歸,損失函數(shù)可以表示為
其中,Limg_cls(·)和Ldop_cls(·)分別是圖像域中的3分類(背景/陰影/遮擋陰影)和多普勒域中的兩分類(背景/目標(biāo)多普勒)交叉熵?fù)p失函數(shù)。因此,雙域快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Dual Faster R-CNN)的總損失函數(shù)可以表示為
在測試階段,首先獲得在圖像域以及距離多普勒域中的成對(duì)檢測框。是一對(duì)具有相同距離坐標(biāo)、不同方位坐標(biāo)的成對(duì)檢測框,其中n=1,2,...,2ε。當(dāng)且僅當(dāng)它們對(duì)目標(biāo)的分類得分滿足以下3個(gè)條件之一時(shí),視為正確檢測,否則作為無效檢測。
其中,函數(shù)S(·)表示該檢測框?qū)δ繕?biāo)的分類得分。V1,V2和V3均 為置信度門限,并且V2>V1>V3。條件1作為強(qiáng)約束條件,要求對(duì)圖像域和多普勒域中的目標(biāo)分類得分均高于門限V1,其有效地抑制了在單域檢測中容易產(chǎn)生的虛警。但是這種強(qiáng)約束以犧牲漏警為代價(jià)換取更少的虛警。為避免漏警的惡化,補(bǔ)充條件2和條件3的弱約束,其中V2是極高的置信度門限,可取大于等于0.95。若一對(duì)檢測框在某個(gè)域中對(duì)目標(biāo)具有極高的分類得分,即使在另一個(gè)域中得分低于V1,也將其視為一組正確檢測,但是也應(yīng)高于門限V3。條件2有利于對(duì)慢速目標(biāo)的檢測,此時(shí)陰影清晰但多普勒能量可能受到雜波的干擾。條件3有利于對(duì)快速目標(biāo)的檢測,此時(shí)位于雜波譜外的多普勒能量便于檢測,然而陰影對(duì)比度下降或者受到SAR圖像中其他弱散射區(qū)域的干擾。最后,對(duì)經(jīng)過式(9)篩選后剩余的成對(duì)檢測框,分別在進(jìn)行圖像域及多普勒域的非極大值抑制后,得到最終的檢測結(jié)果。式(9)所示的每個(gè)約束條件均為雙門限檢測,因此Dual Faster R-CNN聯(lián)合利用目標(biāo)在SAR圖像和RD譜中的特征,具有穩(wěn)健的動(dòng)目標(biāo) 檢測能力。
通過目標(biāo)陰影與能量的匹配,可有效提升檢測的虛警抑制能力。在實(shí)際中,因系統(tǒng)參數(shù)、環(huán)境因素和運(yùn)動(dòng)狀態(tài)的影響,動(dòng)目標(biāo)的陰影和能量易受到遮擋和涂抹[9]。在常規(guī)方法中,圖像處理將引入大量的虛警和漏警,為此,我們結(jié)合幀間關(guān)聯(lián)與域間匹配處理,在此前工作[20]的基礎(chǔ)上提出改進(jìn)的跨域航跡關(guān)聯(lián)的動(dòng)目標(biāo)檢測方法。
本方法的處理流程如圖4所示,首先分別在SAR圖像和RD譜內(nèi)對(duì)陰影和能量進(jìn)行預(yù)檢測。其次利用邏輯關(guān)聯(lián)法[21,22]對(duì)預(yù)檢測結(jié)果進(jìn)行幀間關(guān)聯(lián)并形成候選航跡。然后利用距離約束對(duì)陰影和能量的候選航跡進(jìn)行匹配處理。一方面,對(duì)于成功匹配的航跡對(duì)予以確認(rèn),另一方面單域內(nèi)關(guān)聯(lián)性較強(qiáng)的航跡亦可作為對(duì)目標(biāo)的確認(rèn)。結(jié)合幀間數(shù)據(jù)關(guān)聯(lián)及域間航跡匹配,預(yù)檢測中的虛警可被有效抑制,對(duì)于因遮擋或涂抹導(dǎo)致的漏警,本方法通過聯(lián)合處理進(jìn)行重建和預(yù)測。通過充分利用目標(biāo)陰影與能量的空時(shí)信息,極大地改善了虛警和漏警,進(jìn)而實(shí)現(xiàn)穩(wěn)健的視頻SAR動(dòng)目標(biāo)檢測。
圖4 跨域航跡聯(lián)合的動(dòng)目標(biāo)檢測算法流程圖Fig.4 Flow chart of joint detection algorithm based on JTA
與此前工作[20]相比,一方面,本文采用背景抑制的圖像域檢測以減少虛警的干擾,同時(shí)在待搜索區(qū)域進(jìn)行直接恒虛警(Constant False Alarm Rate,CFAR)檢測對(duì)慢速陰影實(shí)現(xiàn)檢測。另一方面,利用能量進(jìn)行漏警重建時(shí),本文直接通過目標(biāo)能量的距離位置和陰影運(yùn)動(dòng)方向估計(jì)值進(jìn)行重建,避免像原始方案中那樣對(duì)待搜索區(qū)域進(jìn)行逐像素的搜索。所提方法旨在為實(shí)測數(shù)據(jù)提供更可靠和實(shí)用的檢測方案。
針對(duì)陰影,采用文獻(xiàn)[9]中基于背景差分方法進(jìn)行預(yù)檢測。通過該方法可有效提取場景中的動(dòng)態(tài)陰影,但考慮到SAR圖像相干斑噪聲的影響及圖像處理中的參數(shù)依賴性,檢測結(jié)果通常會(huì)引入額外的虛警,這部分虛警將由后續(xù)的幀間數(shù)據(jù)關(guān)聯(lián)和域間匹配處理進(jìn)行抑制。
針對(duì)能量,考慮到視頻SAR工作于較高頻段,且脈沖重復(fù)頻率通常較天線覆蓋多普勒帶寬留有較大余量,微小的目標(biāo)運(yùn)動(dòng)就會(huì)使目標(biāo)能量偏移出主瓣雜波,因此在RD譜中進(jìn)行直接的帶外CFAR檢測。在這里采用具有抗干擾特性的有序統(tǒng)計(jì)量(Order Statistics,OS)-CFAR檢測器[23]以緩解雜波邊緣對(duì)檢測的影響。之后通過圖像腐蝕、膨脹和連通域處理篩選出與目標(biāo)能量尺寸相匹配的連通域,并將其幾何中心作為預(yù)檢測結(jié)果。
完成陰影和能量的預(yù)檢測后,為抑制虛警,我們采用基于M/N邏輯的關(guān)聯(lián)算法[21,22]對(duì)目標(biāo)陰影和能量的預(yù)檢測結(jié)果進(jìn)行幀間關(guān)聯(lián),以篩選出可能的動(dòng)目標(biāo)航跡。具體地,給定邏輯值 Γ=M/N,若在連續(xù)N幀中存在M幀或以上的量測符合給定狀態(tài)參數(shù)約束,則認(rèn)為這些點(diǎn)跡來自真實(shí)運(yùn)動(dòng)目標(biāo),并形成候選航跡。幀間關(guān)聯(lián)處理可有效抑制由虛假目標(biāo)產(chǎn)生的虛警。本文通過區(qū)域搜索的方式對(duì)圖像域中陰影和RD域中的能量進(jìn)行幀間關(guān)聯(lián)[24,25]。
假設(shè)截至第k幀的航跡集合表示為
其中,Mk和Nk分別表示第k幀中陰影和能量的航跡數(shù)量分別表示第k幀時(shí)第m條陰影航跡的位置和第n條能量航跡的位置。
其中,vSh(k+1) 表示由差分計(jì)算得到的陰影速度值。αv表示速度范圍因子,ΔθSh表示最大搜索角度,這兩個(gè)參數(shù)通常需由試驗(yàn)方式確定。確定期望位置和搜索區(qū)域后,利用最鄰近搜索(Nearest Neighbor Search,NNS)準(zhǔn)則進(jìn)行數(shù)據(jù)關(guān)聯(lián),即下一幀的航跡更新由搜索區(qū)域中距期望位置最近的預(yù)檢測結(jié)果確定,若搜索失敗則暫時(shí)由重建,即
對(duì)于RD譜中的目標(biāo)能量,通過簡單的1階差分來進(jìn)行位置估計(jì)和搜索,則位置估計(jì)可表示為
其中,αd表示RD譜中的搜索范圍因子,ΔθEn表示最大搜索角度。與陰影類似,下一幀通過在預(yù)檢測結(jié)果中搜索確認(rèn),若搜索失敗則由重建,即
通過上述對(duì)動(dòng)目標(biāo)陰影和能量的幀間關(guān)聯(lián),在連續(xù)的N幀中統(tǒng)計(jì)航跡中來自預(yù)檢測的點(diǎn)跡數(shù)量M,對(duì)于滿足M/N條件的航跡予以保留,否則認(rèn)為該航跡來自錯(cuò)誤關(guān)聯(lián)。
然而受圖像質(zhì)量影響,實(shí)際中很難找到一個(gè)恰當(dāng)?shù)倪壿嬛?Γ對(duì)真假航跡做出準(zhǔn)確劃分。較低的邏輯值會(huì)引入過多虛假航跡,較高的邏輯值則使某些真實(shí)目標(biāo)航跡丟失。為解決上述問題,我們首先以較低邏輯值 Γw=Mw/N建立陰影和能量的弱關(guān)聯(lián)航跡,弱關(guān)聯(lián)處理可以一定程度抑制預(yù)檢測中的虛警,并盡可能發(fā)現(xiàn)潛在的目標(biāo)航跡。之后通過陰影與能量的航跡匹配和聯(lián)合處理實(shí)現(xiàn)對(duì)弱關(guān)聯(lián)中虛假航跡進(jìn)一步排除。此外,考慮到某些目標(biāo)因其陰影或能量的意外丟失而無法匹配,但其在單域內(nèi)卻有著極高的幀間關(guān)聯(lián)性,我們又通過一個(gè)較高的邏輯值Γs=Ms/N對(duì)目標(biāo)陰影或能量進(jìn)行單獨(dú)的確認(rèn)。強(qiáng)關(guān)聯(lián)航跡具有較高的可信度和極低的錯(cuò)誤率,可作為最終檢測輸出的補(bǔ)充。結(jié)合域間匹配的弱關(guān)聯(lián)航跡和單域內(nèi)強(qiáng)關(guān)聯(lián)航跡,運(yùn)動(dòng)目標(biāo)可以時(shí)刻以一種最有效的方式被檢測。在抑制虛警的同時(shí),通過域間聯(lián)合處理還可實(shí)現(xiàn)更加有效的漏警重建。下一節(jié) 將針對(duì)域間航跡匹配和漏警重建進(jìn)行說明。
若它們的斜距滿足如下約束則進(jìn)行匹配并認(rèn)為屬于同一目標(biāo):
其中,ξr表 示距離約束閾值,Δr表示由于目標(biāo)高程投影產(chǎn)生的固有距離偏差,可由擦地角進(jìn)行估算。由于式(17)對(duì)兩個(gè)航跡中連續(xù)點(diǎn)跡的距離進(jìn)行同時(shí)約束,匹配是相當(dāng)精確的,因此虛假航跡能夠被有效地抑制。于是匹配后的聯(lián)合航跡集可表示為
匹配處理利用陰影與能量對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行雙重確認(rèn),對(duì)于因失配產(chǎn)生的漏警可由未匹配的強(qiáng)聯(lián)合航跡TSh-un-s和TEn-un-s加以補(bǔ)充,這些航跡以較嚴(yán)格的幀間聯(lián)合條件對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行確認(rèn)。于是,對(duì)動(dòng)目標(biāo)的檢測可由匹配的弱關(guān)聯(lián)航跡和未匹配的強(qiáng)關(guān)聯(lián)航跡描述,即
聯(lián)合航跡關(guān)聯(lián)處理充分利用目標(biāo)陰影和能量的時(shí)空信息,以低虛警、低漏警的方式對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測。航跡中的部分漏警可通過一步預(yù)測重建,但一步預(yù)測只適用于稀疏、短時(shí)的漏警,當(dāng)一段航跡中發(fā)生連續(xù)的漏警時(shí),重建準(zhǔn)確性將無法得到保證,這種惡化對(duì)于機(jī)動(dòng)目標(biāo)尤為明顯。針對(duì)此類漏警,根據(jù)具體情況給出分析和重建策略。
情況1 陰影被干擾情況
當(dāng)目標(biāo)運(yùn)動(dòng)速度過快、路面散射較弱或陰影被強(qiáng)雜波的旁瓣、自身或其他目標(biāo)能量遮擋導(dǎo)致難以形成明顯陰影時(shí),基于目標(biāo)陰影的檢測面臨失效。此時(shí)通過能量所在的距離單元對(duì)陰影進(jìn)行輔助重建。利用陰影丟失時(shí)刻的速度估計(jì)值,并結(jié)合目標(biāo)能量所在距離單元,給出陰影的重建位置。陰影重建距離可表示為能量距離與固有偏差之和:
相應(yīng)地,方位位置可根據(jù)當(dāng)前的重建距離位置和陰影運(yùn)動(dòng)方向角來確定:
其中,θ(l)為 當(dāng)前時(shí)刻的陰影速度估計(jì)矢量與方位向的夾角。利用式(20)和式(21)代替式(13)中的一步預(yù)測將有效提高陰影位置重建精度。
情況2 能量被干擾情況
一方面,對(duì)應(yīng)于極慢速目標(biāo)的情況,其多普勒能量易淹沒在主雜波中。另一方面,對(duì)應(yīng)于目標(biāo)機(jī)動(dòng)性較強(qiáng)的情況,其能量發(fā)生嚴(yán)重散焦導(dǎo)致無法檢測。此時(shí)主要通過陰影對(duì)目標(biāo)實(shí)現(xiàn)單獨(dú)檢測。但考慮到目標(biāo)已通過匹配的方式獲得確認(rèn),接下來將不再以域間匹配或強(qiáng)關(guān)聯(lián)為確認(rèn)條件,而是直接以弱關(guān)聯(lián)條件進(jìn)行檢測確認(rèn),這大大緩解了陰影漏警的情況。另外考慮到慢速目標(biāo)的情況,此時(shí)基于背景差分的預(yù)檢測方法容易將陰影視作背景從而造成漏警,為此對(duì)式(12)給出的扇形搜索區(qū)域進(jìn)行直接的陰影CFAR檢測,并將檢測結(jié)果合并進(jìn)預(yù)檢測結(jié)果中,再利用弱關(guān)聯(lián)條件進(jìn)行后續(xù)的關(guān)聯(lián)和確認(rèn)。此時(shí)慢速目標(biāo)亦能完成有效的檢測。
通過上述兩種典型情況的處理,所提算法可有效應(yīng)對(duì)多種運(yùn)動(dòng)狀態(tài)目標(biāo)的檢測和重建。
本文分別使用上述兩種方法來處理機(jī)載視頻SAR實(shí)測數(shù)據(jù)。雷達(dá)系統(tǒng)工作于G波段,信號(hào)帶寬為1 GHz,成像場景尺寸約為150 m×150 m,成像幀率優(yōu)于2 fps。本文采用RD成像算法獲取SAR圖像序列并獲取對(duì)應(yīng)的RD譜。為保證最大徑向速度為30 m/s的動(dòng)目標(biāo)不發(fā)生0.5 m的距離走動(dòng),選取RD譜的積累脈沖數(shù)K=500。共采用64幀圖像進(jìn)行驗(yàn)證,場景中包含數(shù)個(gè)不同尺寸、不同運(yùn)動(dòng)狀態(tài)的目標(biāo),它們的陰影與能量所在幀統(tǒng)計(jì)在表1中。SAR圖像中固定目標(biāo)陰影的遮擋以及場景邊緣極低的信噪比導(dǎo)致動(dòng)目標(biāo)陰影在某些幀中不可見,因此動(dòng)目標(biāo)陰影所在幀略少于其能量所在幀。
表1 運(yùn)動(dòng)目標(biāo)陰影及其能量所在幀Tab.1 Frame number of target shadow and energy
為說明雙域聯(lián)合檢測算法優(yōu)勢,首先利用經(jīng)典Faster R-CNN[19]進(jìn)行對(duì)比實(shí)驗(yàn),該方法僅利用陰影進(jìn)行動(dòng)目標(biāo)檢測。利用該太赫茲視頻SAR獲取的額外SAR圖像經(jīng)過平移翻轉(zhuǎn)等數(shù)據(jù)擴(kuò)充后,共得到28877張訓(xùn)練數(shù)據(jù)。所提Dual Faster R-CNN和經(jīng)典Faster R-CNN用作訓(xùn)練的SAR圖像相同,而Dual Faster R-CNN的訓(xùn)練數(shù)據(jù)中增加對(duì)應(yīng)的RD譜作為輔助。
圖5給出檢測結(jié)果對(duì)比。SAR圖像的橫軸為方位向,縱軸為距離向。RD譜的橫軸表示多普勒向,縱軸為距離向。每行第1列為經(jīng)典Faster R-CNN的檢測結(jié)果,第2列為提出的Dual Faster R-CNN檢測結(jié)果。圖5(a)—圖5(d)分別為第9,15,19和60幀的檢測結(jié)果。正確檢測用青色矩形框標(biāo)記,虛警用紅色矩形框標(biāo)記,黃色箭頭指示漏警位置。在圖5(a)和圖5(d)中,Dual Faster R-CNN均給出了正確的檢測,不包含虛警與漏警。而在圖5(a)中,經(jīng)典Faster R-CNN產(chǎn)生一個(gè)虛警。特別地,在圖5(d)中,目標(biāo)T2的多普勒能量已經(jīng)落入RD譜的主雜波區(qū)。此時(shí),本文使用的Dual Faster R-CNN基于深度神經(jīng)網(wǎng)絡(luò)的特征提取能力仍然可以準(zhǔn)確地檢測到該能量。在圖5(b)和圖5(c)中,目標(biāo)T2和T4的陰影被SAR圖像中的弱散射區(qū)域遮擋或剛好離開該弱散射區(qū)域,由于周圍低灰度的干擾,經(jīng)典Faster R-CNN無法對(duì)其進(jìn)行有效檢測,產(chǎn)生較多漏警。此外,在圖5(c)的檢測中,經(jīng)典Faster R-CNN在目標(biāo)T2附近產(chǎn)生一個(gè)虛警。相反,本文所提的Dual Faster R-CNN利用目標(biāo)在SAR圖像和RD譜中的雙域特征,使用成對(duì)區(qū)域建議進(jìn)行聯(lián)合檢測,一方面可以顯著降低檢測的虛警,如圖5(a)和圖5(c)所示,Dual Faster R-CNN抑制對(duì)應(yīng)虛警。另一方面,成對(duì)的區(qū)域建議也使網(wǎng)絡(luò)具備更強(qiáng)的弱目標(biāo)檢測能力,從而減緩漏警的發(fā)生。在圖5(b)中,目標(biāo)T2的陰影在SAR圖像中難以檢測,但是它的多普勒能量位于雜波譜外,在RD域中能量很容易檢測。在這種情況下,成對(duì)的區(qū)域建議驅(qū)使網(wǎng)絡(luò)在SAR圖像的對(duì)應(yīng)位置搜索陰影,從而貢獻(xiàn)正確的檢測。同樣地,在圖5(c)中,目標(biāo)T4的陰影也被Dual Faster R-CNN正確檢測到,而目標(biāo)T2的陰影仍未被檢測到。圖5所示的檢測結(jié)果表明Dual Faster R-CNN具有較強(qiáng)的虛警抑制能力。
圖5 經(jīng)典Faster R-CNN與Dual Faster R-CNN檢測結(jié)果對(duì)比Fig.5 Comparison results of classical Faster R-CNN and Dual Faster R-CNN
我們利用圖像域幀間關(guān)聯(lián)與本文所提JTA檢測算法進(jìn)行對(duì)比分析,如圖6所示。在圖像域幀間關(guān)聯(lián)處理中,限制目標(biāo)陰影的運(yùn)動(dòng)速度和角速度分別為1~30 m/s和0~45°/s,以邏輯值 Γ=5/7進(jìn)行幀間關(guān)聯(lián)。在所提JTA算法中,利用邏輯值 Γs=6/7和 Γw=3/7對(duì)目標(biāo)陰影和能量預(yù)檢測結(jié)果進(jìn)行幀間的強(qiáng)關(guān)聯(lián)和弱關(guān)聯(lián)處理,并對(duì)建立的弱關(guān)聯(lián)航跡進(jìn)行域間的匹配。最后根據(jù)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)情況進(jìn)行相應(yīng)的漏警重建。每行第1列為圖像域幀間關(guān)聯(lián)的檢測結(jié)果,第2列為所提JTA算法的檢測結(jié)果。圖6(a)—圖6(d))分別為第9,14,30和60幀的檢測結(jié)果。正確檢測用青色矩形框標(biāo)記,虛警用紅色矩形框標(biāo)記,黃色箭頭指示漏警位置,漏警重建由白色矩形框和箭頭標(biāo)記。在圖6(a)中,兩種方法均能對(duì)目標(biāo)T1和T2進(jìn)行有效檢測。目標(biāo)T3在圖像域幀間關(guān)聯(lián)方法中因較嚴(yán)格的關(guān)聯(lián)條件使得無法被及時(shí)確認(rèn),而在JTA中通過弱關(guān)聯(lián)和域間匹配的方式使得被有效檢測。目標(biāo)T4剛進(jìn)入場景,因幀間關(guān)聯(lián)算法的固有延遲導(dǎo)致兩種方法均難以及時(shí)確認(rèn)。在圖6(b)中,目標(biāo)T2進(jìn)入場景中的弱反射區(qū)域?qū)е玛幱跋?,此時(shí)JTA算法通過能量完成對(duì)陰影的漏警重建(對(duì)應(yīng)4.2節(jié)情況1)。在圖6(c)中目標(biāo)T2在路口處慢速轉(zhuǎn)彎,此時(shí)目標(biāo)能量幾乎被淹沒在雜波中(對(duì)應(yīng)4.2節(jié)情況2),此時(shí)目標(biāo)陰影在圖像域幀間關(guān)聯(lián)方法中因被視作背景而無法被檢測,而在JTA中我們對(duì)搜索區(qū)域進(jìn)行額外的CFAR檢測并進(jìn)行后續(xù)的關(guān)聯(lián),從而可實(shí)現(xiàn)對(duì)慢速目標(biāo)T2的檢測。此外,由于雜噪比較低的原因,目標(biāo)T3和T4的陰影已徹底不可見并持續(xù)較長時(shí)間,此時(shí)JTA算法可繼續(xù)利用它們的能量在RD域作為檢測。圖6(d)中,目標(biāo)T2逐漸提速,目標(biāo)T5即將離開觀測場景,此時(shí)兩種方法均能完成對(duì)它們的檢測,但由于此時(shí)圖像質(zhì)量的惡化,JTA算法展現(xiàn)出更強(qiáng)的虛警抑制能力。
圖6 圖像域幀間關(guān)聯(lián)與JTA算法檢測結(jié)果對(duì)比Fig.6 Comparison results of data association in image domain and JTA algorithm
表2給出了上述幾種方法圖像域中的陰影檢測性能統(tǒng)計(jì),其中總待檢數(shù)為161??梢钥闯?,僅依靠陰影的兩種基本方法(圖像域幀間關(guān)聯(lián)和Faster R-CNN)產(chǎn)生較多的虛警和漏警。圖像域幀間關(guān)聯(lián)中的虛警主要源于圖像噪聲影響,漏警則主要來源于慢速目標(biāo)T2。深度學(xué)習(xí)類方法基于全連接層對(duì)圖像中某些特定區(qū)域進(jìn)行分類與邊界框回歸,本質(zhì)上是一種基于特征的檢測,其對(duì)SAR圖像中的干擾,例如相干斑噪聲、其他弱散射區(qū)域等,具有一定的魯棒性,不需要其余后處理即可直接實(shí)現(xiàn)較為可靠的檢測,特別是對(duì)于慢速目標(biāo)。相比于經(jīng)典Faster R-CNN,本文所提的Dual Faster R-CNN利用動(dòng)目標(biāo)雙域特征進(jìn)行聯(lián)合檢測,具有更強(qiáng)的虛警抑制能力。此外,采用成對(duì)區(qū)域建議的聯(lián)合檢測在某一域特征明顯時(shí)可以驅(qū)使網(wǎng)絡(luò)在另一域的對(duì)應(yīng)位置搜索目標(biāo),使得網(wǎng)絡(luò)具備弱目標(biāo)檢測能力,從而減緩漏警的發(fā)生。然而,式(19)中的強(qiáng)約束條件增大了漏警風(fēng)險(xiǎn)。從全部測試數(shù)據(jù)的檢測結(jié)果綜合分析,Dual Faster R-CNN基本可以在不犧牲漏警的情況下顯著地抑制虛警?;趥鹘y(tǒng)方法的JTA算法較圖像域幀間關(guān)聯(lián)方法提升較大,它通過同時(shí)引入幀間和域間的聯(lián)合處理,逐步抑制由圖像噪聲引起的虛警,同時(shí)利用陰影與能量的空時(shí)信息完成漏警重建。
表2 動(dòng)目標(biāo)檢測性能統(tǒng)計(jì)結(jié)果Tab.2 Statistical results of moving target detection in SAR imagery
下面對(duì)處理耗時(shí)進(jìn)行對(duì)比分析。表3給出了4種檢測方法的單幀平均處理時(shí)間。SAR圖像尺寸為1000×1000,RD譜的圖像尺寸為500×1000。所采用的計(jì)算平臺(tái)的CPU型號(hào)為Intel Xeon(R) E5-2620,內(nèi)存為64 GB。深度學(xué)習(xí)方法的統(tǒng)計(jì)耗時(shí)為測試時(shí)間,Dual Faster R-CNN具有更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)和更多的參數(shù)量,因此具有單域Faster R-CNN近兩倍的耗時(shí)。航跡關(guān)聯(lián)方法的統(tǒng)計(jì)耗時(shí)包含了除配準(zhǔn)外的所有處理,它們的主要耗時(shí)來自CFAR預(yù)檢測處理,圖像域與RD域的單幀預(yù)檢測耗時(shí)分別為1.52 s和0.62 s。此外頻域算法需要額外的配準(zhǔn)處理,每幀的配準(zhǔn)耗時(shí)為2.90 s,若采用時(shí)域成像算法則可節(jié)省此部分時(shí)間。綜合來看,兩類處理方法有著相近的耗時(shí)。相比于單域處理,雙域聯(lián)合處理的性能提升以更多的處理耗時(shí)為代價(jià)。雖然兩種方法的CPU處理耗時(shí)高于0.25 s單幀成像時(shí)間,但通過后續(xù)算法優(yōu)化加速技術(shù)有望實(shí)現(xiàn)實(shí)時(shí)處理要求。
表3 處理耗時(shí)對(duì)比結(jié)果Tab.3 Comparison of processing times
應(yīng)當(dāng)指出,由于實(shí)測數(shù)據(jù)的有限性,不能盡數(shù)包含實(shí)際目標(biāo)各種可能的運(yùn)動(dòng)狀態(tài),如目標(biāo)運(yùn)動(dòng)速度過快導(dǎo)致陰影衰弱、目標(biāo)機(jī)動(dòng)性過大導(dǎo)致能量較大程度散焦并涂抹陰影等。在有限數(shù)據(jù)上,雙域聯(lián)合處理的優(yōu)勢較單域方法的性能提升無法全面體現(xiàn)。但可以肯定的是,單獨(dú)基于陰影的方法在這些情況中將失效。雙域聯(lián)合方法可以很好地利用陰影與能量的特征與空時(shí)信息,在上述情況中仍可有效實(shí)現(xiàn)穩(wěn)健的目標(biāo)檢測。
本文圍繞視頻SAR動(dòng)目標(biāo)的穩(wěn)健檢測需求展開研究,分別使用了兩種基于域間聯(lián)合技術(shù)的動(dòng)目標(biāo)檢測算法對(duì)機(jī)載視頻SAR實(shí)測數(shù)據(jù)進(jìn)行了處理和分析。結(jié)果表明,聯(lián)合域技術(shù)可充分利用目標(biāo)陰影與能量的空時(shí)信息,能顯著改善檢測過程中的虛警和漏警,有效應(yīng)對(duì)多種情形下的機(jī)動(dòng)目標(biāo)檢測。視頻SAR成像與動(dòng)目標(biāo)檢測跟蹤算法的實(shí)時(shí)實(shí)現(xiàn)值得深入研究。
致謝感謝中國電子科技集團(tuán)公司第十四研究所提供雷達(dá)數(shù)據(jù)。感謝吳福偉博士的有益討論。