王 永，熊顯名，李小勇

(1.桂林電子科技大學(xué) 電子工程與自動(dòng)化學(xué)院，廣西 桂林 541004；2.廣西交通科學(xué)研究院 研發(fā)部，廣西 南寧 530007)

基于ARM和DSP空中運(yùn)動(dòng)目標(biāo)實(shí)時(shí)跟蹤系統(tǒng)研究

王 永1，熊顯名1，李小勇2

(1.桂林電子科技大學(xué) 電子工程與自動(dòng)化學(xué)院，廣西 桂林 541004；2.廣西交通科學(xué)研究院 研發(fā)部，廣西 南寧 530007)

對(duì)空中目標(biāo)物體實(shí)時(shí)跟蹤目前主要采用雷達(dá)探測(cè)的方法，但時(shí)常會(huì)受到電磁場(chǎng)與電磁波的干擾，降低了探測(cè)的準(zhǔn)確性，為解決此類(lèi)問(wèn)題，提出了一種基于空中視覺(jué)實(shí)時(shí)跟蹤系統(tǒng)的解決方案。該方案適用于小范圍空中動(dòng)態(tài)物體的跟蹤，包括動(dòng)態(tài)目標(biāo)的差值提取，二值圖像的濾波和模板圖像的實(shí)時(shí)更新，以及動(dòng)態(tài)目標(biāo)的特征提取、云臺(tái)控制。為提高系統(tǒng)的準(zhǔn)確檢測(cè)性，提出了一種基于改進(jìn)的動(dòng)態(tài)模板匹配與幀間差分相結(jié)合的空中目標(biāo)檢測(cè)方法。該方法有效地解決了電磁場(chǎng)干擾、環(huán)境變化使動(dòng)態(tài)目標(biāo)無(wú)法捕捉的問(wèn)題，根據(jù)實(shí)驗(yàn)表明，該系統(tǒng)能夠很好地檢測(cè)到空中動(dòng)態(tài)物體，具有很好的魯棒性、實(shí)時(shí)性和清晰度。

空中視覺(jué)；云臺(tái)控制；動(dòng)態(tài)模板匹配；幀間差分；目標(biāo)檢測(cè)

目前，對(duì)空中目標(biāo)動(dòng)態(tài)物體的實(shí)時(shí)跟蹤主要采用雷達(dá)探測(cè)方法。本系統(tǒng)不同于常規(guī)的雷達(dá)監(jiān)測(cè)系統(tǒng)，空中視頻跟蹤系統(tǒng)具有高精度、隱蔽性、直觀性、抗電子干擾等優(yōu)點(diǎn)，使其在軍事上得到廣泛應(yīng)用。在對(duì)空中飛行目標(biāo)如飛機(jī)和導(dǎo)彈的捕獲、跟蹤、打擊過(guò)程中，離不開(kāi)具備高精度、高速度的圖像處理技術(shù)的探測(cè)跟蹤設(shè)備。

對(duì)空中動(dòng)態(tài)目標(biāo)的跟蹤可實(shí)時(shí)獲取目標(biāo)的動(dòng)態(tài)信息，目標(biāo)在空中的相對(duì)位置和動(dòng)態(tài)目標(biāo)的相對(duì)面積以及目標(biāo)的方位角等信息。對(duì)空中目標(biāo)跟蹤的根本核心是對(duì)動(dòng)態(tài)目標(biāo)的提取[1-3]，根據(jù)提取的動(dòng)態(tài)目標(biāo)來(lái)確定目標(biāo)的位置信息，求取目標(biāo)物體與中心點(diǎn)的偏差值，作為云臺(tái)控制器的輸入?yún)?shù)控制云臺(tái)的轉(zhuǎn)動(dòng)將動(dòng)態(tài)物體處于視場(chǎng)的中心位置。對(duì)運(yùn)動(dòng)目標(biāo)跟蹤的研究主要分為人工神經(jīng)網(wǎng)絡(luò)和圖像處理的方法，由于人工神經(jīng)網(wǎng)絡(luò)過(guò)于復(fù)雜，所以常用圖像處理的方法來(lái)對(duì)動(dòng)態(tài)目標(biāo)進(jìn)行跟蹤，現(xiàn)有的比較流行的方法有光流法、背景差分法、幀間差分法、模板匹配法，但光流法[4]三維物理結(jié)構(gòu)信息量大，算法復(fù)雜，耗時(shí)太長(zhǎng)，背景差分法和幀間差分法結(jié)構(gòu)簡(jiǎn)單，程序計(jì)算量小，能夠快速得到目標(biāo)物體的輪廓，但背景差分法[5]受光線強(qiáng)度，背景變化的影響比較大，由靜止到運(yùn)動(dòng)會(huì)出現(xiàn)“鬼影”現(xiàn)象。幀間差分法[6]不需要建模速度非?？?，能夠克服光線的影響，但是檢測(cè)閾值需要人工設(shè)定。動(dòng)態(tài)模板匹配法[7]雖然能夠準(zhǔn)確得到動(dòng)態(tài)目標(biāo)物體，但需要提前設(shè)置模板，為了快速得到精確的動(dòng)態(tài)物體在空中的位置，克服光線對(duì)物體的影響，本系統(tǒng)將幀間差分法與動(dòng)態(tài)模板匹配法有機(jī)地結(jié)合起來(lái)，實(shí)現(xiàn)它們各自的優(yōu)點(diǎn)，以實(shí)現(xiàn)精確捕捉。

1 系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

系統(tǒng)由CCD攝像機(jī)、圖像處理模塊(DM642)、控制模塊(STM32)、驅(qū)動(dòng)模塊、云臺(tái)以及顯示模塊組成。系統(tǒng)整體結(jié)構(gòu)框圖如圖1所示。硬件實(shí)物如圖2所示。

圖1 系統(tǒng)整體結(jié)構(gòu)框圖

圖2 系統(tǒng)硬件實(shí)物圖(照片)

系統(tǒng)將CCD采集到的視頻序列經(jīng)過(guò)DSP(DM642視頻處理專(zhuān)用芯片具有極高的處理速度)[8-9]處理得到動(dòng)態(tài)目標(biāo)，完成目標(biāo)檢測(cè)與識(shí)別，將目標(biāo)在視場(chǎng)的二值圖像通過(guò)高速網(wǎng)絡(luò)實(shí)時(shí)傳輸給ARM(STM32具有網(wǎng)絡(luò)傳輸及顯示、控制能力強(qiáng)的特點(diǎn))[10]，計(jì)算出目標(biāo)在視場(chǎng)中形心坐標(biāo)與視場(chǎng)中心坐標(biāo)的偏差，輸出給控制云臺(tái)，以使目標(biāo)始終保持在視場(chǎng)中心附近，同時(shí)將圖像信息通過(guò)顯示模塊進(jìn)行顯示并進(jìn)行存儲(chǔ)，本系統(tǒng)將DSP與ARM相結(jié)合，發(fā)揮它們各自的優(yōu)點(diǎn)，使系統(tǒng)整體處理速度更快，更加穩(wěn)定，達(dá)到實(shí)時(shí)性。

具體程序?qū)崿F(xiàn)分為兩部分，由DSP實(shí)現(xiàn)目標(biāo)物體的動(dòng)態(tài)檢測(cè)、識(shí)別與圖像的傳輸，另一部分由ARM實(shí)現(xiàn)，主要是對(duì)接收到的只含有目標(biāo)物體的圖像進(jìn)行分析，提取特征值，控制云臺(tái)與顯示存儲(chǔ)功能。

系統(tǒng)的程序流程圖如圖3所示。實(shí)現(xiàn)步驟如下：

1)首先系統(tǒng)進(jìn)行初始化，系統(tǒng)將采集到的圖像幀與幀做差，根據(jù)最大類(lèi)幀間方差求得閾值，從而得到二值圖像。

2)將得到的二值圖像進(jìn)行濾波與開(kāi)運(yùn)算，去除噪聲帶來(lái)的亮點(diǎn)，經(jīng)過(guò)腐蝕和銳化算法，得到清晰的動(dòng)態(tài)物體的輪廓。

3)計(jì)算出形心位置，以形心為中心選取合適的矩形區(qū)域作為下一幀模板匹配算法模板，而后續(xù)的目標(biāo)檢測(cè)均采用模板匹配法，從而得到運(yùn)動(dòng)目標(biāo)物體。再根據(jù)閾值得到二值圖像與幀間差分法相與開(kāi)運(yùn)算，得到清晰的二值圖像，判斷與之前的相似度，如果太小重新采集，這樣避免幀間錯(cuò)位現(xiàn)象。

4)根據(jù)二值圖像運(yùn)算得到形心與視場(chǎng)中心的距離，計(jì)算匹配區(qū)域，同時(shí)通過(guò)云臺(tái)控制算法，控制云臺(tái)的仰俯、旋轉(zhuǎn)，使得動(dòng)態(tài)物體的形心在視場(chǎng)的中心附近。

圖3 程序流程圖

2 目標(biāo)檢測(cè)與跟蹤的實(shí)現(xiàn)

2.1 目標(biāo)檢測(cè)的實(shí)現(xiàn)

首先采用最大類(lèi)間方差閾值分割法[11]，通過(guò)初始的閾值將圖像分割，然后計(jì)算出最佳的分割閾值T。用幀間差分法初步的找到動(dòng)態(tài)目標(biāo)物體，在檢測(cè)范圍內(nèi)出現(xiàn)動(dòng)態(tài)物體時(shí)，幀與幀之間有很大的區(qū)別，做差后得到亮度差的絕對(duì)值，然后判斷是否大于閾值來(lái)分析動(dòng)態(tài)物體的輪廓，第k幀圖像與k+1幀圖像變化表示如下

(1)

式中：T為二值化圖像的閾值，為“1”的部分是前后兩幀灰度值變化的部分，“0”的部分為兩幀圖像不變化的部分，根據(jù)閾值的不同得到的二值圖像不同，本系統(tǒng)采用了最大類(lèi)間方差獲得閾值T，將獲得的B(i，j)作為模板圖像，模板圖像根據(jù)幀間差分不斷地進(jìn)行更新，解決了模板更新實(shí)時(shí)性的問(wèn)題，避免了目標(biāo)姿態(tài)變化而帶來(lái)匹配失敗的問(wèn)題，如圖4～圖5所示。

圖4 二值圖像

圖5 更新的二值圖

所得到的圖像B(i，j)，即匹配目標(biāo)所在的圖像灰度，圖像大小為M×N，根據(jù)模板匹配算法，將模板圖像在需要匹配圖像中移動(dòng)，求取當(dāng)前圖像像素點(diǎn)與模板的絕對(duì)值[12]

(2)

(3)

這樣能夠大大減少匹配的運(yùn)算量[13]，使檢測(cè)更加精準(zhǔn)，避免了不必要的運(yùn)算，根據(jù)匹配結(jié)果得到的圖像F(i，j)與B(i，j)相與再開(kāi)運(yùn)算，得到精確的運(yùn)動(dòng)目標(biāo)，避免了當(dāng)前幀不匹配的問(wèn)題，表達(dá)式如下

DG(i,j)=F(i,j)&B(i,j)

(4)

(5)

得到的二值圖像BP(i,j)如圖6～圖7所示。

圖6 第245幀原圖及轉(zhuǎn)化的二值圖像

圖7 第263幀原圖及轉(zhuǎn)化的二值圖像

2.2 云臺(tái)跟蹤算法的實(shí)現(xiàn)

根據(jù)求得的動(dòng)態(tài)目標(biāo)物體的二值圖像，很容易確定形心做視場(chǎng)中的位置，由上可知為(Xc,Yc)視場(chǎng)中心點(diǎn)位置為(P,O)，可得到形心坐標(biāo)與視場(chǎng)中心位置的偏差值，即Δx=Xc-O，Δy=Yc，假設(shè)本系統(tǒng)的云臺(tái)轉(zhuǎn)速和仰俯速度固定，設(shè)為k，v，則可得到

(6)

式中：tx和ty分別為云臺(tái)上下、左右移動(dòng)Δx，Δy像素間距所用的時(shí)間。筆者將采集到的當(dāng)前視場(chǎng)建立坐標(biāo)系，由于視場(chǎng)是變動(dòng)的，所以偏差是根據(jù)每幀圖像進(jìn)行實(shí)時(shí)更新的。計(jì)算當(dāng)前位置的圖像形心坐標(biāo)與視場(chǎng)中心位置的偏差。根據(jù)偏差來(lái)計(jì)算移動(dòng)的時(shí)間作為云臺(tái)的啟停信號(hào)。使形心始終向視場(chǎng)中心靠近。經(jīng)過(guò)反復(fù)試驗(yàn)可知，能夠很好地實(shí)現(xiàn)跟蹤，試驗(yàn)結(jié)果如圖8～圖9所示。

圖8 云臺(tái)移動(dòng)前幀圖

圖9 云臺(tái)移動(dòng)后幀圖

3 實(shí)驗(yàn)結(jié)果分析

本實(shí)驗(yàn)使用遙控飛機(jī)來(lái)模擬空中物體，系統(tǒng)對(duì)遙控飛機(jī)進(jìn)行捕捉，圖10為強(qiáng)電磁場(chǎng)干擾時(shí)捕捉最終屏幕顯示圖所對(duì)應(yīng)的二值圖像如圖11所示。

圖10 強(qiáng)電磁場(chǎng)干擾時(shí)捕捉最終屏幕顯示圖

圖11 圖10所對(duì)應(yīng)的二值圖像

根據(jù)圖11a～11f可知，系統(tǒng)能夠很好地跟蹤捕捉遙控飛機(jī)，顏色變化淺的地方，稍微有點(diǎn)偏差，但是偏差很小，查看二值化圖像可知，系統(tǒng)能夠精確檢測(cè)到動(dòng)態(tài)目標(biāo)，動(dòng)態(tài)模板更新比較精確，動(dòng)態(tài)目標(biāo)輪廓比較清晰，使后續(xù)圖像處理，特征值的提取更加精確，在存在強(qiáng)電磁場(chǎng)的情況下并沒(méi)有影響系統(tǒng)對(duì)空中目標(biāo)的撲捉，很好地解決了雷達(dá)撲捉動(dòng)態(tài)物體受強(qiáng)電磁場(chǎng)干擾的問(wèn)題。

4 總結(jié)

本系統(tǒng)采用DM642與STM3為核心的系統(tǒng)硬件平臺(tái)，能夠滿足系統(tǒng)的實(shí)時(shí)性與穩(wěn)定性的要求。采用幀間差分圖像預(yù)處理，通過(guò)中值濾波消除噪聲對(duì)圖像的影響，為后續(xù)的模板匹配、特征提取、移動(dòng)云臺(tái)做準(zhǔn)備。利用幀間差分獲得的圖像對(duì)模板進(jìn)行實(shí)時(shí)更新，提高了模板的匹配度，防止了目標(biāo)姿態(tài)改變而帶來(lái)的匹配錯(cuò)誤，提高了對(duì)目標(biāo)檢測(cè)的準(zhǔn)確性。根據(jù)反復(fù)試驗(yàn)可知，系統(tǒng)能夠很好地捕捉并跟蹤動(dòng)態(tài)目標(biāo)物體，而且能夠抵抗干擾，如圖12所示。

圖12 跟蹤捕捉結(jié)果圖

[1] 劉宏鼎，秦世引.基于圖像特征的運(yùn)動(dòng)目標(biāo)識(shí)別與伺服跟蹤[J].儀器儀表學(xué)報(bào)，2008，29(3)：644-648.

[2] 杜宇人，周愛(ài)軍.一種基于視頻圖像的運(yùn)動(dòng)車(chē)輛跟蹤方法[J].電子測(cè)量與儀器學(xué)報(bào)，2009，23(3)：45-48.

[3] 楊耿，和衛(wèi)星.運(yùn)動(dòng)目標(biāo)圖像識(shí)別與跟蹤系統(tǒng)的研究[J].計(jì)算機(jī)測(cè)量與控制.2005，13(3)：267-269.

[4] 施家棟，王建中，王紅茹. 基于流光的人體運(yùn)動(dòng)實(shí)時(shí)檢測(cè)方法[J].北京理工大學(xué)學(xué)報(bào)報(bào)，2008，28(9)：794-797.

[5] 吳凌霄，林晨，徐福海等.基于背景差分的車(chē)輛計(jì)數(shù)方法的研究[J].自動(dòng)化技術(shù)與應(yīng)用，2011(30)：72-75.

[6] 馮堯文. 基于幀間差分的運(yùn)動(dòng)目標(biāo)穩(wěn)健檢測(cè)方法[D]. 哈爾濱：哈爾濱工業(yè)大學(xué)，2011.

[7] 逯新華，史忠科.基于動(dòng)態(tài)模板匹配的空中運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤控制[J].電子測(cè)量與儀器學(xué)報(bào)，2010，24(10)：935-941.

[8] 許永輝，楊京禮，林連雷. TMS320DM642 DSP原理與應(yīng)用實(shí)踐[M].北京：電子工業(yè)出版社，2012.

[9] 韋金辰，李剛，王臣業(yè)，等. 零點(diǎn)起步 TMS320C6000系列DSP原理與應(yīng)用系統(tǒng)設(shè)計(jì)[M]. 北京：機(jī)械工業(yè)出版社，2012.

[10] 廖義奎. Cortex-M3之STM32嵌入式系統(tǒng)[M].北京：中國(guó)電力出版社，2012.

[11] 李敏，羅紅艷，鄭小林，等. 一種改進(jìn)的最大類(lèi)間方差圖像分割法[J].南京理工大學(xué)學(xué)報(bào)，2012，36(2)：22-27.

[12] 劉正君，李琦，王騏. 基于特征選擇算法的相干激光雷達(dá)目標(biāo)識(shí)別[J].中國(guó)激光，2013，40(8)：1-9.

[13] 王妍，王向軍.低對(duì)比度條件下的快速相關(guān)匹配算法[J].紅外與激光工程，2006，35(10)：89-92.

王 永(1986— )，碩士生，主研測(cè)試計(jì)量技術(shù)及儀器，為本文通訊作者；

熊顯名(1964— )，碩士生導(dǎo)師，研究員，主研光電檢測(cè)；

李小勇(1987— )，碩士生，主研圖像處理及嵌入式。

責(zé)任編輯：閆雯雯

首款全系統(tǒng)多核導(dǎo)航定位芯片面世

近日，“北斗星通”發(fā)布了全球首款全系統(tǒng)多核高精度導(dǎo)航定位系統(tǒng)級(jí)芯片“NebulasII”。該芯片率先在高精度領(lǐng)域采用55 nm低功耗工藝和完全自主知識(shí)產(chǎn)權(quán)技術(shù)，具有全系統(tǒng)、抗干擾、高輸出率等特性，可實(shí)現(xiàn)高精度全球衛(wèi)星導(dǎo)航系統(tǒng)(GNSS)測(cè)量?jī)x器小型化。它集小面積、抗干擾、多頻點(diǎn)等優(yōu)點(diǎn)，能夠涵蓋北斗、GPS等四大導(dǎo)航系統(tǒng)的12個(gè)頻點(diǎn)，可對(duì)抗數(shù)十個(gè)單音干擾，支持毫米級(jí)測(cè)量精度。

Research on Aerial Object Dynamic Capture System Based on DSP and ARM

WANG Yong1，XIONG Xianming1，LI Xiaoyong2

(1.SchoolofElectricalEngineeringandAutomation，GuilinUniversityofElectronicTechnology，GuangxiGuilin541004，China；2.DevelopmentDepartmentofGuangxiTransportationResearchInstitute，Nanning530007，China)

At present， the mainly method of real-time tracking to air targets is radar detection. But usually，this method will be affected by interference of electromagnetic field and electromagnetic. So the accuracy of the detection will be decrease. To solve such problems， a solution is put forward which based on air visual real-time tracking .The scheme is suitable for small range of air dynamic object tracking， including the extraction of dynamic target’s difference， the filtering of binary image， the real-time updates of template image， the feature extraction of dynamic target， and the cloud platform control. For increasing accuracy of the system’s detectability， an air target detection’s method is proposed what combine matching dynamic template which based on the improved one and difference between frames. This method will solve the electromagnetic interference effectively and the problem of dynamic target can’t be captured because of circumstances change. The experiment results show that the system can detect air dynamic object very well， and it possess good robustness， realtime performance and sharpness.

air visual； cloud platform control； matching dynamic template； difference between frames； air target detection

【本文獻(xiàn)信息】王永，熊顯名，李小勇.基于ARM和DSP空中運(yùn)動(dòng)目標(biāo)實(shí)時(shí)跟蹤系統(tǒng)研究[J].電視技術(shù),2015，39(11).

廣西研究生教育創(chuàng)新計(jì)劃項(xiàng)目(2011105950804M30)；廣西自然科學(xué)基金項(xiàng)目(2013GXNSFDA019002；2014GXNSFGA118003)；廣西科學(xué)研究與技術(shù)開(kāi)發(fā)項(xiàng)目(桂科合1346010-5)；桂林市科學(xué)研究與技術(shù)開(kāi)發(fā)項(xiàng)目(20130122-1)；廣西教育廳重點(diǎn)項(xiàng)目(ZD2014057)

TN911.7

A

10.16280/j.videoe.2015.11.016

2014-10-18