李 健,劉歆瀏

(中國兵器裝備集團自動化研究所， 四川 綿陽 621000)

?

【裝備理論與裝備技術(shù)】

目標二次提取法在高幀頻視頻跟蹤器上的應(yīng)用

李 健,劉歆瀏

(中國兵器裝備集團自動化研究所， 四川 綿陽 621000)

為了提高光電跟蹤系統(tǒng)的目標探測精度和系統(tǒng)響應(yīng)速度，采用基于Camera Link接口的高清高幀頻數(shù)字相機作為目標傳感器，以DSP+FPGA作為核心處理器，采用目標二次提取法設(shè)計出高幀頻視頻跟蹤器；此視頻跟蹤器結(jié)合DSP和FPGA在數(shù)據(jù)處理上的優(yōu)勢,將圖像跟蹤算法進行分解，F(xiàn)PGA通過硬件方式并行流水實現(xiàn)圖像采集、圖像預(yù)處理、圖像存儲、目標一次提取粗定位、圖像疊加與顯示等功能，DSP完成對目標二次準確提??；經(jīng)實驗驗證,各功能單元達到預(yù)期效果，所設(shè)計的視頻跟蹤器圖像處理能力強，滿足實時、高精度的要求。

Camera Link；FPGA；DSP；電視跟蹤器

視頻跟蹤器在高速導(dǎo)彈制導(dǎo)、機載武器系統(tǒng)、星體跟蹤以及工業(yè)自動化等領(lǐng)域得到了廣泛的應(yīng)用[1]。視頻跟蹤器接收攝像機(可見光或紅外)的視頻信息，對輸入的視頻圖像進行采集、存儲、顯示及目標探測處理，實現(xiàn)對感興趣的目標進行識別及穩(wěn)定跟蹤。早期可見光攝像機輸出為標清PAL制式模擬視頻格，分辨率為720×576。隨著傳感器技術(shù)的不斷發(fā)展，高清攝像機已很普遍，分辨率達到1 920×1 080，甚至更高[1]；在高清分辨率下幀頻也達到數(shù)百幀。此類相機多采用Camera Link作為輸出接口。攝像機分辨率和幀頻的提高提升了視頻跟蹤器的探測跟蹤能力，但更大圖像數(shù)據(jù)對視頻跟蹤器數(shù)據(jù)處理能力提出了更高的要求。

為了適應(yīng)高清高幀頻相機的大數(shù)據(jù)量圖像處理，設(shè)計了一款基于Camera Link接口的高幀頻視頻跟蹤器，此視頻跟蹤器的圖像輸入采用差分數(shù)字接口，相比于模擬視頻，圖像數(shù)據(jù)不易受干擾，避免了AD轉(zhuǎn)換造成圖像數(shù)據(jù)損耗和傳輸延遲；同時，此視頻跟蹤器以FPGA+DSP為核心處理器，綜合FPGA和DSP在數(shù)據(jù)處理方面的優(yōu)勢，極大提高了跟蹤器的運算能力，保證了目標探測跟蹤的實時性。

1 Camera Link接口和相機

Camera Link是一個工業(yè)高速串口數(shù)據(jù)的連接協(xié)議，是在Channel Link技術(shù)標準的基礎(chǔ)上發(fā)展而來的，該接口具有開放式的接口協(xié)議，使得不同廠家既能保持產(chǎn)品的差異性，又能互相兼容。它在傳統(tǒng)LVDS 傳輸數(shù)據(jù)的基礎(chǔ)上又加載了并轉(zhuǎn)串發(fā)送器和串轉(zhuǎn)并接收器，利用SER/DES(串行化/解串行化)技術(shù)以更高的速度發(fā)送數(shù)據(jù)。

Camera Link標準使用LVDS傳輸技術(shù)，每條鏈路需要2根導(dǎo)線。驅(qū)動器接收28個單端TTL/COMS數(shù)據(jù)信號和1個時鐘信號，28個數(shù)據(jù)信號以7∶1的比值被串行發(fā)送，也就是5 對LVDS信號通道上分別傳輸4組LVDS數(shù)據(jù)流和1組LVDS時鐘信號，即完成28位數(shù)據(jù)的同步傳輸只需要5對線。

采用德國Basler公司生產(chǎn)的acA2000-340 km相機輸出作為視頻源，對其進行圖像采集、處理、顯示等功能設(shè)計。相機參數(shù)：傳感器2 /3英寸，逐行掃描CMOS，有效像素2 048×1 088，像元尺寸5.5 μm×5.5 μm，幀頻配置為280 fps，支持外部電平觸發(fā)或軟件觸發(fā)，鏡頭接口C，供電電壓12 V，數(shù)字視頻輸出格式采用Camera Link Full X8-Y1模式。

2 視頻跟蹤器組成及工作原理

2.1 視頻跟蹤器組成

視頻跟蹤器硬件架構(gòu)如圖1所示，采用altera公司Stratix II系列FPGA及TI公司C6000系列芯片作為系統(tǒng)核心處理器，F(xiàn)PGA和DSP均外接DDR2 SDRAM存儲器用作圖像緩存，Camera Link接口為8tap Full模式，通過兩個MDR26連接器與相機連接，VGA模塊采用ADV7125視頻芯片，F(xiàn)PGA輸出的24位數(shù)字信號通過視頻D/A轉(zhuǎn)換成3路RGB模擬信號提供給VGA顯示終端，用于圖像的實時顯示。

2.2 視頻跟蹤器工作原理

視頻跟蹤器工作流程如圖2，高幀頻相機視頻流通過Camera Link接口進入FPGA后，經(jīng)過圖像預(yù)處理模塊可抑制圖像噪聲、增強對比度，得到品質(zhì)較好的待處理圖像；視頻采集模塊一方面將原始高清視頻流進行分辨率和幀頻轉(zhuǎn)換以滿足VGA顯示的要求，另一方面采集目標跟蹤區(qū)域圖像傳送至DSP；DSP在基于FPGA目標一次提取的基礎(chǔ)上進行目標的二次提取，完成目標的二次提取后，DSP將目標脫靶量傳回FPGA內(nèi)部的疊加控制器，疊加控制器根據(jù)目標脫靶量信息顯示目標跟蹤波門及相應(yīng)的字符疊加信息；VGA時序控制器產(chǎn)生VGA標準時序信號用于控制視頻顯示。

圖1 視頻跟蹤器硬件架構(gòu)

圖2 視頻跟蹤器工作流程

3 視頻跟蹤器邏輯及軟件設(shè)計

3.1 視頻采集與顯示

根據(jù)Camera Link協(xié)議，對8tap Full模式相機，LVDS視頻信號經(jīng)過轉(zhuǎn)換芯片DS90CR288A后輸出信號包括8通道并行視頻信號A、B、C、D、E、F、G、H；視頻同步信號：行同步信號LVAL、數(shù)據(jù)有效信號DVAL、幀同步信號FVAL以及像素時鐘PCLK。

FVAL為高電平表示當前視頻幀有效，F(xiàn)VAL與LVAL同時為高電平表示當前行輸入有效，F(xiàn)VAL與DVAL 同時為高電平表示當前視頻數(shù)據(jù)有效，視頻數(shù)據(jù)和同步信號的關(guān)系如圖3所示。

圖3 Camera Link視頻流時序圖

前面已提到，攝像機視頻信號經(jīng)過轉(zhuǎn)換后，生成8通道并行視頻數(shù)據(jù)。從圖4可以看出，當視頻分辨率為2 048×1 088 時，8個通道視頻數(shù)據(jù)按列方向依次分布，對任意一個視頻通道而言，其分辨率為256×1 088。因此，DVAL信號一個周期內(nèi)，其指示數(shù)據(jù)有效的高電平時間應(yīng)是256個像素時鐘周期。

圖4 多通道視頻流格式

視頻采集模塊主要完成兩個任務(wù)：一是采集跟蹤區(qū)域圖像數(shù)據(jù)存入FPGA片上存儲器并傳送給DSP；二是將原始視頻圖像經(jīng)過分辨率和幀率轉(zhuǎn)換以適配VGA顯示。不管哪種任務(wù)，采集模塊都應(yīng)先根據(jù)同步信號FVAL、LVAL、DVAL生成視頻有效行計數(shù)器、有效列計數(shù)器、幀計數(shù)器，其中，行計數(shù)器范圍為1～1 088，列計數(shù)器范圍為1～256，利用此計數(shù)器定位視頻圖像坐標。Camera Link視頻數(shù)據(jù)是多通道并行輸出，其采集方式也有別于傳統(tǒng)的逐像素點輸出數(shù)據(jù)的視頻采集。

本設(shè)計中，攝像機輸出視頻分辨率為2 048×1 088，VGA顯示器分辨率為1 024×768，為了適配顯示器分辨率且不改變原始圖像比值，對輸入視頻分別進行隔行和隔列抽取得到分辨率為1 024×544的圖像分辨率，顯示端視頻上下用黑色填充，填充區(qū)域用于字符疊加顯示。顯示區(qū)域如圖5所示。

圖5 VGA顯示區(qū)域分配

3.2 目標一次提取

目標一次提取是基于FPGA完成的，充分利用FPGA處理時并行流水的特點，在目標搜索階段進行全幀圖像搜索，在目標跟蹤階段對跟蹤框內(nèi)圖像進行目標搜索，跟蹤窗位置和大小根據(jù)當前工作狀態(tài)通過DSP解算后自動設(shè)定。

進行空域目標提取的一般思路是先對輸入圖像求閾值，按此閾值對圖像進行二值化操作，最后對二值化圖像提取分割出的目標并計算目標位置及幾何尺寸。如果目標提取算法在DSP上通過C語言編程實現(xiàn)，即便將算法優(yōu)化，至少也得緩存一幀圖像才能計算出目標信息。在FPGA上自動搜索目標時，通常假設(shè)目標一般都比較遠，目標能在視場內(nèi)完全成像，前后兩幀圖像灰度信息變化不大，因此常將當前幀圖像求取的閾值用于下一幀圖像的分割，進而實時地求取二值圖像并獲取目標信息，避免了視頻處理中的圖像緩存過程，也滿足了實時性的需要。

基于FPGA的閾值提取基于前后兩幀視頻圖像灰度信息變化不大的假設(shè)，當成像發(fā)生突變的時候，這種處理方式存在潛在隱患，因此，提出了一種改進的目標提取方法，動態(tài)求取閾值，并利用此動態(tài)閾值分割并刷新目標信息。為簡化描述，先假設(shè)：搜索窗內(nèi)背景相對比較單一，目標X方向成像≥24像素，視頻信號目標對比度≥10%，目標灰度值>背景灰度值?；诖思僭O(shè)，本文的目標提取算法實現(xiàn)流程如圖6所示。

圖6 動態(tài)閾值目標提取算法流程

圖6中，diffVal可根據(jù)經(jīng)驗設(shè)定(與視頻信號目標對比度有關(guān))，也可通過圖像灰度分布自動求取，其取值大小代表了目標與背景的灰度差值。實現(xiàn)目標一次提取算法時作了以下假設(shè)，即“目標灰度值>背景灰度值”，因此，為了使圖像跟蹤器自動地搜索目標，應(yīng)增加目標與背景灰度統(tǒng)計模塊(本文不作敘述)，以判定目標灰度值比背景灰度值的分布情況，若目標灰度值低于背景灰度值，則在算法的輸入端將視頻做反相處理，從而實現(xiàn)對亮/暗目標的自動判斷。本文目標提取算法將串行數(shù)據(jù)處理方式運用到FPGA的流水處理過程中，在閾值的動態(tài)更新基礎(chǔ)上實現(xiàn)了目標的實時提取，省去了圖像二值化過程，整個處理過程與視頻流完全同步。

3.3 目標二次提取

在3.2節(jié)中提到一個假設(shè)，即“目標X方向成像≥24像素”。結(jié)合多通道數(shù)據(jù)的特點，當滿足“目標X方向成像≥24像素”的條件時，按照8通道計算，在單通道上X方向的目標成像≥3像素，接近單通道目標檢測的最小像素值。因此，在3.2節(jié)的假設(shè)條件下，F(xiàn)PGA對任意通道進行目標一次提取均可搜索到目標位置，根據(jù)圖5所表示的視頻流數(shù)據(jù)格式很容易換算成全分辨率下的目標位置，由于這種提取方式并未考慮到目標的多通道邊界關(guān)系，導(dǎo)致目標一次提取得到的目標信息精度不高。因此，3.2節(jié)的方法只能實現(xiàn)對目標的粗定位，要得到精度更高的目標信息，有必要對目標進行二次提取。

在3.1節(jié)中提到，目標采集的任務(wù)之一是“采集跟蹤區(qū)域圖像數(shù)據(jù)存入FPGA片上存儲器并傳送給DSP”，跟蹤區(qū)域即在跟蹤狀態(tài)下，目標的搜索區(qū)域，此區(qū)域根據(jù)上一幀的目標跟蹤位置外推而來。DSP獲取到全分辨率下的跟蹤區(qū)域的圖像，在3.2節(jié)的目標位置引導(dǎo)區(qū)域搜索目標，采用形心算法實現(xiàn)對目標中心和邊界的精確定位。形心算法公式如下所示：

3.4 實驗效果

經(jīng)試驗驗證，在相機配置為：分辨率2 048×1 088，幀頻200 Hz，在1.5 km處采用本文所設(shè)計視頻跟蹤器對大疆精靈3(尺寸≥50 cm)無人機進行跟蹤時，滿足X方向≥24像素，Y方向≥2像素，目標像素面積≤1/4視場且目標在視場內(nèi)完全成像的條件，可實現(xiàn)對運動目標的穩(wěn)定跟蹤，跟蹤精度高，實時性好，實驗效果如圖7所示。當目標尺寸過小(目標X方向像素數(shù)≤視頻通道數(shù))時，目標不能在每個數(shù)據(jù)通道上都能成像，導(dǎo)致目標提取時可能存在信息缺失，目標尺寸過大(目標像素面積≥1/2視場)時，目標數(shù)據(jù)量過大，處理的實時性差。

圖7 視頻跟蹤器實驗效果

4 結(jié)論

本文以Camera Link接口的高清高幀頻數(shù)字相機作為輸入，采用動態(tài)閾值分割及目標二次提取的方法，以DSP+FPGA作為核心處理器，設(shè)計出高幀頻電視跟蹤器。此電視跟蹤器結(jié)合DSP和FPGA在數(shù)據(jù)處理上的優(yōu)勢，實現(xiàn)了視頻采集、顯示及目標的穩(wěn)定跟蹤。試驗表明,各功能單元達到預(yù)期效果，所設(shè)計的視頻跟蹤器圖像處理能力強，滿足實時、高精度的要求。雖然該視頻跟蹤器已應(yīng)用于實際項目中，但仍是基于簡單空域背景的目標檢測跟蹤，下一步主要研究對復(fù)雜背景下運動目標的實時跟蹤。

[1] 鄒春勇.基于CameraLink接口高清圖像跟蹤器設(shè)計[J].科學(xué)技術(shù)與工程，2012， 12(19)：4672-4675.

[2] 王鳴浩.基于Camera Link接口的高幀頻數(shù)字圖像采集顯示系統(tǒng)[J].微電子學(xué)與計算機，2011，28(3):149-152.

[3] 賈建祿.基于Camera Link的高速圖像采集處理器[J].液晶與顯示，2010，25(6):914-918.

[4] 孔令磊.高幀頻紅外目標檢測跟蹤算法的研究與實現(xiàn)[D].成都:電子科技大學(xué),2010.

[5] 戴明.高幀頻電視跟蹤器[J].光學(xué)精密工程，1993，1(5):83-87.

[6] 彭先蓉.高幀頻電視跟蹤算法的研究[J].光電工程，1998，25(增刊):47-50.

[7] 朱江，李躍江，鄒 效. 一種車載光電平臺圖像跟蹤系統(tǒng)設(shè)計[J].兵工自動化，2015(2):34-36.

[8] 王歡,白楊,江晟.某型導(dǎo)引頭半物理仿真系統(tǒng)設(shè)計[J].四川兵工學(xué)報，2015(5):24-27.

(責任編輯 周江川)

Application of Target Two-Time Extraction Method in High Frame Rate Video Tracker

LI Jian， LIU Xin-liu

(Automation Research Institute of China South Industries Group Corporation, Mianyang 621000, China)

In order to improve the target detection accuracy and system response speed, a high definition and high frame rate digital camera based on Camera Link interface is used as the target sensor, which uses the DSP+FPGA as the core processor, A high frame rate video tracker is designed by using the two-time extraction method. This video tracker combines the advantages of DSP and FPGA in data processing, decomposing the image tracking algorithm. FPGA, through the hardware parallel pipeline, achieves image acquisition, image preprocessing, image storage, first target extracting coarse positioning, image superposition and display functions, DSP is used to finish second time accurate extraction of the target. Experiment proves that the functional units can achieve the desired effect, and the designed video tracker has the strong image processing ability, and can achieve the trait of real time and high precision.

Camera Link; FPGA; DSP; TV tracker

2017-02-25；

2017-03-20

李健(1984—)，男，碩士，工程師，主要從事圖像處理研究。

10.11809/scbgxb2017.06.014

format:LI Jian，LIU Xin-liu.Application of Target Two-Time Extraction Method in High Frame Rate Video Tracker[J].Journal of Ordnance Equipment Engineering,2017(6):66-69.

TP491；TJ765

A

2096-2304(2017)06-0066-04

本文引用格式：李健,劉歆瀏.目標二次提取法在高幀頻視頻跟蹤器上的應(yīng)用[J].兵器裝備工程學(xué)報，2017(6):66-69.