賀柏根,劉 劍,劉偉寧,郝志成

(中國科學院長春光學精密機械與物理研究所,吉林長春130033)

基于TMS320C6455＋FPGA＋SDRAM的快速視頻跟蹤系統(tǒng)設計

賀柏根?,劉 劍,劉偉寧,郝志成

(中國科學院長春光學精密機械與物理研究所,吉林長春130033)

圖像跟蹤是圖像處理領域研究較多也比較關鍵的技術之一。隨著微電子技術不斷發(fā)展,在光電經緯儀、機載光電平臺等圖像跟蹤應用領域對視頻跟蹤器系統(tǒng)的要求越來越高,當前視頻圖像幀頻偏低已對伺服系統(tǒng)傳輸帶寬形成不小制約,而高幀頻圖像又有視頻傳輸的瓶頸。為了解決這一問題,本文設計了一款基于TMS320C6455＋FPGA＋SDRAM的圖像跟蹤系統(tǒng)。本系統(tǒng)通過FPGA控制SDRAM對視頻圖像進行緩存后輸出,達到視頻降頻輸出的要求,以解決高幀頻圖像數據量大難以實時傳輸顯示的問題,同時通過對相關跟蹤算法做進一步優(yōu)化使其滿足100 frame/s視頻的實時跟蹤要求。實驗證明該系統(tǒng)工作有效穩(wěn)定,能滿足工程實際需求。

目標跟蹤;TMS320C6455;SDRAM;圖像處理

1 引 言

在無人偵察機及光電經緯儀等領域,圖像跟蹤是一項極為關鍵的技術。學術界對圖像跟蹤技術研究起步早關注度高,該技術已日趨成熟。但隨著科技水平的不斷發(fā)展,各應用領域對圖像跟蹤技術在集成化、魯棒性、實時性等方面提出了更高的要求。集成化方面,設備小型化、輕型化要求越來越高,對跟蹤器一般都需要板卡級嵌入式系統(tǒng)實現(xiàn),魯棒性和實時性往往互斥,需做合理折中。實際應用中,為了提高伺服系統(tǒng)跟蹤帶寬以使系統(tǒng)對機動目標適應性更強,對圖像幀頻提出更高要求,由起初的標準PAL制模擬視頻(25 frame/s),提高到30 frame/s Cameralink數字視頻,現(xiàn)在已經需要達100 frame/s甚至更高。在圖像幀頻提高的同時圖像數據量相應變大,受遙測數據傳輸帶寬所限,在圖像傳送顯示時需要對其進行抽幀降頻處理。

基于以上背景需求,本文設計了一款基于TMS320C6455＋FPGA＋SDRAM結構的實時圖像跟蹤嵌入式系統(tǒng),該系統(tǒng)能對100幀雙TAB視頻(視頻分左右路同時送出)圖像實時穩(wěn)定跟蹤且能將視頻抽幀降頻為25 frame/s后輸出。

2 硬件結構

本系統(tǒng)硬件設計采用TI公司高速數字信號處理芯片TMS320C6455作為主運算處理器。該芯片在主頻為1 GHz下完成100 frame/s視頻對目標的實時跟蹤。FPGA采用Altera公司StratixⅡ系列EP2S50F1020I4N芯片與兩片SDRAM配合完成跟蹤器系統(tǒng)內部數據分配及圖像抽幀輸出任務。具體結構框圖如圖1所示。

圖1 快速視頻跟蹤系統(tǒng)硬件框圖Fig.1 Hardware block diagram of the fast image tracking system

為適應100 frame/s視頻圖像的大數據量傳輸要求,本系統(tǒng)視頻輸入采用雙路雙TAB模式,在圖像行場有效期間,每個像素時鐘同時傳輸2個像素數據即data(0)&data(512),data(1)& data(513),……分兩路IN1、IN2同時輸入本跟蹤系統(tǒng)。具體數據格式如圖2所示。

視頻通過兩路CameraLink視頻接口進入跟蹤系統(tǒng)后,在FPGA中分兩路單獨處理,一路送入DSP做跟蹤處理,實時計算目標脫靶量;另一路做送往SDRAM,做抽幀處理后輸出。系統(tǒng)設兩路輸出,可將抽幀后視頻送往兩種不同用途。

2.1 視頻跟蹤

為了保證圖像跟蹤的實時性,送往DSP的視頻圖像在FPGA中不經處理,直接按雙TAB模式以16位數據送往DSP。在傳統(tǒng)的圖像跟蹤中,為節(jié)省時間提高系統(tǒng)實時性,根據圖像跟蹤時目標移動的連續(xù)性DSP采集圖像一般采取開窗法進行,即在大小為a×b的原始圖像中選取目標當前位置為中心的大小為X×Y的窗口內進行目標模板為x×y的跟蹤算法計算(其中a＞X＞x, b＞Y＞y),如圖3所示。

本系統(tǒng)為適應視頻源信號雙TAB模式輸入的需求,圖像數據是前半幅與后半幅圖像數據同時到達,若目標在橫坐標為a/2處時傳統(tǒng)開窗法位置換算復雜,且有圖像“不連續(xù)”的問題,給圖像采集造成困擾。為此,本系統(tǒng)設計DSP EDMA采集圖像采用16位數據模式整行采集進行,即DSP按照視頻源圖像格式通過16位數據總線采集,圖像進入DSP后再進行圖像整合拼接,組成如圖4所示大小為a×Y的窗口圖像數據。做跟蹤算法時,在圖4所示的窗口數據中進行二次開窗形成大小為X×Y的目標實際搜索窗口。

圖3 傳統(tǒng)跟蹤系統(tǒng)圖像采集示意圖Fig.3 Traditional image acquisition schematic of tracking system

圖4 本文設計的跟蹤習題圖像采集方法Fig.4 Image acquisition schematic of tracking system designed in this article

2.2 視頻抽幀拼接

SDRAM以其價格低、集成度高、數據讀取速度快及技術相對成熟且包括Atera和Xilinx等當前比較主流的FPGA芯片都已集成了SDRAM控制核,而被廣泛應用于多種數據存取領域。本系統(tǒng)視頻抽幀拼接由FPGA控制兩片SDRAM進行乒乓讀寫來完成,在FPGA中的功能模塊劃分如圖5所示。

圖5 FPGA控制SDRAM功能模塊圖Fig.5 Functional block of the FPGA controlling SDRAM

本系統(tǒng)對視頻抽幀總的設計思路是兩路視頻分別寫入兩片SDRAM且每四幀數據只寫一幀,即將100 frame/s視頻數據降頻為25 frame/s的頻率寫入SDRAM中。寫完一幀后,再從SDRAM中把所寫數據讀出。讀出兩片SDRAM的數據先分別存入一個FPGA內部FIFO中,最后再從各自FIFO中將數據送往Camer Link輸出接口。在從FIFO讀取數據時,按照乒乓方式進行操作,即先讀取第一片F(xiàn)IFO中數據直至讀空,再開始讀取第二片F(xiàn)IFO,從而完成視頻的拼接工作。此過程中加入FIFO緩存的好處是,該系統(tǒng)可實現(xiàn)對視頻源像素時鐘的自適應[1-6]。

在如圖5所示的功能模塊中,視頻源左圖像和視頻源右圖像分別表示經由兩路CameraLink接口輸入系統(tǒng)的原始視頻,數據上傳模塊主要用來將視頻數據在一個FIFO中進行緩存,在往FIFO中寫的時候要進行抽幀處理,即每4幀圖像抽取一幀寫入,其他3幀丟棄,以此實現(xiàn)由100 frame/s到25 frame/s的降頻處理。在此模塊中主要由一個幀計數器和幀同步寫控制兩個功能,其中幀計數器由視頻圖像的場同步進行計數,計數滿4后清零,取計數值為0的幀的數據寫入FIFO中,幀同步寫控制用來確保第一個寫的數據是一幀數據的開頭。SDRAM狀態(tài)控制模塊完成SDRAM的控制功能,主要包括初始化和讀寫控制。系統(tǒng)上電或復位后對SDRAM初始化一次,這里SDRAM的系統(tǒng)時鐘設在133 MHz,突發(fā)長度設為8。SDRAM讀、寫用狀態(tài)機來控制,控制過程如圖6中數據上傳部分所示。

圖6 SDRAM狀態(tài)機控制流程圖Fig.6 Flow chart of the SDRAM state controlling

圖6中數據上傳FIFO和SDRAM的寫滿標志信號主要靠計數產生,例如處理兩路512×768視頻圖像時,則當往FIFO中寫數據時,寫滿512×768×3 bit數據時表示FIFO或SDRAM已寫滿[7-9]。數據下傳模塊控制過程如圖6中數據下傳部分所示,該模塊將SDRAM讀出的數據先放在FIFO中做緩存,由于是從2片SDRAM同時讀取數據,因此需開2個FIFO,FIFO大小不小于1 024×24 bit。這里也用了一個狀態(tài)機來控制從這兩個FIFO讀數,當檢測到第一個FIFO里面的數據個數大于或等于512個時,就開始從這個FIFO把數讀出,同時使得輸出視頻數據的場有效信號FVAL和行有效信號LVAL置高,從第一個FIFO讀完512個數據后,轉到讀取第二個FIFO,也讀取512個數據,讀完第二個FIFO后,行有效信號LVAL信號置低,然后等待512個時鐘周期,再轉到讀取第一個FIFO, LVAL信號再置高,就這樣按上面的方式,一直讀了768次后,FVAL信號置低,接下來再等待1 420 352個時鐘周期,這時又重復上面的方式,從而把數據組織成1 024×768×24 bit,且?guī)l為25 Hz。這里時鐘為65 MHz。輸出信號的時序圖如圖7所示。

圖5中SDRAM控制器模塊則直接采用altera提供的SDRAM控制器來完成。

綜上,本系統(tǒng)通過在FPGA中對SDRAM時序的控制很好地實現(xiàn)了對雙Tap 100 frame/s視頻圖像的降頻和拼接工作。實驗證明,該方法輸出圖像清晰穩(wěn)定,能有效解決該類問題。

圖7 系統(tǒng)輸出視頻時序圖Fig.7 Timing diagram of the system output video

3 圖像跟蹤算法

目標跟蹤是圖像處理領域研究較早關注度較高的部分,隨著技術的不斷進步,近些年來研究出不少基于特征點等新的算法。新的算法一般復雜度較高,在工程實際應用尤其是需要基于嵌入式系統(tǒng)實現(xiàn)的過程中會受硬件存儲容量和運算速度等所限而難以實現(xiàn)。本系統(tǒng)為了能夠滿足對100 frame/s視頻的實時穩(wěn)定跟蹤要求,采用經典的相關算法做優(yōu)化后實現(xiàn)。

相關算法是通過求取實時圖像和預存模板之間最大相似度完成目標跟蹤的。對一個二維圖像,相關函數可用式(1)表示:

式中:X(j,k)表示實時圖,Y(j,k)表示預存模板?？梢钥闯?該算法是一個乘累加過程,為了能夠滿足實時性要求,本系統(tǒng)在DSP中實現(xiàn)對算法進行了一系列優(yōu)化。進行的優(yōu)化操作主要有用邏輯判斷語句代替if...else....語句,如此則減少了后者跳轉指令的延時間隙;式(1)中在循環(huán)中有平方操作,在此用乘法代替平方操作,以加快運算速度;式(1)中有對模板Y(j,k)求絕對值累加和的過程,在模板不更新的情況下,此參數為定值,本系統(tǒng)中,只在模板做更新時對該參數進行計算,大大減少運算量;同時根據DSP硬件結構特性,在做for循環(huán)時變量變化不是從0到N的上升模式,而改為從N到0的降低模式等。經過綜上一系列優(yōu)化處理,該跟蹤算法在本系統(tǒng)中運算速度能控制在8 ms之內,比優(yōu)化前11 ms有明顯提高,能滿足該跟蹤系統(tǒng)對100 frame/s視頻的實時跟蹤[10-12]。

4 實驗結果

為驗證本系統(tǒng)的工作有效性和穩(wěn)定性,在自制板卡上采用幀頻為100 frame/s,像素時鐘為65 MHz,圖像大小為1 024×768的相機進行實驗。實驗過程中手持相機快速抖動,以測試系統(tǒng)跟蹤效果。結果如圖8所示,可以看出本系統(tǒng)對目標能穩(wěn)定跟蹤。

圖8 實驗結果圖Fig.8 Figures of experimental results

5 結 論

本文主要針對視頻幀頻比較高,要求跟蹤算法速度快且圖像數據量大,視頻傳輸需降頻處理的問題而設計了一款基于DSP＋FPGA＋SDRAM的圖像跟蹤系統(tǒng)。本系統(tǒng)采用FPGA控制SDRAM緩存的方式實現(xiàn)了圖像的降頻處理,圖像跟蹤算法采用跟蹤效果較好、計算量較小的相關跟蹤優(yōu)化后實現(xiàn)。實驗證明本系統(tǒng)工作穩(wěn)定有效,能夠滿足工程應用需求。

參 考 文 獻:

[1] 蘇海冰,吳欽章.用SDRAM在高速數據采集和存儲系統(tǒng)中實現(xiàn)海量緩存[J].光學精密工程,2002,10(5):462-465.Su H B,Wu Q Z.Realization of mass storage by using SDRAM in a high speed data acquisition and storage system [J].Optics and Precision Engineering,2002,10(5):462-465.(in Chinese)

[2] 段曉晨,何小剛,程永強.實時視頻SDRAM控制器的FPGA設計與實現(xiàn)[J].太原理工大學學報,2006,37:5-8.Duan X C,He X G,Cheng Y Q.The design and implement of real-time video SDRAM controller based on FPGA [J].Journal of Taiyuan University of Technology,2006,37:5-8.(in Chinese)

[3] 高文,朱明,劉劍,等.基于DSP＋FPGA框架的實時目標跟蹤系統(tǒng)設計[J].液晶與顯示,2014,29(4):611-616.Gao W,Zhu M,Liu J,et al.Design of real-time target tracking system based on DSP＋FPGA[J].Chinese Journal of Liquid Crystals and Displays,2014,29(4):611-616.(in Chinese)

[4] 周望瑋,史小軍,朱為,等.基于FPGA的SDRAM讀寫雙口控制器設計[J].電子器件,2006,29(2):581-584.Zhou W W,Shi X J,Zhu W,et al.Design of double interface controller on SDRAM with FPGA[J].Chinese Journal of Electron Devices,2006,29(2):581-584.(in Chinese)

[5] 唐玉蓉.基于FPGA的高速數據采集系統(tǒng)設計與實現(xiàn)[D].北京:北京郵電大學,2012.Tang Y R.Design and implementation of high-speed data acquisition system based on FPGA[D].Beijing:Beijing University of Posts and Telecommunications,2012.(in Chinese)

[6] 李娟.基于FPGA的圖像預處理及顯示系統(tǒng)的設計[D].長春:中國科學院長春光學精密機械與物理研究所,2011.Li J.Design of displaying system and image preprocessing based on FPGA[D].Changchun:Changchun Institute of optics,Fine Mechanics and Physics Chinese Academy of Science,2011.(in Chinese)

[7] 郭敬明,何昕,魏仲慧.基于在線支持向量機的Mean Shift彩色圖像跟蹤[J].液晶與顯示,2014,29(1):120-128.Guo J M,He X,Wei Z H.New mean shift tracking for color image based on online support vector machine[J].Chinese Journal of Liquid Crystals and Displays,2014,29(1):120-128.(in Chinese)

[8] 薛陳.復雜環(huán)境下視頻目標跟蹤技術的算法和應用研究[D].北京:中國科學院研究生院,2010.Xue C.Research on algorithm and application of visual object tracking under complex environment[D].Beijing: Chinese Academy of Sciences,2010.(in Chinese)

[9] Shwartz s,Namer E Y Y,Schechner.Blind haze separation[C].Proceedings of IEEE CVPR,2006:1984-1991.

[10] 李華,朱波.基于FPGA的彩色圖像實時采集系統(tǒng)設計[J].液晶與顯示,2014,29(2):258-265.Li H,Zhu B.Design of real-time color image acquisition system based on FPGA[J].Chinese Journal of Liquid Crystals and Displays,2014,29(2):258-265.(in Chinese)

[11] Omer I,Werman M.Color lines:image specific color representation[C].IEEEConf.Computer Vision and Pattern Recognition,2004,2:946-953.

[12] 王喆.基于FPGA和SDRAM半實物仿真系統(tǒng)硬件控制子系統(tǒng)的設計與實現(xiàn)[D].西安:西安電子科技大學,2007 Wang Z.Design and implement of hardware control subsystem of hil simulation system based on FPGA and SDRAM[D].Xian:Xidian University,2004.(in Chinese)

Fast image tracking system design based on TMS320C6455＋FPGA＋SDRAM

HE Bai-gen?,LIU Jian,LIU Wei-ning,HAO Zhi-cheng

(Changchun Institute of Optics,Fine Mechanics and Physics, Chinese Academy of Sciences,Changchun 130033,China)

Image tracking is focused by many researchers,and it has been one of the key technologies of the image processing.With the continuous development of microelectronics technology,it requires more and more for video tracking system in practice,such as theodolite and optical platform of UAV.The current video frame rate of the image tracking system is too low,it has formed large constraints on transmission bandwidth of the servo system.While,there are bottlenecks on transmission using high frame rate.In order to solve the above problems,this paper designed a image tracking system based on TMS320＋FPGA＋SDRAM.In this system,the data of image output are send out after SDRAM controlled by FPGA cached,so that the video frame rate becomes low,and it can be realtime tracked and displayed.In order to meet the requirements of real-time tracking for 100 frame/s video,this paper make the correlation algorithm further simplified.Experimental results show that this system can work effectively and stably,and it can meet the actual needs of the project.

target tracking;TMS320C6455;SDRAM;image processing

TP394.1;TH691.9

A

10.3788/YJYXS20142906.1111

1007-2780(2014)06-1111-06

2014-05-15;

2014-06-17.

國家高技術研究發(fā)展計劃(No.863計劃)(No.2005AA778032)

?通信聯(lián)系人,E-mail:hebaigen＠sohu.com

賀柏根(1983－),男,山西平遙人,工學博士,助理研究員,主要從事視頻跟蹤、景象匹配、圖像處理等方面的研究。E-mail:hebaigen＠sohu.com劉 劍(1973－),男,吉林長春人,工學學士,高級工程師,主要從事圖像處理方面研究。郝志成(1978－),男,遼寧營口人,工學博士,副研究員,主要從事圖像跟蹤、目標識別方面研究。