(陜西理工大學 電氣工程學院，陜西 漢中 723000)

0 引言

在高速運動的導彈末端制導、彈道實驗或機載武器姿態(tài)跟蹤系統(tǒng)中，需要快速地捕獲目標與實時定位，完整記錄高速實驗數(shù)據(jù)，為目標高速運動規(guī)律研究和性能分析提供數(shù)據(jù)支撐[1-2]。高幀頻圖像跟蹤系統(tǒng)的效果容易受到眾多因素干擾，這對高幀頻CMOS圖像傳感器、圖像接口模塊、圖像處理器和跟蹤機構(gòu)等提出了更高的要求[3-4]。

現(xiàn)有高幀頻圖像處理系統(tǒng)多采用并行工作方式的FPGA器件，實現(xiàn)與圖像傳感器接口及內(nèi)部算法并行處理功能。文獻[5]通過Camera Link接口，利用FPGA對分辨率為2048×1088像素、幀頻為280fps的圖像進行采集、存儲、目標粗定位等處理，利用DSP完成目標準確定位和實時跟蹤，系統(tǒng)處理數(shù)據(jù)量大，相對較為復雜。文獻[6]對分辨率為300×300像素、幀頻1 000 Hz信標光斑圖像的進行捕獲、預處理、閾值分割和形心定位，實現(xiàn)了高幀頻激光光斑跟蹤與瞄準功能，系統(tǒng)結(jié)構(gòu)簡單，但圖像采集與處理不能同步進行。文獻[7]對分辨率為1280×1024、幀頻為500fps的圖像進行圖像捕獲、高速緩存、千兆網(wǎng)傳輸、外部控制功能，系統(tǒng)采用一片SDRAM完成圖像采集和處理的緩沖功能，處理效率相對較低。文獻[8]將DRAM分割成兩個乒乓塊Bank0-1和Bank2-3，采用兵乓切換方式讀寫DRAM中Bank0-1和Bank2-3區(qū)域，這種工作方式一定程度上提高系統(tǒng)處理速度，但圖像保存和圖像處理分開，系統(tǒng)工作效率仍舊不高。

為了提高高幀頻圖像系統(tǒng)的實時采集、處理需求，本文利用CMOS圖像傳感器LUPA-300、CycloneIV EP4CE115和2片DDR2等設(shè)計了一種高幀頻圖像目標跟蹤系統(tǒng)，該系統(tǒng)能夠?qū)Ψ直媛蕿?40×480像素、幀頻250 Hz的圖像進行捕獲、閾值分割、形心定位等處理，實現(xiàn)對高速運動目標進行精確跟蹤。

1 系統(tǒng)總體方案設(shè)計

圖像跟蹤系統(tǒng)是利用FPGA對高幀頻CMOS圖像傳感器圖像進行捕獲、預處理、目標識別、形心跟蹤和云臺驅(qū)動控制。系統(tǒng)結(jié)構(gòu)如圖1所示，主要包括FPGA模塊、高幀頻CMOS圖像傳感器模塊、外設(shè)時鐘模塊、2片DDR2模塊、二維云臺控制模塊和RS232、USB2.0、以太網(wǎng)等外設(shè)接口模塊等。

圖1 系統(tǒng)結(jié)構(gòu)框圖

FPGA是圖像跟蹤系統(tǒng)的核心芯片，實現(xiàn)與圖像傳感器、DDR2、VGA、上位機接口和目標識別與跟蹤控制等功能，因而FPGA的內(nèi)部資源及工作頻率決定了整個系統(tǒng)的性能。高幀頻圖像傳感器選用Cypress公司CMOS圖像傳感器LUPA-300，該芯片內(nèi)置10位ADC，輸出的圖像數(shù)據(jù)長度為10位，數(shù)據(jù)輸出最大速率為80 Mb/s。輸出圖像具有開窗功能，窗口分辨率為640×480時的幀頻數(shù)可達250fps；窗口分辨率為256×256時的幀頻數(shù)可達929fps。圖像緩存單元采用美光DDR2芯片MT47H64M16HR，該芯片容量為1 Gbit，數(shù)據(jù)總線寬度為16位，與FPGA之間數(shù)據(jù)頻率最高可達333 MHz。FPGA選用CYCLONE IV 系列EP4CE115F29C7N，該芯片擁有114480個邏輯單元、3888Kb嵌入式存儲器，266個18*18乘法器、4個PLL、528個I/O，可以滿足圖像乒乓存儲、外設(shè)接口需求；FPGA芯片的速度等級為C7，內(nèi)核時最高工作頻率為437.5 MHz，鎖相環(huán)輸出時鐘最高為450 MHz，能夠滿足高幀頻圖像傳感器數(shù)據(jù)傳輸和DDR2存儲需求。

2 系統(tǒng)功能模塊設(shè)計

FPGA中設(shè)計的功能模塊如圖1所示，主要包括鎖相環(huán)PLL、圖像采集、DDR2乒乓讀寫、圖像處理和運動跟蹤等幾個模塊。通過SPI總線配置LUPA-300芯片內(nèi)部寄存器、實時采集高幀頻圖像；DDR2乒乓讀寫模塊用于緩存采集與處理圖像幀，避免高幀頻圖像處理不及時的問題；圖像處理模塊用于目標動態(tài)閾值分割及形心計算；運動跟蹤模塊用于控制云臺跟蹤目標。

2.1 鎖相環(huán)模塊設(shè)計

根據(jù)各功能模塊時鐘的需求配置PLL，CMOS圖像傳感器LUPA-300配置總線SPI的時鐘為20 MHz，像素輸出的主時鐘為80 MHz；DDR2存儲器MT47H64M16HR的時鐘頻率最高166.7 MHz，目標識別模塊的時鐘為200 MHz。因而鎖相環(huán)模塊設(shè)計時，選擇輸入時鐘信號為40 MHz的有源晶振，鎖相環(huán)內(nèi)部經(jīng)過分頻和倍頻配置后，輸出四路時鐘信號分別為20 MHz、80 MHz、160 MHz和200 MHz。PLL輸出的20 MHz時鐘信號用于CMOS圖像傳感器LUPA-300的SPI總線時鐘，PLL輸出的80 MHz用于讀取LUPA-300像素時鐘信號，PLL輸出的160 MHz用于讀寫DDR2模塊時鐘信號，PLL輸出的200 MHz其他模塊時鐘驅(qū)動信號。

2.2 高幀頻圖像采集模塊設(shè)計

2.2.1 SPI總線時序驅(qū)動

LUPA-300的工作模式由內(nèi)部16個寄存器決定，因而系統(tǒng)上電后，需要通過SPI總線接口(SPI_ENABLE、SPI_CLK和SPI_IN)對CMOS圖像傳感器LUPA-300的內(nèi)部寄存器進行配置。依據(jù)LUPA-300寄存器參數(shù)設(shè)置主從工作模式、曝光時間、開窗大小和亞采樣等參數(shù)。通過配置X方向、Y方向的起始地址，設(shè)置圖像讀入X方向、Y方向的像素開始位置，也可配置圖像開窗的寬度和高度。外部40 MHz晶振信號經(jīng)鎖相環(huán)后產(chǎn)生80 MHz時鐘，再經(jīng)4分頻后產(chǎn)生的20 MHz為SPI時鐘。SPI_IN為SPI串行數(shù)據(jù)輸入線，有效數(shù)據(jù)為16位，其中前4位[15:12]為地址，后12位[11:0]為數(shù)據(jù)。SPI允許線SPI_ENABLE為低電平時，每個SPI_CLK的上升沿將SPI_IN的串行數(shù)據(jù)送入LUPA-300內(nèi)部寄存器，具體配置時序如圖2所示。

2.2.2 圖像數(shù)據(jù)采集模塊設(shè)計

若LUPA-300的16個16位寄存器配置完畢，依據(jù)LUPA-300的幀有效FRAME_VALID和行有效LINE_VALID進行圖像采集。如圖3所示，幀有效FRAME_VALID上升沿表示一幀圖像開始輸出，在FRAME_VALID為高電平期間，行有效LINE_VALID上升沿表示一行圖像開始輸出；在LINE_VALID為高電平期間，每個時鐘CLK(80 MHz)信號上升沿輸出一個像素數(shù)據(jù)。當一行像素輸出完畢，LINE_VALID變低電平，間隔一個ROT時間后 LINE_VALID再次變高電平，開始下一行的輸出；當行有效LINE_VALID為低電平，輸出無效的像素數(shù)據(jù)；當一幀圖像輸出完成后，幀有效FRAME_VALID輸出低電平，間隔一個FOT時間后，F(xiàn)RAME_VALID再次有效，開始下一幀圖像輸出。因而，一幀圖像的輸出周期可以表示為：Tframe=FOT+Nline·(ROT+Npixels·Tclk)=7.8 μs+480·(400 ns+640·12.5 ns)=4.039 ms。

其中，F(xiàn)OT和ROT分別表示幀開銷時間和行開銷時間，Nline和Npixels分別為圖像幀的行和列數(shù)，Tclk為時鐘周期。

圖3 圖像幀讀取時序

如圖4所示，LUPA300 的狀態(tài)轉(zhuǎn)換圖主要分為空閑、讀FOT、讀ROT和讀像素四個狀態(tài)。每一幀圖像從幀開銷時間FOT開始，然后逐行讀取各行像素數(shù)據(jù)，則讀取第i幀480*640圖像的時間等于間隔幀開銷時間FOT與讀取480行的時間之和；每一行圖像從開銷時間ROT開始，然后依次讀取行中各像素數(shù)據(jù)，則讀取幀中一行的時間等于行開銷時間ROT與讀取640個像素時間之和。

圖4 LUPA 300讀圖像狀態(tài)轉(zhuǎn)移圖

2.3 DDR2乒乓存儲模塊設(shè)計

LUPA-300圖像傳感器內(nèi)部集成4路10位ADC，因而分辨率為640×480的一幀圖像存儲大小為640×480×10 bit=3.072 Mb。FPGA要進行程序存儲和圖像數(shù)據(jù)緩沖，內(nèi)部容量相對較小，不能滿足高速圖像存儲需求，故選用兩片DDR2作為圖像緩存。為了保證圖像采集與處理能并行執(zhí)行，系統(tǒng)使用兩片DDR2實現(xiàn)乒乓讀寫操作[9]，采集到的圖像交替存入DDR2-1和DDR2-2存儲器。乒乓方式交替讀寫DDR2的流程[10]如圖5所示，將采集到的圖像數(shù)據(jù)寫入DDR2-1的同時讀取DDR2-2中圖像數(shù)據(jù)，進行目標識別、跟蹤和云臺驅(qū)動控制等處理；同理，在將采集到的圖像數(shù)據(jù)寫入DDR2-2的同時讀取DDR2-1中圖像數(shù)據(jù)，進行目標識別、跟蹤和云臺驅(qū)動控制等處理，如此交替乒乓方式讀寫DDR2。另外，DDR2內(nèi)部的兩個塊區(qū)域也采用乒乓讀寫模式，避免同時對一幅圖像進行讀寫操作，保證能夠讀出完整的一幅圖像。

圖5 乒乓方式讀寫DDR流程

2.4 DDR2讀寫控制模塊設(shè)計

DDR2控制模塊主要包括讀寫兩部分控制功能，由于數(shù)據(jù)讀寫速率高，要求數(shù)據(jù)捕獲的精度也高，因而保證DDR2控制模塊的信號穩(wěn)定性和完整性相對較為復雜。利用Quartus軟件的MegaWizard管理器產(chǎn)生DDR2 SDRAM控制器IP核。設(shè)定該DDR控制模塊的參考輸入時鐘為40 Mhz，DDR2存儲器的驅(qū)動時鐘為160 Mhz，采用全速數(shù)據(jù)模式讀寫DDR2器件MT47H64M16。DDR2控制模塊設(shè)計主要包括PLL、ALTMEMPHY和Memory Controller 三個部分，PLL模塊用于DDR2時鐘管理，根據(jù)輸入外設(shè)輸入的40 MHz時鐘產(chǎn)生160 MHz讀寫時鐘信號；ALTMEMPHY模塊用于DDR2自動校正和實現(xiàn)DDR2所需物理接口；Memory Controller模塊用于產(chǎn)生讀寫DDR2芯片所需數(shù)據(jù)和地址時序信號。在DDR2初始化階段，ALTMEMPHY模塊斷開用戶編寫的邏輯控制塊，所有讀寫操作都處于非活動狀態(tài)，由ALTMEMPHY完成DDR2器件的自動校正。初始化完成后，才能依據(jù)控制要求對SDRAM執(zhí)行讀寫操作[11]。

SDRAM控制模塊的讀、寫模式都采用突發(fā)連續(xù)讀取模式，只要指定起始列地址與突發(fā)長度，就會自動進行尋址與數(shù)據(jù)的讀取。根據(jù)SDRAM的讀、寫工作狀態(tài)，SDRAM控制模塊產(chǎn)生SDRAM讀、寫需要的地址和控制信號，并對SDRAM的數(shù)據(jù)進行讀、寫操作。在將640*480圖像寫入SDRAM時，輸出一行圖像數(shù)據(jù)的長度為640×10bit；設(shè)置SDRAM讀寫的突發(fā)長度(Burst Length)為640×16bit，SDRAM每寫完一行640×16bit后，發(fā)送Burst Stop命令終止當前的突發(fā)操作；隨后執(zhí)行刷新操作，再繼續(xù)讀寫下一行數(shù)據(jù)。SDRAM存儲器中電容的數(shù)據(jù)有效保存期上限是64 ms，因而通過不斷刷新來保持數(shù)據(jù)。讀寫640*480圖像數(shù)據(jù)時以一行圖像為單位進行刷新，設(shè)定自動刷新時間間隔為64 ms/480=133.3 μs(微秒)，這樣不會造成數(shù)據(jù)失效。另外，LUPA 300輸出數(shù)據(jù)速率與SDRAM存取時間不匹配，因而SDRAM前端加入FIFO模塊進行圖像數(shù)據(jù)緩沖。

2.5 目標識別模塊設(shè)計

2.5.1 目標分割

要準確跟蹤目標，首先需要將目標從背景圖像中分割出來。不同的應用場景下的背景圖像復雜多樣，而對于空域目標跟蹤，背景圖像隨天氣的影響也較大，不能采用固定的閾值分割目標，而應根據(jù)輸入圖像直方圖的灰度值選擇動態(tài)閾值分割目標。

2.5.2 目標形心坐標計算

利用形心法計算目標邊界尺寸及中心坐標，具體的目標中心計算方法如下：

2.5.3 目標濾波

將目標從背景之中分割出后，需要對分割的目標進一步數(shù)據(jù)清洗，濾除空域中云塊等干擾信號。由于高幀頻相機的相鄰兩幀圖像之間時間差異非常小，空域中穩(wěn)定飛行目標的姿態(tài)和距離攝像頭距離不可能產(chǎn)生較大變化，因而相鄰兩幀圖像中分割的目標形心位置和目標區(qū)域面積變化也不會太大。分割出目標后，計算當前目標的形心坐標及統(tǒng)計目標區(qū)域面積內(nèi)像素數(shù)量，并與上一幀圖像中目標的形心坐標及像素數(shù)量進行比較。若形心坐標之間距離及目標圖像之間像素差異在允許閾值范圍內(nèi)時，則認為是正確的跟蹤目標。形心坐標之間距離及目標圖像之間像素差異的閾值設(shè)置要合理，閾值設(shè)定與跟蹤目標大小、距離遠近有關(guān)，閾值過小會導致跟蹤不及時，閾值過大會導致跟蹤范圍廣，容易丟失目標。

2.6 目標跟蹤模塊設(shè)計

目標跟蹤目的是目標形心坐標位于圖像視場中央(320，240)附近，分別依據(jù)橫向和縱向偏移量，利用增量式PID計算二維云臺控制量，加入帶死區(qū)和抗積分飽和控制，再根據(jù)控制量驅(qū)動云臺俯仰和偏航舵機跟蹤目標。在目標跟蹤系統(tǒng)設(shè)計中，常常出現(xiàn)部分或全部被遮擋，引起跟蹤目標丟失，這需要考慮云朵或其它障礙物遮擋時目標跟蹤問題。在幀序列圖像跟蹤中，用FIFO存儲500組(約2秒)跟蹤目標的特征參數(shù)。當分割出目標圖像時，釋放最早存入FIFO的目標特征參數(shù)，存入當前分割目標的特征參數(shù)。若跟蹤目標部分或全部丟失時，利用前期存儲的目標特征參數(shù)預測當前目標特征參數(shù)，并依據(jù)預測值驅(qū)動云臺跟蹤；若長時間仍未捕獲目標時，則認為目標丟失，控制云臺重新進行全局掃描。

為了平滑跟蹤目標，當目標形心在圖像中心的四邊形區(qū)域時，認為目標處于圖像中央，控制量不變；否則按照偏移量計算控制量。二維云臺控制主要分為偏航和俯仰兩個方向控制，具體控制量計算過程如下：

2.6.1 云臺偏航方向的控制量可表示為：

H_data=

2.6.2 云臺俯仰方向控制量可表示為：

V_data=

3 實驗測試及結(jié)果分析

將LUPA-300圖像傳感器配置成分辨率為640×480，幀頻為250 fps。系統(tǒng)采用流水線方式并行執(zhí)行圖像讀取、圖像分割、形心跟蹤及二維云臺驅(qū)動控制功能。由于圖像幀頻為250 fps，云臺的偏航和俯仰方向跟蹤舵機選用工作頻率在50～300 Hz的DS3120MG，舵機模塊的時鐘選用1 MHz，周期為4 ms。通過控制兩路PWM波的脈沖寬度，從而實現(xiàn)云臺偏航和俯仰角度。偏轉(zhuǎn)角度從0°～180°變化對應的脈沖寬度為500～2 500 μs，偏航舵機的控制量范圍為1 000～2 000(對應偏航轉(zhuǎn)角45°～135°)，俯仰舵機的控制量為800～1 000(對應俯仰角37°～45°)。

圖6為圖像采集時序圖，利用Quartus軟件內(nèi)部SignalTapII捕獲一幀圖像，捕獲的圖像分辨率640×480，line_cnt的計數(shù)范圍為0～479，每行圖像包括640個像素，line_pixel_cnt計數(shù)范圍為0～639。

圖6 圖像像素讀取時序圖

對比采用25fps和250fps的圖像跟蹤目標光斑實驗，采用25fps圖像傳感器跟蹤慢速目標時，跟蹤效果差異不明顯；跟蹤快速目標時，采用25fps圖像跟蹤目標時，相鄰兩幀圖像之間形心水平方向相差9像素，輸出的舵機控制量變化率較大，容易引起不能及時響應，從而使目標脫離圖像視場范圍。而采用250fps圖像傳感器跟蹤目標時，獲得的形心水平方向相差2像素，形心軌跡點較多，曲線相對光滑，控制量曲線平滑，跟蹤效果相對較好。

4 結(jié)論

本文給出一種基于高幀頻圖像傳感器、FPGA及高速舵機的目標跟蹤系統(tǒng)，通過SPI總線對圖像傳感器的寄存器進行配置，使CMOS圖像傳感器在像素分辨率為640×480時幀頻可達250 fps。采用流水線方式進行圖像采集、動態(tài)閾值分割目標、目標形心跟蹤、二維云臺跟蹤控制等，能夠滿足高幀頻圖像處理需求，提高了系統(tǒng)的跟蹤精度。