游培寒，胡 瑜，盛 平，2，王志民

(1 95856部隊，南京 210000;2 94921部隊，福建晉江 362200;3南京理工大學(xué)，南京 210094)

0 引言

模版匹配和目標(biāo)跟蹤是視頻圖像實時處理中的難點問題，以往系統(tǒng)設(shè)計中，由于器件的運算速度有限，不能夠做到大規(guī)模的模版匹配和大范圍的搜索運算。而完全依賴金字塔等算法對模版進(jìn)行壓縮又會丟失大量信息[1]，造成匹配精度不高和跟蹤不穩(wěn)定，多處理器工作方式是實時視頻處理系統(tǒng)設(shè)計的唯一解決方法。但是以往設(shè)計中，大量系統(tǒng)資源被用于總線控制和系統(tǒng)間數(shù)據(jù)傳輸，影響了系統(tǒng)性能的發(fā)揮[2]。文中設(shè)計了一套基于 DSP和 FPGA的圖像模版匹配和自動跟蹤系統(tǒng)。DSP主要負(fù)責(zé)圖像數(shù)據(jù)的傳輸和控制，并預(yù)處理匹配模板和匹配數(shù)據(jù);而FPGA完成模版匹配并將目標(biāo)位置信息傳遞回DSP。由于模版匹配和圖像處理過程相對獨立，避免了圖像的遲滯。

1 硬件設(shè)計

硬件系統(tǒng)結(jié)構(gòu)如圖1所示，它主要由一枚TMS320DM642(簡稱 DM642)和一枚 EP3C25F324C7組成。DM642內(nèi)置有完整的視頻控制模塊，它通過I2C設(shè)置解碼芯片 TVP5150和編碼芯片 SAA7121，以27MHz的速度接收 TVP5150輸出的符合ITU656標(biāo)準(zhǔn)的數(shù)字視頻，并將其傳遞到HY57V28320中的采樣圖像內(nèi)存區(qū)，完成圖像處理過程后，采樣圖像被拷貝到顯示內(nèi)存區(qū)，以標(biāo)準(zhǔn)視頻方式傳遞給編碼芯片SAA7121。DSP在進(jìn)行視頻流控制的同時，也將匹配區(qū)域數(shù)據(jù)和匹配模版進(jìn)行預(yù)處理后通過EMIF端口傳遞給FPGA的內(nèi)存區(qū)域，匹配過程由FPGA內(nèi)部狀態(tài)機控制。

圖1 系統(tǒng)硬件結(jié)構(gòu)

2 接口設(shè)計

DSP與FPGA通信是系統(tǒng)設(shè)計的關(guān)鍵。首先將DSP的EMIF端口CE2尋址空間設(shè)置為8bit的同步讀寫接口，再利用IP核在FPGA內(nèi)部配置出匹配模板和匹配區(qū)域的雙端口存儲區(qū)域。其硬件連接關(guān)系如圖2所示。

圖2 硬件連接關(guān)系

在設(shè)計DSP和FPGA的通信接口時，應(yīng)注意以下幾點:

1)由于EMIF端口是64位的，它的位選信號應(yīng)取反后接入到FPGA雙端口存儲區(qū)相應(yīng)的位選端口上[3]。

2)EMIF端口的通信時鐘為133MHz，在 PCB布線時應(yīng)盡量滿足等長。

3)線路中的延遲時間不同，CLK接入FPGA后，應(yīng)利用片上的PLL模塊建立鎖相電路，調(diào)整時鐘相位避免通信誤碼。

4)利用CPLD建立正確的啟動和復(fù)位順序，避免DM642和FPGA之間的相互干擾。一般DM642先啟動，F(xiàn)PGA后啟動。

3 軟件設(shè)計

3.1 算法分工

雖然模版匹配是一種穩(wěn)定的圖像跟蹤算法，但它只能通過修正模板的方式實現(xiàn)圖像的旋轉(zhuǎn)、縮放，這耗費了大量的系統(tǒng)資源。文中將預(yù)處理模板數(shù)據(jù)和模板匹配分割為兩個過程，如圖3所示。

1)利用DSP預(yù)處理模板數(shù)據(jù):對目標(biāo)區(qū)域進(jìn)行濾波，去除噪聲[4]，然后計算目標(biāo)區(qū)域的梯度圖像作為原始模板，再根據(jù)原始模板計算放大模版、右旋轉(zhuǎn)模版、左旋轉(zhuǎn)模版，并將生成的模板通過EMIF端口傳輸給FPGA。

2)利用FPGA進(jìn)行模板匹配:由于FPGA的并行處理機制，可以同時對原始模板、放大和旋轉(zhuǎn)后的模版進(jìn)行匹配，尋找最佳匹配結(jié)果，用來確定目標(biāo)位置。當(dāng)匹配最優(yōu)點產(chǎn)生在放大模板或左右旋轉(zhuǎn)模板中時，說明目標(biāo)狀態(tài)發(fā)生了變化，需要重新定義，這時FPGA通過模板更新標(biāo)志位給DSP一個信號，DSP將重新計算模板數(shù)據(jù)。

3.2 放大與旋轉(zhuǎn)

3.2.1 放大公式

圖像的放大和旋轉(zhuǎn)在DSP內(nèi)部完成。設(shè)放大后像素坐標(biāo)為(xs，ys)，放大關(guān)系如下[5]:

式中:(xc，yc)是放大中心，floor[]是取整函數(shù)。放大倍數(shù)α選擇直接影響算法的穩(wěn)定性。放大倍數(shù)越大，放大的速度越快系統(tǒng)跟蹤越穩(wěn)定;放大倍數(shù)小則在放大速度慢時系統(tǒng)穩(wěn)定。由于文中設(shè)計的實際需要，這里設(shè) α =1.1。

雙線性插值是一種比較常見的圖像縮放計算公式，它既可以避免圖像的畸變，同時計算量又相對較少，比較適合本系統(tǒng)應(yīng)用。

圖3 軟件結(jié)構(gòu)

3.2.2 旋轉(zhuǎn)公式

設(shè)旋轉(zhuǎn)后的坐標(biāo)為(xs，ys)，設(shè):要更新匹配模板，設(shè)置更新模板標(biāo)志位。在復(fù)位狀態(tài)下，F(xiàn)PGA將清空全部匹配數(shù)據(jù)。

圖4 FPGA狀態(tài)機

3.3 FPGA的狀態(tài)機設(shè)計

FPGA的工作狀態(tài)可分為更新模板區(qū)域、更新匹配區(qū)域、匹配計算、更新目標(biāo)位置、空閑和重啟6個狀態(tài)，其狀態(tài)機如圖4所示。系統(tǒng)處在空閑狀態(tài)時，根據(jù)DSP給FPGA的指令信號FPGA可以進(jìn)入更新匹配區(qū)域或更新匹配模板狀態(tài)，更新匹配區(qū)域后FPGA自動進(jìn)入匹配計算狀態(tài)，匹配計算主要完成(x，y)位置ρ(x，y)2的計算，更新目標(biāo)位置狀態(tài)主要計算新的目標(biāo)位置，同時根據(jù)最優(yōu)點所對應(yīng)的模板，判斷是否需

3.4 匹配計算及其優(yōu)化

文中采用的匹配準(zhǔn)則如下[6]:

其中:(x，y)代表匹配位置，(x'，y')代表匹配區(qū)域N×M大小的鄰域坐標(biāo)，p(x'，y')是匹配區(qū)域像素，t(x'，y')是模板像素，p－是匹配區(qū)域像素均值;式(4)對于圖像的灰度線性畸變具有不變性，穩(wěn)定性較好，但直接引用式(4)，無法在FPGA中實現(xiàn)，將式(4)做了如下調(diào)整:

在FPGA中的計算時序如圖5所示。

圖5 ρ(x，y)2的優(yōu)化前的計算時序

通過圖5可以發(fā)現(xiàn)，計算ρ(x，y)2需要14個乘法器，占用時間主要集中在第一步，需要 (N×M+6)個時鐘周期。第二步和第三步所需時鐘周期總共為16個，而第二步中3個乘法和減法器在結(jié)構(gòu)上有類似之處，可以簡化為一個乘法與減法器，適當(dāng)增加第二步所耗費的時鐘周期對整個計算過程不會造成過高影響。利用一個時序狀態(tài)機優(yōu)化系統(tǒng)結(jié)構(gòu)如圖6所示。

圖6 ρ(x，y)2的優(yōu)化后的計算時序

優(yōu)化后的ρ(x，y)2的計算需要占用FPGA中11個乘法器，如果同時比較旋轉(zhuǎn)和縮放模板，需要44個乘法器，不到文中選用芯片內(nèi)部乘法器資源的一半。優(yōu)化后的 ρ(x，y)2計算需要 (N×M+38)個時鐘周期。

3.5 更新目標(biāo)位置

單個ρ(x，y)2計算完成后將其存儲在FPGA制定緩存中，更新坐標(biāo)(x，y)，得到匹配區(qū)域中所有子空間對應(yīng)的 ρ(x，y)2，最大 ρ(x，y)2所對應(yīng)位置就是目標(biāo)新坐標(biāo)，當(dāng)其對應(yīng)的匹配模板不是原始模板，則設(shè)置更新匹配模板標(biāo)志位為1。DSP的圖像處理周期與FPGA的計算周期存在時間差。為了避免DSP讀取非法數(shù)據(jù)，在FPGA中設(shè)置一個雙向目標(biāo)位置地址，該地址內(nèi)數(shù)據(jù)保留了目標(biāo)當(dāng)前位置和模板更新標(biāo)志位。FPGA匹配計算結(jié)束后，會更新地址內(nèi)的目標(biāo)位置和模板更新標(biāo)志。DSP在每個處理周期都會讀取該地址內(nèi)的目標(biāo)位置和模板更新位。這樣做可以保證DSP每次讀取的都是最新的目標(biāo)匹配計算結(jié)果。

4 實驗數(shù)據(jù)

文中設(shè)計的自適應(yīng)模版匹配跟蹤系統(tǒng)硬件平臺如圖7所示。利用SDZ310相機作為成像器件，對跟蹤系統(tǒng)性能進(jìn)行了跟蹤能力和計算速度測試。

圖7 視頻跟蹤系統(tǒng)

4.1 跟蹤能力測試

利用SignalTAPII記錄FPGA部分?jǐn)?shù)據(jù)，得到靜態(tài)圖像測試結(jié)果如表1、表2所示。

參考國內(nèi)某型紅外成像導(dǎo)引頭跟蹤器指標(biāo)，對跟蹤器動態(tài)跟蹤性能進(jìn)行了測試:將攝像機架設(shè)在云臺上，對不同灰度反差、放大倍數(shù)的移動平面目標(biāo)進(jìn)行旋轉(zhuǎn)跟蹤。試驗結(jié)果如表3～表7所示。表中√表示目標(biāo)在視場移動速度小于8像素每秒時，跟蹤器能夠穩(wěn)定跟蹤目標(biāo)，沒有丟失目標(biāo)或跟蹤點大幅度抖動現(xiàn)象。通過表3～表7可以看出，跟蹤器能夠滿足目標(biāo)視在灰度反差6%，旋轉(zhuǎn)速度小于20°/s，縮放速度小于2.0倍 /s的移動平面目標(biāo)穩(wěn)定跟蹤要求。

4.2 計算速度測試

由于模版匹配計算與視頻通道隔離，系統(tǒng)跟蹤計算并不會遲滯視頻顯示時間，系統(tǒng)圖像處理速度可以穩(wěn)定在每秒25幀。同時由于采用FPGA完成并行計算，其可處理的模板面積較大，計算速度較快。跟蹤速度測算與實測結(jié)果如表8所示?？梢钥闯觯?dāng)模板面積為128×128像素時，系統(tǒng)每秒仍能跟蹤28幀圖像。

5 結(jié)束語

文中設(shè)計了一套基于模板匹配的視頻跟蹤系統(tǒng)。該系統(tǒng)硬件采用DSP+FPGA結(jié)構(gòu)，DSP負(fù)責(zé)圖像的緩存，并負(fù)責(zé)模板數(shù)據(jù)計算，F(xiàn)PGA負(fù)責(zé)匹配準(zhǔn)則的計算和最佳匹配位置的確定等。文中給出的跟蹤系統(tǒng)的試驗測試結(jié)果表明，系統(tǒng)能夠滿足當(dāng)目標(biāo)旋轉(zhuǎn)、縮放等條件下的跟蹤要求，同時處理速度可以滿足128×128像素的大面積模板跟蹤需要。

表1 當(dāng)匹配圖像發(fā)生6°偏轉(zhuǎn)時的部分計算結(jié)果

表2 當(dāng)匹配區(qū)域發(fā)生放大1.1倍時的部分計算結(jié)果

表3 視在灰度反差不同目標(biāo)跟蹤結(jié)果

表4 視在灰度反差為20%的目標(biāo)縮放跟蹤結(jié)果(畫面從15倍放大到30倍)

表5 視在灰度反差為15%的目標(biāo)縮放跟蹤結(jié)果(畫面從15倍放大到30倍)

表6 視在灰度反差為20%的目標(biāo)旋轉(zhuǎn)跟蹤結(jié)果

表7 視在灰度反差為15%的目標(biāo)旋轉(zhuǎn)跟蹤結(jié)果

表8 跟蹤速度測算與實測結(jié)果

[1]Luigi Di Stefano，Stefano Mattoccia. Fast template matching using bounded partial correlation[J]. Machine Vision and Applications，2003，13:213 －221.

[2]Xu Xiaoshen，Jiang Hongxu，Jin Liang，et al. A Multi-DSP system for high-performance video applications[C]//11th IEEE Singapore International Conference on Communication Systems，2008:778 － 782.

[3]Altera. Cyclone III handbook Volume 1，San Jose，CA 95134[M/OL]. 2003.

[4]McDonnell MJ. Box-filtering techniques[J]. Computer Graph Image Process，1981，17(1):65 －70.

[5]Aokage H，Wada K，Toraichi K.High quality conversion of image resolution using two-dimensional sampling function[C]//Communications，Computers and Signal Processing，2003.PACRIM. IEEE Pacific Rim Conference on，Vol.2，2003:720 －723.

[6]Zuxun Zhang，Jianqing Zhang. Digital Photogrammtry[M].Wuhan Publishing，1997.