崔杰,徐從體
蚌埠醫(yī)學(xué)院體育藝術(shù)部,安徽蚌埠233030
基于高性能嵌入式平臺(tái)的人體運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)研究
崔杰,徐從體
蚌埠醫(yī)學(xué)院體育藝術(shù)部,安徽蚌埠233030
隨著計(jì)算機(jī)圖像處理方法的飛速發(fā)展,圖像目標(biāo)跟蹤系統(tǒng)在工業(yè)、安防、人體運(yùn)動(dòng)檢測(cè)等領(lǐng)域得到越來(lái)越廣泛的應(yīng)用。本文設(shè)計(jì)并實(shí)現(xiàn)了基于TI公司高性能達(dá)芬奇片上系統(tǒng)(SoC)的實(shí)時(shí)圖像采集、處理、顯示和網(wǎng)絡(luò)傳輸?shù)裙δ艿那度胧綀D像處理,并針對(duì)高斯背景建模的改進(jìn)算法,提出一種基于光流的Mean-Shift核帶寬估計(jì)算法,實(shí)現(xiàn)了對(duì)人體運(yùn)動(dòng)目標(biāo)的準(zhǔn)確跟蹤。
目標(biāo)跟蹤;人體運(yùn)動(dòng)檢測(cè);嵌入式圖像處理
隨著近20年來(lái)光電傳感器技術(shù)的長(zhǎng)足發(fā)展以及計(jì)算機(jī)速度和容量的大幅提升,越來(lái)越多的理論研究變成了現(xiàn)實(shí)產(chǎn)品,極大了提高了生產(chǎn)效率、生活質(zhì)量以及國(guó)防裝備水平[1]。作為計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)研究分支,計(jì)算機(jī)圖像目標(biāo)跟蹤具有較強(qiáng)的實(shí)用性,全世界科研工作者在這個(gè)領(lǐng)域做了大量的工作。近幾年來(lái),嵌入式圖像處理產(chǎn)品已經(jīng)廣泛應(yīng)用于安全防衛(wèi)、工業(yè)以及農(nóng)業(yè)生產(chǎn)監(jiān)控、交通監(jiān)控以及國(guó)防科技等多個(gè)方面[2]。因嵌入式圖像處理平臺(tái)具有很大的實(shí)際意義和應(yīng)用價(jià)值,基于此,本文對(duì)嵌入式高性能圖像處理平臺(tái)做了較為深入的研究,設(shè)計(jì)并實(shí)現(xiàn)了基于TI公司DM 6467T的身體運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)。
1.1圖像編解碼模塊設(shè)計(jì)
為了便于本系統(tǒng)與高清液晶監(jiān)視器直接連接從而監(jiān)控系統(tǒng)工作,本系統(tǒng)視頻輸出直接采用HDM I接口輸出。接口將DM 6467T輸出BT.1120格式數(shù)據(jù)流轉(zhuǎn)換成HDM I數(shù)據(jù)流[3]。因此,在顯示電路設(shè)計(jì)時(shí),采用專(zhuān)用于HDM I顯示的具有高性能HDM I編碼芯片Sil9134可以將視頻輸出到外部監(jiān)視器上直接顯示。將輸出信號(hào)經(jīng)過(guò)90歐姆差分阻抗匹配電路后,即可直接將信號(hào)輸出到監(jiān)視器上實(shí)現(xiàn)圖像顯示功能。
1.2千兆以太網(wǎng)接口模塊設(shè)計(jì)
本系統(tǒng)的千兆以太網(wǎng)絡(luò)模塊設(shè)計(jì)是基于DM 6467T的EMAC模塊[4]進(jìn)行擴(kuò)展設(shè)計(jì)的。DM 6467T片內(nèi)外設(shè)已經(jīng)集成了10/100/1000M網(wǎng)絡(luò)數(shù)據(jù)鏈路層,通過(guò)GM II接口連接外部的網(wǎng)絡(luò)物理層。因此,在EMAC接口掛接一個(gè)支持GM II型接口的網(wǎng)絡(luò)物理層芯片,并經(jīng)過(guò)網(wǎng)絡(luò)變壓器和RJ45接口即可實(shí)現(xiàn)10/100/1000M網(wǎng)絡(luò)的數(shù)據(jù)通訊功能。本文跟蹤系統(tǒng)圖像輸入即采用AVT公司的GC660高速GigE攝像頭。
1.3第二代雙倍速同步動(dòng)態(tài)存儲(chǔ)器(DDR2-SDRAM)模塊設(shè)計(jì)
DDR2-SDRAM[5]中,在激活一行后,需要等待tRCD個(gè)時(shí)鐘周期然后才可以進(jìn)行讀寫(xiě)操作,而預(yù)充電指令需等待tRAS個(gè)周期。而tRC是同一個(gè)槽從前一次激活指令到后一次激活指令之間需要最小的等待周期,tRRD是不同槽從前一次激活指令到后一次激活指令之間需要最小的等待周期。操作存儲(chǔ)芯片時(shí)需要嚴(yán)格遵守其時(shí)序參數(shù),如果不按照要求操作可能會(huì)導(dǎo)致數(shù)據(jù)錯(cuò)誤或者根本無(wú)法訪(fǎng)問(wèn)存儲(chǔ)器。
如式所示,定義存儲(chǔ)器效率函數(shù):
tPr ech arg eAll為tRP以及tRAS的時(shí)間總和。這部分效率損失大約只有1%左右,占到整個(gè)動(dòng)態(tài)同步隨機(jī)存儲(chǔ)器效率損失的極小一部分,而且控制器可以同時(shí)對(duì)多個(gè)槽輪流發(fā)送刷新指令,減少?zèng)_突可能,進(jìn)一步提高效率。
1.4系統(tǒng)監(jiān)控以及低速通訊模塊設(shè)計(jì)
本系統(tǒng)采用了實(shí)時(shí)操作系統(tǒng)RT-Thread用來(lái)做任務(wù)管理。RT-Thread實(shí)時(shí)操作系統(tǒng)核心是一個(gè)高效的硬實(shí)時(shí)核心,它具備非常優(yōu)異的實(shí)時(shí)性、穩(wěn)定性、可剪裁性,內(nèi)核體積可以小到3 k Rom占用、1 k Ram占用[6]。一共設(shè)計(jì)了四個(gè)進(jìn)程,按照它們的優(yōu)先級(jí)排列分別是:電壓監(jiān)控進(jìn)程、CAN總線(xiàn)守候進(jìn)程、紅外通訊守候進(jìn)程、開(kāi)機(jī)初始化進(jìn)程。
圖1 電壓監(jiān)控進(jìn)程流程圖Fig.1M onitoring process for voltage
圖2 CAN總線(xiàn)守候進(jìn)程流程圖Fig.2Waiting process of CAN bus
圖3 紅外通訊守候進(jìn)程流程圖Fig.3Waiting process of infrared communication
圖4 開(kāi)機(jī)初始化進(jìn)程流程圖Fig.4 Initialprocessof boot
1.5多層高速電路PCB設(shè)計(jì)
由于本系統(tǒng)功能和接口比較多,因此根據(jù)布局需要,確定PCB尺寸為:187*137mm。布局上,以DM 6467T為核心,本著方便的原則,將視頻輸入輸出接口等需要經(jīng)常插拔的接口放置上PCB上方,將低速接口以及調(diào)試接口放置在下方。同時(shí),本系統(tǒng)處理核心芯片為BGA封裝,共有529個(gè)引腳。引腳信號(hào)密度非常高,因此采用6層PCB板進(jìn)行設(shè)計(jì)。
本系統(tǒng)上有大量的高速信號(hào),在設(shè)計(jì)PCB時(shí)必須考慮阻抗匹配問(wèn)題。在PCB設(shè)計(jì)中,分別是微帶線(xiàn)與帶狀線(xiàn)。兩種模型其阻抗計(jì)算公式分別為(3)與(4)。
對(duì)于微帶線(xiàn)計(jì)算,其阻抗為:
對(duì)于帶狀線(xiàn),其阻抗為:
式中的εr為介電常數(shù),主要同PCB的材料有關(guān),外界的溫度、濕度等對(duì)其影響不大。
2.1改進(jìn)混合高斯模型(IGMM)的運(yùn)動(dòng)檢測(cè)算法
2.1.1混合高斯模型(GMM)
假設(shè)有一組在維度為d的空間內(nèi)的點(diǎn)xi,i=1…n,若這些點(diǎn)的分布近似于橢球狀,可以用高斯密度函數(shù)g(x;μ;∑)來(lái)描述其概率密度分布:
其中μ為密度函數(shù)的中心點(diǎn),∑代表這個(gè)概率密度函數(shù)的協(xié)方差矩陣,其數(shù)值決定了概率密度函數(shù)的形狀、寬窄以及走向。
在圖像中利用單高斯分布并不能表征圖像中某一像素特征的分布情況,將每一個(gè)像素都用K個(gè)高斯分布的組合來(lái)建模。某個(gè)像素點(diǎn)在N時(shí)刻像素值為NX的概率為:
其中wj為第k個(gè)高斯分量的權(quán)值,(xN;θj)為第k個(gè)分量的高斯分布:
在式(7)中K個(gè)∑k為第K個(gè)分量的協(xié)方差矩陣,這個(gè)高斯分布序列按照他們的適合度wk/σk來(lái)排序,從中挑選B個(gè)適合度最大的高斯分布來(lái)進(jìn)行背景建模。B由下式可得到:
其中T為閾值,其值由背景在整個(gè)圖像序列中出現(xiàn)的概率決定,式(6)中的wj需要滿(mǎn)足:
2.1.2混合高斯模型學(xué)習(xí)系數(shù)更新方法在模型的更新中,學(xué)習(xí)系數(shù)α起到了非常關(guān)鍵的作用,在處理每一幀圖像的時(shí)后,學(xué)習(xí)系數(shù)參與到模型中均值、標(biāo)準(zhǔn)差以及權(quán)重系數(shù)的更新。定義匹配失敗率CF計(jì)數(shù)為:
每一次用被測(cè)試像素點(diǎn)來(lái)匹配模型的時(shí),都記錄下其失敗與否。設(shè)置一個(gè)時(shí)間間隔為5幀,每5幀后據(jù)匹配失敗率的大小來(lái)調(diào)整學(xué)習(xí)系數(shù),做一次學(xué)習(xí)系數(shù)更新。
3.1基于光流的帶寬估計(jì)
光流法是對(duì)圖像的運(yùn)動(dòng)場(chǎng)進(jìn)行估計(jì),將相似運(yùn)動(dòng)矢量合并形成運(yùn)動(dòng)目標(biāo)檢測(cè)的方法[7]。它主要利用灰度的變化信息,能夠從圖像序列的灰度變化中計(jì)算速度場(chǎng),還可以利用一些約束條件從速度場(chǎng)中推出運(yùn)動(dòng)參數(shù)和物體結(jié)構(gòu)[8]。光流計(jì)算進(jìn)行像素級(jí)運(yùn)動(dòng)估計(jì),主要基于亮度恒常性假設(shè)。在u,v組成的二維空間中,光流基本方程定義了一條約束直線(xiàn),在直線(xiàn)上的所有u,v均可以滿(mǎn)足(11)式,這是一個(gè)病態(tài)方程,需要引入額外的約束才能求得其解。
3.2算法描述
(1)在第i幀選定目標(biāo),得到初始跟蹤窗口iW;
(2)計(jì)算圖像光流場(chǎng),進(jìn)行光流聚類(lèi);
(3)對(duì)目標(biāo)區(qū)域進(jìn)行輪廓提取,利用隨機(jī)采樣一致法獲取目標(biāo)帶寬;
(4)如果計(jì)算完成,更新Mean-Shift帶寬,如果沒(méi)有完成,則沿用上一步帶寬;
(5)采用Mean-Shift算法,獲取目標(biāo)新的位置;
(6)令i=i+1,轉(zhuǎn)到步驟1;
3.3身體運(yùn)動(dòng)目標(biāo)跟蹤實(shí)驗(yàn)結(jié)果及分析
視頻序列采用YCbCr顏色空間,其分辨率為1280*720,對(duì)每一個(gè)色彩分量做8級(jí)量化,共有8*8*8個(gè)特征。圖5和圖6中,從(a)到(c)分別是第11,57以及159幀處的人體運(yùn)動(dòng)目標(biāo)跟蹤效果圖;圖5中,在第57幀處,對(duì)照算法跟蹤誤差開(kāi)始增大,到第159幀可以看出,對(duì)照算法跟蹤窗已經(jīng)移出人體運(yùn)動(dòng)目標(biāo),跟蹤失敗。而圖6中,本文算法可以一直有效的跟蹤人體運(yùn)動(dòng)目標(biāo)。
圖5 固定核帶寬算法實(shí)驗(yàn)視頻第11,77,159幀的人體運(yùn)動(dòng)目標(biāo)跟蹤效果Fig.5Theobject tracking effectofhumanmotion at frames11,77,159 in videowith fixed kernelbandwidth algorithm
圖6 跟蹤算法實(shí)驗(yàn)視頻第11,77,159幀的人體運(yùn)動(dòng)目標(biāo)跟蹤效果Fig.6Theobject tracking effectofhumanmotion at frames11,77,159 in videow ith trackingalgorithm
圖7是實(shí)驗(yàn)結(jié)果,采用高斯核函數(shù),在視頻序列初始時(shí),通過(guò)人體運(yùn)動(dòng)目標(biāo)為跟蹤對(duì)象,其坐標(biāo)(420,20),選取核帶寬為20個(gè)像素。由跟蹤效果圖可見(jiàn),固定核帶寬函數(shù)的跟蹤算法,隨著目標(biāo)尺寸逐漸變大,跟蹤窗口趨于目標(biāo)的一個(gè)局部,跟蹤窗口中心偏離目標(biāo)中心。而本文算法可以調(diào)整跟蹤核帶寬,較為準(zhǔn)確跟蹤了人體運(yùn)動(dòng)目標(biāo)尺度的變化,跟蹤精度有較多提高,可以應(yīng)用于常規(guī)視頻中人體運(yùn)動(dòng)目標(biāo)的跟蹤。
圖7 固定和帶寬算法實(shí)驗(yàn)視頻人體運(yùn)動(dòng)目標(biāo)跟蹤BH系數(shù)Fig.7 BH coefficient of humanmotion tracking in videow ith fixed and bandw idth algorithm s
通過(guò)分析國(guó)內(nèi)外嵌入式圖像跟蹤系統(tǒng)的優(yōu)缺點(diǎn),結(jié)合本實(shí)驗(yàn)室的特點(diǎn)確定了系統(tǒng)總體功能和方案設(shè)計(jì),并進(jìn)行了性能指標(biāo)的分析和可實(shí)現(xiàn)性分析。在此基礎(chǔ)上,本文研究了相關(guān)的圖像目標(biāo)跟蹤以及人體運(yùn)動(dòng)目標(biāo)檢測(cè)算法。第一,針對(duì)高斯混合模型學(xué)習(xí)系數(shù)的更新問(wèn)題,引入了匹配失敗率計(jì)數(shù),通過(guò)計(jì)數(shù)值動(dòng)態(tài)改變學(xué)習(xí)率,加快了模型學(xué)習(xí)速率;第二,針對(duì)Mean-Shift核函數(shù)帶寬獲取問(wèn)題,研究了一種利用光流來(lái)估計(jì)核函數(shù)帶寬的方法,改進(jìn)的跟蹤算法在人體目標(biāo)跟蹤試驗(yàn)中擁有較好的跟蹤效果。
[1]Liu H,Mohammed I,F(xiàn)an Y,et al.An HDM I cable equalizer w ith self-generated energy ratio adaptation scheme[J]. Circuitsand Systems,2009,56(7):595-599
[2]李武,侯志強(qiáng),魏國(guó)劍,等.跟蹤框自適應(yīng)的尺度變化目標(biāo)跟蹤算法[J].山東大學(xué)學(xué)報(bào):工學(xué)版,2014,44(2):28-34
[3]王建華,張方華,龔春英,等.電壓控制型BuckDC/DC變換器輸出阻抗優(yōu)化設(shè)計(jì)[J].電工技術(shù)學(xué)報(bào),2007,22(8):18-23
[4]張波,胡宗波,Author.同步整流器中MOSFET的雙向?qū)щ娞匦院驼鲹p耗研究[J].中國(guó)電機(jī)工程學(xué)報(bào),2002(3):89-94
[5]Yang M,Lai C,Lin C.A robust EM clustering algorithm for Gaussian mixture models[J].Pattern Recognition,2012,45(11):3950-3961
[6]郭志波,董健,龐成.多技術(shù)融合的Mean-Shift目標(biāo)跟蹤算法[J].山東大學(xué)學(xué)報(bào):工學(xué)版,2015,45(2):10-16
[7]田金文,王勇,譚毅華.基于Meanshift的核窗寬自適應(yīng)目標(biāo)跟蹤新算法[J].數(shù)據(jù)采集與處理,2009(6):762-766
[8]李勇明,覃劍,曾孝平.基于邊界力的Mean-Shift核窗寬自適應(yīng)算法[J].軟件學(xué)報(bào),2009(7):1726-1734
Study on Object Tracking Technology of Human Motion Based on the Embedded Platform with High Performance
CUIJie,XU Cong-ti
DepartmentofSports and Arts/Bengbu MedicalCollege,Bengbu 233030,China
With the rapid developmentof computer technology and image processing algorithm,visualobject tracking system ismore w idely used in industrial,security,body object testing and others.This paper designed and implemented for the treatment to the embedded live images through collection,display and network transm ission based on TI's high performance DaVinci System on Chip(SoC)and put forward a kernel bandw idth estimated algorithm on Mean-Shift on a basis of improved the Gaussian backgroundmodeling algorithm to realize an exact tracking forhumanmotion.
Object tracking;humanmotion detection;embedded image treatment
TN957.52
A
1000-2324(2016)04-0611-05
2016-05-12
2016-06-06
崔杰(1980-),男,碩士,講師,主要研究方向?yàn)檫\(yùn)動(dòng)醫(yī)學(xué)、體育訓(xùn)練.E-mail:bbcjie1999@163.com
山東農(nóng)業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版)2016年4期