李金泉，王東，胡文振，闞世超

(北京交通大學(xué) 信息科學(xué)研究所，北京 100044)

?

基于ZYNQ異構(gòu)多核處理器的人體動(dòng)作識(shí)別系統(tǒng)

李金泉，王東，胡文振，闞世超

(北京交通大學(xué) 信息科學(xué)研究所，北京 100044)

以ZYNQ異構(gòu)多核處理器為實(shí)現(xiàn)平臺(tái)，采用HLS設(shè)計(jì)方法學(xué)對運(yùn)動(dòng)特征提取算法進(jìn)行了FPGA硬件加速，達(dá)到了1080P 60 fps的計(jì)算能力。采用K-means 對運(yùn)動(dòng)特征聚類，再生成高維向量，用SVM分類器進(jìn)行分類和識(shí)別。最終，通過高效的系統(tǒng)結(jié)構(gòu)和硬件加速電路實(shí)現(xiàn)了算法的加速。系統(tǒng)最終采用基于Linux和QT框架的人機(jī)交互方式，支持在線學(xué)習(xí)、創(chuàng)建動(dòng)作庫的功能。

動(dòng)作識(shí)別；ZYNQ；異構(gòu)多核處理器；軟硬件協(xié)同設(shè)計(jì)；HLS；Linux

引　言

由于人對視覺感知的直觀性，視頻序列中運(yùn)動(dòng)的目標(biāo)是人眼最易感知和感興趣的部分[1]，因此，以視頻為載體的信息處理成為當(dāng)今視覺研究的熱門分支。

針對人體動(dòng)作的視覺處理是圖像處理、計(jì)算機(jī)視覺、模式識(shí)別、機(jī)器學(xué)習(xí)等多個(gè)學(xué)科的交叉研究課題，在視頻監(jiān)控、人機(jī)交互、虛擬現(xiàn)實(shí)、醫(yī)療看護(hù)等領(lǐng)域具有深遠(yuǎn)的理論研究意義和很強(qiáng)的實(shí)用價(jià)值。因此，如何讓機(jī)器正確識(shí)別人體運(yùn)動(dòng)的意義是智能視覺信息處理技術(shù)重要研究內(nèi)容。

視覺處理系統(tǒng)中，第一是對視頻中關(guān)鍵特征進(jìn)行提取，并進(jìn)行合理的表示;第二是將提取的特征進(jìn)行分類和識(shí)別等處理。目前的實(shí)現(xiàn)方法主要集中在以建立復(fù)雜的數(shù)學(xué)模型為基礎(chǔ)，同時(shí)對識(shí)別精度的提升越來越微小。隨著算法復(fù)雜度的增加，計(jì)算運(yùn)行時(shí)間越來越長，很多的算法需要使用高性能的圖形處理器(GPU)來改善計(jì)算時(shí)長，但不利于提升效率、節(jié)約成本和實(shí)現(xiàn)小型化[2-3]。

本文選擇Xilinx推出的ZYNQ異構(gòu)處理器為硬件加速計(jì)算實(shí)現(xiàn)平臺(tái)。ZYNQ內(nèi)部集成了FPGA邏輯資源和ARM處理器，采用了基于視覺感知層次的計(jì)算模型[4]，適合于硬件加速的時(shí)空運(yùn)動(dòng)場塊的運(yùn)動(dòng)識(shí)別算法[5]。在ZYNQ平臺(tái)上實(shí)現(xiàn)的算法相比于使用Intel Core i3-4130雙核3.4 GHz CPU為核心的實(shí)現(xiàn)方式，運(yùn)動(dòng)動(dòng)作識(shí)別速度提升了約120倍，實(shí)現(xiàn)了每1～1.7 s識(shí)別出一次運(yùn)動(dòng)結(jié)果，達(dá)到了實(shí)時(shí)處理的效果。

1　識(shí)別算法概述

圖1　運(yùn)動(dòng)識(shí)別的總體模型設(shè)計(jì)

基于時(shí)空運(yùn)動(dòng)場塊的識(shí)別算法總體流程如圖1所示，主要包括，運(yùn)動(dòng)特征向量的生成和分類。運(yùn)動(dòng)特征向量生成是將輸入視頻序列轉(zhuǎn)化為一個(gè)運(yùn)動(dòng)特征向量，以表征視頻序列的運(yùn)動(dòng)特征。分類是利用支持向量機(jī)SVM(Support Vector Machine)等將生成的運(yùn)動(dòng)特征向量同已知運(yùn)動(dòng)類型的模板特征向量進(jìn)行比較，以對應(yīng)的運(yùn)動(dòng)類型作為識(shí)別結(jié)果輸出。

2　軟硬件劃分與FPGA加速

基于運(yùn)動(dòng)識(shí)別的總體模型，其實(shí)現(xiàn)流程如圖2所示。幀間差分和生成MF圖都需要使用連續(xù)兩幀圖像作為輸入進(jìn)行處理，硬件實(shí)現(xiàn)上使用并行輸入可以減少輸入時(shí)延，提高系統(tǒng)效率；卷積計(jì)算、濾波去除噪聲點(diǎn)需要逐點(diǎn)進(jìn)行矩陣運(yùn)算。以上每一步算法中都需要對像素點(diǎn)做逐點(diǎn)計(jì)算處理，屬于密集型運(yùn)算，同時(shí)還要求很高的數(shù)據(jù)吞吐量和大量數(shù)據(jù)運(yùn)算邏輯。因此，將該部分算法遷移至FPGA中，采用邏輯電路進(jìn)行硬件加速，達(dá)到流水線實(shí)現(xiàn)和并行化處理，極大地提高了計(jì)算效率。

圖2　運(yùn)動(dòng)識(shí)別流程圖

在運(yùn)動(dòng)特征生成、聚類學(xué)習(xí)、運(yùn)動(dòng)向量匹配等算法的實(shí)現(xiàn)步驟中,學(xué)習(xí)和分類過程中具有大量選擇和分支計(jì)算，為了控制密集型計(jì)算，適合采用通用CPU進(jìn)行軟件處理，因此將此部分算法在ARM處理器上運(yùn)行，提高了算法的可控性。

硬件實(shí)現(xiàn)部分，首先采用幀間差分法對并行輸入的連續(xù)兩幀視頻序列進(jìn)行幀差，獲得方向邊緣DE(Directional Edge)圖。接著，利用方向邊緣濾波器(Sobel算子)做卷積運(yùn)算，以得到每幀圖像的方向邊緣位移DED(DE Displacement)圖。然后，通過引入一個(gè)降噪濾波器來抑制背景上存在的一些對于運(yùn)動(dòng)識(shí)別毫無意義的雜亂邊緣點(diǎn)，保留了密集的邊緣位移部分，以獲得有效的方向邊緣位移EDED (Essential DED)圖。式(1)給出了降噪濾波處理器的數(shù)學(xué)表達(dá)式，其物理意義就是判斷局部窗口內(nèi)是否有足夠多的運(yùn)動(dòng)邊緣信息，若存在，則保留該邊緣的位移信息，否則對其濾除。

(1)

最后，MF圖是利用記錄的連續(xù)兩幀EDED通過運(yùn)動(dòng)匹配估計(jì)算法得到對應(yīng)像素點(diǎn)的運(yùn)動(dòng)特征。為了降低運(yùn)算復(fù)雜度，本文采用基于直方圖投影的方法代替二維圖像塊進(jìn)行匹配[5]。直方圖匹配尋優(yōu)的過程與人類的視覺感知系統(tǒng)中“聯(lián)想型”方式是一致的。

從DE圖到MF圖均采用Xilinx的高層綜合HLS(High-levelsynthesis)工具，基于C/C++語言實(shí)現(xiàn)算法，并針對算法做流水線型處理，綜合成硬件描述語言(VHLD/Verilog)，可以直接使用硬件描述語言進(jìn)行開發(fā)，縮短了開發(fā)周期，同時(shí)也很好地實(shí)現(xiàn)了算法的加速。

軟件實(shí)現(xiàn)部分首先是將多幀MF圖累積抽取成32維的高維向量。4個(gè)方向分別占用8個(gè)維度，每個(gè)方向可以表示8種不同級度的運(yùn)動(dòng)強(qiáng)度。然后從視頻序列中累積數(shù)萬個(gè)32維的塊向量(原型特征向量)進(jìn)行K-means聚類學(xué)習(xí)處理，聚合出N(本文取用N=2 000)類。每一類的中心即為一個(gè)原型塊向量，分別對應(yīng)于一個(gè)微小運(yùn)動(dòng)過程，其理論依據(jù)認(rèn)為無監(jiān)督學(xué)習(xí)能夠有效減小由于外界視覺信號(hào)各分量之間存在強(qiáng)相關(guān)而引起的信息冗余[6]。

最終，一段視頻動(dòng)作的運(yùn)動(dòng)軌跡就可以用一個(gè)N維的運(yùn)動(dòng)特征向量來表達(dá)，以訓(xùn)練視頻得到的運(yùn)動(dòng)特征向量作為模板特征向量。執(zhí)行識(shí)別處理流程時(shí)，只要將待檢測的N維運(yùn)動(dòng)特征向量輸入到SVM分類器中，尋找相似度最高的相關(guān)模板特征向量，并將其類型輸出作為最終識(shí)別的運(yùn)動(dòng)類型。

3　實(shí)驗(yàn)與分析

3.1系統(tǒng)架構(gòu)

在ZYNQ處理器上實(shí)現(xiàn)的系統(tǒng)架構(gòu)如圖3所示。視頻通過HDMI輸入到ZedBoard板上，在ZYNQ處理器PL(ProgrammableLogic)上實(shí)現(xiàn)了圖2中所有算法的硬件加速功能；在PS(ProgrammableSoC)中主要完成運(yùn)動(dòng)分類、識(shí)別和圖形顯示等處理。PS端通過通用輸入輸出接口(GPIO)主動(dòng)控制PL端的控制通路，其中在PL進(jìn)行處理的中間步驟的數(shù)據(jù)通過VDMA(VideoDirectMemoryAccess)可經(jīng)HP口(AXIHigh-PerformancePorts)存入內(nèi)存，極大地減少了在PL中調(diào)用RAM和LUT進(jìn)行片上存儲(chǔ)。

圖3　系統(tǒng)在ZedBoard上實(shí)現(xiàn)的系統(tǒng)架構(gòu)

本文所實(shí)現(xiàn)的硬件系統(tǒng)如圖4所示。視頻處理流程按照數(shù)字順序，首先通過顯示器上方的1080P 60 fps的高清攝像頭錄入運(yùn)動(dòng)視頻，然后將獲取的視頻通過HDMI線輸入到一塊外置轉(zhuǎn)接板卡，通過夾層卡FMC (FPGA Mezzanine Card)接口將視頻送入到ZedBoard開發(fā)板中。該轉(zhuǎn)接板卡是基于HDMI接收器芯片SiI9135自行設(shè)計(jì)的，通過FMC板卡可將輸入的HDMI信號(hào)轉(zhuǎn)換成RGB、4:4:4 YCbCr、4:2:2 YCbCr等多種常見視頻格式的輸出。輸入的運(yùn)動(dòng)視頻經(jīng)過ZYNQ處理器進(jìn)行運(yùn)動(dòng)特征提取、運(yùn)動(dòng)識(shí)別，最終通過開發(fā)板上的HDMI輸出口將攝像頭錄入的原始視頻和識(shí)別結(jié)果顯示在1080P的顯示器上。

圖4　視頻在硬件平臺(tái)上處理流程

3.2性能分析

基于Vivado集成開發(fā)環(huán)境，將HLS生成的IP核導(dǎo)入到Vivado中，搭建硬件實(shí)現(xiàn)系統(tǒng)。PL中視頻處理的運(yùn)行時(shí)鐘頻率為148.5 MHz，支持1080 P 60 fps的視頻處理，受限于DDR總帶寬，1920×1080分辨率的視頻在處理過程中采用立方插值降低為480×270，但分辨率的降低并不影響運(yùn)動(dòng)軌跡提取。ARM運(yùn)行的最高時(shí)鐘頻率為666.67 MHz，運(yùn)動(dòng)識(shí)別結(jié)果為每1～1.7 s更新一次，達(dá)到了實(shí)時(shí)識(shí)別能力。根據(jù)Vivado綜合報(bào)告，整個(gè)系統(tǒng)在片上功耗只有 2.233 W。

表1是基于ZYNQ處理器運(yùn)動(dòng)識(shí)別軟硬件協(xié)同在PL端的資源利用率，可見基于時(shí)空場的運(yùn)動(dòng)特征提取算法消耗的硬件資源，符合硬件友好。FPGA計(jì)算部分總共在DDR中申請了22.577 MB的緩存空間用于幀緩存，同時(shí)，Linux系統(tǒng)和運(yùn)行QT框架消耗的內(nèi)存也不足60 MB，對于512 MB的內(nèi)存，本系統(tǒng)總計(jì)內(nèi)存的使用率在16%左右。

表1　PL端的資源利用率

ZYNQ中集成了雙核Cortex-A9處理器，CPU主要用于QT繪制顯示圖像，以及部分算法處理，整個(gè)系統(tǒng)運(yùn)行時(shí)CPU的使用率在50%左右。無論是內(nèi)存，還是CPU使用率，都是有足夠富余，因此系統(tǒng)整體運(yùn)行流暢，延遲較小，視覺觀感效果良好。

動(dòng)作庫中有4種基本動(dòng)作(直線、豎線、圓和三角)，視頻的識(shí)別過程和對應(yīng)運(yùn)動(dòng)類型以此視頻庫為基礎(chǔ)訓(xùn)練識(shí)別庫，經(jīng)測試，能很好地識(shí)別動(dòng)作庫中所包含的4種基本動(dòng)作，其識(shí)別率為90%。擴(kuò)充到的10個(gè)動(dòng)作庫(雙手結(jié)合的動(dòng)作和基本啞語動(dòng)作)，本文識(shí)別系統(tǒng)的動(dòng)作識(shí)別率也能達(dá)到 86%。

表2為參考文獻(xiàn)中列舉出的先前的工作與本文所做的工作進(jìn)行對比。參考文獻(xiàn)中的硬件平臺(tái)皆以FPGA邏輯電路實(shí)現(xiàn)，系統(tǒng)設(shè)計(jì)復(fù)雜，不易使用，可移植性差，以及需要消耗大量的硬件資源。而本文所采用的ZYNQ處理器在進(jìn)行硬件加速的同時(shí)，還可以運(yùn)行操作系統(tǒng)以及圖形圖像界面，具備一個(gè)完整系統(tǒng)直觀的輸入、處理、輸出功能，并且易于修改以及版本升級，做到了在一塊芯片上完成軟硬件協(xié)同設(shè)計(jì)。此外，本文中圖像分辨率有所提升，可以在一幀圖像中提取出更加豐富的特征向量。

表2　對比分析

結(jié)　語

基于ZYNQ處理器ARM+FPGA架構(gòu)對時(shí)空運(yùn)動(dòng)場塊的識(shí)別算法進(jìn)行軟硬件協(xié)同設(shè)計(jì)，將適合于硬件電路實(shí)現(xiàn)的運(yùn)動(dòng)特征提取算法，使用HLS設(shè)計(jì)方法，用高級語言快速實(shí)現(xiàn)算法級開發(fā)，并自動(dòng)轉(zhuǎn)化成硬件可綜合的RTL級語言。最終以較低的運(yùn)算復(fù)雜度獲取具有較強(qiáng)表現(xiàn)力的運(yùn)動(dòng)特征，并獲得很好的識(shí)別效果。本文的識(shí)別系統(tǒng)支持高清1080P 60 fps的視頻輸入和輸出，以及運(yùn)動(dòng)的實(shí)時(shí)檢測。由于采用了DDR進(jìn)行幀緩存，因此可以查看硬件計(jì)算的中間處理結(jié)果。運(yùn)動(dòng)特征圖和運(yùn)動(dòng)場圖可實(shí)時(shí)更新顯示，比純軟件實(shí)現(xiàn)方式要快兩個(gè)數(shù)量級。最后，通過Linux和QT框架設(shè)計(jì)的控制和人機(jī)交互系統(tǒng)可實(shí)現(xiàn)在線學(xué)習(xí)和創(chuàng)建運(yùn)動(dòng)庫的功能。

[1] Murat Tekalp.Digital Video Processing[M].Englewood Cliff:Prentice-Hall Press,1996.

[2] Sadanand S,Corso JJ.Action bank:A high-level representation of activity in video[C]//IEEE Conference on Computer Vision and Pattern Recognition,2012:1234-1241.

[3] Sun D,Roth S,Black MJ.Secrets of optical flow estimation and their principles[C]//IEEE Conference on Computer Vision and Pattern Recognition,2010:2432-2439.

[4] Serre T,Wolf L,Bileschi S,et al.Robust object recognition with cortex-like mechanisms[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(3):411-426.

[5] Hou Z,Zhu H,Zheng N,et al.A single-chip 600-fps real-time action recognition system employing a hardware friendly algorithm[C]//IEEE International Symposium on Circuits and Systems (ISCAS),Melbourne,2014:762-765.

[6] A A Maashri,M DeBole,Chakrabarti.Accelerating neuromorphic vision algorithms for recognition[C]//Proc. ACM DAC,2012:579-584.

[7] H Meng,M Freeman,Bailey.Real-time human action recognition on an embedded, reconfigurable video processing architecture[J].Real-Time Image Proc,2008,3(3):163-176.

李金泉、胡文振、闞世超(碩士研究生)，主要研究方向?yàn)榍度胧脚c多媒體信息處理；王東(副教授)，主要研究方向?yàn)閿?shù)字系統(tǒng)設(shè)計(jì)與異構(gòu)計(jì)算。

Human Action Recognition System Based on ZYNQ Heterogeneous Multi-processor

Li Jinquan,Wang Dong,Hu Wenzhen,Kan Shichao

(Institute of Information Science,Beijing Jiaotong University,Beijing 100044,China)

Based ZYNQ heterogeneous multi-core processor,the FPGA hardware acceleration is achieved using the HLS design methodology motion feature extraction algorithm,which reaches the handling capacity of 1080P 60 fps.The K-means is used to generate high dimension vector by motion feature vector.Then the SVM classifier is used to do the classification and identification.In the end,the algorithm effectively is achieved through the system structure and the hardware acceleration circuit.Based on the man-machine interaction way of Linux and the framework of QT,the system can support online learning and create a library of action.

action recognition;ZYNQ;heterogeneous multi-processor;software hardware co-processing;HLS;Linux

TP27

A

(責(zé)任編輯：薛士然2016-03-14)