崔洲涓，安軍社 ，陳長(zhǎng)龍，崔天舒

1.中國(guó)科學(xué)院 國(guó)家空間科學(xué)中心 復(fù)雜航天系統(tǒng)電子信息技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京 100190

2.中國(guó)科學(xué)院大學(xué)，北京 100049

深度學(xué)習(xí)方法在圖像分類、目標(biāo)檢測(cè)等計(jì)算機(jī)視覺任務(wù)中大放異彩，研究者開始逐步將其引入目標(biāo)跟蹤領(lǐng)域。Wang 等[1]提出 SO-DLT（Structured Output Deep Learning Tracker）算法，使用卷積神經(jīng)網(wǎng)絡(luò)作為獲取特征和分類的模型，使其具備區(qū)分背景與非背景的能力，跟蹤結(jié)果更加魯棒。Wang等[2]的FCNT（Visual Tracking with Fully Convolutional Networks）算法選擇預(yù)訓(xùn)練深度網(wǎng)絡(luò)的不同卷積層構(gòu)建特征篩選網(wǎng)絡(luò)以及兩個(gè)互補(bǔ)的熱度圖，有效地抑制干擾，防止跟蹤器漂移。Ma等[3]提出的 HCFT*（Hierarchical Correlation Features Based Tracker）算法基于預(yù)訓(xùn)練深度網(wǎng)絡(luò)的不同卷積層訓(xùn)練相關(guān)濾波器，提取不同尺寸的目標(biāo)特征，逐層向下做細(xì)粒度的位置預(yù)測(cè)，大幅提升跟蹤性能。特征提取作為目標(biāo)跟蹤系統(tǒng)的關(guān)鍵環(huán)節(jié)[4]，直接決定了目標(biāo)跟蹤的效果。相較于傳統(tǒng)的依靠先驗(yàn)知識(shí)通過手工調(diào)整參數(shù)進(jìn)行設(shè)計(jì)的尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）、方向梯度直方圖（Histogram of Oriented Gradient，HOG）、多通道顏色名稱（Color Names，CN）等淺層特征，預(yù)訓(xùn)練深度網(wǎng)絡(luò)提取到的深度卷積特征能夠較為敏銳地捕捉到目標(biāo)的語(yǔ)義信息，具有更強(qiáng)的特征表達(dá)能力，可以提高跟蹤算法的精度，使其在目標(biāo)遮擋、外觀變化及背景干擾等復(fù)雜場(chǎng)景下表現(xiàn)更為穩(wěn)健。

然而由于深度卷積網(wǎng)絡(luò)通常具有復(fù)雜且龐大的結(jié)構(gòu)，導(dǎo)致目標(biāo)特征提取過程計(jì)算量巨大，極大地影響目標(biāo)跟蹤算法的實(shí)時(shí)性。為了將跟蹤算法部署至嵌入式平臺(tái)，除了從算法層面進(jìn)行優(yōu)化，提升運(yùn)算效率，還可以從硬件層面通過專用的計(jì)算單元實(shí)現(xiàn)加速。目前廣泛使用的硬件加速平臺(tái)有GPU（Graphics Processing Unit）、ASIC（Application Specific Integrated Circuit）、FPGA（Field Programmable Gate Array）三種。GPU 中包含大量同構(gòu)并行計(jì)算單元，但功耗高；ASIC可以定制專用硬件結(jié)構(gòu)，但靈活性差，設(shè)計(jì)周期較長(zhǎng)；FPGA 可重構(gòu)，集成度高，功耗低，可以適應(yīng)計(jì)算量大但計(jì)算機(jī)構(gòu)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)模型。

針對(duì)跟蹤算法在傳統(tǒng)嵌入式開發(fā)平臺(tái)應(yīng)用中存在的問題與需求，選取可應(yīng)用開源框架PYNQ（Python Productivity for Zynq）的高性能、低功耗異構(gòu)計(jì)算平臺(tái)Zynq進(jìn)行系統(tǒng)搭建。為使算法更好地適應(yīng)硬件計(jì)算架構(gòu)，根據(jù)目標(biāo)跟蹤算法的特點(diǎn)，將任務(wù)進(jìn)行軟硬件劃分。通過對(duì)性能進(jìn)行分析，對(duì)異構(gòu)跟蹤系統(tǒng)中的深度卷積特征提取單元進(jìn)行并行優(yōu)化加速，最終達(dá)到目標(biāo)跟蹤任務(wù)性能與速度的平衡。

1 基于相關(guān)濾波框架的目標(biāo)跟蹤算法

1.1 深度卷積特征

特征提取的基本流程是輸入視頻序列，統(tǒng)計(jì)離散的圖像像素點(diǎn)的分布規(guī)律，經(jīng)由向量或矩陣進(jìn)行數(shù)值映射，轉(zhuǎn)變至更優(yōu)的空間，將原始的視頻圖像轉(zhuǎn)換為富含信息量的形式進(jìn)行重構(gòu)表達(dá)。目標(biāo)跟蹤任務(wù)中的特征應(yīng)具有獨(dú)立性、高區(qū)分度、強(qiáng)泛化性、可靠性、快速計(jì)算等特點(diǎn)。

由于訓(xùn)練數(shù)據(jù)缺失，針對(duì)目標(biāo)跟蹤任務(wù)對(duì)大量標(biāo)注數(shù)據(jù)重新訓(xùn)練網(wǎng)絡(luò)困難重重，本文選用在超大規(guī)模數(shù)據(jù)集ImageNet[5]上表現(xiàn)優(yōu)異的預(yù)訓(xùn)練深度卷積網(wǎng)絡(luò)VGGNet-19[6]作為特征提取網(wǎng)絡(luò)，提取各個(gè)層的目標(biāo)特征。VGG-Net-19 由 3×3 的小型卷積核以及 2×2 的最大池化層堆疊構(gòu)筑，主要包括五段卷積層、兩個(gè)全連接特征層以及一個(gè)全連接分類層，共19 層。將視頻圖像序列輸入VGG-Net-19 提取特征，其中包含豐富紋理及空間信息的底層特征用于目標(biāo)的精確定位以及排除相似背景的干擾；包含語(yǔ)義信息的高層特征用于目標(biāo)的背景區(qū)分及削弱目標(biāo)形變、遮擋等表觀變化的影響。

1.2 相關(guān)濾波框架

基于核相關(guān)濾波框架的目標(biāo)跟蹤算法以良好的實(shí)時(shí)性成為主流應(yīng)用。本文算法在相關(guān)濾波框架上構(gòu)建。

將視頻序列輸入VGG-Net-19，構(gòu)造目標(biāo)函數(shù)[3]如式（1）：

其中，x為第q層維度為M×N×D的深度卷積特征；λ為正則化參數(shù)；xij,i,j∈{0,1,…,M}×{0,1,…,N} 為樣本；yij為其對(duì)應(yīng)的回歸標(biāo)簽。

由傅里葉變換求出第q層d通道分類器權(quán)重頻域閉式解如式（2）：

其中，X、Y分別對(duì)應(yīng)x、y的頻域變換，為X的共軛，⊙表示Hadamard積。

z為第q層深度卷積特征構(gòu)成的循環(huán)矩陣，與預(yù)訓(xùn)練得到的分類器聯(lián)合得到回歸函數(shù)fq(z)如式（3）：

其中，F(xiàn)-1為傅里葉逆變換：

逐層向下搜索其r×r鄰域，通過第q-1 層的響應(yīng)圖，進(jìn)而得到最低層的預(yù)測(cè)結(jié)果。

1.3 目標(biāo)跟蹤算法

目標(biāo)跟蹤算法的流程如圖1，分為初始化、特征提取、訓(xùn)練、檢測(cè)、模型更新5個(gè)功能單元。

開始進(jìn)行初始化配置，設(shè)定相關(guān)參數(shù)。載入視頻圖像序列，建立高斯回歸標(biāo)簽，通過漢寧窗去除邊界效應(yīng)。加載深度卷積網(wǎng)絡(luò)預(yù)訓(xùn)練模型VGG-Net-19，提取多層深度卷積特征。訓(xùn)練過程頻域進(jìn)行核自相關(guān)計(jì)算，進(jìn)而得到嶺回歸分類參數(shù)，快速訓(xùn)練，根據(jù)訓(xùn)練結(jié)果，計(jì)算3 個(gè)置信度評(píng)估指標(biāo)，判斷是否有遮擋，對(duì)目標(biāo)模型進(jìn)行自適應(yīng)更新。檢測(cè)過程將特征在頻域內(nèi)與目標(biāo)模型進(jìn)行互相關(guān)計(jì)算，進(jìn)而在頻域內(nèi)計(jì)算最大響應(yīng)，通過傅里葉反變換求出當(dāng)前幀相對(duì)于前一幀目標(biāo)的位移，輸出目標(biāo)位置。重復(fù)訓(xùn)練與檢測(cè)過程，直至視頻圖像序列跟蹤完畢。

圖1 目標(biāo)跟蹤算法流程圖

2 異構(gòu)跟蹤系統(tǒng)

2.1 總體架構(gòu)

根據(jù)對(duì)目標(biāo)跟蹤算法的特點(diǎn)分析，選取Xilinx 公司的嵌入式視覺評(píng)估套件ZCU104 作為異構(gòu)跟蹤系統(tǒng)的實(shí)現(xiàn)平臺(tái)。板載Zynq?Ultrascale+TMMPSoC 系列XCZU7EV 型號(hào)器件，集成了高效應(yīng)用處理器（ARM?CortexTM-A53）、實(shí)時(shí)低功耗協(xié)處理器（ARM Cortex-R5）、圖形處理器（ARM MaliTM-400）、平臺(tái)管理單元（電源管理、錯(cuò)誤管理、配置管理、安全管理）以及滿足高性能計(jì)算和豐富I/O擴(kuò)展的可編程邏輯資源[7-8]。結(jié)合軟硬件協(xié)同設(shè)計(jì)的理念[9]，從總體層面將系統(tǒng)拆分為控制與運(yùn)算兩大部分。控制部分涵蓋配置、尋址、通信等較為復(fù)雜的操作，可以通過以ARM為核心的片內(nèi)處理系統(tǒng)（Processing System，PS）實(shí)現(xiàn)；而運(yùn)算部分涉及數(shù)據(jù)龐大、重復(fù)性高的簡(jiǎn)單計(jì)算，可以通過并行度高的可編程邏輯（Programmable Logic，PL）實(shí)現(xiàn)。二者之間采用AXI接口和DMA通道實(shí)現(xiàn)控制流與數(shù)據(jù)流的交互通路。

圖2 異構(gòu)跟蹤系統(tǒng)總體設(shè)計(jì)圖

異構(gòu)目標(biāo)跟蹤系統(tǒng)總體設(shè)計(jì)框圖如圖2 所示。PS用于系統(tǒng)初始化配置，視頻圖像序列載入，對(duì)所述特征提取運(yùn)算加速模塊的調(diào)用與通信，響應(yīng)圖的顯示和目標(biāo)位置的輸出。PL 的主體部分為特征提取加速單元IP核。為了支持特征提取加速單元IP核的工作，需要進(jìn)行片上系統(tǒng)的搭建。首先配置PS運(yùn)行所需的硬件設(shè)備及參數(shù)；其次為IP 核提供工作時(shí)鐘、控制指令信號(hào)、數(shù)據(jù)輸入接口等；然后實(shí)現(xiàn)PS-PL 間高效穩(wěn)定協(xié)同工作的AXI 總線通信；最后完成片上系統(tǒng)的搭建之后，導(dǎo)出硬件配置文件，進(jìn)行PYNQ 框架應(yīng)用層開發(fā)與硬件協(xié)處理器調(diào)用。

為了配合異構(gòu)跟蹤系統(tǒng)的運(yùn)行，配置了一些外設(shè)接口：PC 機(jī)用于支持 PS 中 Jupyter 筆記本的工作；USB 接口實(shí)現(xiàn)Zynq比特文件的加載；以太網(wǎng)接口通過與Jupyter子系統(tǒng)的連接，完成片上系統(tǒng)的遠(yuǎn)程訪問與顯示以及數(shù)據(jù)傳輸；Micro SD 卡加載PYNQ 的鏡像文件，引導(dǎo)Linux系統(tǒng)正常啟動(dòng)，同時(shí)提供數(shù)據(jù)存儲(chǔ)空間。

2.2 PYNQ框架應(yīng)用層開發(fā)

開源框架PYNQ[10-12]采用可視化開源Jupyter Notebooks基礎(chǔ)架構(gòu)，使用Python在Zynq的PS上編程，運(yùn)行IPython 內(nèi)核和Web 服務(wù)器，實(shí)現(xiàn)應(yīng)用層開發(fā)以及底層可編程邏輯的調(diào)用。PYNQ框架主要包括三個(gè)層面：

（1）頂層（應(yīng)用程序）：主體為Jupyter 筆記本，用戶創(chuàng)建交互式文檔，將可執(zhí)行代碼行與描述文本的圖形結(jié)合在一起，用于可視化數(shù)據(jù)、搭建機(jī)器學(xué)習(xí)模型等。

（2）中間層（軟件）：PYNQ框架的中間層包括Python軟件庫(kù)、操作系統(tǒng)和底層軟件驅(qū)動(dòng)程序。

（3）底層（硬件）：PYNQ 框架的底層為硬件系統(tǒng)設(shè)計(jì)。在Vivado 下生成特征提取加速單元IP 核后，創(chuàng)建比特流文件，形成硬件協(xié)處理器。在Jupyter中通過API提取硬件詳細(xì)信息，由Python直接調(diào)用PL上的IP核，實(shí)現(xiàn)并行計(jì)算加速等功能。

3 特征提取加速單元的設(shè)計(jì)

由于深度卷積特征提取模塊涉及的網(wǎng)絡(luò)結(jié)構(gòu)龐大，參數(shù)占用空間大，計(jì)算重復(fù)性高，耗時(shí)多，為了對(duì)異構(gòu)跟蹤系統(tǒng)進(jìn)行加速，使算法更高效地映射到硬件架構(gòu)，需要針對(duì)影響實(shí)時(shí)因素的瓶頸進(jìn)行優(yōu)化，對(duì)算法實(shí)現(xiàn)的架構(gòu)與細(xì)節(jié)反復(fù)修改、調(diào)整，最終達(dá)到與軟件算法的數(shù)據(jù)結(jié)構(gòu)相當(dāng)?shù)挠布娐穼?shí)現(xiàn)結(jié)構(gòu)，提取出信息豐富的多層深度卷積特征圖，層次化地構(gòu)造目標(biāo)外觀模型。

3.1 總體設(shè)計(jì)

針對(duì)目標(biāo)跟蹤算法的特征提取硬件加速單元整體設(shè)計(jì)如圖3 所示，主要包括控制模塊（Controller）、輸入緩沖（Input Buffers）、輸出緩沖（Output Buffers）、特征圖緩沖（Feature Map Buffers）以及由多個(gè)處理單元（Processing Element）構(gòu)成的運(yùn)算陣列。

控制模塊包括主控模塊、權(quán)重地址分配模塊、偏置地址分配模塊、特征圖地址分配模塊。負(fù)責(zé)從外部獲取指令，并對(duì)其進(jìn)行解析、配置、記錄、分發(fā)正確的信息以及模塊間的交互。

輸入緩沖模塊包括圖像、權(quán)值、偏置緩沖。由于片上資源的限制，數(shù)據(jù)從外部存儲(chǔ)器中載入，緩存到片上緩存器再送至運(yùn)算陣列中。輸出緩沖模塊將中間結(jié)果和最終運(yùn)算結(jié)果傳輸保存到外部存儲(chǔ)中，供PS 端訪問獲取。

特征圖緩沖模塊利用FPGA 能進(jìn)行流水線運(yùn)算的特點(diǎn)，使用片上BRam緩存若干行圖像數(shù)據(jù)。

處理單元陣列模塊是整個(gè)硬件架構(gòu)的核心，實(shí)現(xiàn)卷積運(yùn)算、池化運(yùn)算。為滿足數(shù)據(jù)并行性，設(shè)置8×8 個(gè)并行處理單元陣列，單個(gè)處理單元完成3×3 的卷積運(yùn)算。處理單元使能設(shè)置一些處理單元處于閑置狀態(tài)，節(jié)省資源占用。

圖3 特征提取加速單元

3.2 并行模式分析

卷積計(jì)算過程需要大量的計(jì)算資源，其本質(zhì)為乘累加運(yùn)算。設(shè)每層的特征圖維度為Min×Nin×Din，在進(jìn)行卷積層計(jì)算時(shí)，轉(zhuǎn)化成Din路Min×Nin尺寸的特征圖輸入，先對(duì)每一路輸入特征圖取出對(duì)應(yīng)位置的窗口包含的數(shù)據(jù)，窗口大小則與卷積核尺寸3×3 相同，然后將卷積核與其做卷積操作，求出單路輸入單窗口的中間結(jié)果。對(duì)Din路的輸入執(zhí)行同樣的過程，并將這些中間結(jié)果累加求出相應(yīng)輸出點(diǎn)。反復(fù)計(jì)算Mout×Nout次，輸出每路輸出通道上的一張輸出特征圖。輸出通道為Dout，需再重復(fù)進(jìn)行Dout，完成一層卷積運(yùn)算的計(jì)算量為：

單層的權(quán)重參數(shù)個(gè)數(shù)為：

MAC 的計(jì)算任務(wù)繁重，權(quán)重參數(shù)以及特征圖的占用空間巨大，因此需將網(wǎng)絡(luò)拆分依次循環(huán)優(yōu)化映射至FPGA實(shí)現(xiàn)。

深度卷積網(wǎng)絡(luò)的架構(gòu)決定了層與層之間存在數(shù)據(jù)依賴，底層的輸出結(jié)果是上層的輸入數(shù)據(jù)，因此卷積層間并行一般主要從整體架構(gòu)實(shí)現(xiàn)上提高運(yùn)算性能。而卷積層內(nèi)主要有以下幾種并行特征[13]：

（1）特征圖釋放窗口內(nèi)部并行計(jì)算：選定卷積核C1，特征圖I1釋放一個(gè)與卷積核同樣尺寸的窗口W1，則C1與W1進(jìn)行卷積運(yùn)算，相應(yīng)的乘法計(jì)算可以并行執(zhí)行；

（2）特征圖釋放窗口之間并行計(jì)算：選定卷積核C1，特征圖I1釋放若干個(gè)與卷積核同樣尺寸的窗口如W1、W2等，則C1與W1、W2之間的卷積運(yùn)算可以并行執(zhí)行；

（3）卷積核之間并行計(jì)算：選定卷積核C1、C2，特征圖I1 釋放一個(gè)與卷積核同樣尺寸的窗口W1，則C1、C2與W1之間的卷積運(yùn)算可以并行執(zhí)行；

（4）原始輸入圖像或者特征圖之間的并行計(jì)算：選定卷積核 C1、C2，特征圖 I1、I2，則 C1 與 W1、C2 與 W2之間的卷積運(yùn)算可以并行執(zhí)行。

本文根據(jù)深度卷積網(wǎng)絡(luò)中運(yùn)算結(jié)構(gòu)相似度高的特點(diǎn)，采取卷積核內(nèi)并行、卷積核間并行以及特征圖間并行的方案。

3.3 處理單元陣列模塊設(shè)計(jì)

處理單元陣列模塊是整個(gè)特征提取加速單元的核心部分，每個(gè)處理單元功能獨(dú)立，結(jié)構(gòu)相同，如圖4，由卷積計(jì)算器、加法器樹、非線性模塊、最大池化模塊和偏置偏移模塊組成。

由于直接從DDR4 中讀取圖像，訪存延遲較大，無(wú)法實(shí)現(xiàn)高效的流水處理，因此卷積計(jì)算器使用經(jīng)典的行緩沖器結(jié)構(gòu)[14]，如圖5 所示。行緩沖區(qū)在輸入圖像上釋放一個(gè)窗口選擇函數(shù)，然后經(jīng)由乘法器和加法器樹，每個(gè)周期計(jì)算一次卷積結(jié)果。

圖4 處理單元

圖5 卷積計(jì)算器

乘法操作通過DSP單元進(jìn)行快速的實(shí)現(xiàn)，具體由定點(diǎn)乘法器模塊DSP48E2在一個(gè)時(shí)鐘周期內(nèi)完成一個(gè)乘法累加算法，行緩沖處理延時(shí)固定。

加法器樹對(duì)所有的卷積結(jié)果進(jìn)行求和。非線性模塊將非線性激活函數(shù)應(yīng)用于輸入數(shù)據(jù)流。最大池化模塊使用行緩沖區(qū)相同結(jié)構(gòu)，以特定窗口輸入數(shù)據(jù)流，并輸出最大值。

4 算法分析與系統(tǒng)實(shí)現(xiàn)

4.1 算法定量定性分析

為了評(píng)估算法的性能，在通用目標(biāo)跟蹤數(shù)據(jù)集OTB-2015[15]以及專用目標(biāo)跟蹤數(shù)據(jù)集UAV123[16]上進(jìn)行測(cè)試。根據(jù)OPE（One Pass Evaluation）方法，采用四種常見的評(píng)估指標(biāo)繪制跟蹤精確度曲線圖和成功率曲線圖。

對(duì)OTB-2015 中自帶的算法以及主流跟蹤算法ECO[17]等進(jìn)行定量分析，僅在精度曲線和成功率曲線中顯示排名前列的跟蹤算法，如圖6 所示。圖7 為基于UAV123 數(shù)據(jù)集的精度曲線和成功率曲線。圖例中標(biāo)注的是每種算法的性能評(píng)分。

圖6 OTB-2015跟蹤精度曲線和成功率曲線

圖7 UAV123跟蹤精度曲線和成功率曲線

不同算法在典型視頻的部分跟蹤結(jié)果如圖8所示。不同算法用不同顏色表示，其中紅色為本文算法。由圖中可見，本文算法表現(xiàn)較為穩(wěn)健，與ECO算法持平。

圖8 UAV123數(shù)據(jù)集中wakeboard6序列跟蹤效果圖

4.2 系統(tǒng)實(shí)現(xiàn)

本文在完成目標(biāo)跟蹤算法設(shè)計(jì)后，基于Vivado2018.3開發(fā)環(huán)境進(jìn)行了設(shè)計(jì)、綜合以及布局布線，以Xilinx 公司的ZCU104為目標(biāo)平臺(tái)，構(gòu)建了完整的異構(gòu)跟蹤系統(tǒng)（ZCU104 PS+PL），PS端運(yùn)行頻率為500 MHz，PL端運(yùn)行頻率為200 MHz。對(duì)系統(tǒng)的實(shí)現(xiàn)效果及性能指標(biāo)進(jìn)行了驗(yàn)證與分析，與未集成特征提取加速IP 核的系統(tǒng)（ZCU104 PS）進(jìn)行了跟蹤速率的比對(duì)，如表1。

表1 跟蹤速率

5 結(jié)束語(yǔ)

本文設(shè)計(jì)了一種集成了深度卷積特征提取加速單元的異構(gòu)跟蹤系統(tǒng)。在算法層面，在通用數(shù)據(jù)集OTB-2015以及UAV123上測(cè)試驗(yàn)證跟蹤精度。在系統(tǒng)實(shí)現(xiàn)層面，采用軟硬件協(xié)同的方式劃分算法任務(wù)，搭建異構(gòu)計(jì)算平臺(tái)，根據(jù)基于深度卷積特征目標(biāo)跟蹤算法的特點(diǎn)，利用Zynq 中的PS 部分進(jìn)行控制與調(diào)度，通過PL部分對(duì)特征提取任務(wù)進(jìn)行優(yōu)化，形成加速IP核，抽象為硬件協(xié)處理器，通過PYNQ 框架進(jìn)行調(diào)用，實(shí)現(xiàn)了異構(gòu)跟蹤系統(tǒng)的設(shè)計(jì)，跟蹤效果穩(wěn)健，平均跟蹤速度提升達(dá)到30倍。