陳 朋 何建彬 陳 諾 俞天緯 宦若虹③

(*浙江工業(yè)大學計算機科學與技術(shù)學院 杭州 310023）

(**浙江工業(yè)大學信息工程學院 杭州 310023）

0 引言

目標檢測是一項計算機視覺領(lǐng)域中結(jié)合圖像分割和圖像識別的重要技術(shù)。傳統(tǒng)目標檢測的區(qū)域選擇策略沒有針對性,時間復雜度高,窗口冗余,對于多樣性變化的特征沒有好的魯棒性。因此在邊緣端設備上實現(xiàn)目標檢測,需要實時性更好、計算復雜度更低的目標檢測方法。

隨著深度學習的發(fā)展,目標檢測領(lǐng)域取得了很多突破性的研究成果,其檢測的精度和速度都有了較好的效果。文獻[1-3]提出了區(qū)域卷積神經(jīng)網(wǎng)絡(region-based convolutional neural network,R-CNN)和Fast R-CNN 網(wǎng)絡,使得神經(jīng)網(wǎng)絡在目標檢測上獲得了較大的突破。但Fast R-CNN 也暴露出了區(qū)域候選的計算瓶頸問題,文獻[4]在此基礎上提出了Faster R-CNN,引入一個區(qū)域候選網(wǎng)絡(region proposal networks,RPN),并優(yōu)化了算法。但是Faster R-CNN 在實時性上仍然有所限制,其在圖形處理器(graphics processing unit,GPU)上的幀速率僅有5 fps,因此YOLO[5]提出了one-stage 的概念,此方法將物體分類和物體定位在一個步驟中完成,提高了實時性,但是準確率和漏檢率有待提高。SSD[6]綜合了Faster R-CNN 和YOLO 的優(yōu)點,采用多尺度的特征圖來得到準確率與實時性更高的網(wǎng)絡模型。

另一方面,目前卷積神經(jīng)網(wǎng)絡的實現(xiàn)主要搭建在GPU 上,GPU 能夠使卷積神經(jīng)網(wǎng)絡的訓練得到很好的加速,但是能耗較大,不易作為邊緣端硬件平臺,限制了其應用場景?，F(xiàn)場可編程門陣列(field programmable gate array,FPGA)是一種可編程、可定制的芯片,具有并行處理的能力,以及高性能、高靈活性等優(yōu)點[7],可以被運用到CNN 的加速中[8]。Xilinx 公司推出了用于高性能需求的異構(gòu)平臺ZYNQ 系列芯片,配合Cortex 系列的處理器,搭配可編輯邏輯部分,使得芯片架構(gòu)靈活、運行功耗低、可重構(gòu)性和可移植性強。同時Xilinx 公司還推出了高層次綜合工具Vivado HLS 和Vitis,使得卷積神經(jīng)網(wǎng)絡在FPGA 上的開發(fā)周期大大縮短。2015 -2019年的FPGA 會議[9-13]提出的各種加速器和加速器的框架,都表明FPGA 適用于卷積神經(jīng)網(wǎng)絡的移植。文獻[14]提出了全棧編譯器深度神經(jīng)網(wǎng)絡虛擬機(deep neural network virtual machine,DNNVM),采用啟發(fā)式子圖同構(gòu)算法枚舉所有潛在可獲利的融合機會,利用管線和數(shù)據(jù)布局進行硬件資源優(yōu)化,并搜索整個計算圖的最佳執(zhí)行策略。文獻[15]提出了一種特定于域的FPGA 覆蓋處理器(overlay processor unit,OPU),用于加速CNN 網(wǎng)絡。文獻[16]提出了基于舍入和移位操作量化方案的8 位優(yōu)化的塊浮點算法(block-floating-point,BFP),將能源和硬件效率提高了3 倍。文獻[17]提出了一種將原始網(wǎng)絡壓縮為定點形式的數(shù)據(jù)量化策略,并設計了可配置的硬件體系架構(gòu),使得網(wǎng)絡模型在FPGA 上具有較好的效果。

綜上所述,本文基于FPGA 對視頻實時目標檢測算法進行優(yōu)化實現(xiàn)。本文主要工作如下。

(1) 提出了結(jié)合通道注意力機制與深度可分離卷積的神經(jīng)網(wǎng)絡模型(attention-based depthwise seperable single shot multibox detector,AtDS-SSD),減少了計算量,增強了高層特征圖的語義信息。

(2) 提出一種基于FPGA 的算法網(wǎng)絡量化編譯方案,將本文算法移植到FPGA 上,在保證其對目標檢測準確率的基礎上減少算法的復雜度,降低功耗。

1 系統(tǒng)總體設計

本文系統(tǒng)總體框架如圖1 所示,由AtDS-SSD 網(wǎng)絡模型的生成、量化、編譯以及部署4 個部分構(gòu)成。

圖1 系統(tǒng)總體框架

1.1 AtDS-SSD 神經(jīng)網(wǎng)絡

SSD 采用回歸方法獲取目標對象的位置,并根據(jù)目標對象位置周圍的特征進行目標分類,因此需要將特征圖分割成若干個相同大小的網(wǎng)格,對每個網(wǎng)格分別進行預測分類,并通過非極大值抑制方法得到最終的檢測結(jié)果。

標準的SSD 神經(jīng)網(wǎng)絡運行時間較久,不滿足實時性需求,并且模型參數(shù)計算量較大。為了滿足實時性需求,并減少參數(shù)計算量,本文使用深度可分離卷積替換原有的常規(guī)卷積層,將常規(guī)卷積分離成深度卷積和點卷積兩部分,使得計算復雜度更適合邊緣設備。深度可分離卷積是輕量級神經(jīng)網(wǎng)絡MobileNet 的重要組成部分,所以使用MobileNet 作為主體網(wǎng)絡替換原始SSD 網(wǎng)絡中的VGG 16。同時本文結(jié)合通道注意力機制增強高層語義特征信息,補償了由于模型參數(shù)計算量減少與實時性提升導致的精度下降,具有重要意義。

圖2 展示了AtDS-SSD 卷積神經(jīng)網(wǎng)絡的總體結(jié)構(gòu),包含3 部分:第1 部分為MobileNet 基礎網(wǎng)絡,通過深度可分離卷積減少基礎網(wǎng)絡的計算量;第2 部分為通道注意力機制,通過增加很小的計算消耗,提升網(wǎng)絡性能;第3 部分為SSD 的類別預測與位置回歸。本文對網(wǎng)絡結(jié)構(gòu)的優(yōu)化在保證實時目標檢測需求的同時,減少邊緣端設備的計算量,有助于將網(wǎng)絡模型移植到資源有限、低功耗和低成本的嵌入式應用場景。

圖2 AtDS-SSD 卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)示意

1.1.1 深度可分離卷積

深度可分離卷積是MobileNet 的重要組成部分,將標準卷積核分離成一個逐通道處理的深度卷積核和一個跨通道處理的點卷積核,有效縮小模型參數(shù)計算量的同時仍然保持較高的準確率。

標準卷積示意圖如圖3 所示,其中F為輸入,維度為Df × Df,通道為M;將F映射到G作為輸出,維度為Dg × Dg,通道為N。以常規(guī)卷積的卷積核進行卷積,需要N個卷積核,每個卷積核的維度為Dk × Dk,通道為M,總體計算復雜度為

圖3 標準卷積

深度可分離卷積示意圖如圖4 所示,由深度卷積部分與點卷積部分組成。深度卷積部分有M個Dk × Dk ×1 的卷積核,將產(chǎn)生M個輸出張量,作為點卷積部分的輸入。點卷積部分有N個1×1× M的卷積核,生成N個Dg × Dg的輸出張量。該方法總體計算復雜度CCDepth為

圖4 深度可分離卷積

深度可分離卷積計算量CCDepth與常規(guī)卷積計算量CCconv的比率為

以AtDS-SSD 中的CONV11 層舉例,輸出N=1024 通道的特征圖,卷積層卷積核的尺寸為3 ×3,則模型的參數(shù)計算量僅為標準卷積參數(shù)計算量的11.21%,大幅減小了模型參數(shù)的計算量。

1.1.2 通道注意力機制

通道注意力機制通過對通道間的依賴關(guān)系進行建模,可以自適應調(diào)整各通道的特征響應值,僅在犧牲少量計算量的情況下,可以極大地提升網(wǎng)絡性能。

注意力機制模塊由壓縮(squeeze)、激勵(excitation)及注意(attention)操作3 部分組成,如圖5 所示。

圖5 通道注意力機制

Squeeze 操作是對輸入X(維度為C×H×W)進行壓縮,使用全局平均池化將輸入特征圖的全局信息壓縮為通道描述符,具體的計算公式如式(4)所示。

其中,(i,j) 為輸入X的坐標,輸出Z為C ×1×1的矩陣。

Excitation 操作是對各通道的依賴程度進行建模,本文使用ReLU 非線性激活函數(shù)和Sigmoid 激活函數(shù)的門限機制來實現(xiàn)。其中為了限制模型的復雜度,增強模型的泛化能力,使用了2 個全連接層去學習,根據(jù)輸入數(shù)據(jù)可以調(diào)節(jié)各個通道特征的權(quán)重。具體計算公式如式(5)所示。

其中,W1和W2為通道權(quán)重,W1的維度是C′ × C,W2的維度是C × C′,C′=,通過ReLU 激活函數(shù)和Sigmoid 函數(shù)進行訓練學習,最終得到的S的維度為C ×1×1。

Attention 操作為特征加權(quán)的過程,將原始的輸入X替換為經(jīng)過注意力模塊獲得的特征X′,并將其引入到原網(wǎng)絡中進行目標檢測。通過對各個通道的數(shù)據(jù)乘上不同的權(quán)重,從而增強對關(guān)鍵通道數(shù)據(jù)的信息。具體計算公式如式(6)所示。

1.2 模型量化

由于嵌入式平臺的資源有限,將卷積神經(jīng)網(wǎng)絡移植到嵌入式平臺需要進行模型壓縮,其中量化模型是一種常用方法。與GPU 及中央處理器(centrol processing unit,CPU)相比較,FPGA 在模型量化上可以更為靈活,故本文采用模型量化的網(wǎng)絡壓縮方法。

由于卷積神經(jīng)網(wǎng)絡中不同層的數(shù)據(jù)動態(tài)范圍通常很大,因此,對所有層進行統(tǒng)一的定點量化可能會導致很大的性能損失。為了解決這個問題,本文對每一層都單獨進行定點量化,將32 位浮點型數(shù)據(jù)轉(zhuǎn)換為8 位整型數(shù)據(jù)。

量化的方案如圖1 中的量化部分所示,將訓練好的浮點模型和校準數(shù)據(jù)集輸入到量化校準模塊中,獲得定點模型。量化結(jié)束以后得到的定點模型不一定是最優(yōu)狀態(tài),所以對初步量化好以后的模型進行數(shù)據(jù)準確性測試。將測試結(jié)果與浮點模型進行精度對比,當精度損失較大時,需要進行量化微調(diào);當精度損失較小時,即可得到最終的定點模型。

其中量化校準模塊如圖6 所示,本文將每層的特征圖和網(wǎng)絡參數(shù)收集到量化校準模塊中,對所有參數(shù)進行對數(shù)取整,得到取整后的數(shù)據(jù)直方圖。根據(jù)直方圖中連續(xù)八位占比最大的區(qū)間,可以不同地在每一層中找到最佳零點的位置,隨后根據(jù)零點位置對所有參數(shù)進行移位操作,并進行八位定點量化。在上述步驟中浮點參數(shù)過大或過小容易造成八位定點數(shù)據(jù)溢出,對于過大的數(shù)據(jù),保留符號,將其絕對值設置為最大值;對于過小的數(shù)據(jù),將其設置為0。本文逐層確定每一層的零點位置,得到最佳量化結(jié)果的定點模型,用測試數(shù)據(jù)集進行測試,根據(jù)測試結(jié)果可以選擇是否進行下一步的量化微調(diào)。

圖6 量化校準模塊

量化微調(diào)模塊是將量化以后的網(wǎng)絡模型轉(zhuǎn)換回浮點格式進行微調(diào),期間需要使用到訓練數(shù)據(jù)集,且中間參數(shù)如梯度、權(quán)重、激活等浮點數(shù)將會重新訓練。將重新訓練的結(jié)果再次量化為定點數(shù)據(jù),量化微調(diào)后的定點模型再與最初的浮點模型進行精度對比。重復上述步驟,直到量化之后的網(wǎng)絡模型的精度損失在可接受范圍內(nèi)。

校準數(shù)據(jù)集的主要作用是定義模型動態(tài)輸入的范圍,因此本文選取的校準數(shù)據(jù)集包含了模型輸入的所有類別。

1.3 模型編譯

模型編譯使用的是Xilinx 的Vitis AI 編譯工具,該編譯工具是編譯器系列的統(tǒng)一接口,用于優(yōu)化DPU 的神經(jīng)網(wǎng)絡計算。每個編譯器都將網(wǎng)絡模型映射到高度優(yōu)化的DPU 指令序列中。Vitis AI 編譯工具如圖1 中的編譯模塊所示,主要由解析器、優(yōu)化器和代碼生成器3 個部分組成。

解析器將模型中的網(wǎng)絡描述符映射到指令中。Vitis 編譯工具可以根據(jù)不同的FPGA 型號選擇相應的指令集。通過指令調(diào)度FPGA 上的資源,進行塊分區(qū)和內(nèi)存映射。塊分區(qū)的主要作用是將網(wǎng)絡模型和網(wǎng)絡參數(shù)在片上存儲,對每一層的計算都進行分區(qū),充分利用卷積神經(jīng)網(wǎng)絡的數(shù)據(jù)本地化并減少數(shù)據(jù)輸入輸出,實現(xiàn)高效且減少功耗的作用。內(nèi)存映射主要作用是將外部內(nèi)存空間分配用于主機和網(wǎng)絡加速器之間的通信。塊分區(qū)和內(nèi)存映射結(jié)束后,FPGA 便可以通過指令集完成網(wǎng)絡模型的計算。

優(yōu)化器優(yōu)化網(wǎng)絡模型,其中包括計算節(jié)點的融合(例如將BN 層融合到預卷積中),充分復用FPGA 上的數(shù)據(jù),通過固有的并行性進行有效的指令調(diào)度或數(shù)據(jù)的充分利用,可用于處理CNN 的高存儲復雜性。

最后通過代碼生成器生成可執(zhí)行文件,該文件包含了網(wǎng)絡模型、參數(shù)與權(quán)重等信息,可將其部署到FPGA 上。

2 實驗結(jié)果分析

本文完成了以下2 組實驗。(1)VGG-SSD、MobileNet-SSD 以及AtDS-SSD 3 種卷積網(wǎng)絡模型在GPU 上目標檢測的平均精度均值比較以及運行時間比較;(2)AtDS-SSD 網(wǎng)絡模型在GPU 與FPGA 上的功能驗證以及性能比較。通過上述實驗來驗證基于FPGA 結(jié)合注意力機制與深度可分離卷積的網(wǎng)絡模型在邊緣端設備進行目標檢測的綜合優(yōu)勢。

2.1 網(wǎng)絡模型訓練

本文涉及到的3 種卷積網(wǎng)絡模型都由服務器訓練生成,硬件平臺的處理器為Intel i9-10900X,顯卡為NVIDIA RTX 2080Ti,部署TensorFlow 深度學習框架,通過NVIDIA CUDA 運算平臺調(diào)用顯卡進行卷積神經(jīng)網(wǎng)絡學習訓練。本文采用PASCAL VOC 2007 和PASCAL VOC 2012 訓練數(shù)據(jù)集進行訓練,PASCAL VOC 2007 測試數(shù)據(jù)集進行測試,該數(shù)據(jù)集包括20 個類別,即aeroplane、bicycle、bird、boat、bottle、bus、car、cat、chair、cow、diningtable、dog、horse、motorbike、person、pottedplant、sheep、sofa、train、tvmonitor,共22 163 張訓練圖片和4952 張測試圖片。

本文在訓練過程中將輸入圖片的分辨率調(diào)整為300 ×300,批尺寸(Batchsize)設置為32。訓練完成后對各個網(wǎng)絡模型的目標檢測準確性和損失值進行對比,各個網(wǎng)絡結(jié)構(gòu)訓練過程中損失值的變化如圖7所示,其中縱坐標為損失值,橫坐標為訓練的迭代次數(shù),各個網(wǎng)絡結(jié)構(gòu)訓練過程中準確率的變化如圖8所示,其中縱坐標為準確率,橫坐標為訓練的迭代次數(shù)。

圖7 網(wǎng)絡的損失值的變化

圖8 網(wǎng)絡的準確率的變化

從圖7 中可以看出,loss 值隨著訓練的迭代次數(shù)增加逐漸減少,一直到loss 值幾乎不變的時候,表明訓練已經(jīng)達到最優(yōu)值,可以停止訓練。圖8 可以看出MobieNet-SSD 與AtDS-SSD 的準確率都低于VGG-SSD 網(wǎng)絡,是因為VGG-SSD 進行檢測分類的最大特征張量的尺寸是30 ×30,而MobieNet-SSD 與AtDS-SSD 進行檢測分類的最大特征張量的尺寸是19 ×19,所以對小目標分類檢測更加弱,準確率有所下降,但實時性增強,速率更快。同時AtDS-SSD 相比較于MobileNet-SSD,通過結(jié)合通道注意力模塊增強了高層特征語義消息,補償了由于參數(shù)計算量的減少帶來的精度損失。

2.2 模型目標檢測對比

本實驗在NVIDIA RTX 2080Ti 上分別使用VGG-SSD 神經(jīng)網(wǎng)絡、輕量級神經(jīng)網(wǎng)絡MobileNet-SSD和結(jié)合通道注意力機制和深度可分離卷積的AtDSSSD 神經(jīng)網(wǎng)絡對PASCAL VOC 2007 測試數(shù)據(jù)集進行目標檢測并比較。在目標檢測中,通常采用平均精度均值(mean average precision,mAP)指標對精度進行評估,實驗結(jié)果如表2 所示。從檢測結(jié)果可以看出,本文提出的AtDS-SSD 網(wǎng)絡模型在目標檢測的平均精度均值上相較于VGG-SSD 網(wǎng)絡降低了11.02%,但是相較于MobieNet-SSD 網(wǎng)絡,AtDS-SSD的準確率提升了1.2%。

表2 VOC 測試集中部分目標檢測的平均準確率

此外,為檢測算法的實時性,本文對比了VGGSSD、MobileNet-SSD 和AtDS-SSD 卷積神經(jīng)網(wǎng)絡的檢測速度,具體檢測結(jié)果如表3 所示。由于VGG-SSD在實時性效果上遠低于其他兩個網(wǎng)絡,因此不適合將其移植到FPGA 上。而結(jié)合注意力機制與可分離卷積的AtDS-SSD 卷積神經(jīng)網(wǎng)絡在檢測速度上可以滿足實時性需求,且在精度上相較于MobileNet-SSD網(wǎng)絡略有優(yōu)化,使其實時性和檢測精度達到了更好的平衡,適用于邊緣端設備進行目標檢測。

表3 VOC 測試集中檢測速率對比

2.3 AtDS-SSD 在不同平臺的性能比較

本實驗對AtDS-SSD 在NVIDIA RTX 2080Ti 和ZCU 102 上的運行結(jié)果進行討論。

首先在不同硬件平臺上對AtDS-SSD 神經(jīng)網(wǎng)絡進行功能驗證。功能驗證主要是將ZCU 102 上計算得到的預測數(shù)據(jù)與NVIDIA RTX 2080Ti 上計算得到的預測數(shù)據(jù)進行對比,保證網(wǎng)絡模型的輸出能達到目標檢測的基本功能。

本實驗針對單目標檢測和多目標檢測都進行了功能驗證。單目標結(jié)果如圖9 所示。圖9(a)為單目標在NVIDIA RTX 2080Ti 上的檢測結(jié)果,目標位置檢測精準且分類正確,置信度為87.0%;圖9(b)為單目標在ZCU 102 上的檢測結(jié)果,目標位置檢測精準且其分類正確,置信度為80.8%,結(jié)果與NVIDIA RTX 2080Ti 相差不大。多目標檢測如圖10所示。圖10(a)為多目標在NVIDIA RTX 2080Ti 上的檢測結(jié)果,目標位置檢測精準且其分類正確;圖10(b)為多目標在ZCU 102 上的檢測結(jié)果,目標位置檢測精準且其分類正確,但是置信度略低于NVIDIA RTX 2080Ti 的運行結(jié)果。上述結(jié)果表明,在NVIDIA RTX 2080Ti 與ZCU 102 上運行最后的檢測結(jié)果產(chǎn)生的偏差不影響最終結(jié)果的呈現(xiàn)。

圖9 單目標檢測結(jié)果

圖10 多目標檢測結(jié)果

本實驗對AtDS-SSD 神經(jīng)網(wǎng)絡在NVIDIA RTX 2080Ti 和ZCU 102 上的性能和功耗進行測量與對比,其結(jié)果如表4 所示。在NVIDIA RTX 2080Ti 上進行目標檢測需要的功耗為77 W,而在ZCU 102 上進行測試,功耗為8.56 W,設計功耗低,非常適合用于邊緣端設備處理實時目標檢測。而且在ZCU 102上使用多線程模式對輸入圖像進行測試時,幀率達到311.7 fps,高于NVIDIA RTX 2080Ti 平臺。

表4 GPU 和FPGA 性能對比

3 結(jié)論

本文提出了結(jié)合通道注意力機制與深度可分離卷積的AtDS-SSD 網(wǎng)絡,減少了計算復雜度,增強了高層特征圖的語義信息。提出了一種對基于FPGA的算法網(wǎng)絡原始模型進行量化編譯方案,將本文算法移植到FPGA 上,相較于現(xiàn)有邊緣實時目標檢測系統(tǒng),綜合兼顧了目標檢測的實時性和準確性,使得2 種參數(shù)得到了更好提升,且降低了功耗,提高了計算能效。實驗結(jié)果表明,本文對視頻實時目標檢測的優(yōu)化與實現(xiàn)滿足了邊緣端設備計算實時性的要求,同時也解決了功耗問題。