摘? 要：目標(biāo)檢測(cè)作為計(jì)算機(jī)視覺技術(shù)的基礎(chǔ)任務(wù)，在智慧醫(yī)療、智能交通等生活場(chǎng)景中應(yīng)用廣泛。深度學(xué)習(xí)具有高類別檢測(cè)精度、高精度定位的優(yōu)勢(shì)，是當(dāng)前目標(biāo)檢測(cè)的研究重點(diǎn)。由于卷積神經(jīng)網(wǎng)絡(luò)計(jì)算復(fù)雜度高、內(nèi)存要求高，使用CPU實(shí)現(xiàn)的設(shè)計(jì)方案已經(jīng)難以滿足實(shí)際應(yīng)用的需求?，F(xiàn)場(chǎng)可編程邏輯門陣列（FPGA）具有可重構(gòu)、高能效、低延遲的特點(diǎn)。研究圍繞FPAG硬件設(shè)計(jì)，選取了YOLOv2算法，并針對(duì)該算法設(shè)計(jì)了對(duì)應(yīng)的硬件加速器，實(shí)現(xiàn)了基于FPGA的目標(biāo)檢測(cè)。

關(guān)鍵詞：YOLO；FPGA；目標(biāo)檢測(cè)；深度學(xué)習(xí)

中圖分類號(hào)：TP391.4? 文獻(xiàn)標(biāo)識(shí)碼：A? ? 文章編號(hào)：2096-4706（2023）07-0101-04

Abstract： As a basic task of computer vision technology， object detection is widely used in smart medicine， intelligent transportation and other life scenes. Deep Learning nowadays becomes the research focus of object detection for its advantages of high precision in class detection and positioning. Due to the great computational complexity and memory requirements， the design scheme implemented by using the CPU has been difficult to meet the needs of practical application. FPGA has the characteristics of reconfigurability， high energy efficiency and low latency. The research focuses on the FPGA hardware design， selects the YOLOv2 algorithm， designs the corresponding hardware accelerator in terms of the algorithm， and realizes the object detection based on FPGA.

Keywords： YOLO; FPGA; object detection; Deep Learning

0? 引? 言

目標(biāo)檢測(cè)技術(shù)是計(jì)算級(jí)視覺任務(wù)中的關(guān)鍵技術(shù)，不僅需要對(duì)目標(biāo)物體進(jìn)行分類，同時(shí)需要準(zhǔn)確定位目標(biāo)物體，一般用紅框標(biāo)注[1]。

機(jī)器學(xué)習(xí)技術(shù)在目標(biāo)檢測(cè)中的廣泛應(yīng)用大大提高了計(jì)算精度。深度學(xué)習(xí)方法相比傳統(tǒng)算法優(yōu)勢(shì)明顯，為目標(biāo)檢測(cè)算法的研究開辟了新的路徑。目前檢測(cè)技術(shù)主要分為兩種。One-stage的方法對(duì)于輸入的網(wǎng)絡(luò)能夠直接回歸得出目標(biāo)的位置和類別，但可能會(huì)損失部分精度。Two-stage的方法是首先在圖像上畫出目標(biāo)框即目標(biāo)物體的候選區(qū)域，再計(jì)算得到分類與定位[2]。本研究使用的YOLOv2[3]算法是一種One-stage的方法。

隨著深度學(xué)習(xí)技術(shù)研究的浪潮，復(fù)雜、抽象的問題和大量的數(shù)據(jù)使得深度學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)變得更加復(fù)雜，帶來了巨大的計(jì)算量和極高的內(nèi)存需求[4，5]。在這種情況下，如何在保持低功耗的同時(shí)使算法實(shí)際應(yīng)用中具有高速度，逐漸成為研究和討論的熱點(diǎn)。目前，GPU、ASIC和FPGA是深度學(xué)習(xí)算法加速設(shè)計(jì)的主流研究方向[3]。GPU在深度學(xué)習(xí)算法中的加速優(yōu)勢(shì)已得到廣泛驗(yàn)證，但功耗非常高。ASIC芯片功耗低，但在實(shí)際應(yīng)用中機(jī)器學(xué)習(xí)任務(wù)有很多變化，ASIC相應(yīng)的研發(fā)成本非常高。FPGA的功耗比GPU低幾十倍甚至數(shù)百倍。在FPGA上部署深度學(xué)習(xí)算法可以在毫秒級(jí)更新邏輯，其靈活性更適合迭代深度學(xué)習(xí)算法，以節(jié)省開發(fā)成本。FPGA是深度學(xué)習(xí)的理想硬件加速選擇[6，7]。

1? YOLO算法

傳統(tǒng)的目標(biāo)檢測(cè)算法[1]主要包括以下三步：區(qū)域選擇、特征提取、分類。區(qū)域的確定一般使用滑動(dòng)窗口的方法，因此這一步驟產(chǎn)生大量冗余窗口，對(duì)算法的效率有一定影響。特征將會(huì)從所產(chǎn)生的候選區(qū)域中被提取，在深度學(xué)習(xí)算法被廣泛應(yīng)用之前，這一步驟往往由手工進(jìn)行設(shè)計(jì)。常用的深度學(xué)習(xí)算法R-CNN主要使用了卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)行特征提取，并且能夠利用圖片的顏色、紋理、形狀等減少候選區(qū)域。使用這些能夠被計(jì)算機(jī)識(shí)別的特征，選擇合適的分類器，將得到物體的分類結(jié)果。

YOLO[3]（you only look once）算法和R-CNN的主要不同點(diǎn)在于這是一種基于回歸的方法，只使用一個(gè)卷積神經(jīng)網(wǎng)絡(luò)就可以得到類別和位置，即在獲得候選區(qū)域中的Bounding Box時(shí)也同時(shí)給出了包含對(duì)象的類別。目前，YOLO算法共發(fā)布了7個(gè)版本。YOLOv1是整個(gè)系列的核心和基石，后續(xù)版本是基于此版本的改進(jìn)。和YOLOv1相比，YOLOv2使用了全卷積網(wǎng)絡(luò)，并且使用了Anchorbox機(jī)制。它的卷積層增加了Batch Normalization層，對(duì)每層輸入的數(shù)據(jù)做批歸一化處理。卷積層從線性卷積與激活函數(shù)改進(jìn)為后來常用的線性卷積、BN層和激活函數(shù)。這些改進(jìn)使得該算法的檢測(cè)速度、精度、召回率有了明顯的提高。作者相較第一版本，設(shè)計(jì)了新的backbone網(wǎng)絡(luò)，包含19個(gè)卷積層，被命名為DarkNet19。YOLOv3和YOLOv2的基本思想是一樣的，其檢測(cè)精度雖然得到了提高，但損失了一定的計(jì)算速度。YOLOv4、YOLOv5網(wǎng)絡(luò)分支更多，在FPGA上實(shí)現(xiàn)有一定難度。考慮實(shí)際場(chǎng)景應(yīng)用，YOLOv2在實(shí)時(shí)目標(biāo)檢測(cè)方面更有優(yōu)勢(shì)，并且已在智慧交通、智能家居等領(lǐng)域取得了良好的應(yīng)用效果，本研究選擇了YOLOv2算法。

2? 針對(duì)YOLOv2的加速器設(shè)計(jì)

2.1? YOLOv2網(wǎng)絡(luò)加速框架設(shè)計(jì)

根據(jù)YOLOv2[3]網(wǎng)絡(luò)特點(diǎn)，設(shè)計(jì)了如圖1所示的加速器框架。該目標(biāo)檢測(cè)系統(tǒng)包含從圖像輸入到結(jié)果輸出的完整流程，由PC和FPGA共同組成，其中FPGA主要負(fù)責(zé)對(duì)神經(jīng)網(wǎng)絡(luò)計(jì)算部分的加速。

如圖所示，圖片的輸入、預(yù)處理及輸出部分對(duì)于計(jì)算的要求較低，這三部分均在PC端實(shí)現(xiàn)。Get_region_box 主要用于保存候選框Bounding Box的概率信息和坐標(biāo)信息，YOLOv2s使用了NMS非極大值抑制算法對(duì)這些Bounding Box進(jìn)行篩選后現(xiàn)實(shí)。結(jié)合整體計(jì)算量考慮，這兩部也在PC端實(shí)現(xiàn)。

YOLO網(wǎng)絡(luò)結(jié)構(gòu)中卷積層和池化層交替設(shè)置，其中卷積計(jì)算中主要包含3×3標(biāo)準(zhǔn)卷積和1×1point-wise卷積，占網(wǎng)絡(luò)總體計(jì)算量的90%以上。因此卷積層的計(jì)算是FPGA實(shí)現(xiàn)加速的重點(diǎn)環(huán)節(jié)。YOLOv2在池化層使用的是最大值池化方式，包括上采樣、下采樣、concat操作在內(nèi)的這些計(jì)算是一些輕量級(jí)的計(jì)算，因此池化層考慮在FPGA上僅做簡(jiǎn)單實(shí)現(xiàn)。加速器的設(shè)計(jì)核心是卷積計(jì)算加速。

2.2? 加速器硬件結(jié)構(gòu)

參考文獻(xiàn)[8]，F(xiàn)PGA的硬件結(jié)構(gòu)設(shè)計(jì)如圖2所示。這種結(jié)構(gòu)的設(shè)計(jì)主要是應(yīng)對(duì)卷積神經(jīng)網(wǎng)絡(luò)計(jì)算吞吐和內(nèi)存帶寬不匹配的問題。在數(shù)據(jù)傳輸部分，針對(duì)YOLOv2模型和FPGA的有限資源，權(quán)重及參數(shù)可以存儲(chǔ)在片外存儲(chǔ)器上[9，10]。對(duì)于輸入和輸出分別設(shè)置了雙緩沖區(qū)（Ping Pong FIFO），使用“乒一乓”的數(shù)據(jù)傳輸機(jī)制提高數(shù)據(jù)的傳輸效率。和一個(gè)緩沖區(qū)不同，一個(gè)緩沖區(qū)通常是是讀取當(dāng)前部分后才可以繼續(xù)傳輸下一部分，以避免讀取的錯(cuò)誤?！捌挂慌摇眰鬏攲?duì)于輸入輸出的分區(qū)能夠?qū)崿F(xiàn)一邊傳輸一邊讀取計(jì)算，因此也可以用計(jì)算時(shí)間覆蓋數(shù)據(jù)傳輸時(shí)間，減少整體的程序執(zhí)行時(shí)間。在計(jì)算部分使用了多個(gè)計(jì)算引擎（computeengines）并行執(zhí)行，不同的引擎可以用于計(jì)算不同的卷積。單個(gè)引擎的內(nèi)部是一個(gè)并行乘法單元和一個(gè)加法樹。加法樹的最下層為乘法單元，其余為多層加法器，分別用于并行計(jì)算卷積操作中的乘法運(yùn)算求和運(yùn)算。由此加速了網(wǎng)絡(luò)程序的計(jì)算速度，一定程度上緩解了內(nèi)存帶寬和計(jì)算吞吐不匹配的問題。

2.3? 卷積計(jì)算

YOLOv2以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，在卷積階段涉及了大量的乘法和加法的計(jì)算，該部分計(jì)算復(fù)雜度高，占了總計(jì)算量的90%以上。針對(duì)卷積計(jì)算，因?yàn)槠系挠?jì)算資源（DSP等）和存儲(chǔ)資源（BRAM等）的有限性，主要考慮采用循環(huán)分塊、循環(huán)展開技術(shù)實(shí)現(xiàn)并行計(jì)算，在循環(huán)的設(shè)計(jì)中，重點(diǎn)考慮了數(shù)據(jù)的復(fù)用，以提高加速器的性能。

針對(duì)1×1卷積，實(shí)際上是一個(gè)矩陣乘法，使用通用矩陣乘（GEMM）算法優(yōu)化加速，按照分塊矩陣乘法進(jìn)行設(shè)計(jì)。一個(gè)正常的矩陣乘法的時(shí)間復(fù)雜度是O（n3），最內(nèi)重循環(huán)每次需要訪問內(nèi)存4次。而使用GEMM算法，雖然不能夠減少計(jì)算量，但是能夠大大減少訪存次數(shù)，從而達(dá)到加速的效果。

直接使用暴力矩陣乘法及一次優(yōu)化的偽代碼如下。矩陣C為矩陣A、矩陣B的乘積，M、N、K分別是A、B矩陣的維度及其對(duì)應(yīng)的三層循環(huán)執(zhí)行次數(shù)。直接使用暴力乘法，內(nèi)存訪問操作總數(shù)為4 MNK，一次優(yōu)化后內(nèi)存訪問操作總數(shù)為2 MNK+2 MN。從偽代碼中，可以看出，主要原因是將C[m][n]放到了循環(huán)外面，計(jì)算了全部累和之后再對(duì)C賦值，從而減少了對(duì)C的訪存。

暴力乘法：

for （int m = 0; m < M; m++） {

for （int n = 0; n < N; n++） {

for （int k = 0; k < K; k++） {

C[m][n]+= A[m][k] * B[k][n];

}}}

一次優(yōu)化：

for （int m = 0; m < M; m++） {

for （int n = 0; n < N; n++） {

float temp = C[m][n];

for （int k = 0; k < K; k++） {

temp += A[m][k] * B[k][n];

}

C[m][n] = temp;

}}

繼續(xù)將輸出的C矩陣在N維度拆分，如拆成1×4的小塊，即使用A矩陣的一行和B矩陣的4列相乘，二次優(yōu)化偽代碼如下。因?yàn)樵谘h(huán)最內(nèi)側(cè)計(jì)算使用的矩陣A的元素是一致的，所以可以將A[m][k]讀取到寄存器中，實(shí)現(xiàn)4次數(shù)據(jù)復(fù)用。同理可以繼續(xù)拆解輸出的M維度，繼續(xù)減少輸入數(shù)據(jù)的訪存。

二次優(yōu)化：

for （int m = 0; m < M; m++） {

for （int n = 0; n < N; n += 4） {

float temp_m0n0 = C[m][n + 0];

float temp_m0n1 = C[m][n + 1];

float temp_m0n2 = C[m][n + 2];

float temp_m0n3 = C[m][n + 3];

for （int k = 0; k < K; k++） {

float temp = A[m][k];

temp_m0n0 += temp * B[k][n + 0];

temp_m0n1 += temp * B[k][n + 1];

temp_m0n2 += temp * B[k][n + 2];

temp_m0n3 += temp * B[k][n + 3];

}

C[m][n + 0] = temp_m0n0;

C[m][n + 1] = temp_m0n1;

C[m][n + 2] = temp_m0n2;

C[m][n + 3] = temp_m0n3;

}}

針對(duì)3×3標(biāo)準(zhǔn)卷積，主要考慮了輸入輸出通道的并行。輸入通道并行計(jì)算特征圖和權(quán)重，輸出通道并行計(jì)算輸出的的結(jié)果或者部分和假設(shè)并行度為tn，tm，3×3標(biāo)準(zhǔn)卷積層及展開后的偽代碼如下：

卷積層偽代碼：

for（r=0；r<R；r++） {

for（c=0；c<C；c++） {

for（to=0；to<M；to++） {

for（ti=0；ti<N；ti++） {

for（i=0；i<K；i++） {

for（j=0；i<K；j++）{

outpu_fm[to][r][c]+=

weights[to][ti][i][j]*

input_fm[ti][S*r+i][S*c+j];

} } } } } }

循環(huán)展開后偽代碼：

for（r=0；r<R；r++=tr） {

for（c=0；c<C；c++=tc） {

for（to=0；to<M；to++=tm） {

for（ti=0；ti<N；ti++=tn） {

for（tile_r=r；tile_r<min（r+tr，R）；tile_r++） {

for（tile_c=c；tile_c<min（c+tc，C）；tile_c++）{

for（tile_to=to；tile_to<min（to+tm，M）；tile_to++）{

for（tile_ti=ti；tile_ti<min（ti+tn，N）；tile_ti++）{

for（i=0；i<K；i++） {

for（j=0；i<K；j++）{

outpu_fm[to][r][c]+=

weights[to][ti][i][j]*

input_fm[ti][S*r+i][S*cl+j];

} } } } } } } } } }

2.4? 池化計(jì)算

YOLOv2的池化層使用的池化方法是最大池化（Max-Pooling），主要目的是通過僅保留主要原特征來減少神經(jīng)網(wǎng)絡(luò)的訓(xùn)練參數(shù)。因此在精度損失可接受的范圍內(nèi)能夠減少網(wǎng)絡(luò)的訓(xùn)練時(shí)間。設(shè)置步長(zhǎng)2，大小2×2的窗口滑動(dòng)，選取窗口中的最大值。最大池化層的計(jì)算與卷積層計(jì)算的循環(huán)結(jié)構(gòu)是類似的，但是卷積層中的乘法及加法運(yùn)算在池化層中是比較運(yùn)算，因此池化層計(jì)算量相較于卷積層大大減少。在加速器設(shè)計(jì)中，對(duì)池化層僅做簡(jiǎn)單設(shè)計(jì)。該部分逐行從上層的特征圖中讀取數(shù)據(jù)，等到緩存區(qū)填滿數(shù)據(jù)后，做并行化池化操作。

3? 實(shí)驗(yàn)及分析

3.1? 模型訓(xùn)練

研究選擇YOLOv2網(wǎng)絡(luò)對(duì)加速器進(jìn)行性能測(cè)試。在測(cè)試前，首先基于YOLOv2網(wǎng)絡(luò)訓(xùn)練得到了的口罩檢測(cè)模型，主要功能為判別人臉是否佩戴口罩。該模型使用了YOLOv2預(yù)訓(xùn)練的權(quán)重文件，結(jié)合補(bǔ)充的口罩?jǐn)?shù)據(jù)集（2 000張），在GPU上進(jìn)行二次訓(xùn)練得到。補(bǔ)充數(shù)據(jù)集使用了labeling標(biāo)注的VOC格式數(shù)據(jù)集用于訓(xùn)練，標(biāo)注范圍為整個(gè)頭部及少量肩膀上部分。該模型對(duì)于人臉的檢測(cè)準(zhǔn)確率為95%，對(duì)于佩戴口罩的人臉檢測(cè)準(zhǔn)確率為81%。

3.2? 實(shí)施過程

加速器測(cè)試平臺(tái)使用xilinx的PYNQ-Z2開發(fā)版，以ZYNQ FPGA為核心。該系列集成了FPGA和ARM，頂層封裝使用Python，支持Python進(jìn)行SoC編程。因此本研究無需設(shè)計(jì)可編程邏輯電路，采用Jupyter Notebook直接編輯工程代碼。CPU、GPU實(shí)驗(yàn)平臺(tái)參數(shù)如表1所示。主要實(shí)現(xiàn)方法如下：首先使用xilinx vivado HLS（High Level Synthesis）將c代碼轉(zhuǎn)換為Verilog代碼，生成IP核；其次在Vivado中導(dǎo)入IP核，生成bit流文件；使用Python語(yǔ)言操作輸入輸出、bit流文件的燒寫等。

該目標(biāo)檢測(cè)系統(tǒng)的實(shí)現(xiàn)主要分為，圖片預(yù)處理，網(wǎng)絡(luò)檢測(cè)（特征提取）以及圖片預(yù)測(cè)（結(jié)果輸出）。其中，圖片預(yù)處理及圖片預(yù)測(cè)部分在PC端實(shí)現(xiàn)，即由CPU完成。針對(duì)網(wǎng)絡(luò)檢測(cè)的加速部分，實(shí)驗(yàn)分別在FPGA及PC（CPU）上進(jìn)了比較測(cè)試。

圖片預(yù)處理主要包括三個(gè)步驟：統(tǒng)一圖片大小、歸一化RGB、壓縮數(shù)據(jù)精度。由Python編寫。對(duì)于輸入的大小不一的圖片，統(tǒng)一大小為416 px×416 px。歸一化RGB值的主要目的是用兩個(gè)字節(jié)表示一個(gè)像素值，消除像素受光照或陰影的影響。壓縮數(shù)據(jù)精度主要將32位浮點(diǎn)數(shù)轉(zhuǎn)換為16位定點(diǎn)數(shù)表達(dá)，損失了部分可以接受的精度，減少fpga片上存儲(chǔ)（BRAM）壓力。FPGA加速測(cè)試的網(wǎng)絡(luò)檢測(cè)部分由C語(yǔ)言編寫，圖片輸入大小設(shè)置為416×416，由于YOLOV2是對(duì)整張圖片進(jìn)行處理，因此對(duì)圖片進(jìn)行分割，網(wǎng)格大小設(shè)置為13×13，因此輸出cell數(shù)為13×13。由于FPGA片上存儲(chǔ)資源有限，因此實(shí)驗(yàn)需要對(duì)輸入數(shù)據(jù)進(jìn)行分塊，每次加載一塊數(shù)據(jù)到片上緩存。依次讀取tn×tm×batch像素對(duì)應(yīng)的權(quán)重文件到片上緩存，特征計(jì)算，完成一張輸出特征圖的計(jì)算再進(jìn)行輸出，直至所有特征圖全部輸出。YOLO網(wǎng)絡(luò)的計(jì)算結(jié)果即目標(biāo)檢測(cè)結(jié)果在Jupyter Notebook輸出。

測(cè)試結(jié)果表面，在FPGA上，單張圖片的前向推理時(shí)間為421.3 ms，相比PC（CPU0端1.44秒有明顯的加速效果，可以滿足目標(biāo)檢測(cè)的實(shí)時(shí)需求。

4? 結(jié)? 論

典型的深度學(xué)習(xí)目標(biāo)檢測(cè)算法計(jì)算量巨大，部署到資源有限的嵌入式系統(tǒng)中存在一定難度。YOLOv2算法在各個(gè)應(yīng)用領(lǐng)域都有著良好的應(yīng)用前景。研究首先介紹了YOLOv2算法，并針對(duì)該算法，設(shè)計(jì)了基于FPGA的加速器，并將模型部署到FPGA，得出了實(shí)驗(yàn)推理時(shí)間，證明了FPGA加速的有效性。

參考文獻(xiàn)：

[1] FANG L，HANGJIANG H E，ZHOU G. Research overview of object detection methods [J].Computer Engineering and Applications，2018，54（13）：11-18.

[2] 趙興博，陶青川.適用于FPGA的輕量實(shí)時(shí)視頻人臉檢測(cè) [J].現(xiàn)代計(jì)算機(jī)，2022，28（8）：1-8.

[3] REDMON J，DIVVALA S，GIRSHICK R，et al. You Only Look Once：Unified，Real-Time Object Detection [C]//IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas：IEEE，2016：779-778.

[4] 周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述 [J].計(jì)算機(jī)學(xué)報(bào)，2017，40（6）：1229-1251.

[5] 張珂，馮曉晗，郭玉榮，等.圖像分類的深度卷積神經(jīng)網(wǎng)絡(luò)模型綜述 [J].中國(guó)圖象圖形學(xué)報(bào)，2021，26（10）：2305-2325.

[6] 吳艷霞，梁楷，劉穎，等.深度學(xué)習(xí)FPGA加速器的進(jìn)展與趨勢(shì) [J].計(jì)算機(jī)學(xué)報(bào)，2019，42（11）：2461-2480.

[7] 劉騰達(dá)，朱君文，張一聞.FPGA加速深度學(xué)習(xí)綜述 [J].計(jì)算機(jī)科學(xué)與探索，2021，15（11）：2093-2104.

[8] ZHANG C，LI P，SUN G，et al. Optimizing FPGA-based Accelerator Design for Deep Convolutional Neural Networks [C]//the 2015 ACM/SIGDA International Symposium. Monterey：ACM，2015.

[9] 裴頌文，汪顯榮.YOLO檢測(cè)網(wǎng)絡(luò)的FPGA加速計(jì)算模型的研究 [J].小型微型計(jì)算機(jī)系統(tǒng)，2022，43（8）：1681-1686.

[10] 胡晶晶.基于FPGA的Faster-RCNN改進(jìn)算法實(shí)現(xiàn)目標(biāo)檢測(cè) [J].現(xiàn)代計(jì)算機(jī)，2021，27（30）：82-87.

作者簡(jiǎn)介：吳昱昊（1996—），女，漢族，浙江上虞人，助教，碩士研究生，研究方向：深度學(xué)習(xí)、社會(huì)網(wǎng)絡(luò)分析。