施立瑞 王帥帥 肖昊

摘要：卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于航空?qǐng)D像目標(biāo)檢測(cè)領(lǐng)域。然而，由于航空?qǐng)D像成像背景環(huán)境復(fù)雜、目標(biāo)尺寸小且方向任意，為了提取更高層次的特征信息，神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)復(fù)雜度不斷提高，使得模型計(jì)算復(fù)雜度高、計(jì)算時(shí)間長(zhǎng)，從而難以滿足航空目標(biāo)檢測(cè)的實(shí)時(shí)性需求。本文提出了一種面向航空目標(biāo)檢測(cè)的基于Winograd算法的神經(jīng)網(wǎng)絡(luò)加速器，通過(guò)Winograd卷積算法可大幅減少卷積計(jì)算中的乘法數(shù)量，并針對(duì)Winograd卷積在神經(jīng)網(wǎng)絡(luò)計(jì)算中由于時(shí)域變換引入額外加法計(jì)算的問(wèn)題，提出了一種深流水的矩陣變換計(jì)算結(jié)構(gòu)，通過(guò)復(fù)用加法計(jì)算的中間結(jié)果以及調(diào)整運(yùn)算順序減少輸入和輸出變換的計(jì)算量。同時(shí)，針對(duì)加速器的現(xiàn)場(chǎng)可編程門陣列（FPGA）實(shí)現(xiàn)，提出了一種高效的數(shù)據(jù)流形式和DSP陣列結(jié)構(gòu)。試驗(yàn)結(jié)果表明，本文提出的加速器相比CPU和GPU分別獲得了32倍和2.6倍的速度提升。

關(guān)鍵詞：目標(biāo)檢測(cè)；卷積神經(jīng)網(wǎng)絡(luò)；加速器；Winograd算法；FPGA

中圖分類號(hào)：TP183文獻(xiàn)標(biāo)識(shí)碼：ADOI：10.19452/j.issn1007-5453.2022.05.013

近年來(lái)，航空?qǐng)D像數(shù)據(jù)分析需求大幅增加，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）由于其優(yōu)越的性能被廣泛應(yīng)用于航空目標(biāo)檢測(cè)[1-5]。然而，由于航空?qǐng)D像成像背景環(huán)境復(fù)雜、目標(biāo)尺寸小且方向任意，為了獲取更高的預(yù)測(cè)準(zhǔn)確率，神經(jīng)網(wǎng)絡(luò)模型層數(shù)逐漸加深，結(jié)構(gòu)更加復(fù)雜，使得模型計(jì)算復(fù)雜度高、計(jì)算時(shí)間長(zhǎng)，從而難以滿足航空目標(biāo)檢測(cè)中實(shí)時(shí)性的需求。因此，如何根據(jù)遙感圖像快速檢測(cè)目標(biāo)成為一項(xiàng)巨大的挑戰(zhàn)。

大量研究從軟硬件方面優(yōu)化提升航空?qǐng)D像目標(biāo)檢測(cè)速度。在軟件算法優(yōu)化方面，參考文獻(xiàn)[6]和文獻(xiàn)[7]通過(guò)提出輕量級(jí)網(wǎng)絡(luò)模型減少網(wǎng)絡(luò)參數(shù)和計(jì)算復(fù)雜度。參考文獻(xiàn)[6]提出了一種壓縮MobileNet網(wǎng)絡(luò)模型，在特征映射下采樣階段減少瓶頸架構(gòu)數(shù)量，但在特征映射平臺(tái)階段增加更多瓶頸，從而減少網(wǎng)絡(luò)參數(shù)，縮短推理時(shí)間并提高預(yù)測(cè)準(zhǔn)確性。參考文獻(xiàn)[7]提出了一種輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型G-YOLOv3，其主要構(gòu)件為嵌套殘差塊，每個(gè)殘差塊中都包含了本征特征圖與相似特征圖，且殘差塊中添加注意力機(jī)制，增強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力，從而降低網(wǎng)絡(luò)所需參數(shù)和計(jì)算復(fù)雜度，提升目標(biāo)檢測(cè)速度。在硬件加速方面，參考文獻(xiàn)[8]在MPSOC硬件平臺(tái)對(duì)網(wǎng)絡(luò)計(jì)算進(jìn)行硬件加速，通過(guò)豐富的可編程邏輯資源提升計(jì)算并行度，縮短網(wǎng)絡(luò)計(jì)算時(shí)間。然而，上述加速目標(biāo)檢測(cè)的方法均基于傳統(tǒng)卷積計(jì)算，而在航空目標(biāo)檢測(cè)中用來(lái)提取特征值的卷積神經(jīng)網(wǎng)絡(luò)占據(jù)了網(wǎng)絡(luò)推斷階段70%以上的時(shí)間[6，9]，傳統(tǒng)卷積由于高計(jì)算復(fù)雜度成為限制目標(biāo)檢測(cè)速度的瓶頸。因此，本文提出了一種面向航空目標(biāo)檢測(cè)的基于Winograd算法的神經(jīng)網(wǎng)絡(luò)加速器設(shè)計(jì)，包括：（1）對(duì)航空目標(biāo)檢測(cè)網(wǎng)絡(luò)中的基干網(wǎng)絡(luò)部分進(jìn)行硬件加速，通過(guò)Winograd算法降低了卷積計(jì)算的復(fù)雜度，與傳統(tǒng)卷積相比減少了75%的乘法計(jì)算，同時(shí)提出了一種深流水結(jié)構(gòu)的矩陣變換方法，優(yōu)化Winograd算法中的加法計(jì)算，與直接Winograd計(jì)算相比減少了18.75%的輸入變換計(jì)算量和至少76.19%的輸出變換計(jì)算量；（2）在FPGA平臺(tái)加速卷積神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)了一種高效的DSP陣列結(jié)構(gòu)和數(shù)據(jù)流方式，大幅提高DSP的計(jì)算效率。本文提出的加速器相比CPU和GPU分別獲得了32倍和2.6倍的速度提升。

1目標(biāo)檢測(cè)網(wǎng)絡(luò)

1.1網(wǎng)絡(luò)結(jié)構(gòu)

航空目標(biāo)檢測(cè)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示，整體分為基干網(wǎng)絡(luò)和檢測(cè)網(wǎng)絡(luò)兩個(gè)部分。其中，基干網(wǎng)絡(luò)主要完成圖片特征值提取的功能，檢測(cè)網(wǎng)絡(luò)根據(jù)基干網(wǎng)絡(luò)提取的特征對(duì)特定目標(biāo)進(jìn)行檢測(cè)。由于航空?qǐng)D像成像背景復(fù)雜且目標(biāo)尺度較小，為了提取更高層次的特征信息，獲得更高的準(zhǔn)確率，基干網(wǎng)絡(luò)采用深層卷積神經(jīng)網(wǎng)絡(luò)獲取有效特征。其中，卷積計(jì)算示意圖如圖2所示，每個(gè)通道上的卷積核分別與對(duì)應(yīng)通道上的輸入數(shù)據(jù)相同大小的區(qū)域進(jìn)行乘累加運(yùn)算，每個(gè)通道上的乘累加后的結(jié)果相加得到輸出數(shù)據(jù)中的一個(gè)值，接著卷積核以一定的步長(zhǎng)不斷滑動(dòng)得到所有的輸出數(shù)據(jù)。可見(jiàn)，傳統(tǒng)卷積的滑窗計(jì)算方式計(jì)算復(fù)雜度高，因此，本文引入Winograd算法，利用圖像像素點(diǎn)之間的結(jié)構(gòu)相似性，將滑窗卷積變?yōu)榫仃圏c(diǎn)乘運(yùn)算，大幅降低了卷積運(yùn)算中乘法計(jì)算的數(shù)量。

1.2 Winograd算法

Winograd算法[10]由數(shù)學(xué)家Winograd于1980年提出，用于信號(hào)處理中的卷積操作。以一維Winograd卷積為例，記輸出尺寸為m，卷積核尺寸為r的卷積計(jì)算為F（m，r），d為輸入數(shù)據(jù)，g為卷積核數(shù)據(jù)，我們通過(guò)一組具體的計(jì)算闡述 Winograd卷積原理。

將Winograd卷積應(yīng)用到CNN中的計(jì)算流程圖如圖3所示。第一階段，將輸入特征圖和卷積核數(shù)據(jù)從時(shí)域轉(zhuǎn)換到Winograd域；第二階段，變換后的輸入特征圖和卷積核執(zhí)行矩陣點(diǎn)乘計(jì)算；第三階段，各通道間的卷積結(jié)果執(zhí)行累加；第四階段，將Winograd域的卷積結(jié)果變換到時(shí)域。其中，第三階段和第四階段的執(zhí)行順序不影響最終卷積結(jié)果。

2 CNN加速器設(shè)計(jì)

2.1目標(biāo)檢測(cè)系統(tǒng)架構(gòu)

航空目標(biāo)檢測(cè)系統(tǒng)架構(gòu)如圖4所示，基干網(wǎng)絡(luò)部分采用FPGA加速，檢測(cè)網(wǎng)絡(luò)在主機(jī)完成。其中，加速器主要由輸入特征圖緩存、權(quán)重緩存、輸入特征圖變換、并行計(jì)算單元（PE）、輸出特征圖緩存組成。由于神經(jīng)網(wǎng)絡(luò)參數(shù)量巨大而片上存儲(chǔ)資源有限，外部存儲(chǔ)器中的數(shù)據(jù)將根據(jù)運(yùn)算階段分批次加載到片上緩存中。其中，權(quán)重變換在片外預(yù)處理完成，片上緩存接收到的不再是原始權(quán)重?cái)?shù)據(jù)而是轉(zhuǎn)換后的數(shù)據(jù)。多個(gè)輸入特征圖轉(zhuǎn)換模塊并行處理多通道輸入數(shù)據(jù)，多個(gè)PE單元并行處理多個(gè)卷積核上的卷積，二者并行度可根據(jù)不同硬件平臺(tái)的資源進(jìn)行調(diào)整。在輸出變換中，PE單元循環(huán)復(fù)用多次，完成所有通道卷積和累加后再執(zhí)行輸出變換，與參考文獻(xiàn)[11]相比，輸出變換的運(yùn)算量?jī)H為前者的1/N，N為輸入通道數(shù)。由于片上存儲(chǔ)資源有限，當(dāng)輸出特征圖緩存中積累了一定數(shù)據(jù)后，通過(guò)訪存控制傳輸?shù)狡獯鎯?chǔ)器中。當(dāng)加速器完成特征值提取后，將數(shù)據(jù)傳到主機(jī)進(jìn)行檢測(cè)網(wǎng)絡(luò)計(jì)算，實(shí)現(xiàn)完整目標(biāo)檢測(cè)功能。

2.2輸入/輸出特征圖轉(zhuǎn)換

2.3 PE單元

PE單元執(zhí)行的功能是對(duì)轉(zhuǎn)換后的輸入特征圖和權(quán)重進(jìn)行點(diǎn)乘計(jì)算，如何合理地部署DSP資源是PE單元性能的關(guān)鍵。現(xiàn)有設(shè)計(jì)僅使用DSP中的乘法器處理乘法計(jì)算，而DSP中除乘法器外還包含加法器等豐富的計(jì)算資源。因此，本文提出了一種高效的DSP計(jì)算數(shù)據(jù)流形式和通道間級(jí)聯(lián)的DSP陣列結(jié)構(gòu)。

DSP內(nèi)部的計(jì)算結(jié)構(gòu)和數(shù)據(jù)流安排如圖7所示，單個(gè)DSP中計(jì)算兩個(gè)卷積核和輸入特征圖的卷積操作。輸入特征圖固定從A端口輸入，兩個(gè)卷積核的權(quán)重?cái)?shù)據(jù)分別固定從B端口和D端口輸入，兩個(gè)卷積核復(fù)用輸入特征圖，通過(guò)控制DSP的配置參數(shù)使其乘法器執(zhí)行A×B和A×D的乒乓操作。同時(shí)，加法器乒乓執(zhí)行A×B和A×D的計(jì)算結(jié)果與其各自上一通道結(jié)果的累加。圖8展示了DSP間級(jí)聯(lián)的陣列結(jié)構(gòu)，其中，Wa，b表示第a個(gè)卷積核的第b個(gè)通道的權(quán)重?cái)?shù)據(jù)，indata_m為輸入特征圖第m個(gè)通道數(shù)據(jù)。Psum、psum分別為上一循環(huán)和當(dāng)前的部分和結(jié)果。級(jí)聯(lián)結(jié)構(gòu)主要用來(lái)處理通道間累加，級(jí)聯(lián)的首個(gè)DSP從C口輸入上一通道的結(jié)果，其余DSP從PCIN口級(jí)聯(lián)輸入上一通道的結(jié)果，最后輸出兩個(gè)通道的部分和（psum）結(jié)果。PE單元包含多組級(jí)聯(lián)的DSP組，假設(shè)有M組DSP組，N個(gè)輸入通道，Z個(gè)卷積核，循環(huán)復(fù)用計(jì)算單元N/M次完成單個(gè)卷積核的計(jì)算，單次循環(huán)的最后一組DSP的輸出保存在RAM中參與下一次循環(huán)計(jì)算，直至完成所有通道的累加。

DSP的數(shù)據(jù)流安排使得DSP的計(jì)算效率在計(jì)算過(guò)程中提高了4倍；DSP級(jí)聯(lián)的陣列結(jié)構(gòu)與參考文獻(xiàn)[11]中單獨(dú)設(shè)置加法單元方法相比，減少了累加計(jì)算周期。同時(shí)，充分利用了DSP中的計(jì)算資源，從而節(jié)省了片上LUT資源。

2.4雙緩沖區(qū)緩存單元

由于神經(jīng)網(wǎng)絡(luò)參數(shù)量龐大，減少數(shù)據(jù)傳輸時(shí)間是加速器性能提升的關(guān)鍵。本文采用圖9所示雙緩沖區(qū)結(jié)構(gòu)對(duì)數(shù)據(jù)進(jìn)行乒乓讀寫，隱藏了從片外緩存數(shù)據(jù)與片上計(jì)算之間的延時(shí)。

在F（m2，r2）的二維Winograd卷積中，輸入塊的大小為n×n，相鄰輸入塊之間重疊r-1個(gè)像素點(diǎn)，為了在讀取輸入圖分塊時(shí)復(fù)用重疊數(shù)據(jù)，在緩存單元中，設(shè)計(jì)時(shí)將輸入特征圖按行存儲(chǔ)在RAM中。首先在n個(gè)RAM中分別存儲(chǔ)輸入特征圖的n行數(shù)據(jù)，然后計(jì)算模塊開(kāi)始從緩沖區(qū)讀取輸入特征圖塊開(kāi)始計(jì)算，同時(shí)，緩沖區(qū)的（n- r+1）個(gè)RAM繼續(xù)接收來(lái)自片外的輸入特征圖數(shù)據(jù)。

當(dāng)緩沖區(qū)中的前n行數(shù)據(jù)由計(jì)算單元讀取完成之后，重新從片外緩存（n- r+1）行輸入特征圖數(shù)據(jù)，此時(shí)計(jì)算單元從后n個(gè)RAM中讀取數(shù)據(jù)，實(shí)現(xiàn)乒乓讀寫。該方法在復(fù)用輸入數(shù)據(jù)的同時(shí)使得數(shù)據(jù)緩存單元和計(jì)算單元一直處于工作狀態(tài)，有效減少了加速器整體運(yùn)行時(shí)間。

3試驗(yàn)與結(jié)果分析

為驗(yàn)證本文提出的基于Winograd算法的神經(jīng)網(wǎng)絡(luò)加速器的綜合性能，試驗(yàn)選用經(jīng)典VGG16網(wǎng)絡(luò)模型作為航空目標(biāo)檢測(cè)的基干網(wǎng)絡(luò)，SSD網(wǎng)絡(luò)模型作為檢測(cè)網(wǎng)絡(luò)，并在Xilinx VCU118硬件平臺(tái)部署基干網(wǎng)絡(luò)部分CNN加速器，模型檢測(cè)結(jié)果如圖10所示。

將本文設(shè)計(jì)的加速器部署在FPGA上的推理延時(shí)與CPU、GPU上運(yùn)行結(jié)果做對(duì)比見(jiàn)表2，其中，CPU采用Intel i5-4590處理器，GPU采用NVIDIA RTX2070super。相比CPU和GPU，本文加速器分別獲得了32倍和2.6倍的速度提升。

表3評(píng)估了設(shè)計(jì)的硬件資源使用率、吞吐量、運(yùn)行時(shí)間等性能指標(biāo)。參考文獻(xiàn)[5]加速器采用傳統(tǒng)卷積計(jì)算，在硬件資源占用率相近的情況下，本文基于Winograd算法的加速器，相比參考文獻(xiàn)[12]節(jié)省了60.1%的網(wǎng)絡(luò)推斷時(shí)間。參考文獻(xiàn)[13]和文獻(xiàn)[[11]與本文卷積算法相同。其中，參考文獻(xiàn)[13]在Winograd卷積計(jì)算階段將輸出變換應(yīng)用在通道累加之前，相比本文增加了71%的冗余計(jì)算。因而，在吞吐量相近的情況下，本文的加速器計(jì)算延時(shí)減少了31.5%。本文相比參考文獻(xiàn)[11]增加了不到一倍的DSP資源而計(jì)算延時(shí)僅為其一半不到。在LUT資源占用上，由于本文優(yōu)化了變換階段的計(jì)算（主要由LUT實(shí)現(xiàn)），與參考文獻(xiàn)[9]和文獻(xiàn)[11]相比分別減少了20.1%和25.7%。經(jīng)上述分析可見(jiàn)，本文加速器加速效果更佳。

4結(jié)束語(yǔ)

本文提出了一種基于航空目標(biāo)檢測(cè)的神經(jīng)網(wǎng)絡(luò)加速器，通過(guò)Winograd卷積算法大幅減少卷積計(jì)算中的乘法數(shù)量，并針對(duì)當(dāng)前Winograd卷積在CNN計(jì)算中由于時(shí)域變換引入額外加法計(jì)算的問(wèn)題，提出了一種深流水的矩陣變換計(jì)算結(jié)構(gòu)，通過(guò)復(fù)用加法計(jì)算的中間結(jié)果以及調(diào)整運(yùn)算順序減少輸入變換和輸出變換的計(jì)算量。同時(shí)，針對(duì)加速器的FPGA實(shí)現(xiàn)，提出了一種高效的數(shù)據(jù)流形式和DSP陣列結(jié)構(gòu)。試驗(yàn)結(jié)果表明，本文的加速器吞吐量更高、計(jì)算延時(shí)更短。

參考文獻(xiàn)

[1]Yi J，Wu P，Liu B，et al. Oriented object detection in aerial images with box boundary-aware vectors[C]// 2021 IEEE Winter Conference on Applications of Computer Vision（WACV），2021：2149-2158.

[2]Kovbasiuk S，Kanevskyy L，Romanchuk M.Object detection method based on aerial image instance segmentation by unmanned aerial system in the framework of decision making system[C]// 2019 3rd International Conference on Advanced Infor-mation and Communications Technologies（AICT），2019：332-335.

[3]趙文清，孔子旭，周震東，等.增強(qiáng)小目標(biāo)特征的航空遙感目標(biāo)檢測(cè)[J].中國(guó)圖象圖形學(xué)報(bào)，2021，26（3）：644-653. Zhao Wenqing， Kong Zixu， Zhou Zhendong， et al. Aerial remote sensing target detection with enhanced small target features[J]. Chinese Journal of Image and Graphics， 2021，26（3）：644-653. （in Chinese）

[4]何曉驍，姚呈康.人工智能等新技術(shù)在航空訓(xùn)練中的應(yīng)用研究[J].航空科學(xué)技術(shù)，2020，31（10）：7-11. He Xiaoxiao， Yao Chengkang. Research on the application of new technologies such as artificial intelligence in aviation training[J]. Aeronautical Science & Technology， 2020，31（10）：7-11. （in Chinese）

[5]鄧偉偉，段朝陽(yáng).人工智能在導(dǎo)彈控制系統(tǒng)中的應(yīng)用[J].航空科學(xué)技術(shù)，2020，31（10）：30-35. Deng Weiwei， Duan Chaoyang. Application of artificial intelligence in missile control system[J]. Aeronautical Science& Technology，2020，31（10）：30-35. （in Chinese）

[6]He Y，Pan Z，Li L，et al. Real-time vehicle detection from shortrange aerial image with compressed mobileNet[C]//2019 International Conference on Robotics and Automation（ICRA），2019：8339-8345.

[7]聶子一，張璞.輕量級(jí)神經(jīng)網(wǎng)絡(luò)與遙感圖像目標(biāo)檢測(cè)[J].電子制作，2021（18）：54-55，62. Nie Ziyi， Zhang Pu. Lightweight neural network and remote sensing image target detection[J] .Electronic Production， 2021（18）： 54-55， 62. （in Chinese）

[8]任彬，王宇慶，叢振，等.基于MPSOC的航空?qǐng)D像目標(biāo)檢測(cè)系統(tǒng)設(shè)計(jì)[J].液晶與顯示，2021，36（7）：1006-1017. Ren Bin， Wang Yuqing， Cong Zhen， et al. Design of aerial image target detection system based on MPSOC[J]. Liquid Crystal and Display， 2021，36（7）：1006-1017. （in Chinese）

[9]Ichim L，Popescu D. Road detection and segmentation from aerial images using a CNN based system[C]//2018 41st International Conference on Telecommunications and Signal Pro‐cessing（TSP），2018：1-5.

[10]WinogradS. Arithmeticcomplexityofcomputations[J]. Society for Industrial & Applied Mathematics Philadelphia，1980，43（2）：625-633.

[11]Liang Y，Lu L，Xiao Q，et al. Evaluating fast algorithms for convolutional neural networks on FPGAs[C]//IEEE Transac‐tions on Computer-Aided Design of Integrated Circuits and Systems，2020，9（4）：857-870.

[12]Yuan T，Liu W，Han J，et al. High performance CNN accelerators based on hardware and algorithm co-optimization[C]//IEEE Transac-tions on Circuits and Systems I：Regular Papers，2021，68（1）：250-263.

[13]Shen J，Huang Y，Wen M，et al. Toward an efficient deep pipelined template-based architecture for accelerating the entire 2D and 3D CNNs on FPGA[C]//IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems，2020，1442-1455.

Design of Neural Network Accelerator for Aeronautical Target Detection

Shi Lirui，Wang Shuaishuai，Xiao Hao

Hefei University of Technology，Hefei 230000，China

Abstract： Convolutional neural networks are widely used in the field of object detection in aerial images. However， in order to extract higher-level feature information of small size and arbitrary direction target in complex background environment， the structural complexity of the neural network model continues to increase， which makes the model computationally complex and time-consuming. So it is difficult to satisfy real-time requirements in aerial target detection. This paper proposes a neural network accelerator based on the Winograd algorithm for aerial target detection. The Winograd convolution algorithm greatly reduces the number of multiplications in the convolution calculation. However， there are many additional calculations in transforming input data and filter to Winograd domain in current Winograd convolution. To addresses this problem， a deep pipeline calculation structure of matrix transformation is proposed， which reduces the calculation amount of input transformation and output transformation by reusing the intermediate results of addition calculation and adjusting the operation order. At the same time， for the field programmable gate array （FPGA） implementation of the accelerator， an efficient data flow format and DSP array structure are proposed. The experimental results show that the accelerator proposed in this paper achieves a speed improvement of 32 times and 2.6 times compared to CPU and GPU respectively.

Key Words： target detection； convolutional neural network； accelerator； Winograd algorithm； FPGA