王偉偉，鄭芳只，王海娟，李 婷

（中國電子科技集團公司第五十二研究所，浙江 杭州 311100）

0 引言

目標識別是計算機視覺和數(shù)字圖像處理技術(shù)的重要應用方向，廣泛應用于機器人導航、智能視頻監(jiān)控、工業(yè)檢測、航空航天等諸多領(lǐng)域。隨著計算能力的發(fā)展，人工智能技術(shù)逐步應用到目標識別領(lǐng)域中來。目前國內(nèi)基于目標識別研究較多采用成熟的GPU（Graphics Processing Unit）平臺，應用嵌入式平臺推理端的研究不多。本文介紹一種目標識別推理平臺，適用于航空機載、海軍艦載以及陸軍戰(zhàn)車等推理環(huán)境下的自主識別應用。

1 目標識別推理平臺的發(fā)展趨勢

近年來，伴隨著人工智能和深度學習在目標檢測與識別領(lǐng)域的發(fā)展和應用，目標檢測識別技術(shù)得到了快速發(fā)展，檢測與識別算法發(fā)生了很大改變。深度學習算法已成為目前主流的目標檢測與識別算法。

隨著算法的改變，對底層硬件的需求也發(fā)生了很大變化，傳統(tǒng)的硬件架構(gòu)已無法支撐深度學習等大規(guī)模并行計算的需求。硬件架構(gòu)也由原來的CPU為主GPU為輔，逐漸轉(zhuǎn)變?yōu)镚PU為主CPU為輔。

目前應用于目標檢測和識別的芯片主要分為以下3類，并且預計在較長一段時間內(nèi)，也將會持續(xù)這種三足鼎立的局面。

第一，并行加速計算的GPU。隨著英偉達、AMD等公司不斷推進其對GPU大規(guī)模并行架構(gòu)的支持，面向通用計算的GPU已成為加速可并行應用程序的重要手段。目前，GPU已經(jīng)發(fā)展到較為成熟的階段。谷歌、FACEBOOK、微軟、Twitter和百度等公司都在使用GPU分析圖片、視頻和音頻文件，以改進搜索和圖像標簽等應用功能。此外，很多汽車生產(chǎn)商也在使用GPU芯片發(fā)展無人駕駛。

第二，半定制化的FPGA（Field Programmable Gate Array）。FPGA可同時進行數(shù)據(jù)并行和任務并行計算，在處理特定應用時有更加明顯的效率提升。此外，由于FPGA的靈活性，很多使用通用處理器或ASIC（Application Specific Integrated Circuit）難以實現(xiàn)的底層硬件控制操作技術(shù)，利用FPGA可以很方便的實現(xiàn)。

第三，全定制化的ASIC。針對深度學習和并行計算的專用芯片，相比于GPU和FPGA，在速度、功耗以及并行計算方面有著自身的優(yōu)勢。隨著人工智能算法和應用技術(shù)的日益發(fā)展，以及人工智能專用芯片ASIC產(chǎn)業(yè)環(huán)境的逐漸成熟，全定制化人工智能ASIC的優(yōu)勢也在不斷顯現(xiàn)。

2 目標識別推理平臺設(shè)計

2.1 基本原理及系統(tǒng)組成

以無人機為例，目標識別系統(tǒng)如圖1所示。其中，光電載荷負責采集偵查數(shù)據(jù)，采集各類視頻后發(fā)送給目標識別推理平臺。目標識別推理平臺對輸入視頻中的軍事目標進行實時分析識別，包括停機坪飛機、機場跑道、油庫、地空導彈車、地/海面防空雷達車、橋梁、運輸艦船，對重要的目標進行實時跟蹤，并得到檢測跟蹤識別結(jié)果。同時，目標識別推理平臺向后端轉(zhuǎn)發(fā)視頻圖像數(shù)據(jù)和目標識別的結(jié)果。通過無人機的測控鏈路，視頻圖像及檢測結(jié)果下傳到地面站，供顯示分析。在地面情報處理系統(tǒng)中，原始圖像和檢測結(jié)果進行疊加顯示，顯示識別的目標和參數(shù)。

圖1 目標識別系統(tǒng)組成示意圖Figure1 Target recognition system composition diagram

目標識別推理平臺（以下簡稱“平臺”）上運行深度學習神經(jīng)網(wǎng)絡識別算法，主要實現(xiàn)對前端光電圖像載荷的接收采集和對視頻進行預處理、目標檢測、區(qū)域檢測等處理，實時產(chǎn)生識別的結(jié)構(gòu)化信息，疊加到圖像視頻后進行輸出。平臺采用Hi3559A+FPGA為核心處理器平臺，主要硬件包括Hi3559A核心模塊、FPGA載板模塊和電源模塊。其中核心處理芯片包括華為海思的Hi3559A芯片和復旦微電子JFM7系列FPGA芯片。

平臺的目標識別算法為深度學習檢測識別算法。在平臺使用環(huán)境下，深度學習檢測識別算法可以對大范圍多種類目標識別場景提供針對性支持。設(shè)備通過Hi3559A處理器完成深度學習檢測識別算法的部署。除此之外，Hi3559A處理器上還部署有嵌入式操作系統(tǒng)和主控應用軟件?；贖i3559A SDK編寫的主控應用軟件實現(xiàn)對平臺的內(nèi)部資源配置、命令數(shù)據(jù)流等控制功能。FPGA視頻預處理軟件部署在JFM7芯片上，主要用于視頻數(shù)據(jù)的接收、預處理和發(fā)送。視頻預處理主要包括視頻接口轉(zhuǎn)換、視頻數(shù)據(jù)復制、縮放、OSD（On-Screen Display）疊加、視頻同步輸出等。

平臺采用自研端到端CNN（Convolutional Neural Network）網(wǎng)絡HikNet-LMS算法實現(xiàn)目標檢測識別推理，部署在Hi3559A處理器上，調(diào)用NNIE（Neural Network Inference Engine）加速引擎對深度學習卷積神經(jīng)網(wǎng)絡進行加速處理。HikNet-LMS算法本身具備強大的小目標檢測能力，檢測效果優(yōu)于當前最優(yōu)開源算法，同時具備較強的多尺度目標檢測能力，網(wǎng)絡前向計算耗時短，識別能力強，能滿足實時多目標檢測識別以及多類別目標檢測識別的應用需求。

2.2 硬件設(shè)計

平臺硬件方案在小型化、國產(chǎn)化設(shè)計方面進行詳細的分析調(diào)研并遵循模塊化設(shè)計思路。平臺的硬件組成框圖如圖2所示，主要包括：Hi3559A核心模塊、FPGA載板模塊和電源模塊。各模塊的基本信息見表1。下面主要對前兩個模塊進行介紹。

圖2 平臺硬件組成示意圖Figure2 The sketch map of platform hardware compose

表1 各模塊的基本信息Table1 Basic information of each module

2.2.1 Hi3559A核心模塊

平臺的視頻處理和目標識別的邏輯推理，主要由Hi3559A芯片實現(xiàn)。Hi3559A擁有雙核A73+雙核A53+單核低頻A53的CPU架構(gòu)和雙核Mali G71的GPU架構(gòu)，能更快實現(xiàn)目標檢測等復雜運算，采用12nm工藝制程，功耗極低。華為海思Hi3559A的邏輯框圖如圖3所示。

圖3 Hi3559A芯片邏輯框圖Figure3 The logicframeof Hi3559AChip

（1）CPU：雙核A73@1.8GHz，雙核A53@1.2GHz；

（2）智能處理：四核DSP@700MHz，雙核NNIE@840MHz神經(jīng)網(wǎng)絡加速引擎，算力可達4TOPs；

（3）視頻接口：支持8路sensor輸入，最大分辨率支持到32M（7680×4320）或者36M（6000×6000）；

（4）視頻壓縮：H.264 BP/MP/HP，H.265 Main Profile/Main 10 Profile MJPEG/JPEG Baseline；

（5）視頻碼率：最大200Mbps。

Hi3559A核心模塊中處理器設(shè)計成一個最小核心系統(tǒng)，該核心系統(tǒng)包含處理器Hi3559A芯片所能工作的最小單元。本平臺方案中主要為Hi3559A芯片、DDR（Double Data Rate）顆粒、網(wǎng)絡PHY芯片（Physical Layer Transceivers）和電源芯片等芯片，通過連接器扣在FPGA載板模塊上，Hi3559A核心模塊的應用框圖如圖4所示。

圖4 Hi3559A核心模塊應用框圖Figure4 The frame of Hi3559A core module application

Hi3559A核心模塊硬件接口包括MIPI視頻接口、網(wǎng)絡接口以及其他外圍接口。視頻接口主要為MIPI接口，同時保留1路網(wǎng)絡接口用于實現(xiàn)數(shù)據(jù)的接收和發(fā)送，支持10/100/1000Mbit/s工作模式可配置，可實現(xiàn)和外部設(shè)備間的數(shù)據(jù)通信。Hi3559A支持2個NNIE加速引擎，它是海思媒體SoC中專門針對神經(jīng)網(wǎng)絡特別是深度學習卷積神經(jīng)網(wǎng)絡進行加速處理的硬件單元，支持現(xiàn)有大部分的公開網(wǎng)絡，如AlexNet、VGG16、GoogleNet、ResNet18、ResNet50等分類網(wǎng)絡和Faster RCNN、YOLO、SSD、RFCN等檢測網(wǎng)絡，以及SegNet、FCN等場景分割網(wǎng)絡。Hi3559A主要通過MIPI接口接收FPGA的視頻數(shù)據(jù)，最大可支持串行輸入16Lane MIPI，支持多種工作模式，可滿足4路1080P@60fps的視頻輸入。2.2.2 FPGA載板模塊

該模塊以FPGA為主要器件，加上對外視頻接口。如圖5所示為FPGA載板模塊框圖。

圖5 FPGA載板模塊框圖Figure5 The frame of FPGA board module

FPGA采用復旦微電子的JFM7系列FPGA芯片，支持多路高速接口。方案中主要有2路視頻SDI（Serial Digital Interface）輸入接口，通過MIPI接口輸出到Hi3559A核心模塊，1路SGMII（Serial Gigabit Media Independent Interface） 接口與Hi3559A進行數(shù)據(jù)的交互，1路RS422接口作為視頻輸出。FPGA外置DDR3存儲陣列，用以存儲視頻輸入到視頻處理完成再到視頻輸出整個數(shù)據(jù)處理過程中的視頻數(shù)據(jù)。FPGA的JTAG（Joint Test Action Group）接口通過隔離芯片連接到機箱面板的調(diào)試接口，用來支持整機調(diào)試。FPGA中的MIPI接口通過IP核實現(xiàn)，最高支持4路數(shù)據(jù)Lane，每路可達1.25Gbps，視頻分辨率最高支持4k@30fps，滿足與Hi3559A的通信需求。

2.3 軟件設(shè)計

2.3.1 軟件組成

目標識別推理平臺軟件由部署在FPGA K7325T的FPGA預處理軟件、部署在海思Hi3559A的目標識別主控軟件以及部署在地面站的視頻播放插件組成。目標識別系統(tǒng)軟件部署如圖6所示。

圖6 目標識別系統(tǒng)軟件部署圖Figure6 The software deploy frame of target recognition system

推理平臺軟件CSCI（Computer Software Configuration Item）軟件部件如圖7所示。推理平臺引入FPGA預處理架構(gòu)，一方面減輕目標識別軟件預處理計算能力的負擔，將最大算力應用在目標識別上面，另一方面為目標識別軟件適配不同視頻接口提供解決方案。其中各軟件模塊主要功能如下：

圖7 目標識別推理平臺CSCI軟件部件圖Figure7 The deploy frame of CSCI software for target recognition and reasoning platform

（1）目標識別主控軟件

目標識別主控軟件部署在海思Hi3559A平臺CPU模塊上，基于海思Hi3559A SDK編寫的嵌入式應用程序?qū)ζ脚_資源配置、命令數(shù)據(jù)流等進行控制。主要功能有命令接收解析及控制、動態(tài)模板更新控制、電子穩(wěn)像、視頻數(shù)據(jù)獲取、單目標多目標識別控制、區(qū)域識別控制、實時目標跟蹤控制、添加目標跟蹤框控制、視頻網(wǎng)絡數(shù)據(jù)輸出控制等。

（2）FPGA視頻預處理軟件

FPGA視頻預處理軟件部署在FPGA K7325T模塊上，實現(xiàn)外部視頻接口采集、視頻幀完整性預處理和添加固定信息OSD，并按照MIPI接口協(xié)議要求輸出視頻數(shù)據(jù)。

（3）視頻播放插件

視頻播放插件部署在地面站顯控中心，用于實時顯示接收到的視頻數(shù)據(jù)流，并根據(jù)目標識別結(jié)構(gòu)信息提供預警功能。

2.3.2 目標識別

（1）目標識別流程

視頻信號接入到FPGA視頻預處理軟件，F(xiàn)PGA視頻預處理軟件在固定位置添加字符信息（如刻度、十字框等），然后打包轉(zhuǎn)換成MIPI格式發(fā)送到海思Hi3559A進行處理。目標識別主控軟件配置相應VI（Video Input）輸入通道：將一路數(shù)據(jù)復制成兩路數(shù)據(jù)，其中一路數(shù)據(jù)按比例縮放（分辨率小，識別速度快）用來進行目標檢測識別，目標識別結(jié)果保存在共享區(qū)域；另外一路原始數(shù)據(jù)獲取共享區(qū)域目標識別結(jié)果，將目標識別結(jié)果疊加到原始數(shù)據(jù)上，然后調(diào)用海思Hi3559A SDK壓縮編碼后網(wǎng)絡輸出。

目標檢測識別數(shù)據(jù)流圖如圖8所示。海思Hi3559A視頻預處理主要針對視頻進行防抖處理。攝像機在拍攝視頻時由于環(huán)境或人為的影響，視頻會出現(xiàn)抖動或不穩(wěn)定現(xiàn)象，影響到后續(xù)視頻的目標檢測及觀看效果。海思Hi3559A在對圖像進行數(shù)字處理過程中，采用防抖算法（GME+陀螺儀）（Global Motion Estimation，GME）計算出當前圖像的運動偏移，然后對圖像進行平移、旋轉(zhuǎn)等變換，從而起到防抖的效果。

圖8 目標檢測識別數(shù)據(jù)流圖Figure8 The data flow chart of target recognition

（2）目標識別算法

在目標檢測識別領(lǐng)域，主流方法是one-stage系列的目標檢測算法，其中在小目標檢測識別領(lǐng)域綜合表現(xiàn)最好的算法是YOLOv3。采用自制訓練測試樣本集，對YOLOv3訓練測試的結(jié)果表明，算法表現(xiàn)良好，但仍不能完全滿足本平臺的多類別高精度檢測識別需求。

本文的目標識別推理平臺中采用卷積神經(jīng)網(wǎng)絡，網(wǎng)絡結(jié)構(gòu)本身基于YOLOv3改進而來，主要改進有：

第一，基礎(chǔ)特征網(wǎng)絡Darknet-53中加入2組HRFB（Hik Receptive Field Block），即深度學習神經(jīng)網(wǎng)絡的一個網(wǎng)絡層，它是特征提取網(wǎng)絡的一種結(jié)構(gòu)，采用三分支的結(jié)構(gòu)，分別為1×1卷積核分支、1×1卷積核加3×3卷積核分支、1×1卷積核加3×3卷積核加3×3卷積核分支。這樣的結(jié)構(gòu)能夠有效保障訓練收斂、特征表達等多個方面。經(jīng)過實踐驗證，適量加入HRFB結(jié)構(gòu)能夠有效增強網(wǎng)絡的特征表達結(jié)構(gòu)，提升網(wǎng)絡特征表達能力。

第二，去除YOLOv3上采樣操作，增強小目標檢測的能力。

第三，保留YOLOv3訓練trick，包括多尺度縮放增廣訓練等，提高訓練模型參數(shù)的魯棒性等。

目標檢測識別功能的實現(xiàn)主要包括地面服務器端的數(shù)據(jù)準備、訓練以及海思Hi3559A推理運算，如圖9所示。

圖9 目標識別功能實現(xiàn)流程Figure9 The realization flow of target recognition function

數(shù)據(jù)準備即是將包含檢測識別類別目標的圖像數(shù)據(jù)進行人工數(shù)據(jù)標定，形成標準VOC（Visual Object Class）格式標定數(shù)據(jù)，之后對標定完成的數(shù)據(jù)進行樣本增廣，確保數(shù)據(jù)整體的均衡性和廣泛性；訓練階段利用標定好的數(shù)據(jù)對神經(jīng)網(wǎng)絡模型參數(shù)進行訓練，訓練過程中利用超參數(shù)調(diào)整以及訓練trick，使模型參數(shù)充分收斂；目標檢測識別過程中，首先對神經(jīng)網(wǎng)路進行初始化，加載訓練階段的模型，之后將逐幀視頻圖像數(shù)據(jù)傳入網(wǎng)絡，獲取網(wǎng)絡輸出的結(jié)構(gòu)化信息，包括幀號、目標框信息、目標類別、目標類別置信度、目標標識ID等。

2.3.3 目標跟蹤

多目標跟蹤功能主要是基于目標識別輸出的結(jié)果，綜合分析場景中的目標表觀、運動特征等信息特點，實現(xiàn)適應場景中跟蹤目標數(shù)目多變，跟蹤過程中目標多尺度、形變、易遮擋等特點的實時魯棒的多目標跟蹤功能。多目標跟蹤功能的實現(xiàn)方法主要分為預測和更新兩部分，如圖10所示。

圖10 多目標跟蹤流程圖Figure10 The flow chart of multi-target tracking

在預測階段，給定前幀跟蹤狀態(tài)和當前幀檢測結(jié)果，通過匹配將目標分為三類：第一類，前一幀目標與當前幀目標匹配上；第二類，前一幀目標在當前幀未找到相匹配目標；第三類，當前幀新出現(xiàn)的新生目標。同時，記錄各目標的維護信息，包括特征數(shù)組、丟失幀數(shù)、連續(xù)檢出幀數(shù)、歷史坐標等。

在匹配環(huán)節(jié)，采用深度特征和馬氏距離的綜合相似度來度量目標間的匹配程度，能較好的表征目標的特征，達到較好的匹配效果。同時存儲了目標最近N幀的深度特征來用于匹配，能較好適應目標形變、尺度變化帶來的匹配誤差。另外，設(shè)計了適應不同運動模型的卡爾曼濾波器和級聯(lián)匹配策略，較好適應跟蹤過程中遮擋較多的情況。

在更新階段，根據(jù)預測階段的匹配結(jié)果對目標集合進行更新維護，用于輸出及下一幀的預測。

最終在地面站顯控中心實時播放的多目標識別跟蹤效果如圖11所示。

圖11 多目標識別跟蹤效果圖Figure11 The effect chart of multi-target recognition tracking

3 目標識別推理平臺的創(chuàng)新

3.1 支持任務運行狀態(tài)下目標模型的動態(tài)更新

推理平臺目標檢索訓練模型采用動態(tài)加載的方式，可根據(jù)不同環(huán)境需求在線加載不同環(huán)境下訓練的模型，提高設(shè)備的易用性和復用性。在線加載檢測模型流程如圖12所示。操作員可通過遠程操作界面發(fā)送指令，指令通過傳輸鏈路（有線或者無線鏈路）傳輸?shù)酵评砥脚_，目標檢測主控軟件停止當前目標檢測跟蹤流程，根據(jù)指令加載需要的場景模型，重新開啟檢測跟蹤流程。經(jīng)測算，模型在線加載時間延時在秒級別，適用于多場景的偵察檢測任務。

推理平臺目標檢測模型調(diào)用關(guān)系如圖12所示。在數(shù)據(jù)預備階段收集各類應用場景數(shù)據(jù)，根據(jù)優(yōu)化后的目標識別算法，訓練出目標檢測模型，將各類檢測模型收集歸類存放到目標檢測模型庫中。在實際使用中，根據(jù)用戶使用場景，業(yè)務層動態(tài)加載該應用場景的目標檢測模型。后續(xù)有新的檢測模塊也可直接添加到目標檢測庫中，方便應用場景的擴展和推廣。

圖12 在線加載檢測模型流程圖Figure12 Theflow chart of online load detectmodel

3.2 基于YOLOv3優(yōu)化網(wǎng)絡結(jié)構(gòu)，識別更小目標同時提高識別置信度

在小目標檢測識別領(lǐng)域綜合表現(xiàn)最好的算法是YOLOv3?；赮OLOv3，本文的目標識別推理平臺采用一套適應于小目標和多尺度檢測識別的更優(yōu)算法，達到多類別、高精度的識別效果。算法具備的主要特點是：強大的小目標檢測能力、較好的多尺度目標檢測能力、網(wǎng)絡前向計算耗時較短、網(wǎng)絡訓練穩(wěn)定收斂。算法本身采用特征提取能力更強的Backbone，對小目標和多尺度兩項需求進行了多項針對性設(shè)計?？傮w設(shè)計要點如下：

（1）以小目標檢測領(lǐng)域?qū)崪y效果最好的YOLOv3為網(wǎng)絡結(jié)構(gòu)設(shè)計原型，進行特征表達和小目標檢測的優(yōu)化改進；

（2）基礎(chǔ)特征網(wǎng)絡Darknet-53中加入2組HRFB（Hik Receptive Field Block）結(jié)構(gòu)，提升網(wǎng)絡特征表達能力；

（3）去除YOLOv3上采樣操作，增強小目標檢測能力；

（4）保留三尺度特征輸出的設(shè)計，增強多尺度目標檢測的能力；

（5）加長特征回溯的檢測頭，增強小尺度輸出特征圖的特征表達能力，增強小目標檢測能力；

（6）保留YOLOv3訓練trick，包括多尺度縮放增廣訓練等，提高訓練模型參數(shù)的魯棒性；

（7）保留訓練錨框的聚類計算，加快訓練收斂速度，同時獲得更好的收斂效果。

4 結(jié)語

本文設(shè)計的目標識別推理平臺，可滿足多接口視頻采集、視頻處理、目標識別和跟蹤等機載自主偵察推理的應用需求。本系統(tǒng)采用復旦微電子FPGA與海思處理器芯片搭建小型輕量化的推理系統(tǒng)，針對小目標偵察，采用YOLOv3優(yōu)化網(wǎng)絡結(jié)構(gòu)，既解決推理系統(tǒng)中的元器件系統(tǒng)功耗高等瓶頸問題，也解決了小目標識別置信度低的瓶頸問題，從而擴大了應用領(lǐng)域，適用于航空機載、海軍艦載以及陸軍戰(zhàn)車偵察等環(huán)境下的自主偵察、識別應用。