尹彥卿,龔華軍,王新華

(南京航空航天大學(xué) 自動化學(xué)院,南京 210000)

0 概述

目標檢測是指從場景中區(qū)分出不同對象,定位每個對象的邊界框并判別其類型的技術(shù)。如何實現(xiàn)精確的目標檢測是計算機視覺領(lǐng)域一個基礎(chǔ)性難題,引起了研究人員的廣泛關(guān)注。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展,許多基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的目標檢測方法都已具備優(yōu)越的檢測性能。例如,特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network,FPN)算法在coco數(shù)據(jù)集上的檢測精度達到59.1%,但該算法由于網(wǎng)絡(luò)參數(shù)繁多、計算復(fù)雜,即使在Titan GPU上,其檢測速度也僅能達到6 frame/s,難以實現(xiàn)實時目標檢測[1]。

2018年,YOLOv3目標檢測算法被提出,它將目標檢測視作一個回歸問題,通過一個神經(jīng)網(wǎng)絡(luò)同時輸出目標的位置和類別,在幾乎不損失識別精度的前提下,其檢測速度明顯提升。在Titan-X GPU上,YOLOv3-416網(wǎng)絡(luò)的運行速度達35 frame/s,可用于實現(xiàn)對視頻信息的實時檢測[2-4]。

盡管YOLOv3在強大的GPU上具有實時檢測性能,但高端GPU價格昂貴、體積巨大,通常僅能在服務(wù)器上安裝,極大地限制了YOLO算法的應(yīng)用場景。在智能手機、無人機、無人車等常見的嵌入式設(shè)備上,計算資源和內(nèi)存都非常有限,因此,嵌入式設(shè)備上的實時目標檢測仍是一大挑戰(zhàn)。YOLOv3的研究者還提出了一種tiny-YOLOv3網(wǎng)絡(luò),其網(wǎng)絡(luò)結(jié)構(gòu)簡單,可在嵌入式設(shè)備上進行實時檢測,但其mAP值僅為33.1%,無法兼顧實時性和檢測準確度[5]。

本文提出一種基于YOLOv3的嵌入式平臺實時視頻目標檢測算法。該算法運用半精度推理策略,在幾乎不損失檢測精度的情況下提高檢測速度,同時,利用視頻目標運動自適應(yīng)推理策略,降低深度網(wǎng)絡(luò)推理的運行頻率,進一步提高視頻目標檢測的幀率。結(jié)合上述2種策略,在NVIDIA Tegra系列嵌入式GPU平臺上實現(xiàn)實時、準確的目標檢測[6-7]。

1 YOLOv3網(wǎng)絡(luò)的半精度推理

1.1 半精度推理的可行性分析

為了保證計算精度,目前主流算法框架的深度網(wǎng)絡(luò)權(quán)值均使用單精度浮點數(shù)據(jù)類型進行保存。單精度浮點類型在計算機中較為常見,但其在存儲時需要4 Byte的空間,且計算復(fù)雜度較高。在IEEE 754標準中定義了一種半精度浮點類型[8],其在CUDA編程環(huán)境中又稱為Half類型。半精度浮點類型需要2 Byte存儲空間,其優(yōu)勢在于GPU中的計算硬件可在一個周期內(nèi)同時完成2個半精度浮點類型的運算,大幅提高計算速度。2種數(shù)據(jù)類型的比較如表1所示。

表1 單精度與半精度類型的比較

由表1可知,2種數(shù)據(jù)類型的性能差異主要體現(xiàn)在數(shù)值范圍與精度上。在數(shù)值范圍方面,根據(jù)本文在coco數(shù)據(jù)集上的測試結(jié)果,YOLOv3網(wǎng)絡(luò)權(quán)值和激活值普遍分布在±20之內(nèi),故2種數(shù)據(jù)類型的數(shù)值范圍均能滿足要求。在精度方面,由于網(wǎng)絡(luò)訓(xùn)練時反向傳播算法需要計算權(quán)值的梯度,權(quán)值的一點微小變化都會對結(jié)果產(chǎn)生較大影響,因此在訓(xùn)練過程中,權(quán)值的精度至關(guān)重要,只能使用單精度類型儲存。在本文算法的網(wǎng)絡(luò)推理過程中,推理速度是最重要的影響因素,因此,半精度類型權(quán)值的精度損失對網(wǎng)絡(luò)推理結(jié)果的影響程度,將直接決定能否使用半精度推理策略進行YOLO網(wǎng)絡(luò)加速。

將待檢測的目標類別數(shù)記作C,則YOLO網(wǎng)絡(luò)對每個檢測目標的輸出結(jié)果為一個五元組(c,x,y,w,h)和一個長度為C的向量(P1,P2,…,PC),其中,Pi表示目標屬于第i類的分類概率,c表示目標存在的概率,(x,y,w,h)表示目標的位置和大小,其含義是實際目標框相對于一個固定預(yù)設(shè)框的位置偏移和長寬比例,而不是目標框的絕對坐標。實際輸出目標框相對于預(yù)設(shè)框的位置關(guān)系如圖1所示。

圖1 實際目標框相對于預(yù)設(shè)框的位置和大小

令每個網(wǎng)格距離圖片左上角的像素距離分別為cx、cy,每個預(yù)設(shè)框的寬高為pw、ph,σ函數(shù)表示將范圍在0～1的輸入線性映射到網(wǎng)格的實際長寬范圍,則物體實際在圖像中的位置和大小如下:

σ(x)=32x

bx=σ(x)+cx

by=σ(y)+cy

bw=pwew

bh=pheh

本文在coco數(shù)據(jù)集上分別進行單精度和半精度推理實驗。根據(jù)實驗結(jié)果的統(tǒng)計數(shù)據(jù),對于YOLO網(wǎng)絡(luò)最終輸出的激活值,使用半精度類型運算與單精度類型運算的誤差在±0.001以內(nèi)。下面將逐一分析該誤差對網(wǎng)絡(luò)輸出變量的影響:

1)目標存在概率c。本文算法以0.5為閾值判斷是否存在目標,將低于0.5的值判定為背景。c的取值范圍為0～1,因而在絕大多數(shù)情況下,該誤差不足以影響c相對于閾值的關(guān)系,其對判定結(jié)果基本沒有影響。

2)目標分類概率Pi。算法通過argmax函數(shù)選取其中最大值的下標i作為目標分類的結(jié)果。Pi的分布范圍為0～1,而正確的目標分布概率普遍在0.9以上。因此,該誤差不能改變最大值的分布,因而可認為該誤差對于目標分類結(jié)果幾乎沒有影響。

3)目標位置(x,y)。經(jīng)過σ函數(shù)線性映射后,目標位置(x,y)的誤差在0.032像素以內(nèi),而該誤差經(jīng)過指數(shù)函數(shù)放大后,其對目標大小(w,h)產(chǎn)生的誤差也在1像素以內(nèi)。因此,可認為該誤差對于目標定位位置影響較小。

綜上所述,使用半精度類型取代單精度類型進行網(wǎng)絡(luò)權(quán)值和激活值的表示,對于網(wǎng)絡(luò)輸出結(jié)果基本沒有影響,但可以大幅加快推理速度和降低存儲要求,便于在嵌入式平臺上進行推理。

1.2 TX2平臺上半精度推理的實現(xiàn)

需要注意的是,并非所有嵌入式設(shè)備均支持半精度浮點類型運算。自Tegra X1以后,NVIDIA的嵌入式GPU平臺也支持原生的半精度計算指令,因此,本文選用Tegra系列的最新處理器TX2進行YOLOv3網(wǎng)絡(luò)半精度推理的實現(xiàn)。TX2處理器的核心板大小僅為5 cm×8 cm,但其能夠為深度學(xué)習(xí)應(yīng)用提供超過1 Tflops的浮點運算性能,同時功耗低于7.5 W,故適合在視頻監(jiān)控攝像頭、無人機、機器人等嵌入式平臺上部署應(yīng)用[9]。

在進行CUDA編程時,需要使用內(nèi)置的Half 2類型對半精度運算進行加速。Half 2類型為2個半精度類型在顯存中的組合,其結(jié)構(gòu)如圖2所示。其中,S為符號位,E為階碼,M為尾數(shù)。Half 2類型在計算時將2個半精度類型同時輸入32位GPU,可在一個周期內(nèi)同時完成2個半精度浮點類型的運算。

圖2 Half 2類型在顯存中的存儲結(jié)構(gòu)

由于需要2個半精度類型同時運算才能起到加速效果,因此在YOLO網(wǎng)絡(luò)推理時要盡量保證所有的操作均為內(nèi)存中相鄰兩組操作數(shù)的計算,避免計算資源的浪費[10]。在嵌入式GPU平臺上使用半精度類型進行推理的主要過程如下[11]:

1)讀入待檢測的圖像數(shù)據(jù)和網(wǎng)絡(luò)權(quán)值數(shù)據(jù),送入顯存,并在GPU中轉(zhuǎn)換成半精度類型。

2)使用CUDNN提供的卷積運算接口API進行卷積計算,在設(shè)置參數(shù)時,將數(shù)據(jù)類型選為半精度類型[12]。

3)進行偏置、正則化等計算。首先將參數(shù)在顯存中拷貝一份,然后使用Half 2類型進行計算,以達到最大的加速效果。以偏置計算為例,其Half 2類型的快速計算過程如圖3所示。

4)在GPU中將計算結(jié)果轉(zhuǎn)換成單精度類型,并傳回內(nèi)存中由CPU進行最終處理,然后輸出檢測結(jié)果。

圖3 Half 2類型的快速偏置計算

2 視頻運動自適應(yīng)推理

考慮到本文算法主要應(yīng)用于視頻目標檢測,目標信息在視頻中的相鄰幀之間具有連續(xù)性,因而并不需要對每一幀圖像進行完整的深度網(wǎng)絡(luò)推理。為進一步提高視頻目標檢測的速度,本文引入運動自適應(yīng)推理的策略來判斷視頻幀是否需要重新進行完整的深度推理[13]。

對于新輸入的視頻幀,使用三幀差分法進行運動估計[14]。當前幀、上一幀、上上幀的圖像分別記為It、It-1、It-2,則三幀差分的結(jié)果如下:

Mmovement=(It-It-1)∩(It-1-It-2)

對三幀差分法得到的運動圖進行閾值化、形態(tài)學(xué)處理和濾波后,即可得到圖像中的運動區(qū)域。對于相對上一幀運動較大的視頻幀,需要運行一次完整的深度推理,重新檢測圖像中的目標位置和分類;對于相對上一幀運動不大的視頻幀,則使用粒子濾波來進行視頻目標跟蹤,并更新之前檢測出的目標位置?？紤]到粒子濾波器在進行長時間的目標跟蹤時容易出現(xiàn)漂移、跟蹤失敗的情況,設(shè)置強制深度推理間隔為m,即在進行m幀的粒子濾波后,對第m+1幀強制使用深度推理重新檢測目標位置。每次完成深度推理后,將深度網(wǎng)絡(luò)的檢測結(jié)果作為粒子濾波器的初始值,重新初始化粒子濾波器[15-17]。整個過程如圖4所示。

圖4 視頻運動自適應(yīng)推理流程

在TX2平臺上進行測試后發(fā)現(xiàn),GPU加速后的三幀差分法耗時5 ms,對單個目標進行粒子濾波跟蹤耗時3 ms,比進行一幀深度推理的耗時要少。當視頻中的目標個數(shù)較少,例如,將幀差法與粒子濾波的耗時忽略不計時,整個算法運行幀率的上限為深度推理運行幀率的m倍。根據(jù)本文的測試結(jié)果,m取1～3時較為合適。當m取值較大時,算法的幀率上限有所提升,但其輸出對于粒子濾波結(jié)果的依賴性較強,準確度有所下降。若視頻中的目標個數(shù)較多,對目標逐個進行粒子濾波跟蹤的耗時增大,在這種情況下,可考慮使用CamShift等相對更快的視頻目標跟蹤算法降低耗時,進一步改善算法的實時性[18]。

3 實驗結(jié)果與評估

本文算法的所有評估工作均在NVIDIA TX2嵌入式平臺上進行,處理器運行于高性能模式,軟件環(huán)境為CUDA 9.0、CUDNN 7.1。本文利用coco數(shù)據(jù)集對不同輸入尺度下單精度網(wǎng)絡(luò)和半精度網(wǎng)絡(luò)的單幀圖片推理性能進行測試。由于coco數(shù)據(jù)集中全部為靜態(tài)圖像,因此僅啟動半精度推理加速策略,視頻目標跟蹤策略沒有明顯的效果[19],結(jié)果如表2所示。

表2 不同輸入尺度下單精度與半精度推理性能的對比

由表2可以看出,在不同的輸入尺度下,本文的半精度推理策略相對于其他2種策略有3倍左右的加速效果,同時其mAP值損失不到0.3%,檢測精度明顯優(yōu)于tiny-YOLO和單數(shù)度YOLOv3實時目標檢測算法,使YOLO算法在嵌入式設(shè)備上的推理性能大幅提升。

本文選用ILSVRC視頻目標檢測(VID)數(shù)據(jù)集對算法的性能進行測試[20]。該數(shù)據(jù)集包含數(shù)千個完全標注的視頻片段,每個片段的長度為56幀～458幀。在2段視頻中各截取4幀相鄰圖片,如圖5所示。

圖5 ILSVRC VID測試序列中的檢測結(jié)果

在圖5中,第1幀與第4幀圖片的檢測結(jié)果由深度網(wǎng)絡(luò)推理得到,中間2幀圖片的檢測結(jié)果為粒子濾波跟蹤得到。可以看出,如果視頻畫面中的目標運動不太明顯,通過粒子濾波能夠可靠地跟蹤深度網(wǎng)絡(luò)檢測到的目標位置,降低深度推理的運行頻率,大幅節(jié)省計算量。在完整的ILSVRC VID測試數(shù)據(jù)集上,本文算法與原始YOLO算法的實驗結(jié)果對比如表3所示。

表3 ILSVRC VID數(shù)據(jù)集上的視頻目標檢測結(jié)果對比

從表3可以看出,本文的嵌入式實時視頻目標檢測算法在深度推理間隔為2時,可通過視頻目標運動自適應(yīng)推理策略將深度推理運行次數(shù)減少66%,結(jié)合半精度推理策略,可在TX2嵌入式平臺上將運行幀率提高至28.2 frame/s,同時mAP值損失很低,檢測精度仍與原始YOLOv3網(wǎng)絡(luò)相當。增大深度推理間隔可得到更高的幀率,但也會導(dǎo)致目標檢測精度降低。

考慮到ILSVRC VID數(shù)據(jù)集中的測試序列長度普遍較短,且在同一個測試序列中出現(xiàn)的目標個數(shù)較少,大部分為單個目標面積較大的視頻序列,其目標檢測難度較低,因此,本文選取一段高速公路監(jiān)控攝像頭拍攝的視頻進行復(fù)雜場景下的多目標檢測實驗。從測試視頻中截取2幀相鄰的畫面,檢測結(jié)果如圖6所示。由圖6可以看出,在復(fù)雜場景下,當視頻中出現(xiàn)多個目標且每個目標的面積均較小時,本文算法依然具有良好的檢測效果,可以應(yīng)用于實際工程中。

圖6 測試序列中的視頻目標檢測結(jié)果

4 結(jié)束語

本文提出一種基于YOLOv3的嵌入式平臺實時視頻目標檢測算法。通過半精度推理策略和視頻目標運動自適應(yīng)推理策略改進原始YOLO算法在嵌入式設(shè)備上的性能,提高算法的檢測速度。實驗結(jié)果表明,該算法在NVIDIA TX2嵌入式平臺上進行單次推理的速度比原始YOLO算法快3倍以上,其在ILSVRC VID數(shù)據(jù)集上可實現(xiàn)28.2 frame/s的實時檢測,且檢測精度與YOLOv3算法幾乎相同。下一步將繼續(xù)優(yōu)化YOLO算法在嵌入式平臺上的部署策略,以實現(xiàn)深度學(xué)習(xí)目標檢測算法在更多設(shè)備上的應(yīng)用。