遲志誠

基于卷積神經(jīng)網(wǎng)絡(luò)的道路多目標(biāo)檢測方法

遲志誠

（長安大學(xué) 汽車學(xué)院，陜西 西安 710064）

得益于數(shù)字圖像處理技術(shù)快速的發(fā)展和計(jì)算機(jī)硬件性能的提高，基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的圖像處理技術(shù)，成為智能駕駛視覺感知的重要支撐。為了在實(shí)際道路環(huán)境中持續(xù)高效的檢測道路目標(biāo)，文章利用了YOLO神經(jīng)網(wǎng)絡(luò)作為主要檢測框架。使用卷積神經(jīng)網(wǎng)絡(luò)可以同時(shí)捕捉到目標(biāo)的底層和高層特征。物體的底層特征可以符合人的視覺感知特征和主觀感受，確定物體的所屬種類和外觀形狀，將底層特征與高層語義特征結(jié)合進(jìn)一步增強(qiáng)神經(jīng)網(wǎng)絡(luò)識(shí)別的準(zhǔn)確度和魯棒性。

卷積神經(jīng)網(wǎng)絡(luò)；目標(biāo)識(shí)別；自動(dòng)駕駛；YOLO v3

前言

環(huán)境感知作為智能駕駛實(shí)現(xiàn)第一環(huán)節(jié)，位于智能駕駛車輛與外界環(huán)境信息交互的關(guān)鍵位置，是實(shí)現(xiàn)車輛自動(dòng)駕駛的前提[1]。實(shí)現(xiàn)高級(jí)別的智能駕駛正是要讓車輛模擬人類駕駛員的感知和決策能力，憑借機(jī)器更快的運(yùn)算速度和環(huán)境識(shí)別能力，彌補(bǔ)人類駕駛員在行駛過程中的缺陷，達(dá)到減少交通事故發(fā)生，提高交通安全環(huán)境的目標(biāo)。相機(jī)、雷達(dá)、定位導(dǎo)航系統(tǒng)等為智能駕駛車輛提供了海量的道路環(huán)境和車輛本身運(yùn)行狀況的數(shù)據(jù)，這些包含諸如圖像，激光點(diǎn)云等形式的數(shù)據(jù)構(gòu)造出了整個(gè)車輛的運(yùn)行環(huán)境。

在相機(jī)等光學(xué)設(shè)備的觀測下，車輛和行人的外觀、顏色和大小會(huì)隨著光線，距離等因素發(fā)生變化。當(dāng)?shù)氐奶鞖鈼l件如雨、霧等也會(huì)影響光學(xué)儀器的正常工作。在惡劣的天氣條件下，相機(jī)只能拍攝到低分辨率圖像，造成檢測器無法正常檢測、跟蹤目標(biāo)，影響了駕駛系統(tǒng)正常工作。這就要求目標(biāo)檢測算法具有魯棒性、準(zhǔn)確性和實(shí)時(shí)性的技術(shù)特點(diǎn)。為了解決目前存在的影響目標(biāo)跟蹤精度的問題，我們基于YOLO v3[2]對(duì)原有目標(biāo)檢測框架進(jìn)行了一系列改進(jìn)，使算法在保證實(shí)時(shí)運(yùn)行的同時(shí)，增強(qiáng)其在復(fù)雜環(huán)境下的識(shí)別精度和準(zhǔn)確度，提高了算法的魯棒性。

圖1 YOLO v3整體結(jié)構(gòu)圖

1 YOLO v3神經(jīng)網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

目前主流的目標(biāo)檢測算法大致可以被分為兩類，即兩步式和一步式的檢測算法[3]。與兩步式檢測算法不同的是，YOLO v3作為一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法，可以直接針對(duì)目標(biāo)的位置和類別作出預(yù)測。合理的網(wǎng)絡(luò)結(jié)構(gòu)和檢測算法的改進(jìn)保證了YOLO v3運(yùn)行速度的同時(shí)也實(shí)現(xiàn)了與兩步式算法相同的檢測精度。

YOLO v3首次使用了Darknet-53神經(jīng)網(wǎng)絡(luò)，借助殘差結(jié)構(gòu)可以更有效的提取圖像中豐富的語義特征信息，使神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)可以學(xué)習(xí)到更具有辨別力的外觀模型，在一定程度上也可以加速模型的收斂。在主干網(wǎng)絡(luò)的后面則采用了多尺度預(yù)測，保證了目標(biāo)檢測框架對(duì)大目標(biāo)和小目標(biāo)的檢測精度，使得檢測框架可以完全捕捉圖像中的目標(biāo)特征。

1.2 Darknet-53

YOLO v3使用了Darknet-53神經(jīng)網(wǎng)絡(luò)的前52層作為整個(gè)檢測框架的核心網(wǎng)絡(luò)。在深度學(xué)習(xí)任務(wù)中，伴隨著卷積層數(shù)的加深，網(wǎng)絡(luò)會(huì)發(fā)生“退化”現(xiàn)象，即訓(xùn)練時(shí)的損失函數(shù)不會(huì)隨著網(wǎng)絡(luò)深度的增加而一直下降，而是在達(dá)到飽和以后反過來逐漸增加。為了解決網(wǎng)絡(luò)退化問題，Darknet-53大量采用了殘差單元連接，以盡可能減少全卷積網(wǎng)絡(luò)的梯度退化問題。如圖示的5個(gè)殘差塊當(dāng)中，每個(gè)殘差塊的結(jié)構(gòu)相同，即由零值填充層和最基本的卷積歸一化單元作為前半部分，多個(gè)殘差單元與其連接共同組成一個(gè)完整的殘差塊。

1.3 多尺度預(yù)測

如圖所示，YOLO v3結(jié)構(gòu)中有兩次上采樣的過程。在骨干網(wǎng)絡(luò)輸出圖像的特征向量以后，我們得到了32倍降采樣的結(jié)果，但是降采樣后的特征太小，僅僅關(guān)注了圖像中細(xì)小特征，對(duì)較大尺寸的物體的檢測效果不足。因此使用了兩次步長為2的上采樣，將32倍降采樣的結(jié)果的大小分別增加一倍和兩倍，這樣可以充分利用網(wǎng)絡(luò)中的深度特征和淺層特征，兩者通過張量拼接結(jié)合，隨后通過一系列的卷積池化操作，輸出最終的目標(biāo)位置和預(yù)測類別。

2 運(yùn)行過程

本文使用Python語言基于Tensorflow深度學(xué)習(xí)框架構(gòu)建了目標(biāo)檢測框架。使用的計(jì)算機(jī)配置為8核 3.4GHz Intel Core i7-3770和NVIDIA GeForce GTX 1080Ti的GPU，內(nèi)存容量為16G。預(yù)訓(xùn)練采用PASCAL VOC 2007和2012數(shù)據(jù)集，設(shè)置訓(xùn)練時(shí)的批量大小為64，訓(xùn)練次數(shù)為200次。使用Adam自適應(yīng)梯度下降法，設(shè)置權(quán)重衰減和動(dòng)量的值分別為0.9和0.0001。

圖2 目標(biāo)檢測結(jié)果

選擇MOT 16[4]多目標(biāo)跟蹤數(shù)據(jù)集中具有代表性的場景圖片進(jìn)行測試，可直觀地觀察YOLO v3目標(biāo)檢測網(wǎng)絡(luò)在實(shí)際道路環(huán)境下的檢測效果。從圖像上可以看出，大部分目標(biāo)的置信度分?jǐn)?shù)在60%以上，同時(shí)也沒有出現(xiàn)類別誤判的現(xiàn)象，行人和車輛的位置信息和類別信息可以準(zhǔn)確的標(biāo)定和輸出。在部分目標(biāo)出現(xiàn)遮擋或者缺失的情況下依然可以在正常完成道路目標(biāo)檢測的工作。

3 結(jié)論

全卷積神經(jīng)網(wǎng)絡(luò)的YOLO v3算法可以很好地完成道路上多目標(biāo)的檢測任務(wù)，在保證檢測精度的同時(shí)也可以做到實(shí)時(shí)性。目標(biāo)檢測算法可以提高自動(dòng)駕駛車輛對(duì)周邊環(huán)境的感知程度，一定程度上增加車輛安全性能，也為諸如道路多目標(biāo)跟蹤等視覺感知任務(wù)作出了鋪墊。

[1]《中國公路學(xué)報(bào)》編輯部.中國汽車工程學(xué)術(shù)研究綜述·2017[J].中國公路學(xué)報(bào),2017,30(06):1-197.

[2] Redmon J, Farhadi A.YOLOv3:An Incremental Improvement[J].ar Xiv e-prints, 2018.

[3] 盧宏濤,張秦川.深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺中的應(yīng)用研究綜述[J].數(shù)據(jù)采集與處理,2016,31(01):1-17.

[4] Milan A,Leal-Taixe L,Reid I, et al. MOT16:A Benchmark for Multi- Object Tracking[J].2016.

Multiple Object Detection Method Based on Convolutional Neural Networks on Road

Chi Zhicheng

( Chang'an University, School of Automobile, Shaanxi Xi’an 710064 )

Because of the rapid development of digital image processing technology, image processing technology based on machine learning has become an important support for the visual perception of intelligent vehicle.In order to continuously and efficiently detect targets in the actual road environment, we use the YOLO v3 neural networks as the main detection framework. This network can simultaneously capture the bottom and high-level features of the target. The low-level features of an object can conform to human visual perception features and subjective feelings, determine the type and appearance of the object. We combined the low-level features with high-level semantic features to further enhance the accuracy and robustness of neural network recognition.

Convolutional neural networks;Object recognition;Autonomous driving;YOLO v3

10.16638/j.cnki.1671-7988.2021.07.008

U471.1

A

1671-7988(2021)07-23-02

U471.1

A

1671-7988(2021)07-23-02

遲志誠（1996-），男，長安大學(xué)研究生，車輛工程專業(yè)，研究方向?yàn)槠嘚VH。