作者簡介：陳偉迅（1994—），男，博士，專任教師，研究方向為機器視覺、人工智能。

孟思明（1976—），女，博士，副教授，研究方向為人工智能。

江躍龍（1984—），男，博士在讀，工程師，研究方向為人工智能。

基金項目：廣東省普通高校創(chuàng)新團(tuán)隊項目（自然科學(xué)）（項目編號：2021KCXTD068）。

摘 要閘機定位與狀態(tài)檢測是實現(xiàn)點到點全自動駕駛的一個重要環(huán)節(jié)，直接關(guān)系到智能汽車是否能夠順利進(jìn)出停車場。由于閘機種類繁多、背景復(fù)雜、多閘機同時出現(xiàn)且實時性要求較高，因此閘機的精確檢測是一項具有挑戰(zhàn)性的任務(wù)。針對閘機檢測存在的痛點，提出基于CenterNet關(guān)鍵點檢測的實時閘機檢測算法。首先通過在主干網(wǎng)絡(luò)前增加Focus層及設(shè)計輕量化的主干網(wǎng)絡(luò)加快模型檢測速度的同時保證在復(fù)雜環(huán)境下的特征提取能力；然后引入特征融合模塊（Feature Pyramid Network，F(xiàn)PN）高效利用主干網(wǎng)絡(luò)提取的高級語義信息和底層特征，并輸出閘機關(guān)鍵點以及Embedding值，設(shè)計的閘機Embedding確保在多閘機場景下閘機的準(zhǔn)確檢測；最后基于預(yù)測的Embedding值確定屬于同一閘機的關(guān)鍵點并基于幾何關(guān)系進(jìn)行閘機構(gòu)建。實驗結(jié)果展示了提出算法能高效準(zhǔn)確檢測不同場景下的閘機。

自動駕駛 計算機視覺 卷積神經(jīng)網(wǎng)絡(luò) 閘機檢測

中圖分類號" TP3 文獻(xiàn)標(biāo)識碼" A

Abstract： The positioning and status detection of the gate machine is an important link in achieving point-to-point fully-automatic driving， which is directly related to the smooth entry and exit of intelligent vehicles in and out of parking lots. Due to the wide variety of gate machines， complex backgrounds， the simultaneous occurrence of multiple gate machines and high real-time requirements， the precise detection of gate machines is a challenging task. Aiming at the pain points in gate detection， a real-time gate detection algorithm based on CenterNet key point detection is proposed. Firstly， a Focus layer is added in front of the backbone network and a lightweight backbone network is designed to accelerate the model detection speed and ensure its feature extraction ability in the complex environment. Then， a Feature pyramid network （FPN） is introduced to efficiently utilize the high-level semantic information and underlying features extracted by the backbone network， the key points and embedding value of the gate machine are output， and the designed embedding of the gate machine ensures the accurate detection of the gate machine in the scenario of multiple gate machines. Finally， the key points belonging to the same gate machine are determined based on the predicted Embedding value， and the gate machine is constructed based on geometric relationships. The experimental results demonstrate that the proposed algorithm can efficiently and accurately detect gate machines in different scenarios.

Key Words： Autonomous driving; Computer vision; Convolutional neural network; Gate detection

作為人工智能領(lǐng)域的主要研究方向之一，自動駕駛正受到學(xué)術(shù)界和產(chǎn)業(yè)界的重點關(guān)注，是汽車未來的重要變革技術(shù)之一[1][2]。閘機檢測作為點到點自動駕駛的重要環(huán)節(jié)之一，直接關(guān)系到智能汽車的行駛決策。對閘機的準(zhǔn)確定位和狀態(tài)檢測能夠為行駛中的車輛提供道路信息，保障車輛行駛安全。

隨著計算機視覺和深度學(xué)習(xí)的快速發(fā)展[3][4]，從視覺方面對自動駕駛場景中的交通燈、車道線等檢測取得了重大突破[5]。

閘機檢測需要準(zhǔn)確定位到閘機的位置，同時檢測出閘機的狀態(tài)為自動駕駛車后續(xù)的決策層和執(zhí)行層提供可靠的感知信。因此，提出算法需要準(zhǔn)確的重建出車載攝像頭圖像中所有閘機，這可以通過現(xiàn)有實例分割算法完成圖像中閘機的提取。近年來，實例分割算法取得了較大的發(fā)展，然而由于車載系統(tǒng)性能有限，且汽車行駛速度過快，閘機場景復(fù)雜（如圖1所示），而實例分割需要在像素級別對每個對象進(jìn)行分割，因此需要更多的計算資源和時間，不能滿足自動駕駛車輛實時性的要求。此外實例分割需要標(biāo)記每個對象的像素級別分割，這需要更多的人工標(biāo)注工作和時間，這會成為算法落地的一個瓶頸。因此設(shè)計出準(zhǔn)確率較高且運行速度極快的閘機檢測算法是自動駕駛領(lǐng)域內(nèi)的研究重點與難點之一。

受骨架提取算法的啟發(fā)[6]，閘機可以由三個關(guān)鍵點（接地點，橫桿起點和橫桿終點）以及連接這些關(guān)鍵的兩條線段表示，如圖2所示。雖然骨架提取算法對于關(guān)鍵點檢測都能取得較好的性能，然而檢測速度無法達(dá)到實時效果，不能直接部署到計算資源有限的自動駕駛車輛上。

為了解決以上問題，本文提出了基于點檢測的實時閘機檢測算法。首先，通過在骨干網(wǎng)絡(luò)前增加Focus層將圖像的寬度和高度信息轉(zhuǎn)化為通道信息，從而增加模型感受野的同時不影響推理速度，此外主干網(wǎng)絡(luò)采用了輕量級的結(jié)構(gòu)，具有較少的參數(shù)量和計算復(fù)雜度，因此確保在復(fù)雜環(huán)境下特征提取能力的同時能夠?qū)崿F(xiàn)較快的推理速度；然后引入特征融合模塊（Feature Pyramid Network，F(xiàn)PN）[7]將低分辨率的頂層特征與高分辨率的底層特征進(jìn)行有效融合；進(jìn)一步，為了確保多閘機場景下閘機的準(zhǔn)確重建，設(shè)計了閘機Embedding通道，屬于同一閘機的關(guān)鍵點具有相同的Embedding值；最后基于預(yù)測的Embedding值確定屬于同一閘機的關(guān)鍵點并基于幾何關(guān)系重建閘機，圖2展示了閘機檢測的流程。

1算法設(shè)計

建模原理：構(gòu)建編碼解碼結(jié)構(gòu)模型，實現(xiàn)接地點橫桿點的魯棒檢測，以及進(jìn)行閘機一體化構(gòu)建。該模型輸出為三個通道，每個通道特征圖的尺寸與輸入圖像尺寸一致，各通道定義如下。

1.1.橫桿點heatmap

對特征圖使用Sigmoid函數(shù)激活后，取大于閾值（0.4）的點，使用NMS（dist=10）抑制重復(fù)點，按confidence排序輸出橫桿點；

1.2.接地點heatmap

對特征圖使用Sigmoid函數(shù)激活后，取大于閾值（0.4）的點，使用NMS（dist=10）抑制重復(fù)點，按confidence排序輸出接地點；

1.3.閘機embadding

直接取出檢測的接地點以及橫桿點對應(yīng)的embadding值，基于這些值對檢測的點按閘機進(jìn)行分組。

算法總體流程圖如圖3所示。

2構(gòu)建編碼解碼結(jié)構(gòu)模型

Backbone使用殘差網(wǎng)絡(luò)，首先對輸入圖像使用步長為2的卷積進(jìn)行3次下采樣得到特征圖尺寸為原始圖像的1/8，然后再使用反卷積對特征圖進(jìn)行上采樣回到原圖像尺寸，且輸出通道數(shù)為3，如圖4所示。

3使用非極大值抑制（NMS）獲取閘機接地點及橫桿點坐標(biāo)

對于輸出的閘機接地點、橫桿點特征圖，首先使用Sigmoid激活函數(shù)將特征值歸一化到0～1之間；然后取出特征圖中大于閾值（0.4）的所有點，并將這些點按特征值從大到小進(jìn)行排序輸出；進(jìn)一步，遍歷這些點并抑制遍歷到的點的鄰域（21*21）內(nèi)的點，即若領(lǐng)域內(nèi)的點在遍歷隊列中則將這些點移出隊列，最后輸出仍在隊列中的點作為檢測到的接地點或者橫桿點。

4基于embadding將接地點橫桿點按閘機分組

基于檢測的所有接地點以及橫桿點，通過第三個通道預(yù)測的embadding值（屬于同一閘機的embadding值比較近），將屬于同一閘機的點group到一組。具體來說，遍歷所有的接地點以及橫桿點，若任意兩個點的embadding值的差小于閾值（0.5）則認(rèn)為這兩個點屬于同一閘機，否則屬于不同閘機。這個過程得到的屬于同一閘機的一組點可能大于等于3個也可能小于3個，對于小于3個點的組直接刪除。對于一組點的個數(shù)大于3的情況，可能會有2個以上橫桿點或者多個接地點，因此需要從中挑選出3個最終能構(gòu)成閘機的點。

5基于幾何關(guān)系構(gòu)建閘機

基于以上步驟可以確定屬于同一閘機上的一組點（barrier_line，numgt;= 3），然后判斷是否有接地點，若有則取出該組點中特征值最大的接地點作為該閘機的接地點，同時將該組點中的所有接地點剔除，僅剩下橫桿點。

判斷橫桿點數(shù)量是否大于2個，若大于2個點，則計算每個點到該接地點的歐式距離，然后將歐式距離值最小的點作為橫桿的起點，最大的點作為橫桿的終點，最后，基于以上三個點可以得到一個閘機。

6結(jié)語

針對自動駕駛系統(tǒng)中，閘機檢測自動這一問題，本文構(gòu)建了基于卷積神經(jīng)網(wǎng)絡(luò)的閘機檢測模型，提出了基于點檢測的實時閘機檢測算法。主干網(wǎng)絡(luò)通過采用輕量級的結(jié)構(gòu)，減少了模型的參數(shù)量和計算復(fù)雜度，因此確保模型較快的推理速度；通過在骨干網(wǎng)絡(luò)前增加Focus層，將圖像的寬度和高度信息轉(zhuǎn)化為通道信息，從而增加模型感受野的同時不影響推理速度。然后，為了將低分辨率的頂層特征與高分辨率的底層特征進(jìn)行融合，引入了特征融合模塊FPN。同時，設(shè)計了閘機Embedding通道，確保多閘機場景下閘機的準(zhǔn)確重建。最后基于幾何關(guān)系重建閘機。本算法可用于自動駕駛系統(tǒng)的閘機識別中。

參 考 文 獻(xiàn)

[1] 王琦. 基于可解釋深度學(xué)習(xí)的自動駕駛汽車預(yù)測任務(wù)研究[D].長春：吉林大學(xué)，2023.

[2] YURTSEVER" E， LAMBERT J， CARBALLO A， et al. A Survey of Autonomous Driving： Common Practices and Emerging Technologies[J]. IEEE Access，2019， 8， 58443-58469.

[3] 章璐璐，李思照.基于深度學(xué)習(xí)的智能體軌跡預(yù)測文獻(xiàn)綜述[J].無線電工程，2023，53（3）：644-656.

[4] 劉博翀，蔡懷宇，楊詩遠(yuǎn)等.一種用于自動駕駛場景的輕量級語義分割網(wǎng)絡(luò)[J].西安電子科技大學(xué)學(xué)報，2023，50（1）：118-128.

[5] 錢伍，王國中，李國平.改進(jìn)YOLOv5的交通燈實時檢測魯棒算法[J].計算機科學(xué)與探索，2022，16（1）：231-241.

[6] NATHAN S ，KANSAL P.SkeletonNet： Mining Deep Part Features for 3-D Action Recognition[J]. IEEE Signal Processing Letters， 2017，24（6）： 731-735.

[7] 黃強，潘晴，田妮莉.一種用于目標(biāo)檢測的位置加權(quán)特征金字塔網(wǎng)絡(luò)[J].計算機仿真，2023，40（6）：192-196.