李朋原

隨著汽車(chē)電子化和高級(jí)輔助駕駛技術(shù)的快速發(fā)展，自動(dòng)駕駛作為輔助駕駛技術(shù)的高級(jí)階段，儼然成為未來(lái)解決交通出行的重要方式，已成為全球范圍內(nèi)一個(gè)新的技術(shù)研究熱點(diǎn)和重點(diǎn)。汽車(chē)行業(yè)是一個(gè)特殊行業(yè)，涉及乘客及行人安全，任何事故都是不可接受的，所以對(duì)于安全性、可靠性有著近乎苛刻的要求。

在自動(dòng)駕駛領(lǐng)域，無(wú)人駕駛車(chē)輛必須具備通過(guò)車(chē)載傳感器檢測(cè)行人是否存在及其位置的能力，以實(shí)現(xiàn)進(jìn)一步的決策。一旦檢測(cè)錯(cuò)誤則會(huì)造成傷亡，后果嚴(yán)重，所以對(duì)于行人檢測(cè)的準(zhǔn)確性要求極高。而行人檢測(cè)這一核心技術(shù)受到很多因素的影響，如行人姿態(tài)變化、衣著打扮各異、遮擋問(wèn)題、運(yùn)動(dòng)隨機(jī)、室外天氣光線(xiàn)因素變化等，這些因素都會(huì)影響到行人檢測(cè)技術(shù)的準(zhǔn)確性乃至可行性。使用高精度的傳感器有利于算法結(jié)果準(zhǔn)確，但高精度的傳感器非常昂貴（如激光雷達(dá)）。成本和精度無(wú)法兼得，這種矛盾在過(guò)去一直很難解決。使用廉價(jià)的攝像機(jī)獲取圖像，通過(guò)處理圖像來(lái)檢測(cè)到行人的位置以及運(yùn)動(dòng)趨勢(shì)，從而取代雷達(dá)，壓縮成本，該過(guò)程就是行人檢測(cè)技術(shù)。

自動(dòng)駕駛中的行人檢測(cè)使用搭載在車(chē)輛中的攝像設(shè)備來(lái)獲得行車(chē)的圖像數(shù)據(jù)，進(jìn)而從圖像或者序列當(dāng)中測(cè)算出是否存在行人，同時(shí)給出精確的定位。行人檢測(cè)面臨的是一個(gè)開(kāi)放的環(huán)境，要考慮不同的路況、天氣和光線(xiàn)變化，對(duì)算法的魯棒性提出了很高的要求，而實(shí)時(shí)性是系統(tǒng)必須滿(mǎn)足的要求，因此系統(tǒng)的魯棒性和實(shí)時(shí)性構(gòu)成了一個(gè)矛盾。為了解決這種矛盾，現(xiàn)有的行人檢測(cè)系統(tǒng)一般包括兩個(gè)模塊：圖像分割和目標(biāo)識(shí)別。圖像分割的目的是從圖像中提取可能包含行人的窗口區(qū)域作進(jìn)一步驗(yàn)證，以避免窮盡搜索，提高系統(tǒng)的速度。目標(biāo)識(shí)別是行人檢測(cè)系統(tǒng)的核心，它對(duì)得到的分割區(qū)域進(jìn)行驗(yàn)證，以判斷其中是否包含行人，其性能決定了整個(gè)系統(tǒng)可以達(dá)到的精度和魯棒性①賈慧星，章毓晉. 車(chē)輛輔助駕駛系統(tǒng)中基于計(jì)算機(jī)視覺(jué)的行人檢測(cè)研究綜述[J]. 自動(dòng)化學(xué)報(bào)，2007，33（1）：7.。

傳統(tǒng)的行人檢測(cè)技術(shù)主要依賴(lài)于圖像處理技術(shù)。近些年來(lái)，深度學(xué)習(xí)技術(shù)興起，典型的如卷積神經(jīng)網(wǎng)絡(luò)目前廣泛應(yīng)用于各類(lèi)圖像處理中，非常適用于行人檢測(cè)。深度學(xué)習(xí)技術(shù)帶來(lái)的高準(zhǔn)確性促進(jìn)了無(wú)人駕駛車(chē)輛系統(tǒng)在行人檢測(cè)等多個(gè)核心領(lǐng)域的發(fā)展。

本文對(duì)自動(dòng)駕駛中的行人檢測(cè)相關(guān)專(zhuān)利技術(shù)文獻(xiàn)進(jìn)行了統(tǒng)計(jì)分析，并梳理了行人檢測(cè)技術(shù)的主要發(fā)展脈絡(luò)。

一、專(zhuān)利態(tài)勢(shì)分析

本文在專(zhuān)利檢索與服務(wù)系統(tǒng)（Patent Search and Service System，簡(jiǎn)稱(chēng)“S 系統(tǒng)”）中進(jìn)行檢索，以中國(guó)專(zhuān)利文摘數(shù)據(jù)庫(kù)（CNABS）和外文虛擬文摘數(shù)據(jù)庫(kù)（VEN）中的專(zhuān)利申請(qǐng)為基礎(chǔ)進(jìn)行數(shù)據(jù)篩選和數(shù)據(jù)分析。鑒于本文主要研究自動(dòng)駕駛中行人檢測(cè)技術(shù)的發(fā)展，主要采用關(guān)鍵詞的方式檢索得到，其中在CNABS 庫(kù)中主要采用“自動(dòng)駕駛”“智能駕駛”“無(wú)人駕駛”“行人檢測(cè)”“行人識(shí)別”等關(guān)鍵詞進(jìn)行檢索，在VEN 數(shù)據(jù)庫(kù)主要采用“person+or pedestrian+or human or people or individ+”等表示行人，采用“detect+or predict+or identif+”等表示檢測(cè)含義，采用“automatic driving or autonomous driving” 等 表 示自動(dòng)駕駛，檢索截至2021 年12 月31 日公開(kāi)的專(zhuān)利申請(qǐng)，僅保留發(fā)明專(zhuān)利申請(qǐng)，并進(jìn)行了專(zhuān)利去重、去噪。

（一）申請(qǐng)趨勢(shì)

圖1 展示了近幾年行人檢測(cè)領(lǐng)域?qū)＠暾?qǐng)的趨勢(shì)。從圖中可以看到，在2015 年之前，國(guó)內(nèi)外的申請(qǐng)量均沒(méi)有大幅增加，一直保持平穩(wěn)的少量申請(qǐng)狀態(tài)，2016 年開(kāi)始申請(qǐng)量有了較大的增幅，2018 年開(kāi)始國(guó)內(nèi)的申請(qǐng)量實(shí)現(xiàn)了對(duì)國(guó)外申請(qǐng)的反超。在2016年以前，行人檢測(cè)技術(shù)主要依賴(lài)于提取圖像的底層特征，并且自動(dòng)駕駛領(lǐng)域其他相關(guān)技術(shù)也不夠成熟，發(fā)展速度較慢，申請(qǐng)量維持在一個(gè)較為平穩(wěn)的低量狀態(tài)。2016 年以后，隨著自動(dòng)駕駛相關(guān)技術(shù)的不斷完善，深度學(xué)習(xí)的方法也成功應(yīng)用于行人檢測(cè)等領(lǐng)域，帶來(lái)了一股新的技術(shù)風(fēng)潮，專(zhuān)利申請(qǐng)量逐漸攀升。

圖1 國(guó)內(nèi)外申請(qǐng)趨勢(shì)圖

（二）技術(shù)來(lái)源國(guó)/地區(qū)

圖2 展示了自動(dòng)駕駛行人檢測(cè)領(lǐng)域申請(qǐng)人在全球范圍內(nèi)的地域分布情況?？梢钥吹?，申請(qǐng)量最高的區(qū)域是中、美、日，總共占據(jù)約85%的申請(qǐng)量，其中，我國(guó)的申請(qǐng)量超過(guò)了全球的一半。這得益于我國(guó)眾多車(chē)企、新興車(chē)企在自動(dòng)駕駛方面的積極投入，以及我國(guó)對(duì)高新產(chǎn)業(yè)的支持。美國(guó)擁有眾多老牌車(chē)企，對(duì)自動(dòng)駕駛的研究起步較早，也擁有接近全球四分之一的申請(qǐng)量。除此之外，專(zhuān)利五大國(guó)中的日、韓申請(qǐng)量也名列前茅。

圖2 全球申請(qǐng)人所屬?lài)?guó)家/地區(qū)分布圖

（三）主要申請(qǐng)人

圖3 展示了自動(dòng)駕駛行人檢測(cè)領(lǐng)域排名前10 的重要申請(qǐng)人，我國(guó)占據(jù)三位。其中百度〔合并了旗下子公司和分公司，由百度在線(xiàn)網(wǎng)絡(luò)技術(shù)（北京）有限公司、百度（美國(guó)）有限責(zé)任公司、北京百度網(wǎng)訊科技有限公司、阿波羅智能技術(shù)（北京）有限公司、阿波羅智聯(lián)（北京）科技有限公司合并而成〕位列榜首。排名靠前的企業(yè)單位依次為百度、偉摩〔Waymo LLC，為Alphabet（Google 母公司）旗下的子公司，美國(guó)〕、福特全球技術(shù)公司（美國(guó)）、新石器慧通（北京）科技有限公司、御眼視覺(jué)（MobileEye，以色列自動(dòng)駕駛創(chuàng)業(yè)公司）、羅伯特·博世有限公司（Bosch，德國(guó)）、皇家飛利浦股份有限公司（英國(guó)）、起亞自動(dòng)車(chē)株式會(huì)社（韓國(guó)）、現(xiàn)代自動(dòng)車(chē)株式會(huì)社（韓國(guó)）、UATC LLC（Uber，美國(guó)）、華為技術(shù)有限公司、重慶長(zhǎng)安汽車(chē)股份有限公司、寶馬股份公司（德國(guó)）、豐田自動(dòng)車(chē)株式會(huì)社（日本）。可以看出，全球前10 位的重要申請(qǐng)人除吉林大學(xué)外，均屬于頭部車(chē)企（5 家）和近些年入局自動(dòng)駕駛的新型車(chē)企和創(chuàng)業(yè)企業(yè)（4 家）。而吉林大學(xué)與百度等自動(dòng)駕駛公司聯(lián)系密切，也擁有多個(gè)自動(dòng)駕駛測(cè)試實(shí)驗(yàn)室，是在自動(dòng)駕駛投入眾多科研力量的國(guó)內(nèi)高校。在前10 位之外，還有許多企業(yè)例如寶馬、豐田、長(zhǎng)安等緊隨其后?？偟膩?lái)說(shuō)，各國(guó)企業(yè)在行人檢測(cè)領(lǐng)域的專(zhuān)利布局競(jìng)爭(zhēng)非常激烈，呈現(xiàn)多元發(fā)展的態(tài)勢(shì)。

圖3 全球部分重要申請(qǐng)人

二、技術(shù)構(gòu)成及典型專(zhuān)利

行人檢測(cè)的技術(shù)構(gòu)成主要可以分為兩個(gè)部分，即圖像分割和目標(biāo)識(shí)別。圖像分割技術(shù)的目的是分割出整體圖像中的感興趣區(qū)（Regions of Interest），從而避免對(duì)整個(gè)圖像進(jìn)行識(shí)別，提高系統(tǒng)的檢測(cè)速度。圖像分割技術(shù)可以分為閾值分割法、邊緣檢測(cè)法以及語(yǔ)義分割三種分割方法。閾值分割法是使用圖像灰度特征進(jìn)行灰度計(jì)算，進(jìn)而與閾值進(jìn)行對(duì)比來(lái)完成分割。邊緣檢測(cè)則是尋找出圖像的灰度、顏色、肌理等圖像特點(diǎn)忽然改變的地方，從而將其作為圖像邊緣進(jìn)行分割。語(yǔ)義分割則是利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)復(fù)雜環(huán)境進(jìn)行分割，分割的依據(jù)是有效的上下文 消息。

目標(biāo)識(shí)別是行人檢測(cè)中的核心技術(shù)，可以分為特征提取和分類(lèi)器構(gòu)造兩大步驟。通過(guò)先驗(yàn)知識(shí)建立的底層特征提取配合分類(lèi)器進(jìn)行行人檢測(cè)是傳統(tǒng)的主流方案。特征提取的目的是降低數(shù)據(jù)的維數(shù)，得到能反映模式本質(zhì)屬性的特征，方便后面的分類(lèi)；分類(lèi)器設(shè)計(jì)的目的是得到一個(gè)計(jì)算復(fù)雜度較低，并且推廣性較好的分類(lèi)器。按照目標(biāo)識(shí)別中提取的特征類(lèi)型，可以將其分為兩大類(lèi)：一類(lèi)是提取的特征為傳統(tǒng)圖像底層特征，例如顏色、紋理和梯度等基本的圖像特征；另一類(lèi)是由深度學(xué)習(xí)提取的特征②張新鈺，高洪波，趙建輝，等. 基于深度學(xué)習(xí)的自動(dòng)駕駛技術(shù)綜述[J]. 清華大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，058（004）：438-444.，指的是通過(guò)機(jī)器學(xué)習(xí)的方法，從大量的行人樣本中獲取的行人特征表示。主流分類(lèi)器的構(gòu)造方法是基于統(tǒng)計(jì)分類(lèi)的，主要可以分為兩類(lèi)，分別是基于支持向量機(jī)（Support Vector Machine，SVM）的方法和基于Boosting 技術(shù)的方法。各個(gè)分類(lèi)器都有其優(yōu)缺點(diǎn)，在目前的行人檢測(cè)技術(shù)中，沒(méi)有一種絕對(duì)優(yōu)秀的分類(lèi)工具。使用線(xiàn)性函數(shù)的SVM 模型的訓(xùn)練和預(yù)測(cè)時(shí)間較快，而 Boosting技術(shù)和訓(xùn)練時(shí)間則很長(zhǎng)，準(zhǔn)確性高。目前尚無(wú)統(tǒng)一的平臺(tái)來(lái)驗(yàn)證到底哪個(gè)分類(lèi)器性能最優(yōu)。

（一）基于底層特征提取的自動(dòng)駕駛中的行人檢測(cè)技術(shù)

本小節(jié)主要討論基于底層特征提取的行人檢測(cè)。在眾多應(yīng)用于行人檢測(cè)的底層特征中，最成功且主流的特征為2005 年提出的方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征③Dalal N，Triggs B. Histograms of riented gradients for human detection[C]// Proceeding of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE，2005.1：886-893.，其通過(guò)檢測(cè)人的圖形，得出人的水平和豎直的梯度幅值及像素點(diǎn)的梯度角。使用梯度幅值來(lái)對(duì)梯度角展開(kāi)加權(quán)，勾勒出圖像的局部梯度幅值以及相應(yīng)的方向，再基于梯度特征對(duì)特征向量歸一化。HOG 特征建立在密集的網(wǎng)絡(luò)計(jì)算中，可以讓不同的塊相互重疊，所以對(duì)光照的偏移和位置的移動(dòng)有很大的容差性，讓行人檢測(cè)中的魯棒性得到很好的滿(mǎn)足，可以很好地表現(xiàn)出人體的特征。

2011 年的專(zhuān)利申請(qǐng)CN102096803A 采用ROI 閾值法進(jìn)行圖像分割，選擇HOG 特征作為底層特征。利用SVM 分類(lèi)器判斷每一個(gè)區(qū)域的HOG 特征是否可以匹配為行人樣本HOG 特征，是非常典型且主流的傳統(tǒng)行人檢測(cè)方式。2012 年的專(zhuān)利申請(qǐng)CN1026096 86A 在HOG、SVM 的基礎(chǔ)上，對(duì)圖像分割方法進(jìn)行改進(jìn)，提出了一種基于運(yùn)動(dòng)信息和形狀先驗(yàn)的圖割方法，降低了誤檢率。2014 年的專(zhuān)利申請(qǐng)CN1038863 08A 則是聚焦于對(duì)分類(lèi)器進(jìn)行改進(jìn)，使用聚合通道特征和軟級(jí)聯(lián)分類(lèi)器獲得了更好的分類(lèi)效果。2019 年的專(zhuān)利申請(qǐng)CN109886086A 是在選用HOG 特征的基礎(chǔ)上對(duì)分類(lèi)器進(jìn)行了改進(jìn)，使用Adaboost 算法集成三個(gè)SVM 弱分類(lèi)器獲得了強(qiáng)分類(lèi)器。

除了采用主流的HOG 特征外，很多專(zhuān)利申請(qǐng)也選取了其他的底層特征：

1.CSS 特征：2014 年的專(zhuān)利申請(qǐng)CN104537647A除了HOG 特征外，還選取了顏色自相似特征（Color Self-Similarity，CSS），將深度學(xué)習(xí)模型和分類(lèi)器聯(lián)合起來(lái)，將待檢測(cè)圖像的特征向量作為將深度學(xué)習(xí)模型的輸入數(shù)據(jù)，進(jìn)而得到深度學(xué)習(xí)模型的隱層節(jié)點(diǎn)的狀態(tài)值，最后將最后一層隱層節(jié)點(diǎn)的狀態(tài)值作為分類(lèi)器的輸入，得到分類(lèi)結(jié)果。

2.LBP 特征：2014 年的專(zhuān)利申請(qǐng)CN104091157A，提出了一種HOG 與紋理特征局部二值模式（Local Binary Patterns，LBP）融合的行人檢測(cè)方法，采用多特征融合的方法，融合LBP 紋理特征，與SVM 分類(lèi)器相結(jié)合，在提高HOG-LBP 識(shí)別率的同時(shí)，降低了訓(xùn)練和檢測(cè)的時(shí)間，且能很好地處理行人遮擋問(wèn)題。2016 年的專(zhuān)利申請(qǐng)CN105741324A 使用光流法檢測(cè)出所有移動(dòng)目標(biāo)后，提取HSV 顏色特征和LBP 紋理特征，使用SVM 作為分類(lèi)器進(jìn)行特征分類(lèi)，并且在完成行人檢測(cè)的基礎(chǔ)上還進(jìn)一步追蹤了行人的運(yùn)動(dòng)。

3.ICF 特征：2016 年的專(zhuān)利申請(qǐng)CN105975921A使用積分通道特征（Integral Channel Features，ICF）。ICF 計(jì)算出包含LUV（色度和色差）、梯度幅值、HOG 特征，并將其順次連接構(gòu)成積分通道特征，并且引入了一種利用偏最小二乘法的評(píng)分機(jī)制用于特征選擇。2018 年的專(zhuān)利申請(qǐng)CN108694356A 在ICF 的基礎(chǔ)上引入了粒子群算法，通過(guò)粒子群優(yōu)化（Particle Swarm Optimization，PSO）算法在搜索圖像中能快速收斂到概率得分較高的區(qū)域，提升了檢測(cè)的效率。2019 年的專(zhuān)利申請(qǐng)WO2019203921A1 則是采用了ICF 特征配合卷積神經(jīng)網(wǎng)絡(luò)分類(lèi)器的架構(gòu)方式進(jìn)行行人檢測(cè)。該申請(qǐng)?jiān)诜诸?lèi)時(shí)使用了兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)，添加了第二個(gè)卷積神經(jīng)網(wǎng)絡(luò)對(duì)候選目標(biāo)區(qū)域進(jìn)行分類(lèi)以試圖獲得更好的分類(lèi)精度和效果。

4.ACF 特 征：2016 年 的 專(zhuān) 利 申 請(qǐng)CN1057608 58A，在ICF 特征的基礎(chǔ)之上又提出了更為高效的聚合通道特征（Aggregated Channel Features，ACF）作為底層特征，利用Haar-like 模板對(duì)其進(jìn)行濾波提取Haar-like 中間層特征作為目標(biāo)特征，結(jié)合Adaboost 分類(lèi)器，利用級(jí)聯(lián)分類(lèi)的思想進(jìn)行行人檢測(cè)。同為2016 年的專(zhuān)利申請(qǐng)CN105975929A 除采用了以ACF 特征為底層特征外，還使用卷積神經(jīng)元網(wǎng)絡(luò)分類(lèi)器對(duì)前期標(biāo)定的每個(gè)位置做進(jìn)一步篩選，最后使用卷積神經(jīng)網(wǎng)絡(luò)作為分類(lèi)器進(jìn)行了 分類(lèi)。

5.CENTRIST 特征：2015 年的專(zhuān)利申請(qǐng)CN1073 16320A 使用中心變換直方圖特征（Census Transform Histogram，CENTRIST）配合SVM 作為分類(lèi)型完成了行人檢測(cè)。2017 年的專(zhuān)利申請(qǐng)CN104835182A 采用了CENTRIST 特征，為了使CENTRIST 特征更好地描述行人，將訓(xùn)練正樣本做了針對(duì)性的處理，使用多個(gè)SVM 分類(lèi)器組成非線(xiàn)性SVM 進(jìn)行行人檢測(cè)，并結(jié)合CT 變換加載了GPU 加速檢測(cè)算法，提高了檢測(cè)速度。2020 年的專(zhuān)利申請(qǐng)CN111332288A 除了采用CENTRIST 之外，還應(yīng)用擴(kuò)展卡爾曼濾波器（Extended Kalman Filter，EKF）對(duì)行人位置進(jìn)行了預(yù)測(cè)，檢測(cè)行人具有的實(shí)時(shí)性，提高了事故預(yù)警準(zhǔn)確率。

雖然基于底層特征的傳統(tǒng)手動(dòng)特征提取方法在早些年間得到了廣泛應(yīng)用，并在原有基礎(chǔ)上取得了一些改進(jìn)，但在近年來(lái)的行人檢測(cè)發(fā)展中難以取得令人滿(mǎn)意的提升。

（二）基于深度學(xué)習(xí)的行人檢測(cè)

基于底層特征的傳統(tǒng)手動(dòng)特征提取方法已經(jīng)有了很好的表現(xiàn)，能夠應(yīng)用到很多商業(yè)領(lǐng)域。但是深度學(xué)習(xí)在行人檢測(cè)領(lǐng)域的表現(xiàn)和潛力，顯然要遠(yuǎn)遠(yuǎn)好于傳統(tǒng)方法，因?yàn)槠淠軐?duì)原始圖像數(shù)據(jù)進(jìn)行學(xué)習(xí)，通過(guò)算法提取出更好的特征?；谏疃葘W(xué)習(xí)的行人檢測(cè)方法具備極高的準(zhǔn)確率和魯棒性。主流的深度學(xué)習(xí)的行人檢測(cè)方法可以分為兩類(lèi)：一類(lèi)是以區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（R-CNN）、快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Fast R-CNN）、高速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Faster R-CNN）為代表的基于候選框的方法。其中，R-CNN 模型曾達(dá)到最高準(zhǔn)確率，引領(lǐng)了后期分類(lèi)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)框架的發(fā)展④Girshick R，Donahue J，Darrell T，et al. Rich feature hierarchies for accurate object detection and semantic segmentation. [C] // Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE，2014：580-587.，具體的實(shí)現(xiàn)步驟如圖4 所示。

圖4 R-CNN模型實(shí)現(xiàn)檢測(cè)的主要步驟

另一類(lèi)是以YOLO（You Only Look Once）、輕量級(jí)目標(biāo)檢測(cè)（Single Shot MultiBox Detector，SSD）為代表的基于回歸的方法。SSD 開(kāi)啟了利用深度學(xué)習(xí)也可以實(shí)現(xiàn)實(shí)時(shí)檢測(cè)的先河，將目標(biāo)檢測(cè)作為回歸問(wèn)題，核心思想是在多尺度特征圖上直接進(jìn)行分類(lèi)和回歸，避免了Faster R-CNN 等方法中提取多個(gè)目標(biāo)候選框特征的過(guò)程，因而大大提升了檢測(cè)速度。YOLO的全稱(chēng)You Only Look Once，指只需要瀏覽一次就可以識(shí)別出圖中物體的類(lèi)別和位置。YOLO 將物體檢測(cè)作為一個(gè)回歸問(wèn)題進(jìn)行求解，輸入圖像經(jīng)過(guò)一次計(jì)算，便能得到圖像中所有物體的位置和其所屬類(lèi)別及相應(yīng)的置信概率。因?yàn)橹恍枰匆淮?，YOLO 被稱(chēng)為Region-free 方法，其不需要提前找到可能存在目標(biāo)的Region，即不需要進(jìn)行圖像分割，而前文所提到的需要圖像分割的方法也被稱(chēng)為Region-based 方法。

在卷積神經(jīng)網(wǎng)絡(luò)興起后，就陸續(xù)有相關(guān)申請(qǐng)人將其應(yīng)用到行人檢測(cè)中。2016 年的專(zhuān)利申請(qǐng)CN1065 99773A、US20170206426A1、US20170270374A1 等多個(gè)專(zhuān)利都利用多個(gè)卷積神經(jīng)網(wǎng)絡(luò)完成了行人檢測(cè)。其中，專(zhuān)利申請(qǐng)CN106599773A 將共享性深度學(xué)習(xí)網(wǎng)絡(luò)作為一種提取特征的手段，該手段在處理多任務(wù)學(xué)習(xí)時(shí)，比傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)具有更小更精的優(yōu)勢(shì)，不僅繼承了原有網(wǎng)絡(luò)中的權(quán)值共享，同時(shí)還共享了部分網(wǎng)絡(luò)結(jié)構(gòu)和模型，不僅保留了單層網(wǎng)絡(luò)的準(zhǔn)確率，還大大減少了計(jì)算成本，在多任務(wù)學(xué)習(xí)上具有明顯的速度優(yōu)勢(shì)。

還有許多專(zhuān)利，在卷積神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，從不同的角度進(jìn)行了改良，試圖獲得更好的檢測(cè)效果。

例如從卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行改良。2018 年的專(zhuān)利申請(qǐng)CN108960074A，融合了卷積神經(jīng)網(wǎng)絡(luò)中的多重卷積特征，在網(wǎng)絡(luò)結(jié)構(gòu)加入了反卷積層并使用了新的損失函數(shù)，增強(qiáng)了對(duì)小尺寸行人目標(biāo)的檢測(cè)效果。同年，專(zhuān)利申請(qǐng)CN108805070A 使用了18 層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行行人特征學(xué)習(xí)，得到了較快的檢測(cè)速度，還提出了面向嵌入式終端的優(yōu)化策略，進(jìn)一步縮小了網(wǎng)絡(luò)規(guī)模和算法復(fù)雜度，適用于高級(jí)輔助駕駛（ADAS）的功能應(yīng)用。2019 年的專(zhuān)利申請(qǐng)CN110020 688A，在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，構(gòu)建了判別網(wǎng)絡(luò)和掩碼網(wǎng)絡(luò)，可以選擇出對(duì)于遮擋下的行人目標(biāo)更為有效的卷積特征，提高了對(duì)遮擋行人的檢測(cè)效果。2020年的專(zhuān)利申請(qǐng)CN111626198A，在卷積神經(jīng)網(wǎng)絡(luò)中加入長(zhǎng)短期記憶網(wǎng)絡(luò)關(guān)聯(lián)時(shí)空上下文信息預(yù)測(cè)行人運(yùn)動(dòng)軌跡，并且加入了對(duì)抗網(wǎng)絡(luò)來(lái)預(yù)測(cè)行人軌跡。2021年的專(zhuān)利申請(qǐng)CN112435503A，在卷積神經(jīng)網(wǎng)絡(luò)組合長(zhǎng)短期記憶網(wǎng)絡(luò)的基礎(chǔ)上，利用動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)，以人車(chē)距離、車(chē)輛行駛速度、行人身體朝向等作為觀(guān)測(cè)變量，并融合行人注意力狀態(tài)特征，實(shí)現(xiàn)多時(shí)序下行人穿行或避讓意圖的預(yù)測(cè)。

例如從訓(xùn)練數(shù)據(jù)的角度對(duì)方案進(jìn)行修改。2018年的專(zhuān)利申請(qǐng)CN108376235A 使用數(shù)據(jù)擴(kuò)增方法擴(kuò)增圖像數(shù)據(jù)并訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，使用其檢測(cè)得到所述待檢測(cè)圖像的車(chē)輛和行人信息。2020 年的專(zhuān)利申請(qǐng)CN112446436A，通過(guò)生成對(duì)抗網(wǎng)絡(luò)對(duì)模糊的輸入圖像進(jìn)行處理，然后使用卷積神經(jīng)網(wǎng)絡(luò)完成行人檢測(cè)，解決了因車(chē)體抖動(dòng)使相機(jī)采集到的圖像模糊導(dǎo)致判斷結(jié)果不準(zhǔn)確的問(wèn)題。2021 年的專(zhuān)利申請(qǐng)CN1141 20439A 除了使用圖像外，還使用了非圖像特征，通過(guò)神經(jīng)網(wǎng)絡(luò)模型融合視覺(jué)特征信息和非視覺(jué)特征信息，來(lái)識(shí)別出行人的行為意圖和軌跡。

例如針對(duì)特定情況下的行人檢測(cè)構(gòu)建針對(duì)性的模型。2019 年的專(zhuān)利申請(qǐng)CN110781744A，將多個(gè)卷積層得到的卷積特征圖進(jìn)行特征融合，這種策略同時(shí)兼顧了淺層特征豐富的細(xì)節(jié)信息和深層特征抽象的語(yǔ)義信息，豐富了小尺度行人的特征，有助于提高對(duì)于小尺度行人的分類(lèi)。

CNN 區(qū)域卷積神經(jīng)網(wǎng)絡(luò)模型掀起了在行人檢測(cè)領(lǐng)域應(yīng)用深度學(xué)習(xí)的熱潮。2016 年的專(zhuān)利申請(qǐng)US20 17124415A1，提出了一種通過(guò)使用R-CNN 來(lái)檢測(cè)室外場(chǎng)景中的汽車(chē)、行人和騎行者的實(shí)現(xiàn)方法。該方法包括通過(guò)利用子類(lèi)別信息的區(qū)域提議網(wǎng)絡(luò)（Region Proposal Networks，RPN）從圖像生成對(duì)象區(qū)域提議，以及通過(guò)同時(shí)執(zhí)行對(duì)象類(lèi)別分類(lèi)、子類(lèi)別分類(lèi)和邊界框回歸的對(duì)象檢測(cè)網(wǎng)絡(luò)（Object Detection Network，ODN）對(duì)對(duì)象區(qū)域提議進(jìn)行分類(lèi)和細(xì)化。2018 年的專(zhuān)利申請(qǐng)CN109492576A 使用R-CNN 模型完成了自動(dòng)駕駛中的行人檢測(cè)，通過(guò)對(duì)人像和人像中的指定部位檢測(cè)，框出人像及人像的指定部位，形成成對(duì)的標(biāo)注框，從而更好地標(biāo)識(shí)一個(gè)對(duì)象，實(shí)現(xiàn)了有效地對(duì)多目標(biāo)的檢測(cè)，解決了行人遮擋時(shí)導(dǎo)致不能識(shí)別到部分被遮擋的行人問(wèn)題，也提高了行人檢測(cè)的精度。

2017 年的專(zhuān)利申請(qǐng)CN107944390A、2018 年的專(zhuān)利申請(qǐng)CN107463892A，均將目標(biāo)檢測(cè)深度模型Faster R-CNN 應(yīng)用到行人檢測(cè)領(lǐng)域中。其中，CN107 944390A 通過(guò)機(jī)動(dòng)車(chē)頂部的相機(jī)獲取兩幅魚(yú)眼圖像，對(duì)兩幅魚(yú)眼圖像進(jìn)行誤差矯正，其次將兩幅圖像合成為一幅球面圖像，再將球面圖像上的點(diǎn)投影到全景圖像上得到全景圖像，最后將全景圖像采用Faster R-CNN 網(wǎng)絡(luò)，在全景圖像上提出車(chē)輛周?chē)能?chē)輛、人、圖標(biāo)信息，進(jìn)一步根據(jù)圖像塊像素大小計(jì)算車(chē)距、離人的距離，同時(shí)能檢測(cè)路標(biāo)等，能標(biāo)定出車(chē)和人的方位信息。CN107463892A 則是結(jié)合行人周?chē)纳舷挛男畔⑤斎胩卣鞣诸?lèi)器，結(jié)合Faster R-CNN 中深度特征提取模型VGG16 的多級(jí)特征，將高層粗糙的特征與低層精細(xì)的特征組合到一起，使得特征包含更加豐富的信息，能夠更好地檢測(cè)小尺寸行人。2020年的專(zhuān)利申請(qǐng)CN111832515A 也使用了Faster R-CNN模型，有效消除人群中未被遮擋人對(duì)被遮擋人的檢測(cè)識(shí)別干擾，大幅提升密集人群中行人檢測(cè)的召回率和平均精度，從而精確識(shí)別視線(xiàn)范圍內(nèi)行人的位置及數(shù)量。2021 年的專(zhuān)利申請(qǐng)CN113361491A，則是在Faster R-CNN 的基礎(chǔ)上進(jìn)行了改進(jìn)，采用SE Net 結(jié)構(gòu)改進(jìn)神經(jīng)網(wǎng)絡(luò)卷積模塊，增強(qiáng)無(wú)人駕駛汽車(chē)對(duì)道路行人動(dòng)作的預(yù)測(cè)能力。2021 年的專(zhuān)利申請(qǐng)CN1142 02743A 同樣是對(duì)Faster R-CNN 模型作出了改進(jìn)，對(duì)Faster R-CNN 模型中的主干特征提取網(wǎng)絡(luò)ResNet-50進(jìn)行了改進(jìn)，用可變形卷積V2 代替ResNet-50 最后兩層中的傳統(tǒng)卷積，同時(shí)在最后兩層中添加空間注意力機(jī)制，提升了模型的魯棒性和準(zhǔn)確性。

根據(jù)前文所述，除了基于卷積神經(jīng)網(wǎng)絡(luò)以及其延伸模型R-CNN，F(xiàn)aster R-CNN 等以外，基于回歸的YOLO、SSD 模型也是常見(jiàn)的行人檢測(cè)模型。

2018 年的專(zhuān)利申請(qǐng)DE102018104270A1、2019年的專(zhuān)利申請(qǐng)CN110674687A 均使用SSD 模型完成了行人檢測(cè)。2018 年的專(zhuān)利申請(qǐng)CN109670405A 則是在SSD 特征提取網(wǎng)絡(luò)上進(jìn)行相應(yīng)修改，增加SSD 特征提取網(wǎng)絡(luò)的復(fù)雜度，提高其特征提取能力，在提高模型特征提取能力的同時(shí)不會(huì)導(dǎo)致模型檢測(cè)速度的大幅度下降。2021 年的專(zhuān)利申請(qǐng)CN111488795A 采用一種融合光流的Deep SORT 行人跟蹤算法，在卡爾曼濾波的線(xiàn)性預(yù)測(cè)部分融合基于光流的目標(biāo)運(yùn)動(dòng)信息，使得預(yù)測(cè)的邊界框能夠更加貼近行人的外觀(guān)，并且利用基于Track-by-Detection 策略改進(jìn)了SSD 算法，提高了檢測(cè)的實(shí)時(shí)性。

2016 年的專(zhuān)利申請(qǐng)US9760806B1B1 利用了YOLO 進(jìn)行行人檢測(cè)，其將YOLO 的卷積層連接到一循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RUN）的長(zhǎng)短期記憶（Long Short-Term Memory,LSTM），實(shí)現(xiàn)實(shí)時(shí)目標(biāo)檢測(cè)和跟蹤的目的，并且提出了一種可以改進(jìn)卡爾曼濾波器性能的跟蹤方法，公開(kāi)了基于有效距離測(cè)量的驗(yàn)證步驟，特別提高了在A(yíng)DAS 系統(tǒng)中的目標(biāo)檢測(cè)的性能。2018 年的專(zhuān)利申請(qǐng)CN109241814A，使用人工劃分的行人檢測(cè)場(chǎng)景圖片對(duì)YOLO 神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，從而使YOLO 神經(jīng)網(wǎng)絡(luò)能夠進(jìn)行行人檢測(cè)。2018 年專(zhuān)利申請(qǐng) CN108985186A 使用了改進(jìn)的YOLO模型YOLO V2，針對(duì)行人檢測(cè)調(diào)整YOLO V2 網(wǎng)絡(luò)結(jié)構(gòu)，并通過(guò)初始候選框的選擇、OHEM 方法這些訓(xùn)練策略以及標(biāo)定框先驗(yàn)的篩選策略，提高了算法的精度和檢測(cè)的速度。2020 年的專(zhuān)利申請(qǐng)CN111739053A，基于YOLO V3 檢測(cè)出的行人后，采用在Re-id 上訓(xùn)練的淺層深度學(xué)習(xí)網(wǎng)絡(luò)提取行人的表觀(guān)特征，以及采用卡爾曼濾波進(jìn)行行人運(yùn)動(dòng)的預(yù)測(cè)，最后結(jié)合表觀(guān)相似度和運(yùn)動(dòng)相似度來(lái)聯(lián)合度量行人軌跡與行人檢測(cè)之間的親和度，通過(guò)KM 匹配算法實(shí)現(xiàn)檢測(cè)的行人與已有軌跡的一個(gè)關(guān)聯(lián)，進(jìn)而更新軌跡信息，得到每個(gè)行人在新的一幀中的相應(yīng)位置。2021 年的專(zhuān)利申請(qǐng)CN 113158766A，利用YOLO V3 和人體3D 姿態(tài)重構(gòu)模型，實(shí)現(xiàn)交通環(huán)境下人體動(dòng)作的識(shí)別，用于捕獲行人意圖，可有效識(shí)別復(fù)雜交通場(chǎng)景下行人的動(dòng)作。

三、結(jié)語(yǔ)

基于底層特征提取的自動(dòng)駕駛中的行人檢測(cè)技術(shù)由于其提取的底層特征為單一特征，故而檢測(cè)速度快，但是只從梯度或紋理等某單一方面來(lái)描述特征，判別力較差。而在基于深度學(xué)習(xí)的行人檢測(cè)中，深度神經(jīng)網(wǎng)絡(luò)在特征的提取上不需要人工標(biāo)注底層特征，它能夠自動(dòng)提取特征，無(wú)需人工操作，有以往的技術(shù)不可比擬的優(yōu)勢(shì)，但是，若樣本集不具代表性，則無(wú)法選擇出好的特征。從現(xiàn)有技術(shù)目前的問(wèn)題出發(fā)，可以推測(cè)出技術(shù)的發(fā)展趨勢(shì)：

1.數(shù)據(jù)庫(kù)和測(cè)試方法的標(biāo)準(zhǔn)化。深度學(xué)習(xí)模型的效果很大程度上取決于訓(xùn)練樣本的質(zhì)量，許多研究使用的數(shù)據(jù)集無(wú)法很好地代表實(shí)際場(chǎng)景，實(shí)際場(chǎng)景獲取的視頻或圖像往往會(huì)存在低分辨率、光照嚴(yán)重不足等問(wèn)題，行人檢測(cè)目前沒(méi)有一個(gè)統(tǒng)一的測(cè)試數(shù)據(jù)和測(cè)試標(biāo)準(zhǔn)，研究還處于探索階段，建立一個(gè)公共的數(shù)據(jù)庫(kù)和標(biāo)準(zhǔn)的測(cè)試方法是該領(lǐng)域的一個(gè)重要任務(wù)。

2.更加完善的深度學(xué)習(xí)模型。從卷積神經(jīng)網(wǎng)絡(luò)，到區(qū)域神經(jīng)網(wǎng)絡(luò)，再到區(qū)域神經(jīng)網(wǎng)絡(luò)的改進(jìn)型，從YOLO 到Y(jié)OLO V2、YOLO V3，深度學(xué)習(xí)的模型呈現(xiàn)一個(gè)不斷完善的過(guò)程，在將來(lái)一定也會(huì)涌現(xiàn)出很多優(yōu)秀的檢測(cè)模型可以應(yīng)用到行人檢測(cè)中。

3.底層特征的改進(jìn)。隨著圖像處理技術(shù)的發(fā)展，應(yīng)用到行人檢測(cè)的特征從HOG 特征發(fā)展到融合了HOG 特征的ICF、ACF 特征等，底層特征的代表性越好，檢測(cè)的準(zhǔn)確率也就越高。因此，選取更為合適的底層特征，是行人檢測(cè)改進(jìn)的方向之一。

4.分類(lèi)器的改進(jìn)。當(dāng)前常用的分類(lèi)設(shè)備有SVM、基于Boosting 方法的AdaBoost 和神經(jīng)網(wǎng)絡(luò)等等。但是用單一的分類(lèi)工具檢測(cè)的誤報(bào)率很高，精確度低，速度偏慢，適應(yīng)性不足，現(xiàn)有的一些串聯(lián)或并聯(lián)組合現(xiàn)有分類(lèi)器的分類(lèi)工具都僅能夠解決部分問(wèn)題，依舊存在缺陷。因此，研究出較為全面的分類(lèi)器，是行人檢測(cè)發(fā)展方向之一。

5.提高訓(xùn)練速度。在神經(jīng)網(wǎng)絡(luò)的發(fā)展中，行人檢測(cè)工具獲得了高速的發(fā)展，檢測(cè)的精準(zhǔn)度獲得了大幅度提高，而訓(xùn)練所需時(shí)間也隨深度學(xué)習(xí)參數(shù)變多的同時(shí)增加。如何在不降低檢測(cè)精度的同時(shí)，提高訓(xùn)練速度成為未來(lái)的研究重點(diǎn)。

專(zhuān)家點(diǎn)評(píng)

該篇文章圍繞“自動(dòng)駕駛”這一新領(lǐng)域，針對(duì)自動(dòng)駕駛中行人檢測(cè)領(lǐng)域的專(zhuān)利申請(qǐng)和保護(hù)現(xiàn)狀進(jìn)行了較為全面的分析，梳理了行人檢測(cè)的主要分類(lèi)，著重分析了上述領(lǐng)域相關(guān)專(zhuān)利在全球的申請(qǐng)態(tài)勢(shì)、地域分布、主要申請(qǐng)人等，向讀者呈現(xiàn)了自動(dòng)駕駛過(guò)程中行人檢測(cè)的技術(shù)發(fā)展脈絡(luò)和關(guān)鍵技術(shù)等，并對(duì)行人檢測(cè)領(lǐng)域未來(lái)的研究熱點(diǎn)進(jìn)行了合理預(yù)期和闡述。

審核人：鄒斌

國(guó)家知識(shí)產(chǎn)權(quán)局專(zhuān)利局電學(xué)發(fā)明審查部商業(yè)方法處處長(zhǎng)