吳 琦，于海靖，謝 勇，劉 貝

（海鷹航空通用裝備有限責(zé)任公司，北京 100074）

1 引 言

人們?cè)絹?lái)越期望通過(guò)無(wú)人系統(tǒng)代替人類(lèi)進(jìn)行一些活動(dòng)。小到幫助人們自動(dòng)清掃地面的掃地機(jī)器人，大到協(xié)助有人機(jī)進(jìn)行戰(zhàn)場(chǎng)態(tài)勢(shì)感知協(xié)同作戰(zhàn)的無(wú)人機(jī)，無(wú)人系統(tǒng)已經(jīng)滲透到人類(lèi)活動(dòng)的方方面面。無(wú)人車(chē)作為其中之一，其市場(chǎng)需求非常廣泛，從戰(zhàn)場(chǎng)作戰(zhàn)、港口貨運(yùn)到乘用車(chē)駕駛林林總總。近年來(lái)隨著需求的推動(dòng)，自動(dòng)駕駛汽車(chē)領(lǐng)域取得很多技術(shù)突破，同時(shí)吸引更多投資以及科技力量的投入其中，使其成為一個(gè)朝氣蓬勃的新興技術(shù)領(lǐng)域［1-3］。

自動(dòng)駕駛是通過(guò)自動(dòng)駕駛系統(tǒng)，部分或完全的代替人類(lèi)駕駛員，安全地駕駛汽車(chē)。汽車(chē)自動(dòng)駕駛系統(tǒng)是一個(gè)涵蓋了多個(gè)功能模塊和多種技術(shù)的復(fù)雜軟硬件結(jié)合的系統(tǒng)。在機(jī)器學(xué)習(xí)、大數(shù)據(jù)和人工智能技術(shù)大規(guī)模崛起之前，自動(dòng)駕駛系統(tǒng)和其他的機(jī)器人系統(tǒng)類(lèi)似，整體解決方案基本依賴(lài)于傳統(tǒng)的優(yōu)化技術(shù)。隨著人工智能和機(jī)器學(xué)習(xí)在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理以及智能決策領(lǐng)域獲得重大突破，學(xué)術(shù)和工業(yè)界也逐步開(kāi)始在無(wú)人車(chē)系統(tǒng)的各個(gè)模塊中進(jìn)行基于人工智能和機(jī)器學(xué)習(xí)的探索［4-6］，目前已取得部分成果。而自動(dòng)駕駛系統(tǒng)作為代替人類(lèi)駕駛的解決方案，其設(shè)計(jì)思路和解決方法背后都蘊(yùn)含了很多對(duì)人類(lèi)駕駛習(xí)慣和行為的理解?，F(xiàn)在，自動(dòng)駕駛已經(jīng)成為人工智能最具前景的應(yīng)用之一。

2 自動(dòng)駕駛硬件系統(tǒng)架構(gòu)

自動(dòng)駕駛系統(tǒng)一般是在傳統(tǒng)汽車(chē)上進(jìn)行加裝來(lái)構(gòu)建整個(gè)系統(tǒng)。下面引用通用汽車(chē)公司的Cruise自動(dòng)駕駛汽車(chē)的硬件系統(tǒng)架構(gòu)［7］（圖1）進(jìn)行介紹，其他公司方案類(lèi)似［8-9］。

從圖1中可以清晰地看出，自動(dòng)駕駛硬件系統(tǒng)主要包含五部分：感知模塊、自動(dòng)駕駛計(jì)算機(jī)、供電模塊、信號(hào)通信模塊、執(zhí)行和制動(dòng)模塊。

圖1 自動(dòng)駕駛汽車(chē)硬件系統(tǒng)架構(gòu)Fig.1 Hardware architecture of autonomous vehicle

2.1 感知模塊

無(wú)人車(chē)的感知模塊非常完備，是傳統(tǒng)車(chē)輛所沒(méi)有的。這部分主要代替有人駕駛汽車(chē)的駕駛員的眼睛和“車(chē)感”。通常由攝像頭、激光雷達(dá)、毫米波雷達(dá)和GNSS/IMU組成。

攝像頭主要用于獲取圖像信息，用于識(shí)別行人、車(chē)、樹(shù)、紅綠燈、信號(hào)牌，進(jìn)行定位等。

激光雷達(dá)用于獲取激光掃描反射數(shù)據(jù)，用于識(shí)別行人、車(chē)、樹(shù)等障礙物，進(jìn)行定位等。其三維測(cè)距原理是通過(guò)測(cè)量激光信號(hào)的時(shí)間差、相位差確定距離，通過(guò)水平旋轉(zhuǎn)掃描測(cè)角度，并根據(jù)這兩個(gè)數(shù)據(jù)建立二維的極坐標(biāo)系，再通過(guò)獲取不同俯仰角度的信號(hào)獲得第三維的高度信息。圖2為激光獲取的數(shù)據(jù)信息經(jīng)過(guò)識(shí)別分類(lèi)標(biāo)注不同顏色處理后得到的圖。

毫米波雷達(dá)獲取反射數(shù)據(jù)，主要用于識(shí)別障礙物，測(cè)距，在傳統(tǒng)汽車(chē)上安裝用于輔助避障。GNSS/IMU組合用于實(shí)時(shí)獲取全局位置信息。

在感知模塊中，最重要的當(dāng)屬激光雷達(dá)，因?yàn)樗雀?，可靠性高，滿(mǎn)足了自動(dòng)駕駛高精度定位、識(shí)別等功能，可以說(shuō)直接加速了自動(dòng)駕駛技術(shù)的工程應(yīng)用。

圖2 激光信息Fig.2 Laser intelligence

2.2 自動(dòng)駕駛計(jì)算機(jī)

自動(dòng)駕駛計(jì)算機(jī)顧名思義是進(jìn)行自動(dòng)駕駛相關(guān)的計(jì)算處理，一般主要包含五部分：CPU、GPU、超大內(nèi)存、超大硬盤(pán)存儲(chǔ)空間和豐富的硬件接口。

其中，CPU根據(jù)其性能特點(diǎn)用于處理含有邏輯判斷、流程等控制、規(guī)劃功能軟件；GPU根據(jù)其性能特點(diǎn)用于獲取傳感器數(shù)據(jù)，進(jìn)行大量同類(lèi)型數(shù)據(jù)計(jì)算，例如識(shí)別、分類(lèi)處理，執(zhí)行感知、定位功能軟件；超大內(nèi)存用于大量數(shù)據(jù)處理、加載高精度地圖；超大硬盤(pán)存儲(chǔ)空間用于存儲(chǔ)高精度地圖；豐富的硬件接口，例如串口、CAN、以太網(wǎng)、USB等，用于多種傳感器連接。

2.3 執(zhí)行與制動(dòng)模塊

執(zhí)行與制動(dòng)系統(tǒng)也在隨著自動(dòng)駕駛技術(shù)向前發(fā)展。執(zhí)行系統(tǒng)接收自動(dòng)駕駛控制模塊操作車(chē)輛的執(zhí)行指令，控制車(chē)輛動(dòng)力（油門(mén)和檔位）、底盤(pán)（轉(zhuǎn)向和制動(dòng)）和電子電器等系統(tǒng)的執(zhí)行，實(shí)現(xiàn)自動(dòng)駕駛的速度和方向控制。而傳統(tǒng)的汽車(chē)底盤(pán)制動(dòng)系統(tǒng)是液壓、氣壓制動(dòng)，為了實(shí)現(xiàn)車(chē)身結(jié)構(gòu)的穩(wěn)定并將智能駕駛功能延伸，線(xiàn)控制動(dòng)將是汽車(chē)制動(dòng)技術(shù)的長(zhǎng)期發(fā)展趨勢(shì)，線(xiàn)控制動(dòng)可以深度融合智能駕駛功能模塊。這類(lèi)似于航空領(lǐng)域飛行操縱系統(tǒng)由液壓逐步轉(zhuǎn)換為電傳操縱系統(tǒng)的過(guò)程。

3 自動(dòng)駕駛軟件系統(tǒng)架構(gòu)

如果說(shuō)自動(dòng)駕駛硬件系統(tǒng)是在傳統(tǒng)車(chē)輛上進(jìn)行了加裝升級(jí)，那么軟件系統(tǒng)可謂是全新的。自動(dòng)駕駛軟件按功能主要分四個(gè)模塊：定位、感知、規(guī)劃、控制。其中定位模塊被普遍認(rèn)為是基礎(chǔ)，各模塊包含內(nèi)容見(jiàn)圖3。

圖3 自動(dòng)駕駛軟件系統(tǒng)架構(gòu)Fig.3 Architecture of self-driving software system

其中，定位解算離不開(kāi)高精度地圖的輔助，基于定位信息可以開(kāi)展環(huán)境感知、路徑規(guī)劃駕駛行為決策以及汽車(chē)運(yùn)動(dòng)控制等內(nèi)容，而路徑規(guī)劃、行為決策以及運(yùn)動(dòng)控制又是三個(gè)逐漸具體化、底層化的問(wèn)題，前一個(gè)輸出可以作為后一個(gè)的輸入條件來(lái)使用。也就是說(shuō)控制模塊可以將決策規(guī)劃的動(dòng)作作為輸入，計(jì)算應(yīng)該執(zhí)行的轉(zhuǎn)彎角和油門(mén)。

4 定位與感知

4.1 定位

為滿(mǎn)足汽車(chē)駕駛需求，目前自動(dòng)駕駛定位精度需求為10cm左右，如此高精度的定位系統(tǒng)采用的定位方案一般是多傳感器以及高精度地圖融合的方式，具體為GNSS、IMU、激光雷達(dá)、相機(jī)、高精度地圖融合。其中衛(wèi)星導(dǎo)航系統(tǒng)（Global Navigation Satellite System，GNSS）主要提供粗略的絕對(duì)位置（經(jīng)緯度），然后根據(jù)采集自身所在環(huán)境的激光雷達(dá)數(shù)據(jù)和相機(jī)數(shù)據(jù)與高精度地圖匹配得到更精確的定位。IMU（Inertial Measurement Unit）慣性器件提供狀態(tài)估計(jì)算法中狀態(tài)方程（預(yù)測(cè)）中的加速度、角速度。

百度無(wú)人車(chē)團(tuán)隊(duì)［10］采用的定位方案框圖見(jiàn)圖4。這是目前比較常見(jiàn)且有效的定位算法架構(gòu)。定位算法的精妙之處在于，一些微小的處理與改變也能引起較大的精度差距。所以，不斷有學(xué)者在定位算法上深耕突破。

圖4 定位算法實(shí)施框圖Fig.4 Block diagram of localization algorithm implementation

4.2 高精度地圖

在定位方案中，高精度地圖起了舉足輕重的作用［11］。高精度地圖（HD Map）是通過(guò)高精度激光雷達(dá)、相機(jī)、GNSS等傳感器獲取道路信息數(shù)據(jù)。傳感器數(shù)量越多、信息覆蓋越全面、精度越高，高精度地圖就越精確。在自動(dòng)駕駛使用時(shí)，可將其表示為計(jì)算機(jī)語(yǔ)言的形式存儲(chǔ)在自動(dòng)駕駛計(jì)算機(jī)的硬盤(pán)當(dāng)中。駕駛過(guò)程中通過(guò)實(shí)時(shí)與高精度地圖比對(duì)來(lái)獲得高精度定位。

高精度地圖需事先建立，一輛建立高精度地圖外業(yè)車(chē)造價(jià)高達(dá)800萬(wàn)人民幣，多數(shù)開(kāi)銷(xiāo)在傳感器系統(tǒng)上。由于采集的數(shù)據(jù)龐大，必須通過(guò)人工智能算法進(jìn)行數(shù)據(jù)處理。高精度地圖主要包含：車(chē)道經(jīng)緯度、車(chē)道寬、曲率、高程；車(chē)道交叉口位置、寬度、曲率、道口數(shù)；標(biāo)牌位置以及含義；信號(hào)燈位置等。

高精度地圖的建立過(guò)程中存在大量的分類(lèi)問(wèn)題，計(jì)算機(jī)視覺(jué)領(lǐng)域采用卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）使問(wèn)題得到很好的解決。

卷積神經(jīng)網(wǎng)絡(luò)由一個(gè)或多個(gè)卷積層和全連接層（對(duì)應(yīng)經(jīng)典的神經(jīng)網(wǎng)絡(luò)，可有可無(wú)）組成，卷積層執(zhí)行的計(jì)算包含卷積操作和池化操作。卷積計(jì)算是通過(guò)不同窗口數(shù)據(jù)和濾波矩陣（一組固定的權(quán)重）做內(nèi)積（逐個(gè)元素相乘再求和）的操作得到卷積后的數(shù)據(jù)；池化計(jì)算將數(shù)據(jù)分塊，每塊找最大或求平均作為數(shù)據(jù)塊的代表值。具體操作示意圖見(jiàn)圖6。

卷積神經(jīng)網(wǎng)絡(luò)算法還有一個(gè)特點(diǎn)是權(quán)值共享，對(duì)于一幅圖片上每個(gè)點(diǎn)，在某一層的卷積操作權(quán)值是相同的，卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的參數(shù)轉(zhuǎn)化為訓(xùn)練濾波矩陣（卷積核），參數(shù)大大減少。卷積神經(jīng)網(wǎng)絡(luò)就是通過(guò)多個(gè)卷積層得到不同方向上的幾何信息特征，通過(guò)提取這些特征，得到輸入數(shù)據(jù)的相關(guān)性，通過(guò)考慮這些相關(guān)性減少訓(xùn)練復(fù)雜度，該方法在圖像和語(yǔ)音處理上具有很好的應(yīng)用。

圖5 神經(jīng)網(wǎng)絡(luò)示意圖Fig.5 Schematic diagram of neural network

4.3 感知

在線(xiàn)進(jìn)行環(huán)境感知的方法類(lèi)似高精度地圖的構(gòu)建過(guò)程，對(duì)采集的數(shù)據(jù)進(jìn)行在線(xiàn)實(shí)時(shí)識(shí)別、分類(lèi)，區(qū)別在于輸入數(shù)據(jù)是動(dòng)態(tài)的，具有新的挑戰(zhàn)。

5 規(guī)劃與控制

5.1 規(guī)劃

規(guī)劃問(wèn)題是根據(jù)感知的動(dòng)態(tài)環(huán)境與對(duì)運(yùn)動(dòng)體的預(yù)測(cè)情況進(jìn)行運(yùn)動(dòng)序列決策［12］。這個(gè)決策問(wèn)題在復(fù)雜環(huán)境下非常復(fù)雜，可以設(shè)想通過(guò)一個(gè)極其復(fù)雜的路口對(duì)規(guī)劃問(wèn)題的考驗(yàn)，是體現(xiàn)自動(dòng)駕駛智能程度的關(guān)鍵問(wèn)題。傳統(tǒng)A*、Dijkstra等路徑規(guī)劃算法可實(shí)現(xiàn)車(chē)輛保守的駕駛，但復(fù)雜動(dòng)態(tài)環(huán)境不適用，時(shí)間復(fù)雜度高，而強(qiáng)化學(xué)習(xí)是解決序列決策問(wèn)題的好方法，目前在解決自動(dòng)駕駛規(guī)劃問(wèn)題上有很好的仿真驗(yàn)證。

圖6 卷積（左）和池化（右）操作示意圖Fig.6 Schematic diagram of convolution（left）and pooling（right）operations

強(qiáng)化學(xué)習(xí)是與監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)平級(jí)的機(jī)器學(xué)習(xí)的一個(gè)分支，來(lái)源于動(dòng)物學(xué)習(xí)心理學(xué)，最早可追溯到巴普洛夫的條件反射試驗(yàn)，通過(guò)反饋獲得成效的評(píng)價(jià)來(lái)不斷提高學(xué)習(xí)效果。

強(qiáng)化學(xué)習(xí)問(wèn)題的基本結(jié)構(gòu)是交互［13］，一個(gè)智能體處于一個(gè)環(huán)境中，在每一個(gè)時(shí)間，智能體做出一個(gè)動(dòng)作（a），然后從環(huán)境中獲得觀測(cè)量（狀態(tài)量s）以及回報(bào)（收益r），強(qiáng)化學(xué)習(xí)的學(xué)習(xí)目標(biāo)是：如何在未知環(huán)境中采取一系列行為，來(lái)最大化智能體收到的（總）累積回報(bào)（收益）。這個(gè)交互過(guò)程在一個(gè)時(shí)間段內(nèi)狀態(tài)、動(dòng)作、回報(bào)的迭代關(guān)系如圖7所示。

強(qiáng)化學(xué)習(xí)具有以下特點(diǎn)：本質(zhì)上是閉環(huán)系統(tǒng)，輸入和輸出相互依賴(lài)；反饋是延時(shí)的，不是即時(shí)的，一個(gè)動(dòng)作的影響可能幾步之后才會(huì)體現(xiàn)；沒(méi)有直接的指導(dǎo)告訴該怎么做，只有回報(bào)函數(shù)；時(shí)間很關(guān)鍵，觀測(cè)量、回報(bào)等是關(guān)于時(shí)間的序列，不滿(mǎn)足獨(dú)立同分布假設(shè)；智能體的動(dòng)作直接影響到它之后收到的數(shù)據(jù)。

基于以上特點(diǎn)，假設(shè)環(huán)境狀態(tài)的集合是S，動(dòng)作集合是A，強(qiáng)化學(xué)習(xí)有四個(gè)要素：

● 策略（π）：從環(huán)境狀態(tài)到動(dòng)作的映射學(xué)習(xí)，這個(gè)映射叫做策略，記為π：S→A。

● 回報(bào)（R）：由狀態(tài)和動(dòng)作產(chǎn)生的影響的量化表示，記作R：S×A→R。

圖7 狀態(tài)、動(dòng)作、回報(bào)的迭代關(guān)系示意圖Fig.7 A diagram of the iterative relationships of states，actions，and returns

● 價(jià)值函數(shù)：由未來(lái)h步回報(bào)組成，最大化價(jià)值函數(shù)的策略π成為強(qiáng)化學(xué)習(xí)目標(biāo)。

● 模型：

模型已知（白箱）：系統(tǒng)轉(zhuǎn)移到下一步狀態(tài)S’的概率G已知，動(dòng)作a產(chǎn)生的回報(bào)r已知；模型未知（黑箱）：系統(tǒng)轉(zhuǎn)移到下一步狀態(tài)S’的概率P未知，動(dòng)作a產(chǎn)生的回報(bào)r未知，大部分場(chǎng)景模型都是未知的。

強(qiáng)化學(xué)習(xí)理論比較深?yuàn)W，入門(mén)門(mén)檻較高。強(qiáng)化學(xué)習(xí)解決問(wèn)題實(shí)施方法是離線(xiàn)訓(xùn)練學(xué)習(xí)（試錯(cuò)）+在線(xiàn)推斷決策。由于神經(jīng)網(wǎng)絡(luò)擅長(zhǎng)人類(lèi)很容易完成但是很難去給出規(guī)范（解析）的描述，所以在機(jī)器學(xué)習(xí)領(lǐng)域廣泛使用，將學(xué)習(xí)到的策略用神經(jīng)網(wǎng)絡(luò)作為函數(shù)近似器（神經(jīng)網(wǎng)絡(luò)可以認(rèn)為是一種非線(xiàn)性擬合）的強(qiáng)化學(xué)習(xí)方法，稱(chēng)為深度強(qiáng)化學(xué)習(xí)［14-15］。深度強(qiáng)化學(xué)習(xí)被認(rèn)為是走向通用人工智能的必經(jīng)之路［16］。目前，采用深度強(qiáng)化學(xué)習(xí)解決自動(dòng)駕駛的路徑規(guī)劃問(wèn)題的理論研究和仿真試驗(yàn)表明其卓有成效［17］。

5.2 控制

控制的任務(wù)是消化上層動(dòng)作規(guī)劃模塊的輸出軌跡點(diǎn)，通過(guò)一系列動(dòng)力學(xué)計(jì)算轉(zhuǎn)換成對(duì)車(chē)輛油門(mén)、剎車(chē)以及方向盤(pán)控制信號(hào)，從而盡可能地控制車(chē)去實(shí)際執(zhí)行這些軌跡點(diǎn)。該問(wèn)題一般轉(zhuǎn)化為找到滿(mǎn)足車(chē)輛動(dòng)態(tài)姿態(tài)限制的方向盤(pán)轉(zhuǎn)角控制（車(chē)輛橫向控制），和行駛速度控制（車(chē)輛縱向控制）。對(duì)這些狀態(tài)量的控制可以使用經(jīng)典的PID控制算法，但其對(duì)模型依賴(lài)性較強(qiáng)，誤差較大。智能控制算法，如模糊控制、神經(jīng)網(wǎng)絡(luò)控制等，在無(wú)人車(chē)控制中也得到廣泛研究和應(yīng)用。其中，神經(jīng)網(wǎng)絡(luò)控制利用神經(jīng)網(wǎng)絡(luò)，把控制問(wèn)題看成模式識(shí)別問(wèn)題，被識(shí)別的模式映射成“行為”信號(hào)的“變化”信號(hào)。甚至可以用駕駛員操縱過(guò)程的數(shù)據(jù)訓(xùn)練控制器獲取控制算法。

6 結(jié)束語(yǔ)

汽車(chē)作為陸上運(yùn)動(dòng)體，其自動(dòng)駕駛問(wèn)題無(wú)論是按硬件系統(tǒng)還是軟件系統(tǒng)劃分都與空中的運(yùn)動(dòng)體（無(wú)人機(jī)）、水下的運(yùn)動(dòng)體（航行器）的自動(dòng)駕駛與控制問(wèn)題很相似。通過(guò)了解學(xué)習(xí)自動(dòng)駕駛的技術(shù)路線(xiàn)，或許我們可以得到無(wú)人運(yùn)動(dòng)體智能化創(chuàng)新的思路。首先，提高獲取信息能力、信息質(zhì)量，增加信息種類(lèi)、數(shù)據(jù)量，有助于提高系統(tǒng)智能性；其次，面向未來(lái)戰(zhàn)場(chǎng)環(huán)境，環(huán)境模型復(fù)雜多變，傳統(tǒng)方法適應(yīng)性差，需探索不依賴(lài)模型的決策方法，強(qiáng)化學(xué)習(xí)或許可以嘗試；最后，創(chuàng)新需要堅(jiān)持問(wèn)題導(dǎo)向，問(wèn)題是實(shí)踐的起點(diǎn)、創(chuàng)新的起點(diǎn)，發(fā)現(xiàn)問(wèn)題，解決問(wèn)題。