高振海 于桐 孫天駿 王雨蒙

（1.吉林大學 汽車仿真與控制國家重點實驗室，長春 130022；2.吉林大學 汽車工程學院，長春 130022）

主題詞：無人駕駛 數(shù)據(jù)采集與分析 交通場景 駕駛行為

1 前言

無人駕駛技術(shù)可以顯著提升道路通行效率、降低交通事故發(fā)生率并提高能源使用效率，已成為近年來汽車行業(yè)的研究熱點[1-2]，而無人駕駛技術(shù)開發(fā)和測試的全過程都離不開數(shù)據(jù)的支持。標注清晰的數(shù)據(jù)集可以為算法的開發(fā)和訓練提供大量的高質(zhì)量數(shù)據(jù)，種類豐富的場景庫可以使仿真驗證更加真實完備，從而降低無人駕駛技術(shù)的開發(fā)成本，縮短開發(fā)周期。

無人駕駛數(shù)據(jù)庫的建立主要由數(shù)據(jù)采集平臺的搭建、數(shù)據(jù)分析與處理系統(tǒng)的搭建和數(shù)據(jù)的存儲調(diào)用平臺搭建3 個部分組成。數(shù)據(jù)采集平臺的搭建需要根據(jù)不同的任務(wù)目標，在不同的車輛上搭載適當?shù)膫鞲衅鹘M合，以獲取所需的數(shù)據(jù)流，根據(jù)所用設(shè)備的不同，其一般可以分為2 種，分別是使用原車已有的采集設(shè)備（如行車記錄儀、車載GPS 等）和安裝專用的設(shè)備；數(shù)據(jù)的分析與處理是指通過計算機或者人工的方式對原始數(shù)據(jù)進行增強和分類等操作，使其能夠生成新的可用數(shù)據(jù)，并能夠按照語義、法規(guī)和經(jīng)驗等進行組合、歸檔和分類，以便于開發(fā)者使用；數(shù)據(jù)的存儲和調(diào)用是指通過分布式管理等方法，實現(xiàn)海量數(shù)據(jù)的快速存儲、檢索和調(diào)用。

根據(jù)所采集數(shù)據(jù)種類的不同，無人駕駛數(shù)據(jù)庫主要分為交通場景庫和駕駛行為庫2種，交通場景庫聚焦于車輛行駛時的周圍環(huán)境，而駕駛行為庫聚焦于駕駛員的操作或者車輛本身的行為，兩者的并集包含了與駕駛相關(guān)的全部數(shù)據(jù)。

本文對交通場景庫和駕駛行為庫在數(shù)據(jù)采集和分析技術(shù)上的發(fā)展現(xiàn)狀進行梳理歸納，并在此基礎(chǔ)上提出無人駕駛數(shù)據(jù)采集和分析技術(shù)的發(fā)展趨勢，為今后的研究提供參考和借鑒。

2 交通場景的數(shù)據(jù)采集和分析

交通場景是指車輛在道路交通中所處的場景，它是無人駕駛算法開發(fā)和測試的基礎(chǔ)，也是算法落地應(yīng)用的具體情境。典型的交通場景主要來源于政策法規(guī)、駕駛經(jīng)驗、駕駛環(huán)境等。

密歇根大學的Zhao 等[3]將自然駕駛數(shù)據(jù)分為自由行駛、跟馳、變道、前車插入、前方通過人行橫道和側(cè)方通過自行車這6種不同的關(guān)鍵駕駛場景，并據(jù)此建立了TrafficeNet 場景庫，但是其分類方式?jīng)]有考慮到城鄉(xiāng)環(huán)境、交通信號和交通狀況等其他的場景信息。中國汽車技術(shù)研究中心的劉生[4]提出了按照本車、其他交通參與者、道路交通情況和天氣、城區(qū)等環(huán)境狀況這4 個要素進行分類的方式，并提出不同國家的道路交通情況存在差異，自動駕駛的場景數(shù)據(jù)采集和分類應(yīng)考慮到相關(guān)差異。

2.1 交通場景的數(shù)據(jù)采集

交通場景的數(shù)據(jù)采集是指通過某種傳感器或傳感器組合，將車輛所處場景的交通信息以數(shù)據(jù)的形式收集起來，以備后續(xù)使用。傳統(tǒng)車輛的開發(fā)對場景本身的數(shù)據(jù)采集和重構(gòu)等研究甚少。近些年，隨著無人駕駛技術(shù)的不斷發(fā)展，駕駛?cè)蝿?wù)的執(zhí)行者由人轉(zhuǎn)變?yōu)檐囕v，其開發(fā)必須考慮車輛對不同場景的處理能力，因而交通場景的數(shù)據(jù)采集技術(shù)越來越受到重視。

2.1.1 早期的交通場景數(shù)據(jù)采集系統(tǒng)

早期的交通場景數(shù)據(jù)采集系統(tǒng)多采用攝像頭和全球?qū)Ш叫l(wèi)星系統(tǒng)（Global Navigation Satellite System，GNSS）來記錄和復現(xiàn)場景數(shù)據(jù)，并搭載在道路車輛平臺上，其記錄的場景數(shù)據(jù)較為單一，一般為道路場景的重建，不包含其他交通參與者和城鄉(xiāng)環(huán)境等交通信息。

蘇黎世聯(lián)邦理工學院的Cornelis 等[5]利用視頻流的數(shù)據(jù)進行城市三維場景重建，為車輛的導航提供城市場景數(shù)據(jù)。為了豐富場景信息，昆士蘭理工大學的He等[6]將車載攝像頭拍攝的立體圖片與GNSS 提供的定位及地圖數(shù)據(jù)結(jié)合，為后續(xù)處理提供原始數(shù)據(jù)。在此基礎(chǔ)上，武漢大學的Zhang 和國防科技大學的Lu 等[7]將行車記錄儀作為數(shù)據(jù)采集設(shè)備，并用其提供的視頻數(shù)據(jù)進行道路場景重建。

2.1.2 當前的交通場景數(shù)據(jù)采集系統(tǒng)

隨著無人駕駛技術(shù)的不斷發(fā)展，其對場景信息的要求越來越高。當下的交通場景數(shù)據(jù)采集系統(tǒng)一般將激光雷達、毫米波雷達、雙目攝像頭、廣角攝像頭、超聲波傳感器和GNSS等多種傳感器組合使用，搭載在路測設(shè)備和飛行器等多種不同的平臺上，記錄的場景數(shù)據(jù)較為豐富，包含道路、城鄉(xiāng)環(huán)境和其他交通參與者等多種交通信息，數(shù)據(jù)種類也涵蓋了點云和圖像等多種常見類型。

俄亥俄州立大學的Koppanyi 等[8]使用配備了激光雷達、GNSS 和不同分辨率的主、被動攝像頭的車輛采集典型交通場景的數(shù)據(jù)，并開發(fā)了一個簡單的界面導出這些高冗余的數(shù)據(jù)。相應(yīng)地，中國汽車技術(shù)研究中心[4]也已經(jīng)在多款車型上搭建了多傳感器融合的數(shù)據(jù)采集平臺，其上搭載了單目視覺、雙目視覺、激光雷達、毫米波雷達和高精度慣性導航系統(tǒng)等多種傳感設(shè)備。

考慮到自動駕駛車輛開發(fā)對場景數(shù)據(jù)的大量需求，一些機構(gòu)和學者制作了相關(guān)的數(shù)據(jù)集，如CityScapes 數(shù)據(jù)集[9]、Oxford RobotCar 數(shù)據(jù)集[10]和CARLA數(shù)據(jù)集[11]等。這些數(shù)據(jù)集使用了大量的傳感器，在不同的周期內(nèi)對不同類型的場景進行了采集。以O(shè)xford RobotCar 數(shù)據(jù)集[10]為例，其聚焦于交通場景的時空特性，使用了4個相機、3個激光雷達和GPS，對不同天氣、行人和道路交通狀況下的同一段連續(xù)道路進行了數(shù)據(jù)采集，采集時間長達1年，采集里程達到1 010 km，它提供的場景時變數(shù)據(jù)為長途自動駕駛的測試提供了基礎(chǔ)。但上述數(shù)據(jù)集采集的均為國外交通場景，與國內(nèi)的道路交通狀況仍有一定差別，國內(nèi)與之相似的開放數(shù)據(jù)集目前較少。

除路測設(shè)備外，基于飛行器的數(shù)據(jù)采集系統(tǒng)也開始應(yīng)用。Apeltauer 等[12]使用無人機采集十字路口的航拍圖像，并從中提取了車輛的行駛軌跡。在此基礎(chǔ)上，Chen等[13]將飛行器采集的航拍視頻用于交通流的建模，取得了較好的效果。

為了提高安全性和效率，Khan等[14]提出了使用無人機等飛行器進行交通場景數(shù)據(jù)采集的一般工作流程。南京理工大學的張楚東[15]采用高分辨率的航拍數(shù)據(jù)進行道路場景的重建，西安電子科技大學的趙凱迪[16]也使用無人機采集的實時視頻圖像作為場景數(shù)據(jù)進行分析處理。與路測設(shè)備相比，以飛行器作為搭載平臺的數(shù)據(jù)采集系統(tǒng)具有視野廣、靈活性強、透視變形低等優(yōu)點，而隨著無人機的廣泛應(yīng)用，飛行器類平臺的成本得到了進一步降低，但其目前所采集數(shù)據(jù)的種類仍以圖像為主，與路測設(shè)備相比較為單一。

此外，場景數(shù)據(jù)不僅可以從真實環(huán)境中采集，也可以通過數(shù)據(jù)增強技術(shù)生成和獲取。數(shù)據(jù)增強技術(shù)通過對原有數(shù)據(jù)進行適當?shù)钠揭啤⑿D(zhuǎn)、抖動和插值等操作來獲得新的數(shù)據(jù)。例如：哈爾濱工業(yè)大學的張耀隆[17]通過生成對抗網(wǎng)絡(luò)來擴充自動駕駛圖像數(shù)據(jù)；湖南大學的Wu等[18]采用遮掩和改變光照度等方法對交通標志數(shù)據(jù)庫進行了擴充；文獻[19]使用基于插值的數(shù)據(jù)增強方法，對不完全的道路點云數(shù)據(jù)進行了補充。

交通場景的數(shù)據(jù)采集技術(shù)在近10年，尤其是近5年中迅速發(fā)展。早期的數(shù)據(jù)采集系統(tǒng)所用傳感器類型單一，所用平臺以路測設(shè)備為主，采集場景的種類較少。隨著技術(shù)的不斷發(fā)展，現(xiàn)有的數(shù)據(jù)采集系統(tǒng)使用不同的傳感器組合，搭載在飛行器和車輛等不同平臺上，能對多種類型的場景進行采集，并且使用數(shù)據(jù)增強技術(shù)對原始數(shù)據(jù)進行有效擴充，以豐富數(shù)據(jù)集中的數(shù)據(jù)。不過目前適應(yīng)于中國交通環(huán)境的開放場景數(shù)據(jù)集仍較為缺乏，這方面的研究工作將會推進交通場景庫的建成和自動駕駛的落地應(yīng)用。

2.2 交通場景的數(shù)據(jù)分析

交通場景的數(shù)據(jù)分析是指通過一定的方法，由采集的場景數(shù)據(jù)對場景中的元素進行識別、分類和標注，并由此實現(xiàn)對交通場景的理解的一系列技術(shù)方法。場景元素的識別、分類和標注技術(shù)發(fā)展較早，而場景的理解技術(shù)近些年才得到較快發(fā)展。

2.2.1 場景元素的識別、分類與標注

早期的場景元素識別方法，即傳統(tǒng)計算機視覺目標檢測方法，主要基于數(shù)字圖像處理的相關(guān)知識[20]。近年來，隨著機器學習的興起，識別、分類和標注方法將傳統(tǒng)理論方法與機器學習技術(shù)相結(jié)合，提高了開發(fā)效率和算法性能。2種方法的典型算法如圖1所示。

圖1 典型的場景識別和分類算法

場景元素的識別和分類始于計算機視覺理論的提出。20 世紀80 年代，麻省理工學院的Marr 教授等[21]最早提出了人的視覺計算理論，為傳統(tǒng)計算機視覺檢測方法奠定了理論基礎(chǔ)。在此基礎(chǔ)上，利茲大學Mardia等[22]提出了基于閾值法的圖像分割算法，通過設(shè)定特征閾值對像素點進行分類，南佛羅里達大學的Hall等[23]提出的聚類法通過對像素點進行聚類實現(xiàn)圖像特征的提取和識別。傳統(tǒng)計算機視覺檢測方法研究開展較早，相關(guān)研究較多且理論基礎(chǔ)成熟，但只能對數(shù)字圖像進行檢測和識別，不能處理點云等類型的數(shù)據(jù)，且存在準確率低、工作量大等缺點。當前主要使用的是基于機器學習的識別方法，其沿用了傳統(tǒng)方法的部分理論框架，如尺度不變特征變換（Scale Invariant Feature Transform，SIFT）和方向梯度直方圖（Histogram of Oriented Gradients，HOG）特征向量，并在此基礎(chǔ)上使用神經(jīng)網(wǎng)絡(luò)等技術(shù)進行特征提取，這種方法不僅能處理包含點云在內(nèi)的各種類型的數(shù)據(jù)，而且其準確率也超過了傳統(tǒng)的檢測方法。因此，當前機器學習技術(shù)廣泛應(yīng)用于無人駕駛的識別算法。本文根據(jù)識別目標的不同，對應(yīng)用于不同交通場景的識別分類方法進行研究綜述。

在其他交通參與者的識別和分類上，蘇黎世聯(lián)邦理工學院的Cornelis 等[5]采用基于隱式形狀模型（Implicit Shape Mode，ISM）的車輛檢測方法，其具有較強的魯棒性，可以在模糊、有部分遮擋和光照度急劇變化的情況下檢測出車輛的具體位置。武漢大學的Zhang 和國防科技大學的Lu等[7]提出了基于AdaBoost分類器的Haarlike 特征，可以在數(shù)秒內(nèi)完成對車輛前、后表面和部分交通護欄的檢測與識別。北京郵電大學的Fu等[24]設(shè)計了基于層次多支持向量機（Support Vector Machine，SVM）的分類方法，并實現(xiàn)了擁堵交通場景下車輛的檢測和識別。華中科技大學的Yang等[25]考慮到交通場景的復雜性和多變性，提出了基于卷積神經(jīng)網(wǎng)絡(luò)的場景自適應(yīng)車輛檢測和識別算法。

在道路場景的識別和分類上，昆士蘭理工大學的He 等[6]設(shè)計了大規(guī)模生成精確密集三維道路場景語義圖的方法，以滿足無人駕駛對語義地圖的巨大需求，其使用車載攝像頭拍攝立體圖片，并采用數(shù)據(jù)驅(qū)動和非參數(shù)化的方法來解析場景并實現(xiàn)語義分割。加拿大滑鐵盧大學的Sun等[26]考慮到高精度語義地圖及相關(guān)數(shù)據(jù)采集所需的成本較高，提出了一種基于接近度的由圖像到地圖的數(shù)據(jù)收集和注釋框架，其使用神經(jīng)網(wǎng)絡(luò)和在線數(shù)據(jù)庫中的可用標簽進行學習，并實現(xiàn)了不同天氣下道路場景的自動標注。在道路線形特征提取方面，吉林大學的Gao 等[27]提出了基于前方車輛雷達信息來估算道路曲率參數(shù)的方法。此外，湖南大學的Wu 等[18]基于YOLOv3神經(jīng)網(wǎng)絡(luò)框架，提出了目標定位和分類識別的雙級檢測方法，并實現(xiàn)了對道路場景中的小型物體（如交通標志等）的實時檢測。

考慮到車載處理器可能沒有足夠的算力，一些任務(wù)需要上傳到遠程服務(wù)器進行處理，而上傳的壓縮數(shù)據(jù)在重建時較為耗時，針對這一問題，麻省理工學院的Kwan[28]等提出了像素編碼曝光（Pixel Coded Exposure，PCE）的方法，并結(jié)合深度學習實現(xiàn)了車輛的實時檢測和分類。

考慮到實際交通場景中存在多類目標，且它們會對識別算法產(chǎn)生干擾，西北工業(yè)大學的Yao等[29]提出了在同一框架下，用雙目攝像機對道路、汽車和行人等多種目標進行自動檢測和分類的方法。南京大學的郭建朋[30]按照數(shù)據(jù)校驗提交、數(shù)據(jù)標注和數(shù)據(jù)統(tǒng)計3個模塊建立了自動駕駛場景數(shù)據(jù)庫，其中數(shù)據(jù)標注模塊使用了YOLO 神經(jīng)網(wǎng)絡(luò)算法，可以實現(xiàn)圖像和點云等多種數(shù)據(jù)的目標檢測和語義分割。文獻[31]研究了在車隊管理的特定要求下的交通場景分類。中國科學技術(shù)大學的鐘澤宇[32]將激光雷達點云轉(zhuǎn)化為距離圖像，并通過二維卷積神經(jīng)網(wǎng)絡(luò)對其進行語義分割，再將得到的語義標簽反投影到點云上，結(jié)果表明該方法具有較高的準確性。

此外，考慮到各交通元素隨時間的變化，以及在移動車輛上拍攝視頻所產(chǎn)生的視點時變問題，哥倫比亞大學的Dwivedi 和本田研究院的Narayanan 等[33]提出了一種具有時空一致性的動態(tài)交通場景分類方法。該方法利用數(shù)據(jù)集的時空特性進行語義分割和場景分類。試驗結(jié)果表明，相較于直接使用場景元素的靜態(tài)圖像，該模型所捕捉到的場景元素的運動能更好地描述實際場景。

2.2.2 交通場景的理解

交通場景的理解建立在交通場景語義分割和元素識別的基礎(chǔ)上。部分學者認為，場景的理解任務(wù)是通過分析和預(yù)測場景內(nèi)各元素的交互行為和運動行為[34]，實現(xiàn)對整個場景區(qū)域的語義理解[35]。隨著以神經(jīng)網(wǎng)絡(luò)為代表的統(tǒng)計學習方法的興起，場景理解在近些年取得了較快的發(fā)展。

達姆施塔特工業(yè)大學的Roth 等[36]較早地進行了交通場景理解的相關(guān)研究，其使用三維概率模型對場景內(nèi)各對象間的交互行為進行理解。在此基礎(chǔ)上，東北大學的金雪梅[35]基于條件隨機場理論，建立了能對場景區(qū)域進行識別標注的模型。

卡爾斯魯厄理工學院的Geiger 等[37]提出了基于移動平臺的多目標交通場景理解的概率生成模型，該模型僅使用視覺數(shù)據(jù)進行分析和理解，并在推斷場景布局方面取得了較好的效果。

考慮到元素識別等基本感知模塊輸出的環(huán)境模型會側(cè)重于表達特定的感知任務(wù)，由此產(chǎn)生模式不同但信息冗余的現(xiàn)象，Oeljeklaus 等[38]基于卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建了多任務(wù)環(huán)境模型，提供了以集成方式生成互補表示的有效方法。

為了增強場景理解模型的泛化能力，北京郵電大學的Di等[39]建立了基于稠密對應(yīng)關(guān)系的轉(zhuǎn)移學習方法，并在不同的天氣和光照環(huán)境下進行了訓練。文獻[40]、文獻[41]則使用不同的卷積神經(jīng)網(wǎng)絡(luò)來完成交通場景的理解任務(wù)，但上述研究未能對整個場景區(qū)域進行語義分類和理解。

綜上所述，隨著神經(jīng)網(wǎng)絡(luò)等技術(shù)在相關(guān)領(lǐng)域的不斷突破與應(yīng)用，交通場景的數(shù)據(jù)分析技術(shù)已取得了長足發(fā)展。場景元素識別和分類的相關(guān)研究已日趨成熟，但場景理解技術(shù)的發(fā)展仍處于較為初步的階段，交通元素識別與交通場景理解的任務(wù)劃分不完全明確，場景的語義分類標準也不完全統(tǒng)一，而解決上述問題，對場景庫的建立和無人駕駛的落地具有重要意義。

3 駕駛行為的數(shù)據(jù)采集和分析

在道路狀況、周圍環(huán)境等交通元素不同的場景下，駕駛員對車輛的操作會有所不同。為了開發(fā)更符合駕駛員駕駛習慣的車輛決策和控制算法，就需要收集日常狀態(tài)下駕駛員面對不同交通場景時對車輛的操縱行為數(shù)據(jù)，即駕駛行為的數(shù)據(jù)采集和分類。利茲大學的Barnard 等[42]把在沒有試驗控制的情況下，以不引人注意的方式記錄駕駛員、車輛和周圍環(huán)境的數(shù)據(jù)并對其展開研究的方式定義為自然駕駛研究（Naturalistic Driving Study，NDS）。

為了估計描述駕駛員行為所需的數(shù)據(jù)總量，雅典理工學院的Stavrakaki等[43]提出了一個方法學框架。分析表明，駕駛員的攻擊性、波動性和旅程的總時長都會對數(shù)據(jù)量的需求產(chǎn)生影響。因此，為了準確描述駕駛風格并理解駕駛員的駕駛行為，有必要進行長期、大量且廣泛的駕駛行為數(shù)據(jù)采集和分析。

3.1 駕駛行為的數(shù)據(jù)采集

昆士蘭大學的Grimberg 等[44]把用于自然駕駛研究的數(shù)據(jù)采集系統(tǒng)（Data Acquisition System，DAS）分為基于智能手機的駕駛行為數(shù)據(jù)采集系統(tǒng)和基于車載設(shè)備的駕駛行為數(shù)據(jù)采集系統(tǒng)，并指出基于智能手機的駕駛行為DAS 的測量誤差相對較大，但其在研究動態(tài)駕駛動作（如加速、制動和轉(zhuǎn)向）上具有較好的表現(xiàn)。

考慮到成本和部署便捷性等問題，在一些項目的前期開發(fā)中，常使用駕駛模擬器進行駕駛行為的數(shù)據(jù)采集。例如：吉林大學的高振海等[45]基于從駕駛模擬器中采集的數(shù)據(jù)，確定與駕駛行為相關(guān)的狀態(tài)集和動作集，并由此建立了縱向自動駕駛決策過程的因果推理機制；考慮到多任務(wù)下的駕駛員認知負荷問題，吉林大學的Gao[46]利用駕駛模擬器設(shè)計模擬工況，并同步采集駕駛員的心電、皮電和呼吸等信號，經(jīng)過統(tǒng)計分析找到了駕駛?cè)蝿?wù)、認知負荷與生理信號間的關(guān)系；同濟大學的時恒等[47]采用8自由度駕駛模擬器分析霧霾天氣下的駕駛行為；文獻[48]～文獻[51]所進行的研究均采用了駕駛模擬器來收集相關(guān)數(shù)據(jù)。

基于駕駛模擬器的駕駛行為數(shù)據(jù)采集系統(tǒng)具有方便部署、成本低廉等優(yōu)點，但這種方法得到的數(shù)據(jù)與真實的自然駕駛行為數(shù)據(jù)仍有一定的差別，僅作為參考，因此本文主要介紹基于智能手機和基于車載設(shè)備的數(shù)據(jù)采集系統(tǒng)?；谲囕d設(shè)備的駕駛行為數(shù)據(jù)采集系統(tǒng)的相關(guān)研究開展較早，早期其采集的數(shù)據(jù)主要用于事故分析，隨著傳感設(shè)備與自動駕駛技術(shù)的發(fā)展，目前車載駕駛數(shù)據(jù)采集設(shè)備所采集的數(shù)據(jù)精度更高、種類更多，用途也更為廣泛。與此同時，由于近年來智能手機的廣泛普及和其內(nèi)置傳感器精度的提高，基于智能手機的駕駛行為數(shù)據(jù)采集系統(tǒng)的相關(guān)研究越來越多。當前關(guān)于駕駛行為數(shù)據(jù)采集系統(tǒng)的研究，處于兩者共存、各有優(yōu)劣、互為補充的階段。

3.1.1 基于智能手機的駕駛行為數(shù)據(jù)采集系統(tǒng)

基于智能手機的駕駛行為數(shù)據(jù)采集系統(tǒng)是近年出現(xiàn)的新興技術(shù)，一般是指利用手機內(nèi)置的先進運動傳感器、GPS接收模塊、攝像頭和光傳感器等，配合相應(yīng)的手機應(yīng)用，采集并存儲或上傳數(shù)據(jù)的技術(shù)。智能手機為傳感器網(wǎng)絡(luò)、駕駛員輔助系統(tǒng)和其他智能交通系統(tǒng)的應(yīng)用提供了新的平臺[52]，其在駕駛行為數(shù)據(jù)采集方面得到了大量應(yīng)用。

加州大學的Johnson等[53]最早提出了基于智能手機的駕駛行為監(jiān)測系統(tǒng)，其利用智能手機中的GPS接收模塊、加速度計、陀螺儀和磁強計獲得位置、速度、加速度和偏轉(zhuǎn)角等信息。文獻[54]、文獻[55]也采用相似的方法記錄了駕駛行為數(shù)據(jù)。Freidlin等[56]對iOS系統(tǒng)、安卓系統(tǒng)和車載小型DAS 所采集的數(shù)據(jù)進行了比較，結(jié)果表明，在與算法相配合的情況下，手機內(nèi)置的傳感器精度與車載小型DAS精度相當。

考慮到智能手機在車輛中以不同的位姿擺放時，重力會對其他傳感器的測量產(chǎn)生影響，中國科學院的Zhang 等[57]提出了評估手機擺放位姿，并據(jù)此對數(shù)據(jù)進行修正的方法，成功抵消了重力的干擾，進一步降低了智能手機DAS 的部署難度，提高了其所采集數(shù)據(jù)的準確性。

此外，智能手機DAS 還可以方便地根據(jù)所研究的問題進行調(diào)整和定制，如艾瑞爾大學的Botzer 等[58]開發(fā)了一款只記錄制動事件的智能手機應(yīng)用，以研究高強度制動與事故發(fā)生率的關(guān)系。

當前，智能手機具有極高的普及率，而基于智能手機的數(shù)據(jù)采集系統(tǒng)充分利用已有設(shè)備，只需要駕駛員安裝相應(yīng)的應(yīng)用程序即可完成部署，顯著降低了系統(tǒng)的安裝成本，并使得采集大量且不同的自然駕駛數(shù)據(jù)成為了可能。此外，雖然智能手機DAS 在數(shù)據(jù)收集上存在一定的局限，但通過一些方法可以對其進行有效彌補，因此基于智能手機的駕駛行為DAS越來越廣泛地應(yīng)用在自然駕駛數(shù)據(jù)的收集和研究中。

3.1.2 基于車載設(shè)備的駕駛行為數(shù)據(jù)采集系統(tǒng)

基于車載設(shè)備的駕駛行為數(shù)據(jù)采集系統(tǒng)是相對傳統(tǒng)的數(shù)據(jù)采集方式，由于其不僅能夠采集駕駛行為信息，還能夠采集與之相關(guān)的駕駛員生理信號，因此仍未過時。早期研究所記錄的數(shù)據(jù)量一般較少，如弗吉尼亞理工大學的Neurauter等[59]開展的相關(guān)研究，通過面向車內(nèi)的攝像頭，記錄了100 輛汽車總計700 h 的駕駛員手部行為數(shù)據(jù)。

隨著傳感及數(shù)據(jù)處理技術(shù)的不斷發(fā)展，當前的車載駕駛數(shù)據(jù)采集系統(tǒng)主要包括2種：為研究定制的車載駕駛數(shù)據(jù)采集系統(tǒng)和非定制的車載駕駛數(shù)據(jù)采集系統(tǒng)[44]。為研究定制的采集系統(tǒng)配備特定的傳感器，采樣頻率高，通常高于10 Hz，且測量誤差低[60-61]，但是其成本較高，且會對駕駛員的自然駕駛產(chǎn)生影響；非定制的數(shù)據(jù)采集系統(tǒng)可以降低成本，并且減少對駕駛員自然駕駛的影響，但是其收集的數(shù)據(jù)相對受限，且只記錄超過一定閾值的駕駛事件。定制的車載數(shù)據(jù)采集系統(tǒng)多應(yīng)用于大型項目中，如澳大利亞自然駕駛研究（Australian Naturalistic Driving Study，ANDS）項目[62]，歐洲的自然駕駛、車輛安全和環(huán)境基礎(chǔ)設(shè)施項目UDRIVE[42,63]和上海自然駕駛研究[64]等。這些項目都部署了大量且類型多樣的傳感器，并在數(shù)月的時間內(nèi)收集了眾多駕駛員的駕駛數(shù)據(jù)。其使用的傳感器包括但不限于GPS接收模塊、加速度計、前置雷達和攝像頭。其收集到的信息包括：本車相關(guān)信息，如油門和制動踏板開度、擋位信息、轉(zhuǎn)向盤轉(zhuǎn)向角、ABS反饋信息、車速、轉(zhuǎn)向燈標志位和安全帶信息等；駕駛員生理信息，如酒精傳感器信息、眼動信息等；光照度信息；車載音頻信息等。這些信息會被存儲為數(shù)據(jù)集，以備后續(xù)處理。

在研究某些特定問題或者特定群體時，車載數(shù)據(jù)采集系統(tǒng)可以設(shè)計得稍簡單些，參與的駕駛員數(shù)量也可以相對減少，如密歇根大學Sayer 等[65]對輕型車輛安全性的研究和Nodine等[66]對貨車駕駛員的自然駕駛研究等。

非定制的數(shù)據(jù)采集系統(tǒng)又分為加速度數(shù)據(jù)采集系統(tǒng)（g-Force DAS）和與攝像機結(jié)合的加速度數(shù)據(jù)采集系統(tǒng)（g-Force with a Camera DAS）。加速度數(shù)據(jù)采集系統(tǒng)通常只能記錄超過某一加速度閾值的事件，而與攝像機結(jié)合的采集系統(tǒng)還可以記錄事件前后一段時間內(nèi)的視頻流。愛荷華大學的Harland等[67]利用與攝像機結(jié)合的采集系統(tǒng)，記錄并分析了青少年的駕駛行為和注意力分散情況。文獻[68]、文獻[69]也利用這類系統(tǒng)對日常生活中的危險駕駛行為以及自然駕駛中的分心情況進行了研究。

定制的車載數(shù)據(jù)采集系統(tǒng)所采集的數(shù)據(jù)具有種類全面、測量精度高等顯著優(yōu)點，具有極高的科研價值，但是其整體成本高且安裝復雜，一般的科研機構(gòu)很難獨立地大范圍安裝和運行。非定制的數(shù)據(jù)采集系統(tǒng)利用已有的設(shè)備收集數(shù)據(jù)，優(yōu)勢在于便于部署且成本較低。

智能手機駕駛數(shù)據(jù)采集系統(tǒng)與車載駕駛數(shù)據(jù)采集系統(tǒng)相比各有優(yōu)劣?；谥悄苁謾C的DAS具有部署迅速、成本低廉、方便定制等優(yōu)點，且由于智能手機已經(jīng)在生活中廣泛使用，因此基于智能手機的DAS 不會給被測者帶來額外的成本負擔，這為大規(guī)模采集駕駛數(shù)據(jù)提供了可能?；谲囕d設(shè)備的DAS使用的傳感器種類更多，采樣頻率更高，所獲取的數(shù)據(jù)更加準確，在某些問題的研究上有著無可替代的作用，但由于其高昂的成本，很難被廣泛地安裝于不同地區(qū)的不同車型上，這也為其進一步發(fā)展帶來了一定的阻礙。

3.2 駕駛行為的數(shù)據(jù)分析

駕駛行為的數(shù)據(jù)分析主要包括駕駛事件的識別和分類以及駕駛風格的測評。其中，駕駛事件的識別和分類是隨著智能手機DAS發(fā)展起來的，其作用是從速度、加速度和角加速度等信息中識別出轉(zhuǎn)向、加速和制動等駕駛事件，并對相關(guān)數(shù)據(jù)進行標注，以備后續(xù)使用，其發(fā)展歷程如表1 所示。駕駛風格的測評主要用于繪制駕駛員行為畫像，并據(jù)此進行個性化算法優(yōu)化、風險駕駛提醒和事故關(guān)聯(lián)分析等。

表1 駕駛事件識別技術(shù)發(fā)展歷程

3.2.1 駕駛事件的識別和分類

駕駛事件識別和分類的相關(guān)研究始于2012 年，加州大學的Johnson 等[53]提出了基于動態(tài)時間規(guī)整（Dynamic Time Warping，DTW）算法和傳感器數(shù)據(jù)融合的駕駛事件識別技術(shù)，其對車輛運動的檢測精度與汽車CAN 總線的精度相當，且其所有的處理和運算均能在智能手機中完成。Eren等[54]也利用類似的算法，利用智能手機采集的加速度等數(shù)據(jù)，實現(xiàn)了對駕駛事件的檢測和識別。在此基礎(chǔ)上，2015年，盧森堡大學的Castignani等[55]基于模糊邏輯算法實現(xiàn)了對加速、制動、轉(zhuǎn)向以及風險駕駛行為的精確檢測。

為了充分挖掘駕駛行為的時間特征，中國科學院的Zhang 等[57]基于融合的卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)，于2019年提出了一種能考慮高維傳感器數(shù)據(jù)間的相關(guān)性、捕獲顯著結(jié)構(gòu)特征并對時間特征進行建模的方法。該研究還據(jù)此建立了數(shù)據(jù)集，并對直線行駛、靜止、左轉(zhuǎn)彎、右轉(zhuǎn)彎、制動、加速6種駕駛事件進行了注釋。試驗結(jié)果表明，該模型在識別駕駛事件方面，有明顯優(yōu)于其他模型的泛化能力。

3.2.2 駕駛風格的測評

在駕駛風格測評的相關(guān)研究上，早期的測評方法主要是基于心理學調(diào)查問卷和量表的主觀評價法，隨著人們對此重視程度的提高，現(xiàn)有的測評方法主要是基于駕駛行為數(shù)據(jù)的客觀評價法[70]，其發(fā)展歷程如表2 所示。

表2 駕駛風格測評技術(shù)發(fā)展歷程

20 世紀90 年代初，圣喬治醫(yī)學院的West 等[71]將人們的典型駕駛方式定義為駕駛風格，并指出駕駛風格會受到個人性格特征的影響。早期的駕駛風格測評問卷和量表中，較為典型的有駕駛員行為問卷[72]、多維度駕駛風格量表[73]和駕駛員類型問卷[74]等。

當前的駕駛風格測評主要是通過對駕駛行為數(shù)據(jù)（如強制動次數(shù)等）的分析和處理實現(xiàn)的，這種方法基于儀器采集的數(shù)據(jù)，而不是被測人對自己的主觀評價，因此其客觀性較強，能更好地描繪駕駛員的駕駛行為特征。

克蘭菲爾德大學的Martinez 和中國科學院的Wang等[75]認為模糊邏輯、K最近鄰（K-Nearest Neighbor，KNN）分類算法和人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）是識別駕駛風格最常用的分類器。加州大學的Johnson 等[53]在前述駕駛事件識別算法的基礎(chǔ)上，開發(fā)了測評駕駛風格的MIROAD 手機應(yīng)用，其通過計算常規(guī)駕駛事件和攻擊性駕駛事件的出現(xiàn)頻率來評估駕駛員的駕駛風格?？紤]到不同的車輛特性會對駕駛員的操縱產(chǎn)生影響，盧森堡大學的Castignani 等[55]提出了基于模糊邏輯的算法，成功地將駕駛風格與車輛特性獨立開來。

在上述研究的基礎(chǔ)上，馬德里理工大學的Silva等[76]提出了對駕駛風格分類算法的性能進行評價的方法，其對SVM、隨機森林（Random Forest，RF）、模糊邏輯、KNN和ANN 5 種算法進行了測評。結(jié)果表明，SVM 算法在精度方面優(yōu)于其他算法，而ANN 算法在顯著性檢驗上具有明顯優(yōu)勢。

駕駛行為的數(shù)據(jù)分析是高級駕駛輔助系統(tǒng)（Advanced Driving Assistance System，ADAS）和無人駕駛車輛算法優(yōu)化及個性化定制的基礎(chǔ)，其作用主要有：利用駕駛事件識別和分類方法自動標注駕駛行為數(shù)據(jù)集，標注清晰的數(shù)據(jù)集對ADAS以及無人駕駛的算法開發(fā)和優(yōu)化具有重要意義；通過駕駛風格測評描繪駕駛員的駕駛行為畫像，可用于無人駕駛的個性化定制技術(shù)，也可用于車隊管理和事故分析等。

早期對駕駛行為數(shù)據(jù)分析的研究較少，隨著相關(guān)技術(shù)的發(fā)展，當前對其的研究越來越多，且主要是基于機器學習的方法進行識別、分類和評價。但現(xiàn)有研究所覆蓋的數(shù)據(jù)量較少，且較為分散，未來的研究應(yīng)建立在更廣泛且多樣的駕駛行為數(shù)據(jù)集上，并建立算法性能的評價體系，以便于找到不同情況下的最佳處理方法。

4 結(jié)論與展望

本文概述了面向自動駕駛的數(shù)據(jù)采集與分析技術(shù)的研究現(xiàn)狀，并總結(jié)得到了以下結(jié)論和展望：

第一，交通場景的數(shù)據(jù)采集。當前交通場景的數(shù)據(jù)采集系統(tǒng)主要搭載在地面車輛和飛行器等平臺上，其通過激光雷達、毫米波雷達、GNSS和攝像頭等傳感設(shè)備的組合收集數(shù)據(jù)，并配合使用數(shù)據(jù)增強等技術(shù)適當?shù)卦鲅a可用數(shù)據(jù)。但目前針對中國交通環(huán)境建立的場景數(shù)據(jù)集較少，相關(guān)工作的推進會對無人駕駛技術(shù)在中國的落地應(yīng)用具有重大意義。

第二，交通場景的數(shù)據(jù)分析。場景數(shù)據(jù)的分析，主要是對場景內(nèi)的元素進行識別、分類，并對場景整體進行理解。當前的場景元素識別分類方法結(jié)合了傳統(tǒng)計算機視覺和機器學習的相關(guān)知識，在識別算法的準確率和效率上取得了較大的突破。但現(xiàn)有的場景理解方法發(fā)展并不完善，在理解任務(wù)的具體定義和場景區(qū)域的分類標準上仍存在爭議。對上述問題的研究討論，將會促進交通場景理解技術(shù)的發(fā)展，并對交通場景數(shù)據(jù)庫的建立起到較大的推動作用。

第三，駕駛行為的數(shù)據(jù)采集。駕駛行為數(shù)據(jù)采集的設(shè)備主要包括基于智能手機的數(shù)據(jù)采集系統(tǒng)、基于車載設(shè)備的數(shù)據(jù)采集系統(tǒng)和基于駕駛模擬器的數(shù)據(jù)采集系統(tǒng)。當前的駕駛模擬DAS 已經(jīng)具有較高的模擬精度，但其仍不能夠取代實車試驗，車載DAS 仍存在成本較高的問題，而現(xiàn)有的智能手機DAS 雖然已經(jīng)顯著地降低了成本，但仍未能充分地利用智能手機設(shè)備的巨大基數(shù)。建立基于智能手機的分布式傳感及數(shù)據(jù)采集系統(tǒng)，將能大幅提高駕駛行為數(shù)據(jù)的采集量和采集效率，并為駕駛行為數(shù)據(jù)庫的建立奠定基礎(chǔ)。

第四，駕駛行為的數(shù)據(jù)分析。駕駛行為的數(shù)據(jù)分析主要包括駕駛事件識別和駕駛風格測評，現(xiàn)有的主流方法均基于機器學習的相關(guān)知識，如支持向量機和神經(jīng)網(wǎng)絡(luò)等。駕駛事件的識別已實現(xiàn)了較高的準確率，但其尚未在大規(guī)模的原生自然駕駛數(shù)據(jù)中進行驗證。駕駛風格測評的相關(guān)方法較多，但由于風格分類存在主觀性，因此目前仍未形成統(tǒng)一的算法性能評價標準。進一步在大規(guī)模數(shù)據(jù)中驗證分析算法，并建立算法性能的統(tǒng)一評價標準，將是駕駛行為數(shù)據(jù)分析技術(shù)未來的發(fā)展方向之一。

完備的數(shù)據(jù)庫體系是無人駕駛的基礎(chǔ)設(shè)施。無人駕駛數(shù)據(jù)采集與分析技術(shù)的發(fā)展和進步，將會推進交通場景數(shù)據(jù)庫和駕駛行為數(shù)據(jù)庫的建立，并對無人駕駛的開發(fā)、優(yōu)化和個性化定制起到至關(guān)重要的作用。