張迅，李錦江

（1.同濟(jì)大學(xué)軟件學(xué)院，上海 200000；2.北京科技大學(xué)機(jī)械工程學(xué)院，北京 100000）

自動(dòng)駕駛是當(dāng)今熱門(mén)研究領(lǐng)域，面臨許多技術(shù)挑戰(zhàn)。無(wú)人車(chē)在行駛時(shí)需要依賴(lài)感知識(shí)別系統(tǒng)對(duì)周?chē)沫h(huán)境（道路、行人、車(chē)輛等）進(jìn)行感知，為接下來(lái)的基于深度學(xué)習(xí)及人工智能的駕駛決策及控制提供依據(jù)。系統(tǒng)要感知檢測(cè)的事物種類(lèi)繁多，且容易受到天氣、環(huán)境等因素的干擾。如果自動(dòng)駕駛的算法不能在大量可靠的數(shù)據(jù)上進(jìn)行適量的、有效的訓(xùn)練，那么，當(dāng)其被投入實(shí)際使用后，就可能造成不可預(yù)估的后果。因此，為了推動(dòng)這一領(lǐng)域的后續(xù)研究與發(fā)展，自動(dòng)駕駛相關(guān)數(shù)據(jù)集應(yīng)運(yùn)而生，科研工作者圍繞眾多數(shù)據(jù)集做了很多開(kāi)創(chuàng)性的工作。本文在現(xiàn)有文獻(xiàn)基礎(chǔ)上，從數(shù)據(jù)集內(nèi)容、采集方法、是否進(jìn)行標(biāo)注和標(biāo)注方法等方面，針對(duì)不同的自動(dòng)駕駛數(shù)據(jù)集進(jìn)行總結(jié)與對(duì)比，為研究自動(dòng)駕駛場(chǎng)景感知、行為決策及控制算法奠定基礎(chǔ)。

1 數(shù)據(jù)集介紹

從采集內(nèi)容、采集設(shè)備及方法、標(biāo)注及標(biāo)注方法等方面對(duì)數(shù)據(jù)集進(jìn)行介紹。典型數(shù)據(jù)集包括KITTI、Apollo、BDD100K、nuScenes、CityScapes 和HDD 等。

1.1 數(shù)據(jù)集內(nèi)容

KITTI 數(shù)據(jù)集包含市區(qū)、鄉(xiāng)村和高速公路等場(chǎng)景采集的真實(shí)圖像數(shù)據(jù)，每張圖像中最多達(dá)15 輛車(chē)和30 個(gè)行人。整個(gè)數(shù)據(jù)集由389 對(duì)立體圖像和光流圖（包括194 對(duì)訓(xùn)練圖像和195 對(duì)測(cè)試圖像），39.2km 視覺(jué)測(cè)距序列以及超過(guò)200k 的3D 標(biāo)注物體的圖像組成，采樣頻率為10Hz，總共約3TB。

Apollo 為百度推出的交通場(chǎng)景解析數(shù)據(jù)集，包括上萬(wàn)幀的高分辨率RGB 視頻和與其對(duì)應(yīng)的逐像素語(yǔ)義標(biāo)注。26 個(gè)語(yǔ)義類(lèi)提供了總共17062 張圖像和相對(duì)應(yīng)的語(yǔ)義標(biāo)注與深度信息，用于設(shè)計(jì)算法和訓(xùn)練模型。

BDD100K 為目前規(guī)模最大、兼具內(nèi)容復(fù)雜性與多樣性的公開(kāi)駕駛數(shù)據(jù)集，包含了10 萬(wàn)段高清視頻，每段視頻約40s時(shí)長(zhǎng)，分辨率為720p，幀率為30fps。每個(gè)視頻的第10s 對(duì)關(guān)鍵幀進(jìn)行采樣，得到10 萬(wàn)張圖片（1280×720），并進(jìn)行標(biāo)注。數(shù)據(jù)集覆蓋了晴天、多云等6 種天氣；公路、城市街道等6 種場(chǎng)景；黎明/黃昏、白天、夜晚3 個(gè)階段，還有對(duì)目標(biāo)遮擋和截?cái)嗲闆r標(biāo)注。

nuScenes 包含1000 個(gè)場(chǎng)景，每個(gè)場(chǎng)景20 秒長(zhǎng)，并用23 個(gè)類(lèi)別和8 個(gè)屬性的3D 邊界框完全注釋。

Cityscapes 數(shù)據(jù)集主要針對(duì)城市景觀進(jìn)行采集，由50個(gè)不同城市的街道上錄制的大量不同的立體視頻序列組成，總計(jì)25000 張圖像。

HDD 為日本本田研究所駕駛數(shù)據(jù)集，主要用于研究在現(xiàn)實(shí)生活環(huán)境中學(xué)習(xí)駕駛員的行為。該數(shù)據(jù)集包括了104小時(shí)真實(shí)人類(lèi)駕駛數(shù)據(jù)總計(jì)150GB（1280×720 分辨率、30fps），包括GPS、圖像、激光雷達(dá)、汽車(chē)導(dǎo)航、司機(jī)駕駛行為等方面的信息。

1.2 數(shù)據(jù)集采集設(shè)備及方法

KITTI 數(shù)據(jù)集使用標(biāo)準(zhǔn)旅行車(chē)進(jìn)行收集，配備有兩種顏色和兩種灰度的PointGrey Flea2 攝像機(jī)、Velodyne HDL-64E 3D 激光掃描儀以及帶有RTK 校正信號(hào)的GPS/IMU 定位單元和運(yùn)行實(shí)時(shí)數(shù)據(jù)庫(kù)的功能強(qiáng)大的計(jì)算機(jī)。以不同速率工作的攝像頭、激光雷達(dá)、GPS 等傳感器置于同一坐標(biāo)系下；最小化產(chǎn)生基礎(chǔ)事實(shí)需要的監(jiān)督數(shù)量，為每個(gè)基準(zhǔn)選擇適當(dāng)?shù)男蛄泻涂蚣?，以及為每個(gè)任務(wù)開(kāi)發(fā)指標(biāo)。

Apollo 數(shù)據(jù)集的采集使用了裝備有RIEGL VMX-1HA 移動(dòng)測(cè)繪系統(tǒng)的中尺寸多功能越野車(chē)來(lái)進(jìn)行。該系統(tǒng)包括兩個(gè)LiDAR 傳感器（每秒500 條掃描線，覆蓋420 米內(nèi)的360 度視角）、一部INS/GNSS 單元以及兩個(gè)前向相機(jī)（VMX-CS6，3384×2710）。數(shù)據(jù)的采集頻率為每米一張圖像。

BDD100K 數(shù)據(jù)集是伯克利大學(xué)AI 實(shí)驗(yàn)室在Nexar 協(xié)助下完成的，數(shù)據(jù)獲取自成千上萬(wàn)的普通司機(jī)，主要由相機(jī)、GPS 和IMU 采集。

nuScenes 的采集主要依靠激光雷達(dá)和相機(jī)。使用諸如激光筆和標(biāo)定目標(biāo)板之類(lèi)的工具將每個(gè)傳感器的外在坐標(biāo)表示為相對(duì)于自我框架，即耳軸的中點(diǎn)。特點(diǎn)是可以產(chǎn)生良好的數(shù)據(jù)對(duì)齊。

Cityscapes 數(shù)據(jù)收集使用了汽車(chē)級(jí)22 厘米基線立體聲相機(jī)，1/3 的CMOS 2 MP 傳感器，以及幀率為17Hz 的滾動(dòng)快門(mén)，產(chǎn)生16 位線性顏色深度的高動(dòng)態(tài)范圍(HDR)圖像，每個(gè)16位立體聲圖像對(duì)隨后被剝離和校正。

HDD 數(shù)據(jù)集的收集使用了三個(gè)攝像頭、一個(gè)水平激光雷達(dá)、一個(gè)汽車(chē)動(dòng)力運(yùn)動(dòng)分析器和一個(gè)汽車(chē)控制器區(qū)域網(wǎng)絡(luò)（CAN）。

1.3 標(biāo)注及標(biāo)注方法

文獻(xiàn)[2]中自行設(shè)計(jì)了一個(gè)圖片標(biāo)注系統(tǒng)，該標(biāo)注系統(tǒng)是一個(gè)通用、可擴(kuò)展的注釋工具，適用于數(shù)據(jù)庫(kù)中所需的各種注釋?zhuān)邕吔缈?、語(yǔ)義實(shí)例分割和車(chē)道檢測(cè)等。該注釋工具可完成的工作包括框注釋、區(qū)域注釋等，同時(shí)，具備高可擴(kuò)展性。標(biāo)注包括圖像標(biāo)記、物體檢測(cè)、車(chē)道、可駕駛區(qū)域、語(yǔ)義實(shí)例分割等。

Cityscapes 數(shù)據(jù)集中，5000 幅圖像具有高質(zhì)量的像素級(jí)注釋?zhuān)涣硗猓?0000 幅圖像具有粗略注釋?zhuān)灾С掷么罅咳鯓?biāo)記數(shù)據(jù)的方法。

HDD 數(shù)據(jù)集對(duì)駕駛場(chǎng)景做了目標(biāo)方向行為、刺激驅(qū)動(dòng)行為、原因、關(guān)注，4 層注釋方案，使用ELAN 軟件進(jìn)行。

2 數(shù)據(jù)集之間的比較

上述數(shù)據(jù)集中，KITTI 是誕生最早的一個(gè)較為全面且合理的數(shù)據(jù)集，所以率先成為了該領(lǐng)域的一個(gè)基準(zhǔn)，后續(xù)的許多研究都是通過(guò)從KITTI 中進(jìn)行抽取或改良來(lái)獲取實(shí)驗(yàn)用數(shù)據(jù)的。Apollo 數(shù)據(jù)集作為在中國(guó)國(guó)內(nèi)誕生的數(shù)據(jù)集，在收集的數(shù)據(jù)量上有所突破，為國(guó)內(nèi)自動(dòng)駕駛領(lǐng)域做出了杰出貢獻(xiàn)。BDD100K 在數(shù)據(jù)量最大最全面，數(shù)據(jù)種類(lèi)的多樣性也幾乎能覆蓋所有的自動(dòng)駕駛場(chǎng)景；nuScenes 以場(chǎng)景劃分為標(biāo)志的多模態(tài)3D 數(shù)據(jù)集，是第一個(gè)包含雷達(dá)數(shù)據(jù)的自動(dòng)駕駛數(shù)據(jù)集；CityScapes 數(shù)據(jù)集致力于捕捉真實(shí)城市內(nèi)部交通場(chǎng)景的可變性和復(fù)雜性，數(shù)據(jù)量不大，更為精簡(jiǎn)；HDD 數(shù)據(jù)集專(zhuān)注于自動(dòng)駕駛系統(tǒng)在現(xiàn)實(shí)生活環(huán)境中學(xué)習(xí)真實(shí)駕駛員的行為，一種新的注釋方法用于從未經(jīng)修剪的數(shù)據(jù)序列中理解駕駛員行為。

總之，數(shù)據(jù)量、數(shù)據(jù)種類(lèi)與制作數(shù)據(jù)集的目的為數(shù)據(jù)集之間的主要差別，目的在于針對(duì)自動(dòng)駕駛場(chǎng)景感知、行為決策及控制算法等的不同應(yīng)用。

3 結(jié)語(yǔ)

綜上所述，現(xiàn)有數(shù)據(jù)集主要基于計(jì)算機(jī)視覺(jué)相關(guān)，為自動(dòng)駕駛提供廣泛真實(shí)的駕車(chē)場(chǎng)景，模擬行車(chē)復(fù)雜環(huán)境，進(jìn)行先進(jìn)安全特性的研究。數(shù)據(jù)集主要由靜態(tài)單圖像組成，通過(guò)使用“邊界框”來(lái)識(shí)別和跟蹤道路內(nèi)和周?chē)h(huán)境的常見(jiàn)物體。接下來(lái)，需要更精確、像素級(jí)的道路物體表示，以及通過(guò)連續(xù)視頻駕駛場(chǎng)景的鏡頭。基于視頻的駕駛場(chǎng)景感知提供的數(shù)據(jù)流將更接近動(dòng)態(tài)的真實(shí)駕駛情況，可進(jìn)一步促使自動(dòng)駕駛中機(jī)器學(xué)習(xí)、場(chǎng)景理解和行為預(yù)測(cè)的進(jìn)步。