王軍雷 王亮亮 王靜 牛錫靜

（1.中國汽車技術(shù)研究中心有限公司，天津 300300；2.中國第一汽車股份有限公司研發(fā)總院，長春 130013）

主題詞：場景庫搭建 數(shù)據(jù)處理 自動生成 專利分析 技術(shù)布局

1 前言

自動駕駛汽車在真正商業(yè)化應(yīng)用前，需要經(jīng)歷大量的道路測試，但采用路測來優(yōu)化自動駕駛算法耗費的時間與成本很高，自動駕駛相應(yīng)交通法規(guī)及保險理賠機制的缺失也制約了自動駕駛汽車路測的大范圍開展，極端交通條件和危險場景復(fù)現(xiàn)困難且測試安全存在隱患，形成全球認可的自動駕駛汽車產(chǎn)業(yè)鏈體系比較困難，這些問題都給自動駕駛汽車系統(tǒng)研發(fā)測試帶來了諸多困難[1]。

目前，基于場景庫的仿真測試是解決自動駕駛路測問題的重要路線。仿真測試主要通過構(gòu)建虛擬場景庫，實現(xiàn)自動駕駛感知、決策規(guī)劃、控制等算法的閉環(huán)仿真測試，滿足自動駕駛測試的要求。仿真測試可以在一定程度上替代實際道路測試，提升測試效率，縮短開發(fā)周期[2-3]。

本文采用專利分析方法，分析自動駕駛汽車虛擬場景庫構(gòu)建技術(shù)的專利布局情況和重點研發(fā)方向，梳理其在關(guān)鍵技術(shù)點的技術(shù)發(fā)展路線。

2 自動駕駛汽車虛擬場景庫構(gòu)建技術(shù)專利分析

2.1 數(shù)據(jù)采集范圍及相關(guān)說明

本文使用的專利檢索數(shù)據(jù)庫為中國汽車技術(shù)研究中心自主研發(fā)的全球汽車專利數(shù)據(jù)庫，收錄了全球104個國家1.5億余條汽車及相關(guān)領(lǐng)域的專利，對全球汽車領(lǐng)域重要企業(yè)的專利按照技術(shù)領(lǐng)域、技術(shù)效果、技術(shù)手段3 個維度進行人工標引。在數(shù)據(jù)庫的技術(shù)領(lǐng)域模塊選取自動駕駛汽車節(jié)點，并用虛擬場景、場景構(gòu)建、場景建模、傳感器仿真、要素提取、場景測試、場景庫等關(guān)鍵詞進行檢索，檢索截止日期為2022年6月30日，得到虛擬場景庫構(gòu)建領(lǐng)域的相關(guān)專利。由于專利公開時間的滯后，2021～2022年的數(shù)據(jù)僅供參考。

2.2 專利公開趨勢分析

截至2022年6月，國內(nèi)虛擬場景數(shù)據(jù)庫構(gòu)建技術(shù)專利公開趨勢如圖1所示，可劃分為2個階段：第1個階段為2011～2016年，此階段為虛擬場景數(shù)據(jù)庫構(gòu)建技術(shù)的萌芽期，專利公開量每年不足200 件，且大多進行探索性基礎(chǔ)研究；第2個階段為2017年至今，隨著國家出臺一系列政策和規(guī)劃，促進自動駕駛汽車產(chǎn)業(yè)的發(fā)展，專利公開量增長速度明顯提升，年增長率超過50%，此階段技術(shù)進入快速發(fā)展期，但專利公開量總體不大。結(jié)合相關(guān)專利的增長勢頭與公開量級情況可以推測，自動駕駛汽車虛擬場景庫構(gòu)建技術(shù)具有較大的布局潛力。

圖1 自動駕駛汽車虛擬場景庫構(gòu)建技術(shù)專利公開態(tài)勢

2.3 專利技術(shù)構(gòu)成及發(fā)展態(tài)勢分析

如圖2所示，自動駕駛汽車虛擬場景庫構(gòu)建按技術(shù)層次分為場景庫構(gòu)建、場景庫應(yīng)用以及場景庫運維3個層面。其中，場景庫構(gòu)建技術(shù)作為自動駕駛汽車場景庫的基礎(chǔ)共性技術(shù)，是專利布局的重點。場景庫應(yīng)用是基于已建成的智能網(wǎng)聯(lián)汽車虛擬場景庫開展的進一步深入的研究應(yīng)用。

圖2 自動駕駛汽車虛擬場景庫構(gòu)建技術(shù)專利技術(shù)構(gòu)成

如圖3所示，智能網(wǎng)聯(lián)汽車虛擬場景庫前期相關(guān)專利以數(shù)據(jù)采集與數(shù)據(jù)處理為主，其他技術(shù)處于零星申請狀態(tài)，從2018年開始，仿真技術(shù)、場景構(gòu)建、功能開發(fā)等技術(shù)發(fā)展勢頭強勁。從應(yīng)用層面看，仿真技術(shù)與場景構(gòu)建技術(shù)是基于場景庫的車輛測試與功能開發(fā)的前提，此類技術(shù)申請量快速提升反映出場景庫領(lǐng)域的參與者數(shù)量逐步提升，技術(shù)的發(fā)展存在較大的空間。

圖3 自動駕駛汽車虛擬場景庫構(gòu)建技術(shù)趨勢

2.4 專利申請人研發(fā)點布局

如圖4所示，自動駕駛汽車虛擬場景庫構(gòu)建技術(shù)專利申請人自身的研發(fā)側(cè)重點存在較大差異。其中：百度主要進行布局的研發(fā)點為數(shù)據(jù)處理及車輛仿真技術(shù)方面；騰訊關(guān)注的重點在于場景測試用例生成與自然場景下車輛的測試評價；當家移動關(guān)注的重點在于數(shù)據(jù)處理中的場景環(huán)境的建模與仿真。高校方面：同濟大學研發(fā)關(guān)注點主要在基于場景庫的算法開發(fā)與典型工況測試；吉林大學研發(fā)關(guān)注點與同濟大學基本一致，同時還較為關(guān)注仿真技術(shù)；清華大學研發(fā)關(guān)注點較多，有多個團隊在該領(lǐng)域展開研究，研究方向集中在數(shù)據(jù)處理及功能測試評價領(lǐng)域。中汽數(shù)據(jù)主要關(guān)注場景庫構(gòu)建及測試用例的開發(fā)與應(yīng)用；福特在場景庫搭建中主要布局了數(shù)據(jù)處理技術(shù)。

圖4 申請人研發(fā)點專利布局情況

2.5 關(guān)鍵技術(shù)分析

為保證自動駕駛汽車仿真測試時的場景類型足夠豐富，需要收集大量的典型場景數(shù)據(jù)并建立仿真測試場景庫。本文將重點研究數(shù)據(jù)處理、仿真技術(shù)、場景庫構(gòu)建及基于場景庫的功能開發(fā)4個方面的相關(guān)專利，通過閱讀專利文獻，梳理上述各技術(shù)的發(fā)展路線。

2.5.1 數(shù)據(jù)處理技術(shù)

數(shù)據(jù)處理技術(shù)包含靜態(tài)數(shù)據(jù)提取和動態(tài)數(shù)據(jù)提取2個方面。其中，靜態(tài)數(shù)據(jù)提取主要為虛擬場景庫構(gòu)建過程中高精度地圖的構(gòu)建部分內(nèi)容，具體包括路網(wǎng)數(shù)據(jù)、路口數(shù)據(jù)、路面數(shù)據(jù)、路面標識數(shù)據(jù)、車道線數(shù)據(jù)等多個方面。動態(tài)數(shù)據(jù)提取則主要包括動態(tài)指示設(shè)備、交通參與者等。數(shù)據(jù)處理技術(shù)的難點主要集中在提高靜態(tài)數(shù)據(jù)構(gòu)圖效率及動態(tài)數(shù)據(jù)信息零散方面。

2.5.1.1 提高地圖構(gòu)建工作的自動化率

針對現(xiàn)行技術(shù)方案對于高精度地圖的構(gòu)建存在的負荷大、生產(chǎn)效率低的問題，騰訊在專利CN110796714A[4]中提出一種使得地圖要素的整體編輯工作更加高效、準確和便捷的地圖構(gòu)建方法，如圖5 所示：基于目標場景的第一地圖進行圖像分割而獲得深度圖，再通過反投影法獲得第一地圖點云分布；第二地圖進行點云分割進而提取特征點形成第二點云分布；對第一、第二點云分布進行矢量化，完成目標場景的三維地圖。該方法將圖像分割法和點云分割法相結(jié)合，針對不同特征的地圖要素采用不同的分割算法獲得不同地圖要素的點云分布，從而使得地圖要素的整體編輯工作更加高效、準確和便捷，進而輔助編輯人員更好地完成地圖構(gòu)建工作，提升地圖構(gòu)建工作的自動化率。

圖5 圖像數(shù)據(jù)及點云數(shù)據(jù)結(jié)合方式示意[4]

2.5.1.2 提高動態(tài)數(shù)據(jù)完整性

針對利用固定位置信息采集設(shè)備進行移動軌跡獲取方案存在的數(shù)據(jù)零散問題，51WORLD 在專利CN112131327A[5]∕CN111780774A[6]中提出一種運動軌跡的生成方法，如圖6 所示，通過道路模擬圖和運動物體初始軌跡點序列（通過數(shù)組儲存），利用尋路算法生成樣條曲線后進行插值補點處理，生成目標物體的運動軌跡，尤其是在采集到的初始軌跡點的數(shù)量較少時，生成有效的運動軌跡，提高了運動軌跡的準確度。該方法基于真實路網(wǎng)數(shù)據(jù)，針對每對相鄰的初始運動軌跡點確定物體在路網(wǎng)矢量圖中的目標路徑，從目標路徑中選取目標運動軌跡點，從而擬合完整的運動軌跡，解決了固定位置信息獲取裝置獲取的車輛位置信息零散不易形成車輛運動軌跡的問題。

圖6 運動軌跡生成示意

2.5.2 仿真技術(shù)

仿真技術(shù)主要是指場景環(huán)境仿真和車輛仿真，重點在于模擬真實環(huán)境中的道路場景要素、交通流信息及周邊車輛運動行為。其中交通流信息仿真技術(shù)伴隨人工智能、云計算、大數(shù)據(jù)技術(shù)的發(fā)展，從微觀交通流仿真的機理型解析模型發(fā)展到通過強化學習得到最優(yōu)駕駛策略的機器學習模型，具體技術(shù)路線如圖7所示。

圖7 仿真技術(shù)路線圖

2.5.3 場景庫構(gòu)建技術(shù)

場景構(gòu)建技術(shù)將場景數(shù)據(jù)傳到場景重構(gòu)工具鏈中，經(jīng)過坐標轉(zhuǎn)換、3D 渲染等步驟在虛擬仿真平臺中自動實現(xiàn)場景的復(fù)現(xiàn)。作為仿真測試技術(shù)的關(guān)鍵，傳統(tǒng)基于專家經(jīng)驗的場景枚舉生成方法已無法滿足大規(guī)模仿真測試的需求，如圖8所示，2019年開始，場景自動生成及泛化技術(shù)進入快速發(fā)展期，成為場景庫構(gòu)建技術(shù)發(fā)展的重點。此技術(shù)側(cè)重于解決現(xiàn)階段場景多樣性、交互性、生成效率等方面的不足。

圖8 場景庫構(gòu)建技術(shù)研發(fā)趨勢

2.5.3.1 提高場景多樣性，實現(xiàn)多工況覆蓋

基于高精度地圖的虛擬場景構(gòu)建過程中，側(cè)重于道路信息而自動生成的場景比較單一，還需要額外手工添加豐富的場景元素。針對這一問題，騰訊在專利CN110795819A[7]中提出一種自動駕駛仿真場景的生成方法，如圖9 所示：獲取預(yù)先確定的高精度地圖中目標區(qū)域上的道路信息，根據(jù)道路信息生成目標區(qū)域上的自動駕駛仿真場景中的虛擬路面；獲取預(yù)先確定的自動駕駛車輛在目標區(qū)域上感測到的點云感知數(shù)據(jù)和圖像感知數(shù)據(jù)，其中，點云感知數(shù)據(jù)用于表示目標區(qū)域上的場景元素的空間信息，圖像感知數(shù)據(jù)用于表示場景元素的顏色信息；將點云感知數(shù)據(jù)與和圖像感知數(shù)據(jù)進行融合，得到第一融合感知數(shù)據(jù)，用于表示場景元素的空間信息和類別信息，類別信息是根據(jù)場景元素的顏色信息確定得到的；將第一融合感知數(shù)據(jù)與虛擬路面進行融合，得到目標區(qū)域上的自動駕駛仿真場景，其中，目標區(qū)域上的自動駕駛仿真場景用于顯示虛擬路面以及由空間信息和類別信息表示的場景元素，達到了根據(jù)高精地圖中的道路信息生成自動駕駛場景中的虛擬路面，根據(jù)點云感知數(shù)據(jù)和圖像感知數(shù)據(jù)確定自動駕駛仿真場景中的場景元素的目的，從而實現(xiàn)了將自動駕駛仿真場景中虛擬路面和場景元素融合的技術(shù)效果。

圖9 高精度地圖和場景元素融合后的仿真場景的示意[7]

現(xiàn)有自動駕駛虛擬場景庫建設(shè)中，多采用原始數(shù)據(jù)進行標注、場景生成與導(dǎo)入，存在場景庫建設(shè)不夠完備、不能完全覆蓋所有可能工況的問題。中汽數(shù)據(jù)在專利CN111967124A[8]中提出一種重組場景通用擴增的生成方法，包括：根據(jù)測試需求確定場景生成的關(guān)鍵要素，包括靜態(tài)要素（道路信息和環(huán)境信息）和動態(tài)要素（本車信息和交通參與者信息），每種信息均設(shè)定相關(guān)字段；基于自然駕駛數(shù)據(jù)庫歷史數(shù)據(jù)，使用統(tǒng)計分析方法確定每個要素字段的取值域及各要素字段之間是否具有相關(guān)性，對于沒有相關(guān)性的要素，取值域內(nèi)隨機選取遍歷，對于具有相關(guān)性的要素，利用統(tǒng)計分析方法得到約束條件，在字段的約束條件對應(yīng)取值域內(nèi)選??；根據(jù)遍歷得到的靜態(tài)要素信息和動態(tài)要素信息，對場景元素進行排列重組。該方案基于自然駕駛數(shù)據(jù)庫中的歷史數(shù)據(jù)，在統(tǒng)計學基礎(chǔ)上對不同要素進行重組排列，實現(xiàn)快速生成重組場景及場景擴增，以達到覆蓋所有可能工況的目的。

2.5.3.2 優(yōu)化場景中車輛交互模式，提高虛擬測試契合程度

自動駕駛汽車工作環(huán)境和狀態(tài)復(fù)雜多樣，具有強不確定性特征，現(xiàn)有的場景生成及泛化技術(shù)大多采用離線生成方式，被測對象不參與生成過程，因此無法運用動態(tài)反饋實時修正場景狀態(tài)來提高測試場景的契合度。華為在專利CN114139329A[13]中提出，首先根據(jù)靜態(tài)本體的設(shè)計約束（按照道路規(guī)范來設(shè)計）、動態(tài)本體的行為（車輛與車道間位置關(guān)系、車輛間位置關(guān)系、車輛限速、車輛行駛方向約束等）和場景設(shè)計需求，確定動態(tài)本體的初始狀態(tài)，再結(jié)合交通流仿真模型（跟馳模型、換道模型、信號燈反應(yīng)模型、匯入模型等）確定動態(tài)本體的行駛軌跡，最終生成測試場景模型。以換道模型為例，車輛存在進入匝道的動機時，且臨近匝道口的第一車道為期望車道：如果車輛位于第三車道上，該車輛在與匝道口間的距離大于80 m時完成換道，方能確保行車安全，如果車輛位于第二車道上，則該車輛需換道時與匝道路口間的最小換道距離為40 m（圖10）。動態(tài)本體在不同交通流仿真模型的控制下行駛，即可以確定動態(tài)本體的行駛軌跡。通過確定動態(tài)本體的初始狀態(tài)和行駛軌跡，在動態(tài)場景中可以體現(xiàn)各交通參與者間復(fù)雜的動態(tài)交互。

圖10 車輛換道模型示意

2.5.4 場景庫的功能開發(fā)

場景庫的功能開發(fā)是基于已建成的自動駕駛汽車虛擬場景庫開展的進一步深入的研究應(yīng)用。針對當前仿真測試中，人車沖突場景中的行人模型簡單，只能進行簡單的場景測試，無法滿足自動駕駛測試需求的問題，清華大學在專利CN112131756A[14]中提出一種考慮個體激進度的行人穿行場景仿真模型，為體現(xiàn)行人在交通場景中的個體差異性，需要賦予行人單獨的內(nèi)在邏輯，邏輯的主要功能為復(fù)現(xiàn)人車交互過程中的一系列決策，通過元胞自動機的行人模擬機制，將道路劃分為網(wǎng)格，行人具有基礎(chǔ)的屬性，該屬性決定平均意義下該個體的速度、加速度等特點，具體的運動則通過對周圍8 個方格的具體情況進行實時判定來產(chǎn)生，如果預(yù)測在某個方格會與其他個體產(chǎn)生碰撞，便通過交互函數(shù)產(chǎn)生一個占據(jù)潛在沖突區(qū)域的概率。此方法充分體現(xiàn)了行人在真實場景中的決策連續(xù)性以及對側(cè)向來車距離的敏感性，能夠較好地還原人車交互的過程。以色列初創(chuàng)公司Autobrains 在專利US16867107 中提出針對特定地形或情形下的場景仿真生成技術(shù)，采用深度神經(jīng)網(wǎng)絡(luò)多模型推理方法，可解決在惡劣天氣條件下，繁忙交通區(qū)域內(nèi)高違法點的仿真場景生成技術(shù)，通過不同仿真引擎之間的相互關(guān)聯(lián)，對多個對象的行為模式進行推導(dǎo)（車輛是否闖紅燈、行人是否在斑馬線處過馬路、行人是否攜帶手提包或推車、車輛在未打信號等情況下改變車道等）。

3 結(jié)束語

本文從專利公開態(tài)勢、專利技術(shù)構(gòu)成、關(guān)鍵技術(shù)點等方面剖析了自動駕駛汽車虛擬場景庫構(gòu)建技術(shù)的專利布局和技術(shù)發(fā)展路線。雖然近幾年場景庫構(gòu)建技術(shù)進入快速發(fā)展期，專利公開量持續(xù)增長，但研究多集中在簡單的數(shù)據(jù)處理及場景生成等方面，無法完全滿足高級別自動駕駛的測試需求。未來研究應(yīng)著力突破動靜態(tài)數(shù)據(jù)融合重構(gòu)技術(shù)，提高動態(tài)數(shù)據(jù)識別速度以及場景自動生成效率。