張晶威，劉鐵軍，李仁剛，劉 丹，詹景麟，闞宏偉

（1. 浪潮集團(tuán)有限公司，高效能服務(wù)器與存儲(chǔ)技術(shù)國家重點(diǎn)實(shí)驗(yàn)室，北京 100085；2. 廣東浪潮智慧計(jì)算技術(shù)有限公司，廣州 510627；3. 浪潮（北京）電子信息產(chǎn)業(yè)有限公司，北京 100085）

前言

多傳感器的信息融合與AI 加速平臺(tái)（異構(gòu)加速器）逐漸應(yīng)用于邊緣計(jì)算中心、自主機(jī)器人、自動(dòng)駕駛車輛、無人機(jī)等領(lǐng)域，并成為信息感知、決策的應(yīng)用趨勢。在自動(dòng)駕駛感知域應(yīng)用中，激光雷達(dá)（light detection and ranging，Lidar）、圖 像 傳 感 器（Camera）、慣性測量單元（inertial measurement unit，IMU）的信息融合算法成為其研究的熱點(diǎn)問題。激光雷達(dá)能夠感知外界環(huán)境的深度信息，圖像傳感器能夠感知外界環(huán)境的紋理信息，IMU 能夠測量物體的三軸姿態(tài)和加速度，多傳感器對(duì)外界環(huán)境的感知信息形成互補(bǔ)，成為面向自動(dòng)駕駛應(yīng)用的核心傳感器組合方案。針對(duì)多模態(tài)數(shù)據(jù)的融合算法而言，時(shí)間同步信息是數(shù)據(jù)重要組成部分，時(shí)間校準(zhǔn)是信息融合技術(shù)的基礎(chǔ)問題之一。

宏觀地看，不同類型傳感器的時(shí)間校準(zhǔn)主要包括硬件方法和軟件方法。其中硬件方法依賴于傳感器硬件支持時(shí)間戳的標(biāo)記。包括控制器對(duì)傳感器單向觸發(fā)（例如圖像傳感器的曝光信號(hào)觸發(fā)，做時(shí)間戳標(biāo)記）和雙向的精確時(shí)間協(xié)議（例如支持IEEE1588協(xié)議的傳感器與控制器通過交互報(bào)文實(shí)現(xiàn)時(shí)間同步）。在沒有硬件支持的情況下，軟件方法多是基于傳感器和被測系統(tǒng)的狀態(tài)特征，利用算法估計(jì)傳感器與中心計(jì)算機(jī)的時(shí)間偏差，并評(píng)估信息融合的效果。機(jī)器人領(lǐng)域的多傳感器時(shí)間校準(zhǔn)問題研究早于自動(dòng)駕駛領(lǐng)域，大多IMU 不包含時(shí)間戳信息，因此IMU 與其他傳感器的信息融合、時(shí)間校準(zhǔn)是典型利用算法實(shí)現(xiàn)時(shí)間同步的應(yīng)用場景。

圖1 是一種自動(dòng)駕駛的多傳感器數(shù)據(jù)流與中心計(jì)算機(jī)時(shí)間對(duì)齊的場景示例，其中系統(tǒng)時(shí)間與激光雷達(dá)的時(shí)間戳對(duì)齊，轉(zhuǎn)動(dòng)頻率10 Hz 的激光雷達(dá)，旋轉(zhuǎn)1 周標(biāo)記一次時(shí)間戳（time stamp），實(shí)際上激光雷達(dá)的每一個(gè)數(shù)據(jù)包都包含時(shí)間戳，并可以通過激光器的觸發(fā)時(shí)間回溯點(diǎn)云中每一個(gè)點(diǎn)的觸發(fā)時(shí)刻。而系統(tǒng)中的IMU 和圖像傳感器數(shù)據(jù)是連續(xù)發(fā)送的，工程應(yīng)用中采用插值或估計(jì)的方法使上述感知數(shù)據(jù)與中心計(jì)算機(jī)時(shí)基對(duì)齊。例如在時(shí)間點(diǎn)，激光點(diǎn)云數(shù)據(jù)和圖像傳感器數(shù)據(jù)融合采用直接插值的方法，即采樣曝光時(shí)間與最接近的圖像I進(jìn)行對(duì)齊融合。在時(shí)間點(diǎn)，激光點(diǎn)云數(shù)據(jù)和圖像傳感器數(shù)據(jù)融合采用線性加權(quán)方法，t時(shí)刻曝光圖像數(shù)據(jù)I，t時(shí)刻曝光圖像數(shù)據(jù)I，這兩幀圖像數(shù)據(jù)的曝光時(shí)刻是距離時(shí)刻最鄰近的時(shí)刻。即I·（1-）+I·數(shù)據(jù)作為時(shí)刻的圖像數(shù)據(jù)。類似的，對(duì)應(yīng)計(jì)算機(jī)在某一時(shí)刻t的姿態(tài)信息，可以基于IMU 數(shù)據(jù)和算法進(jìn)行估計(jì)。

圖1 自動(dòng)駕駛感知域多傳感器數(shù)據(jù)的時(shí)基對(duì)齊

文獻(xiàn)［9］中提出一種面向機(jī)器人應(yīng)用的激光雷達(dá)和圖像傳感器時(shí)間校準(zhǔn)的方法，并測試了多種激光雷達(dá)、圖像傳感器和系統(tǒng)中心計(jì)算機(jī)的時(shí)間偏差。其測試應(yīng)用的圖像傳感器是USB 接口的工業(yè)相機(jī)，與目前車載應(yīng)用、自動(dòng)駕駛路測的圖像傳感器在曝光（觸發(fā)）控制方式，圖像與傳感器控制的數(shù)據(jù)鏈路存在差異。文獻(xiàn)［10］中提出一種將多傳感器同步到中心計(jì)算機(jī)時(shí)間的框架，而設(shè)計(jì)的基礎(chǔ)是各傳感器具備可標(biāo)記的時(shí)間戳。

本文中提出自動(dòng)駕駛應(yīng)用的機(jī)械式激光雷達(dá)時(shí)間戳為時(shí)間基準(zhǔn)，分別與圖像傳感器、IMU 進(jìn)行時(shí)間校準(zhǔn)。利用激光雷達(dá)固定的掃描頻率及其激光發(fā)光時(shí)刻特征，激光發(fā)光觸發(fā)校準(zhǔn)設(shè)備形成觸發(fā)事件，以及圖像傳感器和IMU自身特征形成時(shí)間校準(zhǔn)方案和系統(tǒng)。

本文的主要工作有：

提出一種面向自動(dòng)駕駛應(yīng)用的基于激光雷達(dá)時(shí)間戳（系統(tǒng)時(shí)基）的多傳感器時(shí)間校準(zhǔn)的方法。

在激光雷達(dá)與圖像傳感器時(shí)間校準(zhǔn)問題研究中，提出基于激光雷達(dá)激發(fā)校準(zhǔn)設(shè)備形成觸發(fā)標(biāo)記，通過圖像傳感器感知外界事件（LD陣列的發(fā)光狀態(tài)）標(biāo)定激光雷達(dá)時(shí)間戳與圖像傳感器曝光時(shí)刻的時(shí)間差，并通過示波器對(duì)比測量校驗(yàn)證明方案的有效性。

在激光雷達(dá)與IMU 的時(shí)間校準(zhǔn)問題研究中，提出基于轉(zhuǎn)臺(tái)及本文設(shè)計(jì)的激光雷達(dá)信號(hào)采集系統(tǒng)，對(duì)激光雷達(dá)連續(xù)兩次觸發(fā)的事件組時(shí)刻和IMU的姿態(tài)數(shù)據(jù)進(jìn)行時(shí)間標(biāo)定，并設(shè)計(jì)對(duì)比試驗(yàn)證明其有效性。

1 激光雷達(dá)與圖像傳感器時(shí)間校準(zhǔn)系統(tǒng)與實(shí)現(xiàn)

1.1 自動(dòng)駕駛應(yīng)用的激光雷達(dá)與圖像傳感器應(yīng)用

激光雷達(dá)與圖像傳感器的數(shù)據(jù)融合應(yīng)用中，圖像信息常作為稀疏點(diǎn)云的插值并提供紋理信息。

激光雷達(dá)的工作模式是本文在線校準(zhǔn)實(shí)驗(yàn)方案的基礎(chǔ)。自動(dòng)駕駛應(yīng)用的機(jī)械式激光雷達(dá)大多應(yīng)用905 nm 波長的激光器并組成陣列，激光器陣列按照確定順序依次發(fā)光，激光雷達(dá)檢測回波并利用飛行時(shí)間法（time of flight，ToF）獲取目標(biāo)的距離?；夭z測單元的敏光器件是雪崩光電二極管（avalanche photodiode，APD）。激光雷達(dá)旋轉(zhuǎn)360°獲得周圍環(huán)境的三維點(diǎn)云。機(jī)械式激光雷達(dá)的數(shù)據(jù)幀（frame）包含時(shí)間戳，其中的每一個(gè)數(shù)據(jù)塊（block）包含水平角度（azimuth）信息。另外，激光的發(fā)光（fire）時(shí)刻和儲(chǔ)能（recharge）時(shí)間被嚴(yán)格確定。

機(jī)器人應(yīng)用中的圖像傳感器的曝光觸發(fā)延遲通常可以忽略。車載圖像傳感器的安裝位置距離感知域控制器或中心計(jì)算機(jī)的距離較遠(yuǎn)，且具有較高的穩(wěn)定性要求，不能直接應(yīng)用工業(yè)相機(jī)常用的數(shù)據(jù)接口。圖2 所示是常見的兩種車載圖像傳感器傳輸和控制信號(hào)拓?fù)?，即圖像信號(hào)處理器（image signal processor，ISP）前置拓?fù)浜蛨D像信號(hào)處理器后置拓?fù)?，兩種拓?fù)涞膫鬏敽涂刂奇溌分芯唤M信號(hào)的串化器（serializer）和解串器（deserializer），它們作用是將圖像數(shù)據(jù)或控制信號(hào)串化成為高速信號(hào)并通過同軸線纜傳輸，以及將同軸線纜傳輸?shù)母咚傩盘?hào)解串化。在同軸線纜中，數(shù)據(jù)信號(hào)和控制信號(hào)是以頻分復(fù)用的方式進(jìn)行傳輸，即圖像信號(hào)（稱前向信號(hào)，forward signal）一般以1.5～6 GHz比特率傳輸，控制信號(hào)（稱反向信號(hào)，reverse signal）一般以187.5 MHz 比特率傳輸。

圖2 兩種車載圖像傳感器與控制系統(tǒng)拓?fù)?/p>

鑒于車載圖像傳感器的特點(diǎn)，車載中心計(jì)算機(jī)或電子控制單元（electronic control unit，ECU）與激光雷達(dá)的時(shí)間戳同步，并觸發(fā)圖像傳感器的曝光（圖像幀同步時(shí)間戳）的過程包含兩部分時(shí)間延遲，一部分控制計(jì)算機(jī)接收到激光雷達(dá)時(shí)間戳后觸發(fā)圖像傳感器曝光的任務(wù)處理延遲，一部分是報(bào)文形式曝光命令的傳輸延遲。

1.2 激光雷達(dá)與圖像傳感器的時(shí)間校準(zhǔn)系統(tǒng)

前文所述控制計(jì)算機(jī)對(duì)車載圖像傳感器曝光存在延遲，另外不同類型車載圖像傳感器、計(jì)算機(jī)系統(tǒng)具有不同時(shí)間延遲參數(shù)。本文設(shè)計(jì)了基于激光雷達(dá)觸發(fā)事件與圖像傳感器感知事件的時(shí)間校準(zhǔn)方法。

實(shí)現(xiàn)的具體流程如圖3 所示，校準(zhǔn)設(shè)備的APD接收激光雷達(dá)激光觸發(fā)，如圖3 中①所示，觸發(fā)信號(hào)分別傳輸至校準(zhǔn)設(shè)備和中心計(jì)算機(jī)（或ECU）。其中激光傳輸并觸發(fā)APD 的時(shí)間極短，可以認(rèn)為校準(zhǔn)設(shè)備的接收時(shí)刻″與激光發(fā)光時(shí)刻′對(duì)齊，校準(zhǔn)設(shè)備以Δ時(shí)間間隔，改變激光二極管（laser diode，LD）陣列的發(fā)光狀態(tài)，并作為圖像傳感器的采集目標(biāo)。中心計(jì)算機(jī)以中斷事件處理該外部觸發(fā)（時(shí)刻），執(zhí)行中斷函數(shù)中的其他任務(wù)以及輸出圖像傳感器曝光信號(hào)（t時(shí)刻是計(jì)算機(jī)系統(tǒng)標(biāo)記圖像傳感器的時(shí)間戳），曝光信號(hào)報(bào)文經(jīng)串化器-解串器組傳輸至圖像傳感器的CMOS，如圖3 中②所示?！洹ⅰ鍟r(shí)刻對(duì)齊，圖像傳感器捕捉到LD 陣列發(fā)光狀態(tài)時(shí)刻為″+·Δ，·Δ則為計(jì)算機(jī)中激光雷達(dá)時(shí)間戳與圖像傳感器曝光時(shí)刻的時(shí)間延遲，如圖3 中③所示。需要注意的是因?yàn)橹行挠?jì)算機(jī)上運(yùn)行的操作系統(tǒng)差異，或因任務(wù)搶占可能使與t的時(shí)間差產(chǎn)生抖動(dòng)。

圖3 激光雷達(dá)與圖像傳感器時(shí)間校準(zhǔn)系統(tǒng)方案

本文采用基于FPGA的并行采集、控制激光雷達(dá)信號(hào)和圖像傳感器信號(hào)系統(tǒng)，驗(yàn)證該時(shí)間校準(zhǔn)方案。

1.3 激光雷達(dá)激光信號(hào)采集

外部校準(zhǔn)設(shè)備的激光觸發(fā)傳感器為905 nm APD，與激光雷達(dá)的敏光器件類型一致。本文采用First Sensor 公司的AD230-9 TO，其敏光直徑=230 μm。通過調(diào)整校準(zhǔn)設(shè)備與激光雷達(dá)的相對(duì)位置，使APD 能夠檢測到激光觸發(fā)。激光雷達(dá)的水平角度（azimuth）掃描分辨率遠(yuǎn)小于激光豎直方向角度（vertical angle）分辨率。以Velodyne 公司的VLP-16為例，其水平掃描分辨率為0.2°（轉(zhuǎn)動(dòng)頻率10 Hz），激光陣列的垂直角分辨率為2°，在距離激光雷達(dá)1 m 的APD 處，水平方向同一激光器兩次發(fā)光，其光斑中心移動(dòng)約3.474×10μm。而豎直方向上，不同的兩束激光的中心間隔約為3.492×10μm，遠(yuǎn)大于APD 的敏光直徑，因此APD 僅能檢測到激光雷達(dá)陣列中某一水平面的單個(gè)激光器發(fā)光。其檢測到單次觸發(fā)波形脈沖過程＜10 ns，圖4 為APD 感知激光雷達(dá)發(fā)光的相對(duì)位置示意圖。

圖4 激光雷達(dá)與APD的相對(duì)位置示意圖

多數(shù)激光光束的能量符合高斯光束特征，其光場強(qiáng)度的高斯函數(shù)如式（1）所示。

式中：為峰值參數(shù)；、為橫向分別參數(shù)。

因此，APD 感光產(chǎn)生的光電流以激光雷達(dá)光斑中心向輻照區(qū)域的邊緣衰減，圖5 為APD 測得激光雷達(dá)連續(xù)發(fā)光脈沖波形。校準(zhǔn)設(shè)備的APD 有效直徑（=230 μm）遠(yuǎn)小于激光兩次發(fā)光時(shí)間間隔所經(jīng)過的位移（約3.474×10μm）。

圖5 校準(zhǔn)設(shè)備APD感知激光雷達(dá)觸發(fā)波形及原理

時(shí)間校準(zhǔn)與系統(tǒng)檢測到有效的電壓脈沖事件直接相關(guān)，其中光場強(qiáng)度的分布函數(shù)是影響時(shí)間校準(zhǔn)的因素之一。此外，施加于APD的反偏電壓（圖3 中HV）、跨導(dǎo)放大器（TIA）的反饋電阻（圖3 中）綜合決定了APD 感知激光雷達(dá)觸發(fā)的脈沖電壓值。另外，檢測電路中的比較器約束了捕捉脈沖電壓的有效窗口。

試驗(yàn)中發(fā)現(xiàn)，調(diào)制更高的反偏電壓并約束更窄的有效窗口，對(duì)激光雷達(dá)安裝的穩(wěn)定性、測試環(huán)境、檢測電路都有較高要求，會(huì)經(jīng)常出現(xiàn)丟失捕捉脈沖電壓的情況。

1.4 圖像傳感器感知校準(zhǔn)設(shè)備的LD 陣列狀態(tài)變換

校準(zhǔn)設(shè)備采用LD 陣列的不同發(fā)光狀態(tài)表征APD 被激光觸發(fā)后的不同時(shí)刻，圖像傳感器通過捕捉到LD陣列的發(fā)光狀態(tài)，得到感知域系統(tǒng)的激光雷達(dá)與圖像傳感器CMOS 曝光的相對(duì)延遲，這種方法的優(yōu)點(diǎn)在于可以計(jì)入中心計(jì)算機(jī)任務(wù)處理的時(shí)間延遲。不同于文獻(xiàn)［8］，本文采用605 nm 波長LD 組成陣列，因?yàn)長D具有更快的發(fā)光響應(yīng)。

采用FPGA 作為校準(zhǔn)設(shè)備的計(jì)算和控制核心，如1.3 節(jié)所述，外設(shè)捕捉到兩次窗口觸發(fā)事件后，按一定的順序調(diào)整IO 接口狀態(tài)，從而改變LD 陣列的發(fā)光狀態(tài)。LD 發(fā)光需要一個(gè)恒流源驅(qū)動(dòng)電路，本文采用FPGA 驅(qū)動(dòng)三級(jí)管，再驅(qū)動(dòng)恒流源的兩級(jí)驅(qū)動(dòng)電路。其控制電路如圖6所示。

圖6 校準(zhǔn)設(shè)備LD陣列的控制與驅(qū)動(dòng)電路圖

本文采用7 只LD 激光可以組合形成128 種不同的發(fā)光狀態(tài)，每種狀態(tài)間隔Δ= 250 μs，即可以測試32 ms 內(nèi)的圖像觸發(fā)延遲。圖7 為校準(zhǔn)設(shè)備FPGA 控制狀態(tài)機(jī)，其采樣電路連續(xù)采集兩次觸發(fā)事件并驅(qū)動(dòng)改變一次LD 陣列發(fā)光狀態(tài)。定義狀態(tài)機(jī)中l(wèi)idar_trigger_event 為“1”時(shí)，表示采集電路被激光有效觸發(fā)。定義Δ為同一激光器連續(xù)兩次發(fā)光的時(shí)間間隔，本文測試的VLP-16 的激光發(fā)光時(shí)間間隔為55.296 μs，因此設(shè)定有效的連續(xù)兩次采集的判斷條件40 μs＜Δ＜60 μs，并有效地連續(xù)兩次采集記為一次事件，以該事件驅(qū)動(dòng)改變一次LD 陣列狀態(tài)，校準(zhǔn)系統(tǒng)的時(shí)間分辨率為Δ=250 μs。

圖7 校準(zhǔn)設(shè)備觸發(fā)與LD陣列狀態(tài)控制狀態(tài)機(jī)

2 激光雷達(dá)與圖像傳感器時(shí)間校準(zhǔn)實(shí)驗(yàn)與分析

2.1 激光雷達(dá)與圖像傳感器時(shí)間校準(zhǔn)實(shí)驗(yàn)系統(tǒng)與步驟

本文實(shí)驗(yàn)中的被校準(zhǔn)設(shè)備是以SoC（含ARM 處理器和FPGA 邏輯單元）為核心的計(jì)算單元感知域控制器，由FPGA 邏輯單元例化圖像數(shù)據(jù)接口控制器，并通過MIPI 接口連接外置圖像信號(hào)處理器（image signal processor，ISP），經(jīng)由串化器-解串器組處理，最后連接CMOS 圖像傳感器，這是一種典型的ISP 后置的圖像傳感器連接方式。圖8 為該感知域控制器及其外接傳感器系統(tǒng)。

圖8 實(shí)驗(yàn)的感知域控制器及傳感器系統(tǒng)

實(shí)驗(yàn)步驟如下：

（1）感知域控制器的FPGA 邏輯接收校準(zhǔn)設(shè)備的觸發(fā)事件后（時(shí)刻），將曝光指令通過I2C 接口發(fā)送至ISP；

（2）ISP 通過I2C 接口與解串器通信，并映射為串化器對(duì)CMOS 傳感器的控制，這段控制映射報(bào)文是通過POC 同軸線纜介質(zhì)以高速報(bào)文傳輸至圖像傳感器，曝光時(shí)刻為t，實(shí)驗(yàn)的POC 同軸線纜長度為5 m，實(shí)驗(yàn)方案中～t可以類比中心計(jì)算機(jī)的系統(tǒng)任務(wù)延遲；

（3）圖像傳感器感知LD 陣列的發(fā)光狀態(tài)，實(shí)測得到感知圖像計(jì)算～t時(shí)刻的延遲；

（4）使用示波器測量標(biāo)定FPGA 接收觸發(fā)脈沖事件時(shí)刻至CMOS 圖像傳感器接收I2C 曝光信號(hào)報(bào)文的時(shí)間t，作為校準(zhǔn)設(shè)備有效性的對(duì)比實(shí)驗(yàn)。

2.2 激光雷達(dá)與圖像傳感器時(shí)間校準(zhǔn)實(shí)驗(yàn)數(shù)據(jù)與分析

基于2.1 節(jié)所述測試系統(tǒng)，表1 為實(shí)驗(yàn)測試5 次激光雷達(dá)觸發(fā)與圖像傳感器曝光延遲，并采用示波器測量該延遲，對(duì)比測量誤差最大為0.18 ms（第5次）。圖9 為FPGA 與ISP 通信并最終轉(zhuǎn)換成為圖像傳感器曝光的報(bào)文延遲波形。

表1 校準(zhǔn)設(shè)備測試圖像傳感器系統(tǒng)延遲

圖9 圖像曝光控制鏈路報(bào)文與延遲

圖10為串化器與解串器I2C報(bào)文映射的傳輸延遲，其中POC 線纜長度5 m，實(shí)測該延遲約7.81 μs，串化器與解串器系統(tǒng)將通用的I2C 接口報(bào)文（100 kbps/400 kbps）轉(zhuǎn)化成為187.5 Mbps 高速報(bào)文，說明該延遲遠(yuǎn)小于計(jì)算機(jī)接收激光雷達(dá)時(shí)間戳并觸發(fā)曝光信號(hào)的任務(wù)處理與報(bào)文轉(zhuǎn)換時(shí)間。

圖10 串化器與解串器的I2C映射控制報(bào)文延遲

2.3 延遲因子的優(yōu)化

本文采用激光雷達(dá)與圖像傳感器的時(shí)間校準(zhǔn)，獲得系統(tǒng)中上述兩種傳感器數(shù)據(jù)的時(shí)間戳延遲因子，并利用該延遲因子對(duì)實(shí)際系統(tǒng)進(jìn)行補(bǔ)償。但是采集數(shù)據(jù)的精度受限于LD發(fā)光陣列的時(shí)間分辨率。鑒于此，可以采集多組測試數(shù)據(jù)，并利用算法優(yōu)化延時(shí)因子。假設(shè)地情況，對(duì)測試結(jié)果在2.25～2.50 ms的次采樣結(jié)果進(jìn)行分析，發(fā)生在2.25 ms時(shí)刻曝光次數(shù)為，發(fā)生在2.50 ms 時(shí)刻曝光次數(shù)為-，實(shí)現(xiàn)對(duì)該延遲因子線性加權(quán)優(yōu)化，得到

3 激光雷達(dá)與慣性測量單元的時(shí)間校準(zhǔn)

3.1 激光雷達(dá)與組合導(dǎo)航系統(tǒng)時(shí)間同步

在多傳感器融合的感知域系統(tǒng)中，IMU 一般是接入組合導(dǎo)航系統(tǒng)再間接地連接至中心計(jì)算機(jī)，組合導(dǎo)航控制系統(tǒng)將IMU 數(shù)據(jù)做時(shí)間標(biāo)記后，上傳至中心計(jì)算機(jī)。同時(shí)導(dǎo)航系統(tǒng)的時(shí)間信息是自動(dòng)駕駛計(jì)算平臺(tái)的時(shí)間基準(zhǔn)，平臺(tái)基于以太網(wǎng)實(shí)現(xiàn)系統(tǒng)的時(shí)間同步?；谏鲜鱿到y(tǒng)實(shí)現(xiàn)了激光雷達(dá)數(shù)據(jù)和IMU姿態(tài)信息的時(shí)間同步。系統(tǒng)如圖11所示。

圖11 自動(dòng)駕駛的激光雷達(dá)與組合導(dǎo)航系統(tǒng)

但是，上述系統(tǒng)的時(shí)間同步可能存在如下問題。一方面是組合導(dǎo)航系統(tǒng)標(biāo)記IMU數(shù)據(jù)時(shí)間戳?xí)r存在誤差，即衛(wèi)星導(dǎo)航的時(shí)間與IMU 時(shí)間存在誤差。另一方面是激光雷達(dá)數(shù)據(jù)的時(shí)間戳與IMU 姿態(tài)信息標(biāo)記時(shí)間隨數(shù)據(jù)進(jìn)入中心計(jì)算機(jī)系統(tǒng)，或因計(jì)算機(jī)系統(tǒng)的任務(wù)處理而產(chǎn)生時(shí)間抖動(dòng)。

3.2 基于激光觸發(fā)事件的激光雷達(dá)與IMU 時(shí)間校準(zhǔn)方法

本文中提出一種基于激光觸發(fā)事件的激光雷達(dá)與IMU 在線時(shí)間校準(zhǔn)方法，其系統(tǒng)方案如圖12 所示，激光雷達(dá)安裝于轉(zhuǎn)臺(tái)滾轉(zhuǎn)軸系，與轉(zhuǎn)臺(tái)隨動(dòng)，IMU 數(shù)據(jù)經(jīng)轉(zhuǎn)臺(tái)滑環(huán)、組合導(dǎo)航系統(tǒng)間接輸入至中心計(jì)算機(jī)。激光雷達(dá)觸發(fā)APD 校準(zhǔn)設(shè)備，APD 脈沖事件采集調(diào)理電路部分與圖3 相同，滿足窗口門限的、有效的連續(xù)兩次APD脈沖事件（間隔55.296 μs）組成一個(gè)有效事件組（case），而兩次有效事件組（case）的時(shí)間間隔Δ正比于激光雷達(dá)轉(zhuǎn)速與轉(zhuǎn)臺(tái)轉(zhuǎn)速之差（以激光雷達(dá)旋轉(zhuǎn)方向?yàn)榻撬俣日较颍?/p>

圖12 激光雷達(dá)與IMU時(shí)間校準(zhǔn)系統(tǒng)方案

基于上述系統(tǒng)，將轉(zhuǎn)臺(tái)設(shè)定為振動(dòng)模式（角位移范圍-35～35（°）/s，振動(dòng)頻率1 Hz），中心計(jì)算機(jī)連續(xù)采集IMU數(shù)據(jù)并記錄。另外中心計(jì)算機(jī)采集到一次IMU的數(shù)據(jù)包（含軸角速度），其處理函數(shù)流程跟隨APD采集兩個(gè)脈沖事件組（case）的時(shí)間差值，該值與激光雷達(dá)-轉(zhuǎn)臺(tái)坐標(biāo)系兩者的轉(zhuǎn)速差相關(guān)。對(duì)比中心計(jì)算機(jī)記錄的IMU的數(shù)據(jù)曲線與采集的連續(xù)兩次事件組的差值Δ曲線。即可標(biāo)定該中心計(jì)算機(jī)激光雷達(dá)時(shí)間戳?xí)r刻與IMU姿態(tài)讀取時(shí)刻的時(shí)基誤差。

4 激光雷達(dá)與慣性測量單元的時(shí)間校準(zhǔn)實(shí)驗(yàn)與分析

4.1 激光雷達(dá)與慣性測量單元時(shí)間校準(zhǔn)實(shí)驗(yàn)系統(tǒng)

本文設(shè)計(jì)了一種基于FPGA 為計(jì)算核心的測試系統(tǒng)，驗(yàn)證3.2 節(jié)實(shí)驗(yàn)方法的可行性。該實(shí)驗(yàn)系統(tǒng)如圖13 所示，系統(tǒng)的數(shù)據(jù)采集核心為FPGA，IMU 數(shù)據(jù)通過SPI 接口接入FPGA，同時(shí)FPGA 并行采集激光雷達(dá)的激光觸發(fā)APD 事件，并記錄連續(xù)兩次觸發(fā)的時(shí)間間隔。

圖13 激光雷達(dá)與IMU時(shí)間校準(zhǔn)測試系統(tǒng)

實(shí)驗(yàn)步驟如下。

（1）FPGA 連續(xù)采集IMU 的姿態(tài)信息，并提取軸角速度，得到基于FPGA時(shí)基的-曲線。

（2）FPGA 讀取IMU 姿態(tài)同時(shí)并行采樣APD 感知事件組（case）。對(duì)轉(zhuǎn)臺(tái)進(jìn)行調(diào)零，使APD 感知激光雷達(dá)觸發(fā)時(shí)的轉(zhuǎn)臺(tái)角位移為0°，將激光雷達(dá)-轉(zhuǎn)臺(tái)組合系統(tǒng)第一次感知事件組的角位移標(biāo)定為0°，則該組合系統(tǒng)再次觸發(fā)感知事件組的角位移滿足式（3）。

式中：為激光雷達(dá)-轉(zhuǎn)臺(tái)相對(duì)APD 的角位移；為激光雷達(dá)工作的角速度；為振動(dòng)模式下轉(zhuǎn)臺(tái)角位移幅值；為轉(zhuǎn)臺(tái)工作在振動(dòng)模式下的振動(dòng)頻率；為轉(zhuǎn)臺(tái)工作在振動(dòng)模式下的周期；t為采樣到第次感知事件組的時(shí)刻。

采集到基于FPGA 觸發(fā)事件組時(shí)刻t，定義激光雷達(dá)旋轉(zhuǎn)方向?yàn)榻俏灰普较颉?/p>

（3）角位移微分可以得到t時(shí)刻的激光雷達(dá)-轉(zhuǎn)臺(tái)瞬時(shí)角速度：

式中為激光雷達(dá)-轉(zhuǎn)臺(tái)系統(tǒng)相對(duì)APD的角速度。

對(duì)比FPGA 時(shí)基下測得的IMU 角速度，即可計(jì)算與在FPGA時(shí)基下的延遲。

（4）采用轉(zhuǎn)臺(tái)和轉(zhuǎn)臺(tái)實(shí)時(shí)仿真計(jì)算機(jī)，標(biāo)定該IMU的慣性延遲，作為（1）～（3）的對(duì)比實(shí)驗(yàn)。

4.2 激光雷達(dá)與慣性測量單元時(shí)間校準(zhǔn)實(shí)驗(yàn)

本實(shí)驗(yàn)中轉(zhuǎn)臺(tái)的性能參數(shù)如表2 所示，轉(zhuǎn)臺(tái)工作在振動(dòng)模式，其角位移范圍-35～35（°）/s 振動(dòng)頻率為1 Hz，振動(dòng)周期為1 s。激光雷達(dá)VLP-16 的掃描頻率為10 Hz，即=3600（°）/s。實(shí)驗(yàn)的慣性測量單元為ADI公司的ADIS16365。

表2 TBL-TEK3301-A03三軸電動(dòng)轉(zhuǎn)臺(tái)參數(shù)

將本實(shí)驗(yàn)中的轉(zhuǎn)臺(tái)與激光雷達(dá)參數(shù)代入激光雷達(dá)-轉(zhuǎn)臺(tái)坐標(biāo)系相對(duì)于APD 的角位移公式，可以得到：

以FPGA 第1 次采集有效觸發(fā)事件（case）起標(biāo)記為0 時(shí)刻，有效觸發(fā)事件依次發(fā)生在激光相對(duì)APD 的π角位移處，并在FPGA 中記錄相應(yīng)的時(shí)刻t。

同時(shí)在FPGA 中讀取IMU 在各t時(shí)刻的角速度數(shù)據(jù)，根據(jù)式（7）可以計(jì)算得到IMU姿態(tài)數(shù)據(jù)相對(duì)激光雷達(dá)-轉(zhuǎn)臺(tái)的時(shí)間延遲。

基于上述實(shí)驗(yàn)方法測得IMU相對(duì)激光雷達(dá)的延遲時(shí)間見表3。

表3 本文實(shí)驗(yàn)方法測得IMU相對(duì)激光雷達(dá)延遲

IMU 相對(duì)轉(zhuǎn)臺(tái)運(yùn)動(dòng)姿態(tài)的慣性延遲是通過轉(zhuǎn)臺(tái)和實(shí)時(shí)仿真計(jì)算機(jī)標(biāo)定和計(jì)量的，該系統(tǒng)如圖14 所示，其中實(shí)時(shí)仿真計(jì)算機(jī)（含實(shí)時(shí)驅(qū)動(dòng)軟件）、轉(zhuǎn)臺(tái)控制機(jī)柜、轉(zhuǎn)臺(tái)驅(qū)動(dòng)機(jī)柜中都包含反射內(nèi)存卡，并組成光纖環(huán)網(wǎng)，當(dāng)該系統(tǒng)進(jìn)入仿真控制模式時(shí)，可校準(zhǔn)轉(zhuǎn)臺(tái)運(yùn)動(dòng)姿態(tài)時(shí)基與仿真計(jì)算機(jī)的時(shí)基及驅(qū)動(dòng)指令時(shí)間。

圖14 標(biāo)定IMU的半實(shí)物仿真平臺(tái)

在該系統(tǒng)平臺(tái)下，IMU 數(shù)據(jù)經(jīng)轉(zhuǎn)臺(tái)接線端子、滑環(huán)、線纜傳輸至實(shí)時(shí)仿真計(jì)算機(jī)，測得IMU在實(shí)時(shí)仿真計(jì)算機(jī)時(shí)基下相對(duì)于轉(zhuǎn)臺(tái)運(yùn)動(dòng)姿態(tài)的時(shí)間延遲。

如圖15（a）為半實(shí)物仿真平臺(tái)標(biāo)定IMU 相對(duì)轉(zhuǎn)臺(tái)的時(shí)間延遲。其中轉(zhuǎn)臺(tái)內(nèi)框姿態(tài)是實(shí)時(shí)計(jì)算機(jī)時(shí)基下轉(zhuǎn)臺(tái)的運(yùn)動(dòng)姿態(tài)，慣組解算內(nèi)框數(shù)據(jù)是IMU 測得轉(zhuǎn)臺(tái)的運(yùn)動(dòng)姿態(tài)，上述兩者的相位差反映了IMU相對(duì)轉(zhuǎn)臺(tái)運(yùn)動(dòng)姿態(tài)的慣性延遲。該系統(tǒng)測得IMU相對(duì)轉(zhuǎn)臺(tái)的慣性延遲為20±3 ms。圖15（b）為該慣性延遲的相位差局部放大圖。

圖15 半實(shí)物仿真平臺(tái)標(biāo)定IMU相對(duì)轉(zhuǎn)臺(tái)時(shí)間延遲

5 結(jié)論

本文基于激光雷達(dá)傳感器的信號(hào)接收原理，以及圖像傳感器和IMU自身特性，設(shè)計(jì)了激光雷達(dá)、車載圖像傳感器、IMU 的校準(zhǔn)系統(tǒng)及實(shí)驗(yàn)方案。實(shí)驗(yàn)證明該方法能夠有效校準(zhǔn)上述傳感器數(shù)據(jù)接入中心計(jì)算機(jī)系統(tǒng)的時(shí)間延遲。其中激光雷達(dá)、車載圖像傳感器的時(shí)間延遲精度≤250 μs，其時(shí)間延時(shí)的主要影響因素在于中心計(jì)算機(jī)曝光指令的處理過程。針對(duì)激光雷達(dá)與IMU 的時(shí)間校準(zhǔn)方案，測得時(shí)間延時(shí)誤差為20±5 ms，轉(zhuǎn)臺(tái)半實(shí)物仿真測試系統(tǒng)測得其時(shí)間延遲為20±3 ms。

本文設(shè)計(jì)的實(shí)驗(yàn)方法利用了自動(dòng)駕駛應(yīng)用中傳感器自身的感知特性，匹配部分外界場景，校準(zhǔn)包括傳感器、車載感知計(jì)算平臺(tái)、數(shù)據(jù)采集計(jì)算軟件綜合的車載感知系統(tǒng)的時(shí)間延遲。滿足自動(dòng)駕駛系統(tǒng)中運(yùn)行狀態(tài)下的感知軟硬件時(shí)間校準(zhǔn)需求，并可通過標(biāo)定的時(shí)間延遲因子參數(shù)對(duì)實(shí)際運(yùn)行系統(tǒng)進(jìn)行補(bǔ)償。