黃 巖 張 慧 蘭呂鴻康 鄧 坤 楊 陽 張睿哲 劉 江 張彥君 王韻旋 周 睿 徐 俊 奚新鎖 張 俠 鄭凱航 劉育銘 洪 偉

(東南大學毫米波國家重點實驗室 南京 210096)

1 引言

隨著科學技術的發(fā)展，自動駕駛技術正在逐步從理論探索轉(zhuǎn)向?qū)嶋H工程應用。傳感器作為具備測量和感知功能的器件，在這一過程中扮演著重要角色，它們就像汽車的“眼睛”和“耳朵”，能夠幫助駕駛?cè)藛T和高級駕駛輔助系統(tǒng)(Advanced Driving Assistance System,ADAS)對周圍的目標進行檢測、識別和跟蹤，為駕駛操作提供決策依據(jù)。毫米波雷達作為ADAS中不可取代的一部分，具有許多優(yōu)勢。首先，毫米波雷達具備遠距離探測的能力，可以在較大的范圍內(nèi)感知周圍環(huán)境。其次，毫米波雷達體積較小且成本適中，易于集成到汽車中。此外，毫米波雷達具有全天候工作的能力，不受天氣條件的限制，能夠在雨、霧和煙塵等復雜環(huán)境下工作。它還具備強大的穿透能力，可以穿透雨霧等干擾物，提供可靠的檢測數(shù)據(jù)。毫米波雷達與其他傳感器如激光雷達、攝像頭等相結(jié)合使用，能夠提供更全面、準確的環(huán)境感知能力，提高自動駕駛系統(tǒng)對周圍環(huán)境的理解和判斷能力。

近年來隨著多輸入多輸出(Multiple Input Multiple Output,MIMO)技術以及多芯片級聯(lián)技術的成熟，通過優(yōu)化設計汽車毫米波雷達系統(tǒng)，使其能夠在空間上虛擬出比物理天線孔徑大很多的虛擬陣列，再加上稀疏陣列合成孔徑的設計思想，讓毫米波雷達的角度分辨率得到了極大的提升。硬件水平的提升使得毫米波雷達得到了快速的發(fā)展，當前新一代汽車毫米波雷達已能初步實現(xiàn)目標距離、多普勒(速度)、方位角和俯仰角的四維高分辨能力，即獲得具有空間三維坐標和速度信息的4D點云。相較于傳統(tǒng)的毫米波雷達，新一代4D毫米波雷達能夠提供更為豐富的點云信息，因此如何有效地將機器學習框架應用到4D毫米波雷達中實現(xiàn)特征提取和目標分類成為目前的研究熱點。除了點云成像外，能夠利用相對運動等效合成陣列實現(xiàn)距離向、方位向的二維高分辨率的合成孔徑成像也在汽車毫米波雷達領域掀起了研究的熱潮。此外在裝載4D毫米波雷達的車輛不斷增多的情況下，如何提高毫米波雷達的抗干擾能力也已然成為亟需面對的問題。

下面本文將圍繞三大核心雷達信號處理應用領域來對汽車毫米波雷達信號處理技術進行總結(jié)展望。

2 汽車毫米波雷達點云處理技術

隨著射頻器件尤其是芯片高集成度的持續(xù)發(fā)展，在車裝有限空間下(例如前向汽車雷達尺寸≤11 cm×11 cm×3 cm，角雷達的尺寸≤6 cm×7cm×2 cm[1])，汽車毫米波雷達可以實現(xiàn)高分辨的點云成像能力。所謂“點云”就是指通過測量儀器得到物體表面的點數(shù)據(jù)位置的集合。目前用于實現(xiàn)點云處理的方法主要包括陣列信號處理方法、神經(jīng)網(wǎng)絡方法以及多傳感器融合方法等。這些方法各具特色，都能有效實現(xiàn)點云成像。其中，陣列信號處理方法主要基于數(shù)學模型和信號處理技術，它的優(yōu)點在于實現(xiàn)簡單、穩(wěn)定可靠；神經(jīng)網(wǎng)絡方法因其強大的非線性建模能力和高效的并行計算在圖像識別和目標檢測等任務中表現(xiàn)出色，具有良好的應用前景；多傳感器融合方法可以利用多種傳感器對汽車毫米波雷達的互補性，結(jié)合毫米波雷達高精度點云成像能力，提高ADAS的魯棒性和精確度。無論采用何種方法，汽車毫米波雷達點云處理技術的發(fā)展都為自動駕駛的實現(xiàn)提供了重要支持和保障。下面具體介紹各類方法的流程及特點。

2.1 陣列信號處理點云成像方法

在陣列信號處理流程中，實現(xiàn)汽車毫米波雷達點云成像的關鍵是利用方位向和俯仰向的空間分辨能力生成致密的點云。主要流程為發(fā)射調(diào)頻連續(xù)波(Frequency Modulated Continuous Wave,FMCW)信號，經(jīng)目標反射后在接收機與發(fā)射信號進行混頻得到中頻(Intermediate Frequency,IF)信號，通過對中頻信號進行二維快速傅里葉變換(Two Dimensional-Fast Fourier Transform,2D-FFT)以及恒虛警率(Constant False Alarm Rate,CFAR)目標檢測算法估計出目標的距離和速度信息，然后利用不同通道間接收信號的相位差，采用波達方向(Direction of Arrival,DOA)估計算法可以獲得目標的方位角和俯仰角信息。完整信號分析流程如圖1所示。

圖1 毫米波雷達點云成像算法處理流程Fig.1 The processing flow of millimeter-wave radar point cloud imaging algorithm

傳統(tǒng)的毫米波雷達信號處理算法僅能通過稀疏的點云定位目標，而無法準確勾勒待測物體的輪廓，從而限制了對周圍場景的還原能力。自2015年以來，越來越多的研究人員致力于開發(fā)汽車毫米波雷達系統(tǒng)的點云成像和處理技術。其中，Li等人[2]設計了一款基于二進制相移鍵控(Binary Phase Shift Keying,BPMK)正交波形的MIMO-FMCW 4D成像雷達，該雷達實現(xiàn)了實時信號處理和對雷達周圍場景的三維映射，成像結(jié)果如圖2所示。加州大學圣迭哥分校的Qian等人[3]開發(fā)了名為MilliPoint的毫米波雷達系統(tǒng)，該系統(tǒng)通過對信號變化和雷達運動之間的關系進行建模，實現(xiàn)了自追蹤以進行相干空間采樣，并通過成像后處理的方式對目標聚焦，解決了鏡面反射的問題，其點云生成效果如圖3所示。此外，Engels等人[4]概述了汽車毫米波雷達信號處理的研究進展，并對多目標情況下毫米波雷達的綜合信號模型進行了分析和討論。文獻[5]則通過分析毫米波雷達點云圖像數(shù)據(jù)特征，利用最近迭代點方法實現(xiàn)對兩幀數(shù)據(jù)的匹配和融合，再通過自適應鄰域半徑的DBSCAN算法對融合后的點云進行聚類，最后通過求解凸包得到點簇的最小外接矩形，實現(xiàn)目標識別。

圖2 基于BPSK正交波形的MIMO-FMCW 4D雷達成像[2]Fig.2 MIMO-FMCW 4D radar imaging based on BPSK orthogonal waveform[2]

圖3 MilliPoint系統(tǒng)3D點云生成[3]Fig.3 The 3D point cloud generated by MilliPoint system[3]

在汽車毫米波雷達系統(tǒng)中，點云是通過使用CFAR檢測器從雷達回波信號中檢測出目標并以點的形式在三維坐標系上表示的。點云的數(shù)量和密度直接影響著成像質(zhì)量和目標檢測的準確性。傳統(tǒng)的信號處理方法通常通過改進CFAR檢測器的算法來實現(xiàn)更高密度、更精細的點云生成。文獻[6]提出了一種名為PreCFAR網(wǎng)格地圖的方法，通過建立一個靜態(tài)環(huán)境的圖像表示，克服CFAR網(wǎng)格圖構建時存在的稀疏性和掩蔽性等缺點。而文獻[7]則提出了一種基于區(qū)域的CFAR框架，利用二維RDM上基于區(qū)域的目標信息來提高檢測信噪比，極大提高了CFAR檢測性能，得到點云圖像如圖4所示。此外，文獻[8]還提出了一種自適應門限設置的方法，根據(jù)雷達接收功率與距離的關系動態(tài)地分配CFAR檢測的門限系數(shù)，并結(jié)合檢測單元附近單元的噪聲功率得到自適應檢測門限，從而生成了較為致密可信的毫米波雷達三維點云圖像，如圖5所示。

圖4 文獻[7]提出的PreCFAR方法與傳統(tǒng)SO-CFAR方法生成點云數(shù)量對比Fig.4 Comparison of the number of point clouds generated by PreCFAR method proposed in Ref.[7] and the traditional SO-CFAR method

圖5 文獻[8]中三維點云成像結(jié)果Fig.5 3D point cloud imaging results in Ref.[8]

基于傳統(tǒng)信號處理的毫米波雷達點云成像技術具有高精度、高靈敏度和魯棒性等優(yōu)點，相關論文匯總?cè)绫?所示，但在實際應用中，也存在一些挑戰(zhàn)。首先，環(huán)境噪聲會干擾雷達接收到的信號，從而影響成像結(jié)果的精度。此外，多徑效應也會對成像精度產(chǎn)生影響，因為雷達信號在傳播過程中會發(fā)生多次反射、折射或散射。另外，處理大量數(shù)據(jù)也是毫米波雷達系統(tǒng)面臨的問題之一。由于需要采集和處理大量的點云數(shù)據(jù)，處理器需要具備高速的計算和存儲能力，才能實現(xiàn)實時處理。因此，需要使用更加高效的數(shù)據(jù)處理算法和技術來提高數(shù)據(jù)處理速度和效率。

表1 基于信號處理方法實現(xiàn)點云成像相關論文匯總Tab.1 Summary of relevant papers of realization of point cloud imaging based on signal processing

2.2 深度學習點云處理方法

自2015年以來，快速發(fā)展的深度學習技術在絕大部分計算機視覺任務的表現(xiàn)效果超越了傳統(tǒng)方法，例如目標檢測、圖像識別和語義分割等。在雷達信號處理領域，使用深度學習算法進行數(shù)據(jù)分析同樣成為研究熱點，一些基于數(shù)據(jù)驅(qū)動的方法被廣泛應用于汽車毫米波雷達信號處理技術。

2.2.1 點云分割

汽車毫米波雷達得到的點云稀疏、噪聲多、信息不夠直觀，因此仍需通過分割等點云處理方法來提取目標物體的信息。近年來，通過深度學習方法對毫米波雷達得到的點云進行分割，提取目標物體的輪廓和特征，從而更加準確地實現(xiàn)目標識別和分類。Danzer等人[9]利用PointNets對二維雷達點云進行車輛邊界盒估計，以區(qū)分車輛和雜波。然而，Point-Nets的設計是為了學習對象的三維空間特征，且雷達點云相對于激光雷達而言較為稀疏，因此直接借鑒不是最佳選擇。為了解決這個問題，文獻[10]提出了一種高斯混合模型(Gaussian Mixture Model,GMM)，結(jié)合相對高分辨率的雷達數(shù)據(jù)進行點云分割；文獻[11]提出了一種改進隨機樣本一致性(Random Sample Consensus,RANSAC)算法，通過點云分割從二維靜態(tài)點云圖像中估計道路邊界，如圖6所示；此外，文獻[12]介紹了一種基于雷達點云數(shù)據(jù)的自動駕駛道路路線估計算法，包括Density-based Spatial Clustering of Applications with Noise (DBSCAN)算法去除部分錯誤檢測、DT (Delaunay Triangulation)進行空間數(shù)據(jù)聚類、使用RANSAC擬合道路邊界曲線以及通過PointNet++神經(jīng)網(wǎng)絡估計可能形成的軌跡。

圖6 RANSAC算法實現(xiàn)道路檢測[11]Fig.6 Road boundary detection based on RANSAC algorithm[11]

2.2.2 目標檢測

基于深度學習技術可對生成的點云圖像實現(xiàn)目標檢測和識別。Cheng等人[13,14]提出了一種基于數(shù)據(jù)驅(qū)動的輕量級神經(jīng)網(wǎng)絡RPDNet (Radar Points Detector Network)，該網(wǎng)絡將目標檢測視為3D點云的語義分割任務，并通過基于激光雷達數(shù)據(jù)自動生成標簽的方法來訓練雷達檢測器，生成點云如圖7所示。Jiang等人[15]提出了一種僅使用單幀數(shù)據(jù)進行超分辨DOA估計的復值深度卷積網(wǎng)絡(Complex Valued-Deep Convolutional Network,CV-DCN)。文獻[16]提出了一種兩步式雷達目標檢測模型，利用Range-Doppler Network (RDNet)的卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,CNN)在距離多普勒域上進行目標區(qū)域檢測，然后輸入第2層網(wǎng)絡Angle Estimation Network (AngNet)獲取目標的方位、俯仰角估計。文獻[17]提出了一種基于多幀4D毫米波雷達點云的三維目標檢測框架，首先估計車輛的自身速度信息進行補償，并通過雷達幀間匹配將多幀點云匹配到最后一幀，利用多幀點云檢測網(wǎng)絡對目標進行檢測，得到了高分辨率的目標點云圖像。在文獻[18,19]中，作者提出了一種基于3D重構成像的神經(jīng)網(wǎng)絡架構3D Reconstruction and Imaging via mmWave Radar (3DRIMR)，該網(wǎng)絡從多個視角采集毫米波雷達原始數(shù)據(jù)作為輸入，并以點云形式輸出物體的3D形狀，該方法有效結(jié)合了CNN的優(yōu)點、提升了點云表示3D形狀效率，如圖8所示。

圖7 RPDNet[13,14]生成的點云圖像與CFAR,Lidar對比Fig.7 Comparison of point cloud image generated by RPDNet[13,14] with CFAR and Lidar

圖8 3DRIMR [18,19]以點云形式重建汽車的三維形狀Fig.8 3DRIMR[18,19] used to reconstruct the three-dimensional shape of the car in point cloud form

Huang等人[20]提出了一種基于機器學習方法的帶噪聲DBSCAN聚類算法以及基于深度卷積神經(jīng)網(wǎng)絡(Deep Convolutional Neural Network,DCNN)的實時目標檢測區(qū)域提議網(wǎng)絡(Faster R-CNN)，得到檢測結(jié)果如圖9所示。文獻[21]比較了兩種基于雷達點云進行目標檢測的方法。一種是基于網(wǎng)格的方法，將雷達點云轉(zhuǎn)化為Bird’s Eye View (BEV)網(wǎng)格，使用3個通道表示目標信息和Radar Cross Section (RCS)信息，再通過YOLOv3網(wǎng)絡進行目標檢測。另一種是基于點云的方法，將點云數(shù)據(jù)分割為補丁，補丁內(nèi)數(shù)據(jù)作為網(wǎng)絡輸入，再通過4個網(wǎng)絡進行目標檢測。結(jié)果表明，基于網(wǎng)格的方法的平均準確率(mean Average Precision,mAP)較低，但速度較快。針對三維物體檢測方法不能通過關注稀疏點云中的局部特征來判斷物體的航向的問題，Xu等人[22]提出一種僅使用4D毫米波雷達的三維目標檢測網(wǎng)絡RPFA-Net(Radar Pillar Feature Attention Network)，該方法利用自注意機制而不是PointNet來提取點云的全局特征。這些包含遠距離信息的全局特征可以有效地提高網(wǎng)絡對目標航向角的回歸能力，提高檢測精度。圖10顯示了RPFA-Net[22]和PointPillars[23]在AstyxHiRes數(shù)據(jù)集中的測試結(jié)果，由于該網(wǎng)絡相較于PointPillars估計方位角更準確，因此檢測結(jié)果與地面真實情況的吻合度更高。

圖9 文獻[20]所提出方法檢測結(jié)果Fig.9 Detection results of the method proposed in Ref.[20]

圖10 RPFA-Net[22]和PointPillars[23]在AstyxHiRes數(shù)據(jù)集中的檢測結(jié)果Fig.10 Test results of RPFA-Net[22] and PointPillars[23] in AstyxHiRes dataset

深度學習在毫米波雷達信號處理中應用越來越廣泛，且已在實際應用中取得了很好的效果。深度學習能夠通過學習復雜的信號特征來提取有效的信息，并在噪聲和干擾環(huán)境下表現(xiàn)出很好的性能，以此提高毫米波雷達系統(tǒng)的魯棒性和可靠性，在復雜環(huán)境下的目標檢測、分類和跟蹤中有很好的應用前景。但它也存在一定的局限性，深度學習模型的內(nèi)部機制很難解釋和理解，且通常需要大量的標注數(shù)據(jù)來進行訓練，因此大規(guī)模、高質(zhì)量的毫米波雷達數(shù)據(jù)集對于深度學習在毫米波雷達領域的應用至關重要。基于深度學習方法實現(xiàn)點云處理相關論文匯總?cè)绫?所示。

2.2.3 毫米波雷達數(shù)據(jù)集

在深度學習點云處理中，大樣本數(shù)據(jù)的獲取與標注是一個關鍵問題。在早期研究中，研究人員通常自己采集和標注數(shù)據(jù)，這既費時費力，也不便于算法的對比。近年來隨著相關研究的深入，很多毫米波雷達數(shù)據(jù)集被逐漸公開，可簡單根據(jù)數(shù)據(jù)種類的不同分為單模態(tài)數(shù)據(jù)集和多模態(tài)數(shù)據(jù)集。其中，單模態(tài)數(shù)據(jù)集僅包含雷達數(shù)據(jù)，一般來說，由于毫米波雷達解析電磁波進行參數(shù)估計，單純毫米波雷達數(shù)據(jù)是難以進行標注的；多模態(tài)數(shù)據(jù)集除了毫米波雷達數(shù)據(jù)外，還包含同步的圖像或激光雷達等其他汽車傳感器數(shù)據(jù)，為毫米波雷達數(shù)據(jù)提供真值參考，實現(xiàn)準確的定位和標注。隨著對雷達信號數(shù)據(jù)的利用越發(fā)深入，相關數(shù)據(jù)作深度學習等輸入的應用逐漸增多，可服務于汽車雷達目標檢測等功能。

雷達數(shù)據(jù)集的質(zhì)量和規(guī)模與基于深度學習的汽車雷達性能存在緊密聯(lián)系，目前開源的毫米波雷達數(shù)據(jù)集一般為帶有標注的多模態(tài)數(shù)據(jù)集，主要有Astyx HiRes,CARRADA,NuScenes,SCORP,CRUW,SeeingThroughFog,VOD,ColoRadar,K-Radar,RADIal,TJ4DRadSet,Oxford Radar RobotCar Dataset等。其中，NuScenes,CRUW和Oxford Radar RobotCar Dataset這3個數(shù)據(jù)集僅含有2D雷達點信息或雷達的射頻圖像。

Astyx HiRes 2019[24]是首個包含4D成像毫米波雷達的公開數(shù)據(jù)集，由500個同步幀(雷達、激光雷達、相機)組成。其中包含約3000個精確注釋的3D對象注釋。該數(shù)據(jù)集基于自動標注的結(jié)果，并通過人工微調(diào)進行補充。Astyx數(shù)據(jù)集的規(guī)模相對較小，存在框架數(shù)目不足的問題，并且大部分數(shù)據(jù)都是關于汽車的，導致在類別上存在不平衡的情況。與此相比，文獻[25]提出的CARRADA數(shù)據(jù)集提供了3種不同的注釋格式，包括稀疏點、邊界框和密集掩碼，標注類別包括汽車、自行車以及行人。CARRADA數(shù)據(jù)集中包含了具有時間同步的攝像頭和低級雷達的R-A和R-D數(shù)據(jù)，但是CARRADA的采集場景并不是真實的交通路況，因此其實用性會受到一定影響。

NuScenes[26]被認為是首個開源的多模態(tài)數(shù)據(jù)集，它開創(chuàng)性地提供了雷達信息、3D對象注釋以及夜間和下雨天氣條件下的數(shù)據(jù)，同時還包括對象屬性注釋。NuScenes數(shù)據(jù)集提供了6個攝像頭14萬幀的圖像數(shù)據(jù)、1個激光雷達39萬幀的點云數(shù)據(jù)以及5個毫米波雷達130萬幀的點云數(shù)據(jù)。相較于之前發(fā)布的數(shù)據(jù)集，NuScenes的對象注釋質(zhì)量更高。然而，NuScenes數(shù)據(jù)集只提供經(jīng)過預處理的無注釋稀疏二維雷達點云，每幀中的點云數(shù)量較少。

SCORP數(shù)據(jù)集是首個包含了ADC數(shù)據(jù)的公開雷達數(shù)據(jù)集，其提供了3種不同的雷達數(shù)據(jù)表示形式，即Sample-Chirp-Antenna數(shù)據(jù)塊(SCA數(shù)據(jù)塊)、Range-Azimuth-Doppler數(shù)據(jù)塊(RAD數(shù)據(jù)塊)以及稀疏點云形式。但其規(guī)模較小，僅包含11個序列和3913幀數(shù)據(jù)，且只有語義分割標注，沒有目標級的標注。ColoRadar[27]數(shù)據(jù)集包含來自毫米波雷達、激光雷達和慣導等大約2小時的數(shù)據(jù)。該數(shù)據(jù)集提供了3個級別的雷達數(shù)據(jù)：原始ADC數(shù)據(jù)、距離-方位-俯仰角張量數(shù)據(jù)以及雷達點云，涵蓋室內(nèi)與室外的多種場景。

2020年，華盛頓大學的Wang等人[28]開發(fā)了CRUW數(shù)據(jù)集，加入多種自動駕駛環(huán)境下同步的圖像和雷達數(shù)據(jù)幀。CRUW數(shù)據(jù)集中包含目標級別的標注(物體框和分割mask)，其數(shù)據(jù)格式為Range-Azimuth-Chirp數(shù)據(jù)塊。

SeeingThroughFog[29]數(shù)據(jù)集采用相機、毫米波雷達、激光雷達、熱傳感等多種傳感器，總共采集了超過10萬個物體的數(shù)據(jù)，并且這些數(shù)據(jù)是在包括霧天、雪天和雨天等極端天氣的環(huán)境下采集，其目的是評估可用于極端天氣環(huán)境下多模態(tài)數(shù)據(jù)融合方法的性能。

VOD[30]數(shù)據(jù)集使用了4D毫米波成像雷達，除了提供距離、方位和多普勒速度外，還提供了高度信息。VOD數(shù)據(jù)集是在復雜的城市交通場景下采集的，包含8693幀時間同步和標定好的64線激光雷達、雙目相機和4D雷達數(shù)據(jù)。包括123106個運動和靜態(tài)對象的 3D 邊界框，其中包括26587個行人、10800個騎自行車的人和 26949 輛汽車。

K-Radar[31]數(shù)據(jù)集是目前基于4D毫米波雷達的最大規(guī)模數(shù)據(jù)集之一。它收集了35000幀在晴天、霧天、雨天、雪地等不同天氣條件下的數(shù)據(jù)。除了4D雷達數(shù)據(jù)外，K-Radar還提供高分辨率激光雷達點云、來自4個立體相機的環(huán)繞RGB圖像以及來自車身的RTK-GPS和IMU數(shù)據(jù)。RadarScenes[32]是包含多場景的大規(guī)模數(shù)據(jù)集，由手動標記各類目標與環(huán)境組成，其包含了158個具有時間戳的序列，點云上7500個標注數(shù)據(jù)被分成了11個類別。TJ4DRadSet[33]數(shù)據(jù)集包含40 K的同步數(shù)據(jù)，其中7757幀，44個序列具有高質(zhì)量注釋的3D邊界框和跟蹤id。該數(shù)據(jù)集基于聯(lián)合多傳感器標注、多輪手動檢查標注的三維標注系統(tǒng)進行標注。

總體來說，毫米波雷達大樣本數(shù)據(jù)的獲取與標注是汽車毫米波雷達信號處理流程的重要一環(huán)。數(shù)據(jù)集包括各類天氣條件、道路環(huán)境、駕駛條件等，并標注目標對象的邊界框、目標類別、掩碼等。傳感器采集、標注的數(shù)據(jù)除毫米波點云，往往還包括圖像或激光點云，如何將各傳感器的數(shù)據(jù)有效融合從而支撐信號處理流程是后續(xù)處理的關鍵。

2.3 多傳感器融合成像處理方法

汽車駕駛實際場景往往很復雜，只使用汽車毫米波雷達進行感知往往會漏檢和誤檢，導致目標檢測性能下降。因此，多傳感器融合處理是解決這一問題的有效途徑，將毫米波雷達生成的3D點云圖像與視覺傳感器生成的RGB圖像、激光點云數(shù)據(jù)進行融合實現(xiàn)三維目標檢測已成為當下的一個研究熱點。

根據(jù)融合的信息類型和融合方法，可以將多傳感器融合分為以下幾類：

(1) 數(shù)據(jù)級融合：將來自不同傳感器的原始數(shù)據(jù)進行整合，形成融合后的數(shù)據(jù)。

(2) 特征級融合：將來自不同傳感器的特征進行整合，形成融合后的特征，如將雷達和光學的數(shù)據(jù)特征進行融合，提高目標檢測和跟蹤的精度。

(3) 決策級融合：將來自不同傳感器的決策信息進行整合，形成融合后的決策，如將多個傳感器的目標檢測結(jié)果進行融合，提高目標的識別準確率和魯棒性。

2.3.1 數(shù)據(jù)級融合

數(shù)據(jù)級融合也稱為低級別融合或早期融合，將多傳感器的原始數(shù)據(jù)或預處理數(shù)據(jù)在信號處理前進行融合。數(shù)據(jù)級融合通常包括3個步驟：首先，數(shù)據(jù)級融合基于雷達點云生成感興趣區(qū)域(Region of Interest,ROI)；然后，根據(jù)ROI提取視覺圖像的相應區(qū)域；最后，利用特征提取器和分類器對這些區(qū)域進行對象檢測。在全部融合方法中，數(shù)據(jù)級融合方案是計算成本最高的方法，因為它需要對大量原始數(shù)據(jù)進行直接處理。

Meyer等人[34]提出了一種基于雷達和視覺信息數(shù)據(jù)級融合的三維目標檢測系統(tǒng)，該系統(tǒng)利用雷達點云和RGB圖像生成ROI，并采用Fast R-CNN檢測器獲取ROI內(nèi)目標的邊界框和分類得分，實現(xiàn)三維目標檢測效果如圖11所示。Nabati等人[35]提出了RRPN網(wǎng)絡，通過將雷達點云映射到圖像坐標系生成預定義錨盒，確定目標檢測的候選區(qū)域，相比于Fast R-CNN中生成ROI的選擇性搜索算法，RRPN算法的效率和準確性更高，其在NuScenes數(shù)據(jù)集[26]中的檢測結(jié)果如圖12所示。文獻[36]中Jha等人提出了一種將雷達和視覺數(shù)據(jù)級聯(lián)融合用于車輛導航的方法，通過將雷達信息映射到圖像坐標系，基于YOLOv3架構設計融合系統(tǒng)。Nobis等人[37]提出了CRF-Net體系結(jié)構，融合相機數(shù)據(jù)和雷達稀疏點云投影后的數(shù)據(jù)，然后使用Visual Geometry Group(VGG)網(wǎng)絡從組合數(shù)據(jù)中提取特征來增強目標檢測效果。

圖11 文獻[34]中基于AstyxHiRes數(shù)據(jù)集的三維目標檢測結(jié)果Fig.11 3D target detection results based on AstyxHiRes dataset in Ref.[34]

使用數(shù)據(jù)級融合方法時，輸入是傳感器原始數(shù)據(jù)，可利用完整的數(shù)據(jù)信息。但是這種方法往往對數(shù)據(jù)內(nèi)的時間或空間錯位敏感，因此需要對融合的傳感器進行精確的外部校準。此外，雷達和圖像數(shù)據(jù)的表示方式不同，導致很難將雷達點云數(shù)據(jù)與圖像像素進行匹配。因此，在進行數(shù)據(jù)級融合時需要采用合適的方法將不同數(shù)據(jù)形式進行轉(zhuǎn)換和配準，以便有效融合?；跀?shù)據(jù)級融合方法實現(xiàn)成像處理相關論文匯總?cè)绫?所示。

2.3.2 特征級融合

特征級融合也稱為中層融合，基于深度學習的目標檢測模型可以同時提取雷達和圖像數(shù)據(jù)在深度網(wǎng)絡的中間特征進行融合。Cui等人[38]提出了一種基于交叉融合策略的卷積神經(jīng)網(wǎng)絡，該網(wǎng)絡利用每幀雷達點云生成前視(Front View,FV)圖像和鳥瞰圖像，使用3D區(qū)域建議網(wǎng)絡生成候選區(qū)域，并采用交叉融合方案將特征圖信息與候選區(qū)域融合。

Nabati等人[39]提出了CenterFusion，利用雷達和視覺傳感器信息進行魯棒的三維目標檢測。Center-Fusion使用基于椎體的方法(Frustum-based Methods)將雷達生成的點云與圖像上的對象精確匹配，并利用雷達的特征圖來增強圖像特征，其在NuScenes數(shù)據(jù)集上的檢測結(jié)果如圖13所示。John等人[40]提出了SO-Net網(wǎng)絡，SO-Net是一個包含兩個特征提取分支和兩個輸出分支的感知網(wǎng)絡。這兩個特征提取分支分別針對基于相機的圖像和基于雷達的特征，輸出分支分別對應車輛檢測和自由空間語義分割分支。文獻[41]提出了一種基于毫米波雷達和視覺傳感器的障礙物空間注意融合(Spatial Attention Fusion,SAF)方法，該方法考慮了雷達點云的稀疏性，對雷達和圖像進行特征級融合。此外，所提出的SAF方法可以通過端到端方式與最新的深度學習目標檢測框架相結(jié)合進行訓練。

圖13 不同場景下CenterFusion[39]在NuScenes數(shù)據(jù)集上的三維檢測結(jié)果Fig.13 Three-dimensional detection in different scenarios results of CenterFusion[39] on the NuScenes dataset

Bansal等人[42]提出了一種多模態(tài)融合目標檢測方法RadSegNet，該網(wǎng)絡是通過利用SPG (Semantic-Point-Grid)模塊生成的編碼進行對象檢測。為了將語義與雷達點相關聯(lián)，SPG為每個雷達點查找相機像素對應關系，實現(xiàn)了所需的獨立信息提取，即使在相機輸入不可靠的情況下，RadSegNet仍然可以使用雷達數(shù)據(jù)可靠地工作。文獻[43]提出了基于DPT(Dense Prediction Transformer)的雷達-相機融合深度估計模型RCDPT，該模型使用變換器作為骨干網(wǎng)絡，將從圖像和雷達中提取的特征在所提出的重組層中有效地合并。文獻[44]提出了一種新的多視圖雷達-攝像機融合方法MVFusion，用于實現(xiàn)語義對齊的雷達特征并增強模態(tài)之間的交互信息。該方法通過使用SARE (Semantic Aligned Radar Encoder)將語義對齊注入雷達特征中，以產(chǎn)生圖像引導的雷達特征。接著，該方法使用RGFT (Radar Guided Fusion Transformer) 加強雷達和圖像特征之間的全局相關性。該方法在NuScenes數(shù)據(jù)集上進行了評估，其檢測結(jié)果如圖14所示。

圖14 MVFusion[44]在NuScenes數(shù)據(jù)集上的三維檢測結(jié)果Fig.14 3D detection results of MVFusion[44] on the NuScenes dataset

對于特征級融合，可以根據(jù)每個模態(tài)的具體特征為其設計適當?shù)奶卣魈崛∑?，神?jīng)網(wǎng)絡還可以跨模態(tài)聯(lián)合學習特征，使它們相互補充。但是在進行特征級融合時要對不同傳感器特征進行配準和對齊，這需要比較復雜的算法和計算。此外，特征級融合可能會導致信息冗余，需要進行特征選擇和降維，以避免計算和存儲的浪費?；谔卣骷壢诤戏椒▽崿F(xiàn)成像處理相關論文匯總?cè)绫?所示。

表4 基于特征級融合方法實現(xiàn)成像處理相關論文匯總Tab.4 Summary of image processing papers based on feature-level fusion method

2.3.3 決策級融合

決策級融合也稱為目標級融合或后期融合，是目前主流的融合方案，其主要融合從雷達和相機傳感器獲取的獨立目標，以獲得最終的綜合結(jié)果。在決策級融合中，如何匹配來自兩種不同模態(tài)的結(jié)果是值得考慮的，其中一種方法是計算目標相似性，然后使用卡爾曼濾波器、貝葉斯理論、匈牙利算法等方法來匹配輸出；另一種方法涉及利用雷達和相機之間的變換矩陣來確定兩種模態(tài)之間的位置關系。

文獻[45]提出一種使用單目相機和毫米波雷達傳感器融合的魯棒跟蹤框架，該框架通過匈牙利算法將來自不同傳感器的數(shù)據(jù)進行關聯(lián)，并使用基于三卡爾曼濾波器(tri-Kalman Filter)框架作為跟蹤方法。文獻[46]提出了一種目標級三維跟蹤方法，并設計了能夠根據(jù)物體不同的空間分布和傳感器特性，充分利用運動、外觀和幾何特征的自適應數(shù)據(jù)關聯(lián)方法，圖15展示了測試驗證結(jié)果，結(jié)果證明該融合算法具有足夠的準確性、快速性和魯棒性，能夠滿足自動駕駛對動態(tài)物體的感知需求。在文獻[47]提出的方法中，首先使用雷達和相機分別進行目標檢測，得到兩個獨立的檢測結(jié)果。然后，在圖像平面中將這些檢測結(jié)果進行關聯(lián)，生成一個具有對象類型的隨機有限集，通過改進的GM-PHD濾波器和信息融合，提出了一種魯棒的DATMO算法，解決了物體遮擋、測量丟失等跟蹤問題。

圖15 文獻[46]中測試的3個場景及3D跟蹤結(jié)果Fig.15 Three scenes tested in Ref.[46] and 3D tracking results

Jha等人[36]使用變換矩陣將雷達探測投影到圖像平面上，然后對準來自兩個傳感器的獨立檢測目標。在文獻[48]設計的方法中，首先對視覺傳感器和雷達傳感器進行聯(lián)合校準，獲得雷達到相機的轉(zhuǎn)換矩陣。接著使用基于密度的聚類方案將收集的雷達回波按不同目標進行分離，并使用變換矩陣將聚類質(zhì)心投影到相機圖像上。此外，在完成雷達點云與相機圖像的關聯(lián)后，Dong等人[49]提出了AssociationNet來學習來自兩個傳感器的語義表示信息。該網(wǎng)絡通過計算和最小化來自雷達點云和圖像邊界框?qū)Φ谋硎局g的歐氏距離，提高了關聯(lián)的準確性。

決策級融合常用于雷達與相機傳感器的融合，但是其在很大程度上依賴于單個模塊輸出的準確性。例如，在相機傳感器被遮擋的情況下，決策級融合完全取決于雷達傳感器檢測到的最終目標。此外，由于傳感模態(tài)的弱點或傳感器中的錯誤，豐富的中間特征被丟棄，因此，目標級融合方法只能利用從檢測結(jié)果中獲得的有限信息?；跊Q策級融合方法實現(xiàn)成像處理相關論文匯總?cè)绫?所示。

表5 基于決策級融合方法實現(xiàn)成像處理相關論文匯總Tab.5 Summary of image processing papers based on decision level-fusion method

綜上所述，使用傳統(tǒng)信號處理方法實現(xiàn)汽車毫米波雷達點云成像的優(yōu)點在于穩(wěn)定性和可靠性，且可利用雷達系統(tǒng)硬件特性提高成像效果。但該方法需要較高計算資源和時間，對于復雜場景和目標的識別和分類能力有限，對噪聲和干擾的抑制能力也有限，且難以處理非線性和非高斯分布的點云數(shù)據(jù)，限制了其應用范圍和效果。深度學習方法實現(xiàn)汽車毫米波雷達成像處理的優(yōu)勢在于能夠處理大量數(shù)據(jù)，并從中挖掘出目標物體的特征信息。深度學習方法可以自適應地學習目標物體的特征，并能夠根據(jù)實際場景進行實時調(diào)整和優(yōu)化，此外還可以實現(xiàn)基于歷史數(shù)據(jù)的預測和決策，提高系統(tǒng)的整體性能。多傳感器融合方法可以綜合不同傳感器的信息，提高系統(tǒng)的魯棒性和準確性。多傳感器融合方法需要對不同傳感器的數(shù)據(jù)進行有效的協(xié)同處理，同時需要對數(shù)據(jù)的融合算法進行充分驗證和優(yōu)化，這對系統(tǒng)的設計和開發(fā)帶來了一定的復雜性。

3 汽車毫米波雷達合成孔徑成像技術

除了點云成像處理，近十年學術界逐漸興起了通過汽車毫米波雷達進行合成孔徑成像的熱潮。傳統(tǒng)合成孔徑雷達(Synthetic Aperture Radar,SAR)成像系統(tǒng)通常依托于衛(wèi)星、飛機、導彈等空天運動平臺，通過運動形成的等效合成孔徑以獲取對地/海區(qū)域的高分辨成像。對于車載場景的SAR系統(tǒng)，由于成像目標區(qū)域距離較近且幅寬較小，因此對分辨率的要求相比傳統(tǒng)場景更高。對比低頻段，毫米波頻段具有豐富的頻帶資源、較小的波長以及較小的天線實孔徑，故而能夠提供更高的距離-方位二維理論分辨率。

車載場景SAR成像屬于近場模式，適用于傳統(tǒng)SAR遠場成像模式的近似條件不再成立。由于場景中心距離較短，且汽車毫米波雷達通常波束寬度較大、波長較短，場景內(nèi)單個散射點的回波歷程在距離向和方位向都分布較廣，導致出現(xiàn)嚴重的距離徙動現(xiàn)象，且不同距離單元目標的距離徙動差異明顯，最終影響SAR成像算法的設計。同時，汽車運動過程中易顛簸、抖動，對于波長較短的毫米波雷達而言，所造成的運動誤差往往不可忽略。此外，汽車毫米波雷達通常采用MIMO體制，其拓展性質(zhì)也為更加復雜與靈活的SAR系統(tǒng)設計提供了可能性。

3.1 汽車毫米波SAR基礎成像算法

要實現(xiàn)車載毫米波SAR成像，需要將傳統(tǒng)SAR基礎成像算法修改以適用于新場景，其中距離多普勒等頻域算法可實現(xiàn)條帶模式成像。文獻[50,51]使用距離多普勒算法(Range Doppler Algorithm,RDA)對中近場(0～100 m)毫米波SAR成像進行了充分的評估，驗證了77 GHz波段下中近場各距離范圍內(nèi)一些常見目標的成像效果，場景光學圖像與成像結(jié)果如圖16所示。

圖16 RDA近場場景SAR成像驗證[50,51]Fig.16 The verification of RDA near-field scene SAR imaging[50,51]

上述距離多普勒算法對汽車毫米波SAR成像進行一些初步的演示與驗證，但其實驗條件較為苛刻，其假設車輛保持勻速直線運動，并進行正側(cè)視成像。近年來，Jiang等人[52]闡述了一種汽車SAR系統(tǒng)模型，并利用改進后的RDA進行車載場景成像，結(jié)果如圖17所示。二維頻域算法作為一種可行的成像算法，也被應用于汽車毫米波SAR成像，Xu等人[53]通過對信號進行二維去斜和運動補償處理，實現(xiàn)停車場車位檢測和識別，結(jié)果如圖18所示。在汽車毫米波SAR成像中，成像分辨率需至少達到厘米級，由于距離多普勒算法等頻域算法的實現(xiàn)采用一定的近似條件，導致其在實際場景中應用受限。

圖17 車載場景RDA成像[52]Fig.17 RDA imaging for automotive scenes[52]

圖18 停車場車位檢測和識別[53]Fig.18 Parking space detection and recognition[53]

3.1.1 距離徙動算法

相比于RDA等頻域算法，很多學者在車載平臺更傾向于使用距離徙動算法(Range Migration Algorithm,RMA)，因為它是一種依靠波數(shù)域插值的精確算法，并未與傳統(tǒng)頻域算法一樣做出大量近似，更加適合車載場景。

2005年，Wu等人[54]率先將距離徙動算法應用于24 GHz FMCW雷達，實現(xiàn)了室內(nèi)停車場場景的正側(cè)視條帶模式SAR成像，并建議將汽車毫米波FMCW雷達系統(tǒng)用于輔助泊車。2006年，Gumbmann等人[55]將距離徙動算法應用于毫米波雷達系統(tǒng)，并檢驗了近距離(小于1 m)小物體(厘米級)的成像與區(qū)分能力，實測證明了距離徙動算法對近距離SAR成像的精確性，實物光學圖像與成像結(jié)果如圖19所示。Sriharsha等人[56]通過比較SISO體制與MIMO體制下距離徙動算法的成像結(jié)果，驗證了在高速行駛狀態(tài)下汽車毫米波MIMO-SAR成像的可行性，具體成像結(jié)果如圖20所示。

圖19 不同傾斜程度鋁楔塊的94 GHz毫米波SAR成像結(jié)果[55]Fig.19 94 GHz millimeter-wave SAR imaging results of polyethylene cylinders with different tilting degrees[55]

圖20 停車場SISO-RMA SAR圖像[56]Fig.20 Parking lots SISO-RMA SAR image[56]

針對汽車毫米波SAR成像的場景特性，可以對距離徙動算法進行加速與優(yōu)化。Zhang等人[57]基于RMA，利用迭代軟閾值算法(Iterative Soft Thresholding Algorithm,ISTA)實現(xiàn)SAR稀疏成像，結(jié)果如圖21所示。Lee等人[58]將RMA與壓縮感知(Compressed Sensing,CS)技術結(jié)合，僅提取部分原始數(shù)據(jù)即可實現(xiàn)與原先成像結(jié)果大致相同的效果。Iqbal等人[59]通過子孔徑數(shù)據(jù)劃分的方法實現(xiàn)了對RMA的加速，場景光學圖像、后向投影算法和所提出的子孔徑成像算法結(jié)果對比如圖22所示。

圖21 RMA與CS結(jié)合后的SAR圖像[57]Fig.21 SAR images using RMA &CS[57]

3.1.2 后向投影算法

為了應對復雜的車輛運動情況，成像算法選取需要進一步考慮。通常SAR成像算法要求雷達平臺運動軌跡是規(guī)則的，即運動軌跡須是已知且固定的多項式曲線，如直線、圓周、拋物線等，由此方便對斜距進行多項式展開，并進行頻域分析和匹配濾波。而汽車SAR平臺的運動軌跡通常是不規(guī)則、非多項式的，很難通過頻域分析，此問題可通過時域的非參數(shù)化方法完成，如后向投影算法(Back Projection Algorithm,BPA)。該算法的優(yōu)勢在于，只要能精確得到雷達平臺的運動軌跡，就可以進行成像。同時其和距離徙動算法一樣，都是未經(jīng)近似處理的精確算法，也適合于車載近場場景。此外，后向投影算法原理簡單、可擴展性強，可以較為方便地應用于多種信號體制的成像系統(tǒng)，同時也便于從二維成像擴展為三維成像。然而，該算法需要進行網(wǎng)格的預設，并對網(wǎng)格點逐一進行相干積累以獲得高分辨圖像，相比于頻域和波數(shù)域算法，運算量較大，實際處理中可在網(wǎng)格逐點相干積累時采用并行處理，例如快速分解后向投影算法[60](Fast Factorized Back Projection,FFBP)等，再結(jié)合FPGA,GPU并行處理等硬件加速手段，可以進一步提高成像效率。綜合各種因素，后向投影算法在車載毫米波SAR成像中有廣泛的應用前景。

針對汽車運算平臺，可以通過一些數(shù)據(jù)預處理手段和特殊處理流程來提高成像運算效率。Gisder等人[61]提出了基于GPU平臺的BP算法流式處理方案，該方案實現(xiàn)了回波數(shù)據(jù)的預處理和高效的GPU資源分配，場景光學圖像與成像結(jié)果如圖23所示。Farhadi等人[62]利用Digital Spotlighting (DS)方法提取原始數(shù)據(jù)，在避免剔除有效數(shù)據(jù)的前提下大大降低了原始數(shù)據(jù)的距離向和方位向維數(shù)，實現(xiàn)了FFBP算法的進一步優(yōu)化。

圖23 BP算法流式處理方案試驗場景[61]Fig.23 The test scene of BP algorithm flow processing scheme[61]

近年來，考慮更為復雜的車載場景應用，BP算法在汽車毫米波SAR成像中發(fā)揮了重要作用。Farhadi等人[63]提出一種基于子孔徑的BP算法，實現(xiàn)車載場景的動目標成像(Moving Target Imaging,MTI)，結(jié)果如圖24所示；針對車載場景的多徑干擾問題，Manzoni等人[64]通過理論分析，并利用BP算法驗證了MIMO-SAR成像抑制多徑干擾的可行性，對比結(jié)果如圖25所示。

圖24 基于BP算法的動目標成像[63]Fig.24 Moving Target Imaging (MTI) base on BP algorithm[63]

圖25 多徑干擾抑制對比圖[64]Fig.25 Multipath interference suppression comparison chart[64]

目前對于車載毫米波SAR成像基礎算法的研究已經(jīng)相當成熟，未來的研究更需要注重算法對于車載硬件的適應性，如成像算法的簡化、加速以及實時性等。此外，除了前文所述基本成像算法，也可以繼續(xù)引入新的適應車載平臺的基礎成像算法。表6總結(jié)了車載毫米波SAR發(fā)展過程中的基礎成像算法分類。

表6 車載毫米波SAR基礎成像算法總結(jié)Tab.6 Summary of imaging algorithms for automotive millimeter wave SAR

3.2 汽車毫米波SAR成像新應用

3.2.1 毫米波寬波束子孔徑處理

區(qū)別于傳統(tǒng)SAR成像平臺，汽車毫米波雷達的天線波束寬度通常較大，SAR成像子孔徑長度相對于整個場景畫幅來說占比較大，這使得各種基于子孔徑處理的算法優(yōu)化方案逐漸流行；同時，這種寬波束特性引發(fā)不同于傳統(tǒng)窄波束SAR成像的特殊性質(zhì)：同一點目標在合成孔徑時間內(nèi)是從較大視角范圍接收并反射電磁波能量的，即某一個物體的寬波束SAR成像結(jié)果是該物體在大角度范圍散射的疊加，這使得車載毫米波SAR成像有了全新研究方向。Rizzi等人[65]通過選取不同波束角度范圍內(nèi)的數(shù)據(jù)，對不同波束角下的成像效果進行了對比，如圖26所示。Wright等人[66]則提出了一種基于目標RCS檢測的自適應子孔徑優(yōu)化方法，提高了寬波束下的圖像相干積累增益，優(yōu)化前后對比效果如圖27所示。此外，在寬波束的條件下，Tagliaferri等人[67]將多個不同位置車輛的子孔徑SAR圖像進行相干處理，在調(diào)頻信號帶寬受限的條件下提高了距離向分辨率性，多車協(xié)作成像與單車成像結(jié)果對比如圖28所示。

圖26 不同波束角度下車載SAR的成像結(jié)果[65]Fig.26 Imaging results of automotive SAR at different beam angles[65]

圖27 自適應子孔徑積累圖像增強[66]Fig.27 Image enhancement by adaptive sub-aperture accumulation[66]

圖28 多車協(xié)作下提高距離向分辨率的效果比較[67]Fig.28 Comparison of improving range-direction resolution in multi-vehicle collaboration[67]

總體來看，汽車毫米波SAR成像中，毫米波雷達寬波束的特性對基礎成像算法的影響存在差異。BP算法的成像質(zhì)量僅與雷達軌跡的準確性有關，雷達軌跡誤差越小，BP算法的成像質(zhì)量越好，因此，BP算法能夠較好地適用于雷達寬波束的情況，這是它被廣泛應用于車載SAR成像的主要原因；RMA則在相位補償時沒有做任何近似，但雷達寬波束的特性使得波數(shù)域的支撐域展寬，支撐域過寬將導致Stolt插值處理的誤差過大，無法忽略，因此，傳統(tǒng)RMA適用于雷達波束較小的情況，雷達波束過大時，RMA需要考慮寬波束帶來的插值誤差，提高Stolt的插值精度；而對于RDA等頻域算法來說，雷達寬波束特性導致近似條件不再成立，且車載SAR成像的分辨率較高，使其無法忽略方位空變誤差，導致傳統(tǒng)頻域算法無法直接應用于復雜的車載場景。但是，相較于BPA和RMA，RDA等頻域算法的計算復雜度較低，且車載SAR成像對實時性要求非常高，因此，在雷達寬波束的條件下推導各類頻域成像算法，使其適應于車載雷達寬波束的情況，具有很高的研究價值。

3.2.2 汽車毫米波SAR成像運動補償

實際處理中，各類SAR精細化高分辨成像方法均要求對平臺運動軌跡有一定的先驗信息。若獲得的先驗信息與雷達平臺實際運動情況不符，則無法對回波數(shù)據(jù)相位進行精確匹配濾波或相干積累，導致最終成像有明顯的剩余相位，從而影響圖像聚焦效果和準確度。我們可將此問題等效理解為SAR回波數(shù)據(jù)存在由未知運動引起的相位誤差，而稱解決此問題的過程為運動補償。實際場景中，車載平臺的運動是復雜的，具有較大不確定性，車輛顛簸或行駛軌跡偏移會帶來較大的斜距誤差，而我們獲取的車輛運動先驗信息很容易與實際情況有較大出入，導致車載平臺SAR成像極易出現(xiàn)嚴重的相位誤差。

車載毫米波SAR成像的運動補償主要有兩種思路：一是通過外部設備嘗試獲取滿足精準度要求的運動參數(shù)(軌跡、速度等)，根據(jù)這些運動參數(shù)進行補償和高分辨成像；二是直接通過雷達回波數(shù)據(jù)本身進行自聚焦處理。下面將從這兩種思路具體介紹。

3.2.2.1 外部設備補償

從算法實現(xiàn)原理來講，后向投影算法作為時域成像算法的代表，只需要獲取精準的運動軌跡，計算每個脈沖對應的真實斜距，再逐脈沖相干積累即可實現(xiàn)精確聚焦；而對于其他非時域算法，則需要獲取更多的運動參數(shù)，如實時速度、加速度等，來進行參數(shù)化的運動補償。慣導系統(tǒng)是SAR成像運動補償最常使用的外部設備，F(xiàn)eger等人[68]提出了一個通過慣性測量單元(Inertial Measurement Unit,IMU)和全球?qū)Ш叫l(wèi)星系統(tǒng)(Global Navigation Satellite System,GNSS)獲取精準軌跡并實現(xiàn)距離-多普勒算法成像的77 GHz車載SAR系統(tǒng)，場景光學圖像與SAR成像結(jié)果如圖29所示。Tagliaferri等人[69]在一套低成本IMU和GNSS設備的基礎上，結(jié)合后向投影算法，實現(xiàn)了車輛復雜軌跡下的自適應運動補償，補償前后的圖像對比如圖30所示。文獻[70,71]則利用陀螺儀和加速度計對SAR回波斜距誤差進行直接的建模和估計。除了以上輔助測量設備，也可通過其他雷達設備獲取車輛的運動參數(shù)，文獻[72,73]使用多部雷達設備進行測量，其中一部雷達用于錄取SAR數(shù)據(jù)，其他雷達設備進行車輛軌跡、速度等運動參數(shù)的測定以實現(xiàn)運動補償，場景光學圖像與SAR成像結(jié)果如圖31所示。

圖29 77 GHz車載SAR系統(tǒng)[68]Fig.29 77 GHz automotive SAR system[68]

圖30 綜合運動補償方法[69]Fig.30 Comprehensive motion compensation method[69]

圖31 多雷達協(xié)同運動補償[72,73]Fig.31 Motion compensation by multi-radar system [72,73]

3.2.2.2 自聚焦補償

不依賴額外的測量設備、直接通過雷達回波數(shù)據(jù)本身進行自聚焦是當下運動補償處理方法的熱門。實際場景中，車輛行駛發(fā)生顛簸或其他復雜路況導致的車輛路線隨機偏移，由此產(chǎn)生的相位誤差雖然可通過測量設備來直接補償，但依然會有剩余相位誤差的殘留，很難完全補償。因而在基于參數(shù)測量的運動補償完成后，很多學者進一步采用自聚焦方法來提高最終的運動補償性能。

自聚焦方法在傳統(tǒng)SAR體制下已經(jīng)非常成熟，有很多高效的自聚焦方法可以運用到車載場景。自聚焦方法主要分為兩類：參數(shù)化方法與非參數(shù)化方法。作為傳統(tǒng)SAR成像中最為經(jīng)典的非參數(shù)化自聚焦方法，相位梯度自聚焦(Phase Gradient Autofocus,PGA)比較靈活，不受具體成像算法的限制。經(jīng)調(diào)整后PGA被率先運用于汽車SAR場景[74,75]，場景光學圖像以及非空變、空變處理下的成像結(jié)果如圖32所示。Farhadi等人[63]還將PGA應用于汽車SAR場景的動目標成像中，如圖24所示。對于參數(shù)化方法，則通常對誤差模型做出假設，Manzoni等人[76]認為PGA處理后殘留的相位誤差來源于多普勒頻率的殘余，基于此提出了剩余多普勒頻率提取方法，并根據(jù)文獻[68]中剩余多普勒頻率估計車輛的實時運動參數(shù)，以補償剩余相位誤差，補償前后的成像結(jié)果對比如圖33所示。Manzoni等人[77]進一步分析因?qū)Ш揭鸬能壽E誤差對SAR成像質(zhì)量的影響，并利用文獻[76]的自聚焦方法實現(xiàn)汽車MIMO-SAR成像，成像結(jié)果如圖34所示。Xu等人[53]將稀疏貝葉斯學習(Sparse Bayesian Learning,SBL)應用于雷達參數(shù)估計中，結(jié)合基于流域的SAR圖像分割方法實現(xiàn)停車場目標識別和檢測。需要注意的是，上述自聚焦運動補償方法需要對回波數(shù)據(jù)進行預先成像，對未聚焦的SAR圖像進行后處理以提取剩余相位信息；這會造成相當大的額外計算資源開銷，且依賴于實際回波數(shù)據(jù)的統(tǒng)計特性，可能存在算法穩(wěn)健性方面的問題。

圖32 PGA運動補償[74,75]Fig.32 PGA motion compensation[74,75]

圖33 剩余多普勒方法[76]Fig.33 Residual Doppler method[76]

圖34 MIMO-SAR運動補償[77]Fig.34 MIMO-SAR motion compensation[77]

總體來說，車載毫米波SAR系統(tǒng)處理中運動補償是必不可少的，現(xiàn)有的運動補償方法已經(jīng)可以較好地校準一般車況下的SAR成像結(jié)果，且方法較為靈活。傳統(tǒng)機載SAR成像常使用慣導粗補償與自聚焦細補償相結(jié)合的方案來獲取高精度圖像，同樣地，車載毫米波SAR也可以借鑒類似的復合運動補償系統(tǒng)結(jié)構，根據(jù)車載硬件平臺條件、實際任務精度要求等因素來設計一套完整的運動補償流程。表7按類別總結(jié)了目前的車載毫米波SAR運動補償方法。

表7 車載毫米波SAR運動補償方法總結(jié)Tab.7 Summary of motion compensation methods for automotive millimeter wave SAR

3.2.3 斜前視與MIMO-SAR成像

3.2.1 節(jié)和3.2.2節(jié)的研究內(nèi)容都是基于正側(cè)視或小斜視成像模式，且未利用毫米波MIMO雷達的多通道性能進行分辨率的增強。本節(jié)將結(jié)合車載毫米波雷達系統(tǒng)體制介紹斜前視成像與MIMO-SAR成像的新模式與新體制。

3.2.3.1 斜前視SAR分辨率分析

在真實場景中，汽車毫米波雷達(尤其是前向雷達和前角雷達)更多關注于車輛前方的事件預警，因此，結(jié)合SAR成像的基本原理，將雷達視線置于大斜視條件下并對斜前方的目標成像具有重要的研究意義。在此條件下，顯然斜視角越大，可成像范圍越往前方延伸，越有利于提前預警，但由于SAR成像的方位向分辨率取決于多普勒帶寬，而大斜視角下的多普勒帶寬相對較小，因此難以實現(xiàn)大斜視下目標的高分辨率成像。所以實際應用中，通常在成像范圍和分辨率之間做出合理折衷，確定合適的斜視角，從而既能覆蓋較遠的成像預警區(qū)域，又能滿足一定的分辨率需求。

不同雷達斜視角造成的方位向分辨率變化是復雜的，所以對成像分辨率的評估也較為困難。Hu等人[78]利用向量場分析方法給出了條帶式斜前視車載SAR場景下二維綜合成像分辨率與目標位置的定量數(shù)學關系，針對具體的行車速度情況與合成孔徑長度精確得到前方區(qū)域的二維分辨率分布圖，如圖35所示。由此可根據(jù)分辨率需求劃定有效的SAR可預警區(qū)域，也證實了車載毫米波條帶式斜前視SAR目標預警的可實現(xiàn)性。Wang等人[79]推導沿航跡方向等效虛擬陣列模型，提出一種通過波束設計和虛擬孔徑處理的前視雷達成像方法，計算復雜度低，提供了一種SAR前視成像思路。

盡管基于條帶式斜前視SAR目標預警是可行的，但為了進一步提高斜前方甚至近前方目標的分辨率，需要更為復雜的成像體制。Gishkori等人[80]將前視掃描SAR (Forward Scanning-SAR,FS-SAR)引入汽車毫米波雷達平臺，在車輛向前行駛中，采用數(shù)字波束形成的方法讓雷達天線波束在前半平面內(nèi)來回掃描以形成合成孔徑，用以解決正前視目標分辨率惡化的問題，同時結(jié)合壓縮感知的后向投影算法來實現(xiàn)成像，結(jié)果如圖36所示。當前絕大多數(shù)汽車毫米波雷達系統(tǒng)暫未實現(xiàn)數(shù)字波束掃描能力，而FSSAR的本質(zhì)是獲取車輛前方的角度維高分辨，這也可以通過MIMO陣列來實現(xiàn)，通過在車頭增加一維MIMO陣列孔徑可獲取對正前方目標的分辨率，這恰好是車載毫米波MIMO雷達硬件有機會實現(xiàn)的。

3.2.3.2 MIMO-SAR成像體制

車輛運動獲取的合成孔徑和MIMO陣列等效形成的陣列孔徑本質(zhì)上均可看作虛擬陣列孔徑，而車載斜前視或前視高分辨成像則依賴于這種虛擬孔徑的綜合設計。因此，合適的虛擬孔徑設計方法有助于實現(xiàn)前方目標的有效預警，車載斜前視或前視高分辨成像技術需與MIMO陣列設計方法相結(jié)合，以滿足各方向和位置的分辨率需求。得益于MIMO雷達系統(tǒng)提供的可用自由度，車載MIMO-SAR系統(tǒng)及其對應算法設計具有很大的發(fā)展空間，可以進一步優(yōu)化車載SAR系統(tǒng)的性能，如提高分辨率、降低旁瓣、節(jié)省計算資源等。

針對MIMO-SAR系統(tǒng)對方位向分辨率的增強，Gao等人[81]提出了一種分層MIMO-SAR成像結(jié)構，通過MIMO多通道數(shù)據(jù)估計車輛運動軌跡，并在有效提升方位向分辨率的同時節(jié)省了大量運算資源，其場景光學圖像與SAR成像結(jié)果如圖37所示。Zhang等人[82]則提出了一種基于多普勒復用(Doppler-division Multiplexing)的多通道后向投影算法，結(jié)合不同多普勒通道有效提高了車載環(huán)境下的SAR成像性能，場景光學圖像與SAR成像結(jié)果如圖38所示。Farhadi等人[83]提出了一種基于后向投影算法的TDMMIMO-SAR成像算法，結(jié)合隨機激活函數(shù)(Random Activation Function)，有效克服了在SAR圖像中引起強旁瓣的耦合問題，并且適合應用于運動情況復雜的車載環(huán)境。

圖37 分層MIMO-SAR成像[81]Fig.37 Hierarchical MIMO-SAR imaging[81]

圖38 多普勒復用MIMO-SAR成像[82]Fig.38 Doppler multiplexing MIMO-SAR imaging[82]

對于前文所述的大斜視或前視SAR成像問題，MIMO-SAR是一種更為方便的解決方案。MIMO雷達形成的多個虛擬通道可用于解決大斜視或前視SAR中接近車輛正前方區(qū)域內(nèi)目標分辨率的問題。當雷達波束指向車輛行駛正前方，且MIMO陣列雷達也垂直于車輛前進方向形成虛擬孔徑，則可以獲取對車輛前方區(qū)域的空間角度分辨率。當前汽車毫米波雷達通常都是基于MIMO陣列來提供額外的虛擬孔徑，所以此類方案在現(xiàn)有平臺硬件上是較容易實現(xiàn)的。Sommer等人[84]使用MISO雷達形成虛擬陣列，對車載前視SAR的分辨率性能進行了評估。Tebaldini等人[85–87]實現(xiàn)了一個成熟且實用的車載77 GHz前視MIMO-SAR成像系統(tǒng)，該系統(tǒng)搭載于一個常用且低成本的8通道77 GHz汽車雷達硬件平臺，利用快速分解后向投影算法(FFBP)達成了對前方50 m范圍內(nèi)的目標成像，且可以靈活地與自聚焦算法相結(jié)合，提高成像精度，其光學場景和MIMO-SAR成像結(jié)果如圖39所示。Albaba等人[88]通過多普勒波束銳化(Doppler Beam Sharpening,DBS)技術提取沿航跡空變的多普勒信息，進一步分析SISO-SAR和MIMO-SAR在前視成像中角分辨率的差異，論證了DBS技術在SAR前視成像中存在局限性，提出一種改進的FBP算法實現(xiàn)SAR前視成像，成像結(jié)果如圖40所示，并在此基礎上提出一種三維引導和衰減BP (3D Guided-and-Decimated Back-Projection,3D GDBP)算法[89]實現(xiàn)前視三維成像。

圖39 77 GHz前視MIMO-SAR系統(tǒng)[85–87]Fig.39 77 GHz forward-looking MIMO-SAR system[85–87]

圖40 前視SAR成像結(jié)果[88]Fig.40 Forward-looking SAR imaging[88]

總的來說，對于特殊車載毫米波SAR成像場景(如在斜視角極大或合成孔徑長度不足的場景)，SAR成像的分辨率性能會急劇惡化，而單通道SAR系統(tǒng)從物理本質(zhì)上無法突破這種分辨率限制，可通過上述MIMO陣列來彌補分辨率的不足，所以MIMO陣列對于車載SAR系統(tǒng)是相當重要且有意義的。此外，MIMO雷達在波形設計方面的多樣性與可擴展性也為車載毫米波SAR系統(tǒng)提供了更多的可能，信號復用和波形正交的方案一定程度上也影響最終SAR成像的效果。根據(jù)具體的車載毫米波SAR成像任務，可以設計更為復雜的MIMO雷達正交波形，以實現(xiàn)更好的成像性能。

4 汽車毫米波雷達抗互擾技術

隨著汽車行業(yè)日常井噴式發(fā)展，尤其是電動汽車、輔助(自動)駕駛等新車型、新技術的推廣，汽車毫米波雷達的普及率也越來越高(高等級輔助駕駛汽車需至少5顆毫米波雷達)；而得益于點云信號處理技術與合成孔徑成像技術的快速發(fā)展，汽車毫米波雷達探測性能不斷提升。由此會導致汽車毫米波雷達相互干擾的可能性大幅增加，已經(jīng)成為亟需解決的實際問題[90]。多個汽車毫米波雷達系統(tǒng)間的互相干擾會極大降低雷達靈敏度和分辨率，嚴重危害交通安全[91]。因此，抗互擾成為汽車毫米波雷達信號處理技術中至關重要的一環(huán)，也是當下汽車行業(yè)與自動駕駛方向研究的熱點。本節(jié)將從汽車毫米波雷達互擾模型展開，分別介紹波形設計、系統(tǒng)策略的抗互擾思路，最后著重介紹信號處理抗互擾技術。

4.1 互擾信號模型

如1.1節(jié)所述，當前汽車毫米波雷達最常使用的波形是調(diào)頻連續(xù)波(FMCW)信號，其基本工作原理是將回波信號與發(fā)射信號混頻，去斜處理為中頻(拍頻)信號后從中提取目標距離與速度信息。調(diào)頻連續(xù)波發(fā)射信號模型可寫為

其中，fc為發(fā)射信號載頻，γ為調(diào)頻率，t,和tm分別為全時間、快時間和慢時間(三者之間關系t=tm+)。假設目標相對于雷達的速度為v，那么目標與雷達的瞬時距離可以表示為

其中，R(tm)=R0-vtm為在tm時刻目標與雷達的距離。接收信號與發(fā)射信號的時延為τ=c為電磁波的傳播速度，則回波信號為

利用發(fā)射信號為基準進行混頻，混頻結(jié)果為

對拍頻信號的快時間維做快速傅里葉變換(FFT)，則可得

對上述信號的慢時間維做FFT可得

由式(9)與式(10)可見，干擾信號會在距離多普勒譜上產(chǎn)生錯誤峰值，導致提取的目標距離與速度信息被破壞。無干擾的距離多普勒圖像與被干擾的距離多普勒圖像如圖41所示[92]。

圖41 無干擾與有強干擾的距離多普勒圖像[92]Fig.41 Range Doppler images without interference and with strong interference[92]

目前，國內(nèi)外專家學者已經(jīng)提出許多方法來抑制汽車毫米波雷達之間的干擾。通常，這些方法主要可分為3類：(1)雷達系統(tǒng)和波形設計；(2)系統(tǒng)協(xié)調(diào)和策略方法；(3)信號處理方法。這3類方法實際上是分別從雷達發(fā)射端、發(fā)射端與接收端之間、接收端采取相應措施以抑制互擾。

4.2 系統(tǒng)和波形設計抗互擾方法

系統(tǒng)和波形設計方法一般要求雷達系統(tǒng)具有波形調(diào)制能力、新的結(jié)構或者協(xié)調(diào)單元等，甚至需要修改或重新設計雷達系統(tǒng)。該方法可避免雷達間互擾產(chǎn)生，但失去FMCW信號處理的簡單性，需系統(tǒng)級全面考慮，設計復雜度高、難度大。

系統(tǒng)和波形設計抗互擾的基本思路是改進常見FMCW波形，降低互擾可能性。簡單方法如文獻[93]中的頻率斜率正交調(diào)制、文獻[94]中的隨機重復間隔調(diào)制和文獻[95]中基于蝙蝠干擾回避反應(Jamming Avoidance Responses,JAR)的跳頻技術，如圖42所示。在此基礎上，文獻[96]和文獻[97]分別提出時間和頻率分集LFM波形和跳頻隨機Chirp (FHRC)波形，同時調(diào)整多個LFM波形參數(shù)以避免互擾，如圖43所示，抗互擾性能優(yōu)于只調(diào)整單一波形參數(shù)的簡單方法，但信號處理復雜度增加。此外，文獻[98]提出恒頻信號與LFM信號的隨機組合波形，在有效降低互擾概率的同時也能實現(xiàn)多目標檢測。另一種基于LFM波形的抗互擾思路是波形編碼，例如文獻[99]提出的相位編碼(Phase Coded,PC)系統(tǒng)和文獻[100]提出的偽隨機噪聲(Pseudo-Random Noise,PRN)碼，對不同編碼的干擾具有良好抑制效果，但對雷達硬件及解碼要求較高。

圖42 簡單的抗互擾改進FMCW波形[93–95]Fig.42 Simple anti-interference improved FMCW waveform[93–95]

圖43 調(diào)整多個參數(shù)的抗互擾改進FMCW波形[96,97]Fig.43 FMCW waveform improved by anti-interference adjustment of multiple parameters[96,97]

除LFM相關波形外，文獻中也已將其他波形應用于汽車雷達抗互擾。文獻[101]提出正交噪聲波形，能夠產(chǎn)生具有隨機相位分集的正交信號，相較于PRN編碼具有更低旁瓣，但相位估計問題較為復雜。文獻[102,103]分別針對正交頻分復用(Orthogonal Frequency Division Multiplexing,OFDM)波形進行互擾抑制，文獻[102]利用chirp波形自適應方法實現(xiàn)干擾動態(tài)避免，從整體而非局部減輕互擾，文獻[103]則利用最大長度序列(Maximum Length Sequence,MLS)低互相關特性來產(chǎn)生OFDM信號(如圖44所示)，并將加擾序列結(jié)合到波形中以抑制互擾。文獻[104]針對相位調(diào)制連續(xù)波(Phase Modulated Continuous Wave,PMCW)雷達(如圖45所示)間的互擾，通過序列分集、循環(huán)移位、反轉(zhuǎn)來抑制PMCW雷達間互擾及其對其他雷達的干擾，可應用于包括OFDM雷達在內(nèi)的所有數(shù)字調(diào)制雷達。表8總結(jié)了汽車毫米波雷達抗互擾的常用波形。

表8 汽車毫米波雷達波形及其特點Tab.8 Summary of common automotive millimeter-wave radar waveform and its characteristics

圖44 基于m-序列的OFDM雷達[103]Fig.44 OFDM radar based on m-sequence[103]

圖45 PMCW雷達框圖[104]Fig.45 PMCW radar block diagram[104]

4.3 系統(tǒng)協(xié)調(diào)和策略抗互擾方法

系統(tǒng)協(xié)調(diào)和策略方法通常將感知與通信相結(jié)合，針對雷達間缺乏協(xié)調(diào)的現(xiàn)象提供中心控制和資源分配策略，減小雷達互擾的可能性，是可以聯(lián)合雷達收發(fā)兩端的抗干擾技術。在復雜車路場景下，這類方法需要花費昂貴的代價以實現(xiàn)最優(yōu)的資源分配策略。

對于整個交通系統(tǒng)而言，系統(tǒng)協(xié)調(diào)和策略抗互擾的基本思路是基于基礎通信設施和架構調(diào)度雷達資源。例如，文獻[105]提出RadarMAC媒體訪問機制，如圖46(a)所示，通過專用LTE鏈路將每輛車當前位置信息發(fā)送到調(diào)度中心，調(diào)度中心動態(tài)分配雷達參數(shù)以避免雷達互擾。類似地，文獻[106]提出中央代理分配策略，通過通信基礎設施將雷達參數(shù)聯(lián)合分配給附近的汽車雷達，如圖46(b)所示。文獻[107]提出RadCom架構，利用部分雷達帶寬創(chuàng)建車對車(Vehicle-to-Vehicle,V2V)連接，使得雷達和通信信號以頻分復用方式共享頻譜，如圖46(c)所示。

圖46 系統(tǒng)協(xié)調(diào)和策略抗互擾架構[105–107]Fig.46 System coordination and policy anti-interference architecture[105–107]

對于每輛汽車而言，系統(tǒng)協(xié)調(diào)和策略方法通常需要其具備無線通信模塊。例如，文獻[108]提出分布式網(wǎng)絡協(xié)議RadChat以控制和協(xié)調(diào)汽車雷達，RadChat是具有雷達和通信功能的集成模塊，如圖47所示。利用雷達的低時間和頻率利用率，RadChat能有效抑制雷達互擾。文獻[109]進一步研究Rad-Chat在多跳網(wǎng)絡環(huán)境中協(xié)調(diào)雷達和通信的干擾抑制性能，高速公路場景的仿真結(jié)果表明RadChat以相當?shù)偷难舆t運行，且有效減輕了干擾。表9總結(jié)了幾種汽車雷達抗互擾協(xié)調(diào)系統(tǒng)及策略。

表9 汽車毫米波雷達抗互擾協(xié)調(diào)系統(tǒng)及策略總結(jié)Tab.9 Automotive millimeter-wave radar anti-interference coordination system and strategy summary

圖47 RadChat的系統(tǒng)組成[108]Fig.47 The system composition of RadChat[108]

4.4 信號處理抗互擾方法

信號處理方法可以在不改變系統(tǒng)硬件架構基礎上，通過接收信號后處理抑制互擾，是當前研究熱點之一。這類方法大致可分為4類：(1)濾波；(2)干擾消除與重構；(3)信號分離；(4)基于數(shù)據(jù)驅(qū)動的方法。表10首先簡要總結(jié)了各類信號處理方法的適用場景與優(yōu)缺點。

表10 汽車雷達干擾抑制的信號處理方法對比Tab.10 Comparison of signal processing methods for automotive radar interference suppression

4.4.1 濾波

濾波方法主要根據(jù)干擾的不同分布，利用不同變換域(時域、頻域、空域等)設計適當?shù)臑V波器以濾除干擾，對于平穩(wěn)干擾有較好的干擾抑制效果。復雜場景中干擾非平穩(wěn)或急劇變化時，導致濾波方法性能降低，此時可通過自適應濾波來緩解，但其所需的參考信號在實際處理中很難精確獲得，仍會導致抗互擾性能不夠穩(wěn)定。

時域濾波方面，文獻[110]提出自適應噪聲抵消法，將時域信號FFT后頻譜正半部分和負半部分分別饋入自適應噪聲抵消器的主通道和參考通道，尋找濾波器的最優(yōu)解以抑制互擾，如圖48所示。該方法對中遠距離干擾抑制效果較好，但在近距離性能受限。

圖48 采用自適應噪聲抵消器的干擾抑制方案[110]Fig.48 Adaptive noise canceller used to suppress interference[110]

頻域濾波方面，文獻[111]通過在多個脈沖間執(zhí)行FFT單元的幅度非線性濾波，實現(xiàn)噪聲抑制和干擾消除。該方法無需預先確定干擾閾值，同時也可有效保留相位信息，滿足后續(xù)信號處理算法需求。

空域濾波方面，干擾抑制通常利用數(shù)字波束形成(Digital Beam Forming,DBF)實現(xiàn)。文獻[112]證明用DBF進行干擾抑制時干擾功率在空域中可被分割為兩個方向，如圖49(a)所示。文獻[113]提出基于干擾相關矩陣估計的樣本矩陣求逆(Sample Matrix Inversion,SMI)算法，在干擾方向上構造零陷，該方法在干擾信號數(shù)量少于實際天線單元數(shù)量情況下有效。文獻[114]證明干擾僅受實際孔徑大小影響，導致其消除后零陷更寬；而有用信號則受虛擬孔徑影響，其零陷更窄。文獻[115]提出自適應DBF抗互擾方法，自適應計算DBF權重并用于主波束形成器，如圖49(b)所示，可在干擾DOA未知情況下抑制干擾。表11總結(jié)了上述幾種濾波方法，并給出具體應用特點。

表11 不同域中的毫米波雷達干擾抑制濾波方法Tab.11 Interference suppression filtering methods for millimeter wave radar in different domains

圖49 用于干擾抑制的自適應DBF[112,115]Fig.49 Adaptive DBF for interference suppression[112,115]

4.4.2 干擾消除與重構

干擾消除與重構方法是指將接收信號受干擾部分消除、再對該部分進行重構的研究思路，關鍵問題是對干擾區(qū)域的精確檢測和對信號的準確恢復。由于汽車雷達在實際中所受干擾的波形參數(shù)未知，且雷達系統(tǒng)發(fā)射信號和靜默處理周期未知，干擾檢測存在一定難度。而干擾檢測不準確會導致無法完全消除干擾或有用信號被過度消除，影響后續(xù)目標檢測性能；但即使干擾被精確檢測并消除，部分有用信號也無法避免被消除，導致目標功率損失。因此，此類方法只適用于干擾部分占比不太高的信號，隨著干擾數(shù)量增加，信號重構精度會顯著下降。

文獻[116]在消除相位噪聲的影響后，用基于簡單閾值的方法檢測干擾并通過升余弦窗方法進行抑制。文獻[117]提出最大穩(wěn)定極值區(qū)域(Maximally Stable Extremal Region,MSER)算法以消除圖像干擾區(qū)域，并通過反升余弦窗恢復，保證恢復信號平滑過渡，消除恢復信號不連續(xù)性。文獻[118]提出改進的加權包絡歸一化(Advanced Weighted Envelope Normalization,AWEN)算法來檢測干擾并抑制，可分離出間隔較短的脈沖干擾。文獻[119]在壓縮感知的稀疏采樣基礎上通過自適應閾值迭代(Iterative Method with Adaptive Thresholding,IMAT)恢復缺失信號，直到閾值低于噪底，可有效抑制近距小目標所受干擾。文獻[120]提出基于迭代閾值的時域干擾檢測方法，迭代計算干擾的檢測閾值，而不使用被干擾拍頻信號，可檢測到弱干擾，如圖50所示。

文獻[121]提出短時傅里葉變換(Short Time Fourier Transform,STFT)域拍頻插值方法，檢測并消除時頻域干擾，通過自回歸(AutoRegression,AR)模型恢復無干擾信號，如圖51所示。文獻[122]提出修剪精確線性時間(Pruned Exact Linear Time,PELT)算法PELT-KCN，通過文獻[118]中WEN算法獲得拍頻信號包絡，計算最優(yōu)懲罰因子，精確檢測干擾時間位置，通過AR模型來恢復受干擾部分。

圖51 STFT域中拍頻插值[121]Fig.51 Beat interpolation in STFT domain[121]

文獻[123]提出基于卡爾曼濾波器的干擾恢復算法，通過峰值檢測識別干擾時段，將未失真信號輸入卡爾曼濾波器來預測干擾區(qū)域。文獻[124]提出在頻域恢復失真信號的方法，分別在快時間和慢時間內(nèi)檢測時域干擾，再迭代地自適應選擇頻譜主峰，對其傅里葉逆變換后以近似缺失信號。文獻[125]提出基于CFAR檢測器的方法，在時頻域中用一維CFAR檢測器來檢測干擾，并利用圖像擴張掩模方法擴張檢測區(qū)域，分別用幅值校正法和Burg算法外推信號，如圖52所示。

圖52 時頻域拍頻信號[125]Fig.52 Beat signal in the time-frequency domain[125]

文獻[126]提出基于矩陣束(Matrix Pencil,MP)的干擾抑制方法，將拍頻信號建模為復指數(shù)之和。拍頻信號受干擾部分被截斷后，MP方法可估計截斷部分參數(shù)并對其重構，可直接在高維數(shù)據(jù)空間減輕干擾。文獻[127]提出AR模型慢時間重構方法，并證明了對于靜態(tài)雷達，慢時間重構比快時間重構干擾抑制效果更好，但在信號處理之前需要接收整個信號幀，處理時間更長。文獻[128]提出塊克羅內(nèi)克壓縮感知(Block Kronecker Compressed Sensing,BKCS)算法，將2D距離多普勒譜數(shù)據(jù)分成幾個塊并分別恢復其無干擾數(shù)據(jù)，干擾抑制性能優(yōu)于1D信號恢復算法。文獻[129]提出迭代干擾抑制(Interference Mitigation via Iterative Approaches,IMIA)算法，引入二維CA-CFAR來檢測并消除強干擾，從而檢測出強目標。在去除強目標后，重復上述步驟來檢測弱干擾和弱目標，直到不再檢測到目標或干擾，如圖53所示。IMIA算法可同時消除弱干擾和強干擾，從而檢測到弱目標和強目標。表12總結(jié)了文獻中已有的干擾消除與重構方法。

表12 毫米波雷達干擾消除與重構方法總結(jié)Tab.12 Summary of interference elimination and reconstruction methods for millimeter wave radar

4.4.3 信號分離

信號分離方法利用干擾與有用信號在某些基下或某些域(時域、頻域等)中的不同特性將干擾分離，在一定程度上避免干擾的逐脈沖顯式檢測。通常情況下，有用信號在時域表現(xiàn)出稀疏特征，而干擾在時頻域是稀疏的，用不同的基來分別表示干擾與有用信號或者將其變換到不同域中是分離干擾的可行辦法。然而，這類方法計算量通常很大，且存在離網(wǎng)問題，即真實頻率或時頻分量與基之間失配，造成信號分離不夠準確，干擾抑制性能下降。

文獻[130]提出形態(tài)成分分析(Morphological Component Analysis,MCA)算法，由于干擾在時頻域的稀疏特性更明顯，而拍頻信號在頻域更稀疏，MCA可以將STFT后的干擾與DFT后的拍頻分離。文獻[131]提出基于經(jīng)驗模態(tài)分解(Empirical Mode Decomposition,EMD)的迭代修正閾值(Iterative Modified Threshold,IMT)算法，根據(jù)連續(xù)均方誤差確定干擾主導分量，如圖54所示，通過迭代修正閾值來對干擾主導分量進行調(diào)整，最后將所有分量組合得到干擾信號。

圖54 時域信號EMD[131]Fig.54 Time domain signal EMD[131]

文獻[132]提出利用小波去噪分離信號與干擾的方法，反轉(zhuǎn)小波去噪過程，提取高強度脈沖干擾并去除低強度正弦信號，但需要通過大量實測數(shù)據(jù)搜索小波去噪的合適參數(shù)。文獻[133]使用正交匹配追蹤(Orthogonal Matching Pursuit,OMP)算法在簡化的線性調(diào)頻小波變換基礎上進行信號重構，減少需要估計的參數(shù)數(shù)目，同時也可以通過硬件加速。文獻[134]提出稀疏低秩漢克爾矩陣(Hankel Matrix)分解方法，將信號矢量提升為Hankel矩陣，如圖55所示。有用信號Hankel矩陣是低秩的，而干擾信號Hankel矩陣是稀疏的，可通過RPCA分解信號與干擾矩陣。

圖55 Hankel矩陣的稀疏低秩分解[134]Fig.55 Sparse low-rank decomposition of Hankel matrix[134]

文獻[135]提出基于EMD和MUSIC的DOA估計方法，使用EMD分解受干擾影響的天線單元的接收信號，根據(jù)閾值抑制干擾分量。文獻[136]提出可調(diào)Q因子小波變換(Tunable Q-factor Wavelet Transform,TQWT)域干擾抑制技術。目標信號在高Q因子小波變換后表現(xiàn)出稀疏性，而干擾信號在低Q因子小波變換后稀疏性更明顯，可通過MCA和L1范數(shù)懲罰最小二乘法，建立基于稀疏性的非線性信號分離模型來分離干擾。文獻[137]提出基于幾何序列分解的干擾抵消(Geometric Sequence Decomposition based Interference Cancellation,GSD-IC)算法，將單個采樣信號看作一個幾何序列，將接收信號分解成不同的非正交疊加信號，從而分離干擾與目標信號。文獻[138]基于有用回波信號在頻域的行稀疏性與干擾信號在時域的稀疏性之間的差異，提出一種具有行稀疏約束的目標回波抑制優(yōu)化算法，通過對回波信號進行時頻分解，可有效分離目標信號與干擾。表13總結(jié)了文獻中已有的用于毫米波雷達干擾抑制的信號分離方法。

表13 用于毫米波雷達干擾抑制的信號分離方法總結(jié)Tab.13 Summary of signal separation methods for millimeter-wave radar interference suppression

4.4.4 基于數(shù)據(jù)驅(qū)動方法

近年來，隨著人工智能技術的發(fā)展，基于數(shù)據(jù)驅(qū)動的方法也越來越多地應用于汽車雷達抗互擾。深度學習是基于數(shù)據(jù)驅(qū)動的典型方法，具有出色的端到端數(shù)據(jù)處理性能，但在一定程度上缺乏堅實的物理基礎。

文獻[139]提出具有門控遞歸單元(Gated Recurrent Unit,GRU)的遞歸神經(jīng)網(wǎng)絡(Recurrent Neural Network,RNN)模型，如圖56所示。RNN已知適用于處理序列數(shù)據(jù)，能同時去除干擾和重構發(fā)射信號，信號處理可以只用矩陣計算來完成，而不用任何迭代結(jié)構或自適應閾值。

圖56 具有GRU的RNN模型[139]Fig.56 RNN model with GRUs[139]

文獻[140]使用CNN來減輕干擾。CNN能通過考慮附近的輸入來學習局部模式并在整個數(shù)據(jù)信號中識別，需要的參數(shù)相對較少，更有利于集成到芯片中。文獻[141]引入深度學習自我注意機制與RNN結(jié)合，如圖57所示，相較于具有GRU的RNN模型對干擾的抑制性能更好，且同樣適用于OFDM雷達。

圖57 具有自我注意機制的RNN模型[141]Fig.57 RNN models with self-attention mechanisms[141]

文獻[142]提出基于全卷積神經(jīng)網(wǎng)絡(Fully Convolutional Neural Networks,FCNN)的干擾抑制方法，將拍頻信號的頻譜作為輸入，輸出干擾消除后的距離剖面，如圖58所示。

圖58 FCN模型的一般架構[142]Fig.58 General architecture of the FCN model[142]

文獻[143]提出基于自動編碼器(AutoEncoder,AE)的CNN模型以執(zhí)行圖像去噪，如圖59所示，將干擾抑制問題轉(zhuǎn)化為距離多普勒圖像去噪問題。該網(wǎng)絡可以很好地適用于不同類型的干擾，但對信號的相位信息不能完全保留。文獻[144]針對CNN模型超出硬件存儲容量的問題，分析比較不同網(wǎng)絡的量化能力和內(nèi)存需求，找到具有適當資源需求的小型模型，以保證干擾緩解性能。

圖59 基于AE的CNN模型架構[143]Fig.59 CNN model architecture based on AE[143]

綜上所述，盡管信號處理類的干擾抑制方法可能在計算上比較復雜，在不同場景中抗干擾性能會有一定差異，但在毫米波雷達互擾問題日益嚴重場景需求下，無需改變硬件結(jié)構的處理方式具有極大的發(fā)展?jié)撃芗爸匾默F(xiàn)實意義。極為有限擁擠的頻譜資源決定了系統(tǒng)和波形設計方法的局限性，在復雜環(huán)境下干擾幾乎無可避免，而系統(tǒng)協(xié)調(diào)和策略類的方法需要對整個環(huán)境中的通信設施、雷達等資源進行調(diào)配，在實施上具有巨大難度，需要花費高昂成本。因此，信號處理類抗干擾方法既有其存在的必要性，也有其無可替代的優(yōu)點。隨著汽車毫米波雷達芯片算力不斷提升與各種信號后處理算法不斷優(yōu)化，此類方法實時性和穩(wěn)健性勢必能得到不斷提高，最終滿足智能駕駛汽車雷達抗干擾的實際需求。

5 總結(jié)與展望

5.1 汽車毫米波雷達點云成像處理

汽車毫米波雷達是自動駕駛的主要傳感器，它全天時全天候的工作特性勢必在自動駕駛領域扮演重要角色。毫米波雷達的主要弱點在于有限的角分辨率性能，這對未來自動駕駛、車路協(xié)同的需求提出了挑戰(zhàn)，因此如何提升汽車毫米波雷達的角分辨率是當前研究的關鍵核心之一，也是點云成像的關鍵技術之一。展望未來的發(fā)展趨勢，基于車載場景的特定需求，汽車毫米波雷達主要朝著小型化、集成化以及低功耗化方向發(fā)展；同時，隨著硬件技術的進步，雷達的探測性能也在逐步提升，更大的帶寬將帶來更高的距離分辨性能，MIMO技術以及超分辨算法的應用也使毫米波雷達在角度維的分辨性進一步提高。除了提高角度分辨率外，在實際應用中毫米波雷達點云成像處理技術未來仍需解決以下問題：

(1) 通道一致性問題。目前各大公司的汽車毫米波雷達均采用MIMO技術，結(jié)合天線陣列布局實現(xiàn)大于實際陣列尺寸的虛擬孔徑，提高陣元利用率。但在MIMO雷達系統(tǒng)設計中，如果無法保證通道間的一致性，就無法保證目標定位一致性，從而嚴重影響點云生成。目前有源校正思路在小孔徑少通道的單芯片系統(tǒng)較為常用，但為了提高空間角度分辨率，汽車毫米波雷達正逐漸向多芯片級聯(lián)方案拓展，對于較大規(guī)模陣列通道而言，其校正的準確度和實時性將是未來汽車毫米波雷達的難點。

(2) 檢測器性能問題。汽車毫米波雷達目標檢測仍然繼承了雷達統(tǒng)計信號處理的分析流程，在面對少量強目標和均勻雜波背景下具有較好的效果。但汽車高速行駛中面臨的電磁環(huán)境非常復雜，尤其是城市道路及路口，雜波非均勻且目標相互遮掩，尤其是存在強散射目標(如大卡車、廣告牌等)下很難通過統(tǒng)一的檢測器來有效檢測弱散射目標(如行人等)。而當前點云成像的準確度和密度都依賴于良好的目標檢測性能，具有自適應濾波且面向復雜場景的目標檢測器將是未來點云成像質(zhì)量的關鍵。

(3) 算法運行效率問題。除了高精度需求外，實時性也是汽車毫米波雷達應用的重要指標。目前汽車毫米波雷達的刷新周期大概在50 ms左右(對應于1.67 m@120 km/h)，因而在實現(xiàn)理論高精度、高密度點云外，若在點云生成采用較為復雜的算法導致整體耗時明顯增加，ADAS功能響應被拖慢，很可能會造成嚴重的交通事故。尤其對于汽車毫米波雷達而言，其相對于激光雷達的一大優(yōu)勢在于低廉的成本，以上算法實現(xiàn)需在低成本條件下完成，算法運算效率是未來必須要考慮的因素。

5.2 車載毫米波合成孔徑雷達

隨著車載毫米波SAR成像技術在現(xiàn)實場景的應用越來越廣泛，很多學者和各大廠商也逐漸重視這種高分辨成像體制的研究，也逐漸產(chǎn)生了更加復雜困難的任務需求(如高精度運動補償、高分辨率、大斜視角成像等)。相較于傳統(tǒng)汽車毫米波雷達陣列處理方案，汽車毫米波SAR系統(tǒng)結(jié)構更加復雜，提升和擴展的空間也更大，因此，若要設計一個實用且高效的車載毫米波SAR系統(tǒng)，未來系統(tǒng)結(jié)構、信號處理等環(huán)節(jié)都面臨不小的難題，具體如下：

(1) 車載毫米波SAR的運動補償。對于車載毫米波SAR系統(tǒng)而言，目前77 GHz頻段對應較小的波長，其相較于低頻段對運動補償?shù)木纫蟾撸绕鋵τ趶碗s路況，實現(xiàn)準確的運動補償十分困難。目前，可以借鑒其他平臺SAR系統(tǒng)采用“粗補償+細聚焦”的方案，先利用低成本的導航或定位設備實現(xiàn)粗成像，再利用運動補償算法進行精細成像。而其他平臺的慣導系統(tǒng)對于低頻段、大型目標的場景是足夠的，對于汽車上裝配的導航設備受限于成本、重量等限制，通常精度有限，未來車載毫米波SAR系統(tǒng)仍需在低成本、低載荷平臺上實現(xiàn)高精度的運動補償。

(2) 車載毫米波MIMO-SAR和大斜視角成像。當前汽車毫米波SAR系統(tǒng)主要關注于車側(cè)方的目標場景，主要用于自動泊車、搜尋停車位等，而未來車載毫米波SAR系統(tǒng)仍需考慮實際駕駛中對于前視或斜前方目標場景的高分辨成像。如3.2.3節(jié)所述，當前汽車毫米波雷達系統(tǒng)全部采用MIMO陣列設計，從而獲取更大的虛擬孔徑以提高分辨率。因而如何將MIMO體制應用于汽車毫米波SAR系統(tǒng)，應用于解決汽車駕駛前向分辨率不足的難題將是未來的重要研究方向之一。

(3) 多部車載毫米波SAR協(xié)同處理。結(jié)合3.2.1節(jié)所述，開展多平臺協(xié)同車載毫米波SAR系統(tǒng)設計的研究，結(jié)合多平臺同步技術、時域和頻域成像算法以及運動補償技術等，可以獲取多位置、多角度的SAR圖像，從而提高SAR成像性能。在自動駕駛和車聯(lián)網(wǎng)領域，已有大量關于多雷達和多平臺協(xié)同系統(tǒng)的研究成果，前期開展可在這些基礎上借鑒適用于SAR成像任務的結(jié)構。但考慮到自動駕駛或輔助駕駛平臺除了執(zhí)行SAR成像任務外還有其他功能，未來如何將SAR成像任務嵌入通用的汽車雷達協(xié)同網(wǎng)絡中仍是很大挑戰(zhàn)。

5.3 汽車毫米波雷達互擾抑制

縱觀汽車毫米波雷達抗互擾技術的3種不同路線，結(jié)合目前常用的已經(jīng)成熟的主流互擾抑制方法，汽車毫米波雷達的抗互擾任重道遠，但發(fā)展意義重大，前景廣闊。在實際復雜道路交通環(huán)境中，目前3類主要的毫米波雷達干擾抑制方法各有其適用場景與固有缺陷，需要結(jié)合具體場景分析其適用性?？傮w來說，汽車毫米波雷達抗互擾的思路正在由被動抗互擾向主動抗互擾轉(zhuǎn)變，即由后處理被干擾的雷達信號向主動避免或識別、抑制干擾轉(zhuǎn)變，該趨勢在汽車毫米波雷達波形設計、系統(tǒng)協(xié)調(diào)策略與信號后處理上均有不同體現(xiàn)，具體表現(xiàn)為：

(1) 雷達波形復合化。當前汽車毫米波雷達的主流波形為FMCW波形，該波形雖具有回波信號處理簡單、目標信息易于提取的優(yōu)點，但在有限的頻帶范圍內(nèi)極易相互干擾，因而未來汽車毫米波雷達波形正在向更為復雜的多種波形組合發(fā)展，以具有更強的抗干擾能力。

(2) 雷達通信一體化。當前汽車毫米波雷達抗互擾的主要策略即為在同一區(qū)域內(nèi)利用通信設施協(xié)調(diào)各汽車毫米波雷達系統(tǒng)，使之降低互擾的可能。當前以及未來汽車毫米波雷達正越來越緊密地與車聯(lián)網(wǎng)通信相互聯(lián)系，車路協(xié)同、雷達通信一體化的趨勢日益加強。

(3) 干擾類型主動識別與抑制。當前部分汽車毫米波雷達信號后處理方法雖然有干擾檢測與抑制步驟，但仍然缺乏對干擾類型及干擾雷達參數(shù)的有效識別手段。未來在信號后處理環(huán)節(jié)中雷達應能主動對所受干擾類型作出主動識別與判斷甚至直接采取相應手段抑制，從而更有效地抑制互擾。

(4) 信號處理與數(shù)據(jù)處理相結(jié)合。如4.4.4節(jié)所述，得益于深度學習領域的高速發(fā)展，深度學習的互擾抑制方法正在被應用于汽車毫米波雷達的抗互擾。深度學習方法注重數(shù)據(jù)處理，與基于信號模型的處理方法相結(jié)合，實現(xiàn)數(shù)據(jù)模型雙驅(qū)動的應對思路，正在成為應對復雜場景下互擾抑制問題的新趨勢。