張晟劍 莫澤文

1. 廣州汽車集團(tuán)股份有限公司汽車工程研究院，廣東廣州 511434；2. 中山大學(xué)，廣東深圳 518107

0 引言

近年來，自動駕駛技術(shù)作為具有潛力的前沿科技，受到廣泛關(guān)注和研究。為實現(xiàn)更高安全性、效率和可靠性，自動駕駛汽車需準(zhǔn)確獲取、處理和理解環(huán)境信息。遙感圖像可以為其提供豐富的環(huán)境信息，具有廣泛應(yīng)用價值。

本文綜述了遙感圖像技術(shù)在自動駕駛應(yīng)用中的道路檢測、障礙物檢測、環(huán)境感知、地圖創(chuàng)建和車輛定位與導(dǎo)航等方面的作用，分析了其面臨的挑戰(zhàn)與限制，并提出了未來研究方向。

1 遙感圖像技術(shù)

1.1 遙感圖像的類型

遙感圖像主要包括光學(xué)遙感（可見光、紅外、多光譜等）和雷達(dá)遙感（如合成孔徑雷達(dá)[Synthetic Aperture Radar，SAR]、激光雷達(dá)[Light Detection and Ranging，LiDAR]）2 類。光學(xué)遙感圖像具有高分辨率和信息豐富的優(yōu)點(diǎn)，但易受光照和天氣影響。雷達(dá)遙感圖像在惡劣天氣和低光照下表現(xiàn)穩(wěn)定，具有較好的穿透力和魯棒性，但分辨率相對較低。

1.2 遙感圖像數(shù)據(jù)源和獲取方法

遙感圖像數(shù)據(jù)源主要有衛(wèi)星、航空和地面平臺。衛(wèi)星遙感具備全球覆蓋和周期更新優(yōu)勢，但分辨率和實時性受限；航空遙感分辨率較高，實時性更好，但受飛行條件和成本制約；地面遙感分辨率最高，實時性最佳，但覆蓋范圍有限。遙感技術(shù)分為主動（如雷達(dá)遙感）和被動（如光學(xué)遙感），前者通過發(fā)射和接收信號獲取信息，后者通過接收目標(biāo)自然散射或反射光線來獲取圖像。

1.3 遙感圖像的預(yù)處理和校正

遙感圖像預(yù)處理與校正對圖像質(zhì)量和準(zhǔn)確性具有重要影響。預(yù)處理主要包括去噪、輻射校正、大氣校正和幾何校正等[1]。輻射校正旨在將圖像數(shù)字?jǐn)?shù)值轉(zhuǎn)換為地面反射率，消除傳感器和光照條件影響，包括絕對輻射校正和相對輻射歸一化2 種方法。絕對輻射校正利用衛(wèi)星同步觀測數(shù)據(jù)，將像元值轉(zhuǎn)換為地物輻射亮度或反射率，實際應(yīng)用受限；相對輻射校正通過調(diào)整目標(biāo)影像像元值實現(xiàn)影像與參考影像近似匹配，計算簡便，應(yīng)用廣泛。大氣校正消除大氣散射和吸收影響，提高圖像準(zhǔn)確性。幾何校正消除影像幾何畸變，使圖像與地面坐標(biāo)系一致。

遙感圖像預(yù)處理與校正對自動駕駛領(lǐng)域的有效應(yīng)用具有重要意義。經(jīng)過預(yù)處理和校正，圖像質(zhì)量和準(zhǔn)確性得以提高，為自動駕駛汽車提供可靠的環(huán)境感知和車輛定位信息。

2 遙感圖像在自動駕駛中的應(yīng)用

2.1 道路檢測

道路檢測是自動駕駛的關(guān)鍵任務(wù)之一，而遙感圖像則提供了實現(xiàn)此目標(biāo)所需的豐富地表信息。遙感影像道路檢測方法可以分為基于像素和基于對象2 類。

基于像素的方法直接對每個像素進(jìn)行分類，通過光譜、紋理和形狀等特征來判斷它是否為道路，然后通過后處理技術(shù)提高道路的連通性和完整性。趙文智等人[2]提出了一種基于道路邊緣特征檢測的方法來解決光譜特征混淆的問題。

基于對象的方法則先將圖像分割為具有一致性特征的區(qū)域，然后對每個區(qū)域進(jìn)行分類，通過幾何、拓?fù)浜驼Z義等特征來判斷它是否為道路，最后將屬于道路的區(qū)域組合成道路網(wǎng)絡(luò)。蔡紅玥等人[3]提出了一種改進(jìn)的分水嶺圖像分割算法，解決了過度分割的問題，但未充分利用路網(wǎng)上下文信息。譚紅春等人[4]結(jié)合條件隨機(jī)場和目標(biāo)級圖像分析方法，建立相鄰像素間的目標(biāo)關(guān)系，但該方法無法排除多余的目標(biāo)，而且相鄰道路之間存在斷連情況。

近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于深度神經(jīng)網(wǎng)絡(luò)的遙感影像道路檢測方法得到了廣泛的研究和應(yīng)用。深度神經(jīng)網(wǎng)絡(luò)可以自動學(xué)習(xí)圖像中復(fù)雜和抽象的特征，提高道路檢測的精度和魯棒性。深度神經(jīng)網(wǎng)絡(luò)可以分為基于編碼器-解碼器結(jié)構(gòu)和基于圖結(jié)構(gòu)2 類。前者利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）作為編碼器，將輸入圖像編碼成低維度的特征向量，然后利用反卷積神經(jīng)網(wǎng)絡(luò)（Deconvolution Neural Network，DNN）或上采樣神經(jīng)網(wǎng)絡(luò)（Up-sampling Neural Network，UNN）作為解碼器，將特征向量解碼成與輸入圖像相同大小的輸出圖像，輸出像素表示其屬于道路的概率。U-Net 模型由OLAF RONNEBERGER 等人[5]提出，因模型結(jié)構(gòu)呈“U”形狀而得名，如圖1 所示。在此基礎(chǔ)上，胡宏宇等人[6]提出了一種基于VGGU-Net 框架的VGGUNet++遙感影像路網(wǎng)檢測方法?；趫D結(jié)構(gòu)的網(wǎng)絡(luò)則利用圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network，GNN）或變換器（Transformer）來建模圖像中的道路拓?fù)浣Y(jié)構(gòu)，將輸入圖像轉(zhuǎn)換成由節(jié)點(diǎn)和邊組成的圖，節(jié)點(diǎn)表示道路上的關(guān)鍵點(diǎn)，邊表示道路上的連接關(guān)系，然后利用GNN 或變換器來學(xué)習(xí)節(jié)點(diǎn)和邊的特征和關(guān)系，最后輸出一個與輸入圖像對應(yīng)的道路網(wǎng)絡(luò)圖。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于深度神經(jīng)網(wǎng)絡(luò)的方法逐漸成為主流，它們能夠自動學(xué)習(xí)圖像中的復(fù)雜和抽象特征，從而提高道路檢測的精度和魯棒性。在自動駕駛領(lǐng)域，遙感圖像的道路檢測技術(shù)將繼續(xù)發(fā)揮重要作用，為自動駕駛汽車提供更可靠的道路信息。

2.2 障礙物檢測

障礙物檢測對于自動駕駛汽車的安全行駛至關(guān)重要。在遙感圖像中，道路障礙物檢測旨在提取道路區(qū)域和障礙物區(qū)域，從而獲取障礙物的位置、形狀、大小等信息。道路障礙物檢測方法主要可分為兩類：基于圖像的方法和基于激光雷達(dá)的方法。

基于圖像的方法利用遙感圖像中道路和障礙物的顏色、紋理、邊緣等特征進(jìn)行分類、分割或檢測，常用技術(shù)包括機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和圖像處理等；基于激光雷達(dá)的方法則使用激光雷達(dá)獲取的距離信息進(jìn)行障礙物檢測，常用技術(shù)包括點(diǎn)云處理、聚類和分割等[7]。

這2 類方法各有優(yōu)缺點(diǎn)，因此，一些研究提出了將圖像和激光雷達(dá)數(shù)據(jù)進(jìn)行融合的方法，以提高檢測的準(zhǔn)確性和魯棒性。唐祥燕[8]提出了一種圖像和激光雷達(dá)數(shù)據(jù)融合的方法，實現(xiàn)對道路和障礙物的有效檢測，如圖2 所示。首先，利用支持向量機(jī)對圖像進(jìn)行道路區(qū)域分類，結(jié)合激光雷達(dá)數(shù)據(jù)提取路面直線，實現(xiàn)自主學(xué)習(xí)和分類；接下來，分別使用圖像和激光雷達(dá)數(shù)據(jù)進(jìn)行障礙物檢測，并將2 種結(jié)果相互驗證，降低漏檢率。

總之，通過結(jié)合圖像和激光雷達(dá)數(shù)據(jù)，可以更有效地檢測遙感圖像中的道路障礙物，為自動駕駛汽車提供更準(zhǔn)確和魯棒的環(huán)境感知信息。

2.3 環(huán)境感知和地圖創(chuàng)建

環(huán)境感知對于自動駕駛汽車來說是理解周圍環(huán)境的關(guān)鍵要素。遙感圖像提供了豐富的地表信息，對于環(huán)境感知和地圖創(chuàng)建具有重要意義。環(huán)境感知是指利用遙感圖像來識別和分析地表要素（如道路、建筑物、植被、水體等）和環(huán)境屬性（如溫度、濕度、污染程度等），以及其變化情況。環(huán)境感知可以采用傳統(tǒng)的機(jī)器學(xué)習(xí)方法（如支持向量機(jī)、隨機(jī)森林、神經(jīng)網(wǎng)絡(luò)等）或深度學(xué)習(xí)方法（如卷積神經(jīng)網(wǎng)絡(luò)、對抗神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等），結(jié)合多源多時相的遙感圖像，實現(xiàn)對環(huán)境的精細(xì)化和動態(tài)化的感知。

地圖創(chuàng)建則是指利用遙感圖像生成二維或三維地圖產(chǎn)品，包括數(shù)字高程模型（Digital Elevation Model，DEM）、數(shù)字表面模型（Digital Surface Model，DSM）、文檔對象模型（Document Object Model，DOM）、數(shù)字線劃圖（Digital Line Graph，DLG）等。例如，圖3 展示了高德地圖提供的中山大學(xué)南校園的二維地圖。地圖創(chuàng)建可以采用傳統(tǒng)的攝影測量方法（如空三法、空間后方交會法等）或新興的傾斜攝影測量方法（如結(jié)構(gòu)光法、雙目視覺法等），結(jié)合多視角多分辨率的遙感圖像，實現(xiàn)地形地貌和地物特征的真實和立體表達(dá)[9]。

綜上所述，遙感圖像是一種重要的環(huán)境感知和地圖創(chuàng)建數(shù)據(jù)源，具有廣闊的應(yīng)用前景。隨著遙感技術(shù)和人工智能技術(shù)的發(fā)展，未來將出現(xiàn)更高效、更智能、更精準(zhǔn)的環(huán)境感知和地圖創(chuàng)建方法。

2.4 車輛定位與導(dǎo)航

遙感圖像在車輛定位與導(dǎo)航領(lǐng)域的應(yīng)用是一個熱門研究方向，主要利用地物信息和道路紋理信息輔助車輛確定位置和航向。定位與導(dǎo)航方法可分為基于特征點(diǎn)匹配和基于語義信息的方法。

基于特征點(diǎn)匹配的方法通過特征點(diǎn)（如角點(diǎn)、邊緣點(diǎn)等）尋找模板圖像與源圖像的對應(yīng)關(guān)系，計算模板圖像在源圖像中的位置和方向[10]，其優(yōu)點(diǎn)是簡單直觀且能實現(xiàn)精確配準(zhǔn)，但計算量大，誤匹配多且對遙感圖像質(zhì)量要求高。基于語義信息的方法利用地物類別和道路網(wǎng)絡(luò)等信息輔助定位與導(dǎo)航[11]，其優(yōu)點(diǎn)是克服特征點(diǎn)匹配方法的局限性，如異源、異時相圖像定位以及復(fù)雜環(huán)境下的魯棒性，但需解決語義分割、相似度衡量和精確配準(zhǔn)等難題。目前，基于語義信息的方法已取得一定進(jìn)展。例如，一種基于語義信息的兩步式遙感圖像定位算法[12]，先利用深度學(xué)習(xí)進(jìn)行語義分割，再根據(jù)道路紋理圖進(jìn)行預(yù)定位，最后通過特征點(diǎn)匹配進(jìn)行精確配準(zhǔn)。該算法有效提高了定位與導(dǎo)航的效率和精度。

遙感圖像在車輛定位與導(dǎo)航中的應(yīng)用仍有巨大的發(fā)展空間和潛力，需進(jìn)一步對語義理解、相似度計算和融合策略等方面進(jìn)行研究，以提高性能和可靠性。

3 遙感圖像在自動駕駛中的挑戰(zhàn)和限制

3.1 數(shù)據(jù)量和實時性要求

在自動駕駛中，遙感圖像面臨著一些挑戰(zhàn)和限制，其中一個主要挑戰(zhàn)是數(shù)據(jù)量和實時性要求。遙感圖像通常具有較大的數(shù)據(jù)量，這對于自動駕駛汽車的數(shù)據(jù)處理和傳輸提出了挑戰(zhàn)。處理大規(guī)模的遙感圖像需要高效的算法和硬件資源來保證處理速度和實時性，該實時性是自動駕駛汽車的關(guān)鍵要求，自動駕駛系統(tǒng)需要能夠及時地感知和理解周圍環(huán)境，從而做出準(zhǔn)確的決策和控制動作。因此，遙感圖像的處理和傳輸需要具備高效率和低延遲的特點(diǎn)，以滿足自動駕駛汽車的實時性要求。此外，遙感圖像獲取的周期性限制了其在自動駕駛中的實時應(yīng)用，傳統(tǒng)的遙感圖像獲取通常是周期性進(jìn)行的，這種周期性獲取使得遙感圖像在實時應(yīng)用中的更新速度受到限制，因此需要探索更快速的遙感圖像獲取方法，以提高自動駕駛系統(tǒng)對環(huán)境變化的感知和響應(yīng)能力。

3.2 遙感圖像質(zhì)量和分辨率的限制

在自動駕駛中，遙感圖像的質(zhì)量和分辨率是另一個重要的挑戰(zhàn)和限制。遙感圖像的質(zhì)量和分辨率直接影響其在自動駕駛中的應(yīng)用效果。光學(xué)遙感圖像容易受到光照和天氣條件的影響，導(dǎo)致圖像質(zhì)量下降或無法獲取清晰的圖像信息；而雷達(dá)遙感圖像的分辨率相對較低，無法提供足夠詳細(xì)的環(huán)境信息，特別是對于小尺寸的障礙物或細(xì)節(jié)。解決這些問題的關(guān)鍵集中在提高遙感圖像的質(zhì)量和分辨率上。通過使用多模態(tài)傳感器融合的方法，將光學(xué)圖像與其他傳感器的數(shù)據(jù)相結(jié)合，提高環(huán)境感知的準(zhǔn)確性和魯棒性。

綜上所述，遙感圖像的質(zhì)量和分辨率限制了其在自動駕駛中的應(yīng)用效果。通過研究和應(yīng)用新的技術(shù)和方法，可提高遙感圖像的質(zhì)量和分辨率，以實現(xiàn)更精確的環(huán)境感知和車輛定位。

3.3 光照和天氣條件的影響

在自動駕駛中，光照和天氣條件對遙感圖像質(zhì)量和可用性具有重要影響，特別是光學(xué)遙感圖像在低光照或惡劣天氣條件下的性能較差。這些因素可能導(dǎo)致圖像質(zhì)量下降，細(xì)節(jié)丟失或難以提取有效信息。光照和天氣條件的變化對于自動駕駛系統(tǒng)的環(huán)境感知和決策制定具有挑戰(zhàn)性。在強(qiáng)烈的陽光照射下，圖像可能出現(xiàn)過曝或陰影問題，使得障礙物檢測和車道識別變得困難。在惡劣天氣條件下，圖像可能被雨滴、雪花或霧氣等遮擋，導(dǎo)致環(huán)境信息不完整或失真。為克服這些影響，可采用多傳感器融合的方法，將光學(xué)遙感圖像與其他傳感器數(shù)據(jù)相結(jié)合。通過融合多個傳感器的信息，增強(qiáng)環(huán)境感知的魯棒性和可靠性，從而提高自動駕駛汽車在復(fù)雜光照和天氣條件下的性能。研究遙感圖像處理方法也是解決光照和天氣條件影響的關(guān)鍵，使用圖像增強(qiáng)算法來改善低光照條件下的圖像質(zhì)量。

綜上所述，光照和天氣條件對遙感圖像在自動駕駛汽車中的應(yīng)用會產(chǎn)生重要影響，可通過多傳感器融合和魯棒的圖像處理方法來克服光照和天氣條件帶來的挑戰(zhàn)，從而提高在復(fù)雜環(huán)境中自動駕駛汽車應(yīng)用的性能。

3.4 數(shù)據(jù)融合和決策融合方法的研究

在自動駕駛中，遙感圖像與其他傳感器數(shù)據(jù)的融合是一個重要的挑戰(zhàn)。自動駕駛汽車通常需要多種傳感器數(shù)據(jù)，如雷達(dá)、LiDAR、攝像頭等來獲取周圍環(huán)境信息，進(jìn)行環(huán)境感知和車輛定位。需要將這些不同傳感器數(shù)據(jù)進(jìn)行融合，提高環(huán)境感知的準(zhǔn)確性和魯棒性。數(shù)據(jù)融合的目標(biāo)是將不同傳感器的信息整合起來，形成一個更完整、更準(zhǔn)確的環(huán)境模型。遙感圖像在其中扮演著重要角色，通過將遙感圖像與其他傳感器數(shù)據(jù)相融合，來彌補(bǔ)各種傳感器之間的局限性，從而提供更全面的環(huán)境感知能力。在自動駕駛中，系統(tǒng)需要根據(jù)環(huán)境感知結(jié)果做出決策，而通過融合遙感圖像和其他傳感器數(shù)據(jù)，可提供更準(zhǔn)確可靠的決策依據(jù)，從而增強(qiáng)自動駕駛系統(tǒng)的安全性和性能。

4 結(jié)束語

本文綜述了遙感圖像在自動駕駛應(yīng)用中的道路檢測、障礙物檢測、環(huán)境感知、地圖創(chuàng)建和車輛定位與導(dǎo)航等方面的應(yīng)用，分析了其技術(shù)原理、方法及應(yīng)用潛力，并討論了其面對的挑戰(zhàn)和限制，如數(shù)據(jù)量、實時性、圖像質(zhì)量、光照、天氣條件影響及數(shù)據(jù)融合與決策融合方法研究等。

本文旨在為自動駕駛領(lǐng)域的研究者和工程師提供遙感圖像在自動駕駛應(yīng)用的全面概述，期望推動技術(shù)發(fā)展及遙感圖像在該領(lǐng)域的廣泛應(yīng)用。對于遙感圖像在自動駕駛領(lǐng)域的未來研究方向為：

（1）高效處理數(shù)據(jù)量，提高實時性：隨著自動駕駛技術(shù)的發(fā)展，遙感圖像的數(shù)據(jù)量將會不斷增加，同時對實時性的要求也越來越高。未來的研究將集中在如何有效地處理大規(guī)模遙感圖像數(shù)據(jù)量，并且實現(xiàn)實時的分析和決策；

（2）增強(qiáng)遙感圖像質(zhì)量，提高分辨率：遙感圖像的質(zhì)量和分辨率對于自動駕駛系統(tǒng)的準(zhǔn)確性和可靠性至關(guān)重要。未來的研究將致力于增強(qiáng)遙感圖像的質(zhì)量，提高分辨率，通過使用更先進(jìn)的傳感器技術(shù)來改善圖像質(zhì)量；

（3）利用先進(jìn)的技術(shù)來應(yīng)對光照和天氣條件的變化：光照和天氣條件對遙感圖像的獲取和解析都會產(chǎn)生影響，尤其是在復(fù)雜的道路環(huán)境下。未來的研究將探索如何利用先進(jìn)的技術(shù)來應(yīng)對光照和天氣條件的變化，以提高自動駕駛系統(tǒng)的魯棒性和適應(yīng)性；

（4）增強(qiáng)數(shù)據(jù)融合效果，開發(fā)有效的決策融合方法：自動駕駛需要綜合多種傳感器數(shù)據(jù)進(jìn)行決策。未來的研究將著重于增強(qiáng)數(shù)據(jù)融合效果，開發(fā)更有效的決策融合方法，以提高自動駕駛系統(tǒng)的感知能力和決策準(zhǔn)確性。