仇曉蘭 焦?jié)衫?彭凌霄 陳健堃 郭嘉逸 周良將 陳龍永 丁赤飚* 徐 豐 董秋雷 呂守業(yè)

①(微波成像技術(shù)國(guó)家級(jí)重點(diǎn)實(shí)驗(yàn)室 北京 100190)

②(中國(guó)科學(xué)院空天信息創(chuàng)新研究院 北京 100190)

③(蘇州空天信息研究院 蘇州 215123)

④(復(fù)旦大學(xué) 上海 200433)

⑤(中國(guó)科學(xué)院自動(dòng)化研究所 北京 100190)

⑥(北京市遙感信息研究所 北京 100192)

1 引言

三維成像是合成孔徑雷達(dá)(Synthetic Aperture Radar,SAR)技術(shù)發(fā)展的重要前沿方向之一。SAR三維成像可以直接獲得目標(biāo)的三維電磁散射結(jié)構(gòu)，消除SAR圖像中由成像機(jī)理導(dǎo)致的收縮、疊掩、頂?shù)椎怪玫痊F(xiàn)象，顯著提升目標(biāo)識(shí)別和解譯能力，對(duì)全天時(shí)/全天候的三維環(huán)境構(gòu)建、陡峭地形和城市測(cè)繪、目標(biāo)精細(xì)化解譯和災(zāi)害評(píng)估等具有重要意義。

目前國(guó)內(nèi)外提出并開(kāi)展研究的SAR三維成像技術(shù)體制，主要包括單通道層析成像和多通道陣列干涉，其能獲得多角度觀測(cè)信息來(lái)供三維成像使用。然而，目前即便是采用稀疏成像等處理方法，通常仍然需要數(shù)十次層析飛行或十余個(gè)天線(xiàn)陣列單元，數(shù)據(jù)采集周期長(zhǎng)或雷達(dá)系統(tǒng)極其復(fù)雜，對(duì)于星載SAR的控軌要求和機(jī)載SAR的航跡控制要求均非常高，大規(guī)模推廣應(yīng)用難度很大。因此，亟需創(chuàng)新SAR三維成像的理論方法，實(shí)現(xiàn)自動(dòng)化、高效能、低成本的SAR三維成像技術(shù)。

深入分析現(xiàn)有SAR三維成像處理技術(shù)，主要基于合成孔徑的理論框架，利用成像觀測(cè)的精確物理幾何模型對(duì)雷達(dá)回波進(jìn)行數(shù)學(xué)建模，基于“雙/多角度”觀測(cè)圖像的像素點(diǎn)匹配、相干合成或幾何求解來(lái)獲得三維信息。在三維成像時(shí)僅利用了該像素點(diǎn)多角度圖像的角度維信息，而并未利用該像素所在二維圖像中所包含的物體結(jié)構(gòu)、屬性以及該像素的散射機(jī)制信息。

實(shí)際上，單幅二維SAR圖像已經(jīng)蘊(yùn)含了環(huán)境與目標(biāo)的結(jié)構(gòu)、紋理、遮擋關(guān)系等許多可被三維空間認(rèn)知利用的空間線(xiàn)索，如，經(jīng)過(guò)一定訓(xùn)練的判讀人員都可以通過(guò)觀測(cè)二維圖像，在腦海中形成粗略的“三維影像”；SAR回波的散射機(jī)制蘊(yùn)含著目標(biāo)的三維結(jié)構(gòu)線(xiàn)索，通過(guò)角度/頻率/極化等維度的散射機(jī)制分析，也可以挖掘出目標(biāo)三維結(jié)構(gòu)的一些信息。

為此，中國(guó)科學(xué)院空天信息創(chuàng)新研究院(下簡(jiǎn)稱(chēng)“中科院空天院”)牽頭，聯(lián)合復(fù)旦大學(xué)等單位，提出了一個(gè)新的研究思路：能否將雷達(dá)回波和二維圖像中隱含的三維線(xiàn)索，通過(guò)微波散射機(jī)制(微波)和圖像視覺(jué)語(yǔ)義(視覺(jué))挖掘的方法加以提取，并引入到傳統(tǒng)的SAR成像方法中，從而降低所需多角度觀測(cè)的數(shù)據(jù)量，實(shí)現(xiàn)高效的三維成像，發(fā)展出全新的“SAR微波視覺(jué)三維成像理論與方法”。隨后，中科院空天院、復(fù)旦大學(xué)與中科院自動(dòng)化所、北京大學(xué)、北京市遙感信息研究所等單位一起進(jìn)行了充分的論證，并向國(guó)家自然科學(xué)基金委員會(huì)提出了建議和申請(qǐng)，獲得了國(guó)家自然科學(xué)基金重大項(xiàng)目的支持。在該項(xiàng)目支持下，在SAR微波視覺(jué)三維成像理論方法研究的同時(shí)，還擬研制一套小型化無(wú)人機(jī)載一發(fā)四收全極化SAR，稱(chēng)為微波視覺(jué)三維SAR驗(yàn)證系統(tǒng)(MV3DSAR)，進(jìn)行數(shù)據(jù)獲取和技術(shù)驗(yàn)證，并擬構(gòu)建和公開(kāi)發(fā)布一套典型場(chǎng)景和目標(biāo)的SAR微波視覺(jué)三維成像數(shù)據(jù)集，為該領(lǐng)域的研究提供必要的基礎(chǔ)平臺(tái)，也為理論方法的應(yīng)用轉(zhuǎn)化提供測(cè)試數(shù)據(jù)。

本文第2小節(jié)給出SAR微波視覺(jué)三維成像數(shù)據(jù)集的構(gòu)建規(guī)劃；第3小節(jié)給出數(shù)據(jù)集中包含的SAR圖像建筑物語(yǔ)義分割數(shù)據(jù)集1.0版本的的構(gòu)建方法和數(shù)據(jù)信息內(nèi)容；第4小結(jié)給出數(shù)據(jù)集中包含的SAR三維成像數(shù)據(jù)集1.0版本的構(gòu)建方法、實(shí)驗(yàn)結(jié)果和包含的數(shù)據(jù)信息內(nèi)容；第5小節(jié)總結(jié)全文。

2 SARMV3D數(shù)據(jù)集構(gòu)建與發(fā)布

SAR微波視覺(jué)三維成像理論方法的研究涉及三維電磁散射機(jī)理及微波視覺(jué)信息感知逆問(wèn)題、SAR圖像視覺(jué)三維認(rèn)知理論與方法、基于微波視覺(jué)的SAR三維成像理論與方法3個(gè)關(guān)鍵科學(xué)問(wèn)題。為了促進(jìn)各個(gè)科學(xué)問(wèn)題的研究，SARMV3D數(shù)據(jù)集構(gòu)成如圖1所示。

圖1 SARMV3D數(shù)據(jù)集構(gòu)成示意圖Fig.1 Composition of SARMV3D dataset

圖2 建筑物語(yǔ)義分割數(shù)據(jù)集構(gòu)成示意圖Fig.2 Composition of SARMV3D-BIS dataset

SARMV3D數(shù)據(jù)集包括三維電磁散射機(jī)制研究和SAR圖像視覺(jué)三維認(rèn)知研究?jī)蓚€(gè)輔助數(shù)據(jù)集和一個(gè)基于微波視覺(jué)的SAR三維成像研究綜合數(shù)據(jù)集。其中：

(1) 三維電磁散射機(jī)制研究數(shù)據(jù)集，主要用于研究和驗(yàn)證典型散射機(jī)制及散射機(jī)制組合的電磁建模、表征、三維特征參數(shù)反演估計(jì)的正確性，包括典型散射機(jī)制及其組合的仿真、暗室測(cè)量和外場(chǎng)測(cè)量數(shù)據(jù)等，主要由復(fù)旦大學(xué)負(fù)責(zé)構(gòu)建；

(2) SAR圖像視覺(jué)三維認(rèn)知研究數(shù)據(jù)集，主要用于研究和驗(yàn)證從SAR圖像中挖掘和識(shí)別三維基元、三維結(jié)構(gòu)和三維目標(biāo)方法的有效性和正確性，包括高分辨率SAR圖像以及典型建筑等目標(biāo)和典型結(jié)構(gòu)基元的標(biāo)注結(jié)果，主要由中科院空天院和自動(dòng)化所負(fù)責(zé)構(gòu)建；

(3) 基于微波視覺(jué)的SAR三維成像數(shù)據(jù)集，是最主要的綜合數(shù)據(jù)集，包括城鎮(zhèn)場(chǎng)景、復(fù)雜地形、典型目標(biāo)3個(gè)主要的類(lèi)型，每個(gè)類(lèi)型將包括SAR層析或陣列干涉獲得的單視復(fù)圖像(SLC)、相關(guān)的成像參數(shù)文件、光學(xué)攝影等獲得的三維建模數(shù)據(jù)以及激光雷達(dá)獲得的高精度三維點(diǎn)云數(shù)據(jù)，主要由中科院空天院牽頭進(jìn)行構(gòu)建。

現(xiàn)階段，MV3DSAR正在研制過(guò)程中，預(yù)計(jì)2021年年底完成，待系統(tǒng)研制完成后，將進(jìn)行大量的數(shù)據(jù)采集工作，以完成數(shù)據(jù)集構(gòu)建。目前，為了推進(jìn)SAR微波視覺(jué)三維成像理論方法的研究，作者基于中科院空天院的陣列干涉SAR實(shí)驗(yàn)系統(tǒng)獲取的數(shù)據(jù)，以及高分三號(hào)衛(wèi)星獲取的高分辨率SAR圖像數(shù)據(jù)，初步構(gòu)建SARMV3D的1.0版本。該版本包括了SAR微波視覺(jué)三維認(rèn)知研究數(shù)據(jù)集中典型建筑物語(yǔ)義分割數(shù)據(jù)集的1.0版本，以及基于微波視覺(jué)的SAR三維成像數(shù)據(jù)集中城鎮(zhèn)場(chǎng)景類(lèi)數(shù)據(jù)的1.0版本，見(jiàn)圖1中綠色背景部分，上述數(shù)據(jù)集已經(jīng)發(fā)布在《雷達(dá)學(xué)報(bào)》網(wǎng)站上，具體鏈接見(jiàn)附錄。下面兩個(gè)小節(jié)將分別進(jìn)行介紹。

3 SAR建筑物語(yǔ)義分割數(shù)據(jù)集

高樓林立的建筑區(qū)域場(chǎng)景是SAR三維成像的一個(gè)重要應(yīng)用場(chǎng)景，一方面通過(guò)三維成像消除建筑物之間及其與地面目標(biāo)之間的疊掩，有利于場(chǎng)景的理解與目標(biāo)的發(fā)現(xiàn)和識(shí)別，另一方面三維成像與時(shí)序干涉相結(jié)合，有利于建筑區(qū)域的形變監(jiān)測(cè)。為此，在數(shù)據(jù)集構(gòu)建方面，將城鎮(zhèn)場(chǎng)景作為一類(lèi)典型場(chǎng)景，將建筑物作為一類(lèi)典型研究對(duì)象開(kāi)展研究。本文SAR建筑物實(shí)例語(yǔ)義分割數(shù)據(jù)集(Synthetic Aperture Radar Microwave Vision 3D Imaging -Building Instance Segmentation Dataset，簡(jiǎn)稱(chēng)SARMV3D-BIS)與現(xiàn)有一些遙感圖像建筑物分割數(shù)據(jù)集，如光學(xué)遙感圖像建筑物分割數(shù)據(jù)集Inria Aerial Image[1],WHU building dataset[2]等，以及目前僅有的包含SAR圖像建筑物分割的數(shù)據(jù)集SpaceNet[3]，有如下幾點(diǎn)顯著區(qū)別：(1)本數(shù)據(jù)集面向SAR微波視覺(jué)三維成像，對(duì)建筑物的語(yǔ)義標(biāo)注更加精細(xì)，每個(gè)建筑物都標(biāo)注了建筑物的立面、屋頂和陰影3個(gè)部分，并且進(jìn)行了實(shí)例標(biāo)注；(2)本數(shù)據(jù)集基于單視復(fù)圖像數(shù)據(jù)進(jìn)行標(biāo)注，從而能夠與三維成像更好結(jié)合，也有利于散射特性的挖掘和SAR圖像三維認(rèn)知方法研究。

3.1 數(shù)據(jù)集構(gòu)成

本文1.0版本的面向微波視覺(jué)三維成像的SAR建筑物語(yǔ)義分割數(shù)據(jù)集的構(gòu)成如表1所示。

表1 SAR建筑物語(yǔ)義分割數(shù)據(jù)集構(gòu)成Tab.1 Composition of SARMV3D-BIS dataset

該數(shù)據(jù)集的原始SAR圖像來(lái)自GF-3聚束模式的美國(guó)奧馬哈市地區(qū)圖像。現(xiàn)階段選擇這個(gè)區(qū)域進(jìn)行數(shù)據(jù)集構(gòu)建主要基于如下考慮：奧馬哈地區(qū)為2019年IEEE GRSS Data Fusion大場(chǎng)景三維重建比賽[4]的選定區(qū)域，該區(qū)域建筑類(lèi)型豐富，并具有大量的Worldview的光學(xué)影像；本團(tuán)隊(duì)購(gòu)買(mǎi)了該地區(qū)的Worldview光學(xué)立體像對(duì)和生成的高精度數(shù)字地表模型(Digitul Surface Model,DSM)，并申請(qǐng)了GF-3衛(wèi)星該地區(qū)的影像14景用于數(shù)據(jù)集制作。在數(shù)據(jù)集后續(xù)版本中，將繼續(xù)增加其他典型建筑區(qū)域的數(shù)據(jù)。

3.2 數(shù)據(jù)集構(gòu)建方法

本數(shù)據(jù)集構(gòu)建的難點(diǎn)在于建筑物的實(shí)例分割和每棟建筑物立面、屋頂、陰影的精細(xì)化語(yǔ)義標(biāo)注。由于SAR成像幾何和散射機(jī)制的復(fù)雜性，建筑區(qū)域的SAR圖像人工解譯也具有相當(dāng)大的難度，即使請(qǐng)有經(jīng)驗(yàn)的判讀員也很難人工準(zhǔn)確標(biāo)注出每個(gè)建筑和建筑的立面、屋頂和陰影。為此，課題組提出了基于三維模型仿真逆投影進(jìn)行標(biāo)注的系統(tǒng)性流程和方法，方法流程如圖3所示。首先進(jìn)行建筑區(qū)域場(chǎng)景三維模型的構(gòu)建；然后根據(jù)每景影像的SAR成像參數(shù)和帶地理信息的三維模型數(shù)據(jù)進(jìn)行SAR成像投影幾何關(guān)系的計(jì)算，得到陰影、屋頂、建筑立面在SAR一級(jí)圖像上的投影范圍，并根據(jù)每個(gè)像素對(duì)應(yīng)的來(lái)自不同部分的散射貢獻(xiàn)數(shù)量，得到疊掩次數(shù)圖；最后對(duì)SAR圖像及其對(duì)應(yīng)的Mask圖和疊掩次數(shù)圖進(jìn)行標(biāo)準(zhǔn)化裁切，并按照既定的格式生成標(biāo)注文件，從而形成了符合規(guī)范的數(shù)據(jù)集。下面詳細(xì)介紹每個(gè)步驟的處理方法。

圖3 數(shù)據(jù)集構(gòu)建流程圖Fig.3 Flow chart of construction of SARMV3D-BIS dataset

3.2.1 建筑區(qū)域場(chǎng)景三維模型構(gòu)建

首先通過(guò)開(kāi)源網(wǎng)絡(luò)資源獲取建筑區(qū)域的建筑足印地圖。課題組基于openstreetmap.org網(wǎng)站提供街道地圖數(shù)據(jù)的下載服務(wù)，選擇目標(biāo)區(qū)域范圍和輸出格式后，即可下載該區(qū)域的公開(kāi)地圖(Open Street Map,OSM)數(shù)據(jù)，包括了路網(wǎng)、建筑、路燈、公共區(qū)域等多類(lèi)信息，本團(tuán)隊(duì)根據(jù)信息類(lèi)型提取其中的建筑足印信息，提取后的建筑足跡信息可視化結(jié)果如圖4所示。在具體構(gòu)建過(guò)程中，本團(tuán)隊(duì)以geojson格式存儲(chǔ)該足印信息，并將該足印信息與該區(qū)域的參考高精度DSM進(jìn)行對(duì)齊。由于兩個(gè)數(shù)據(jù)的經(jīng)緯度均具有較高的精度，通過(guò)人工尋找特征結(jié)構(gòu)能夠很好地實(shí)現(xiàn)對(duì)齊。然后根據(jù)對(duì)齊后每個(gè)建筑足印中心的經(jīng)緯度直接提取該位置對(duì)應(yīng)DSM中的高度值作為建筑物高度，從而相當(dāng)于形成了建筑物的LOD1模型，無(wú)建筑物足印的部分高度直接取DSM中對(duì)應(yīng)的高度。

圖4 建筑足跡信息提取Fig.4 Extraction of building footprint

3.2.2 SAR圖像建筑物實(shí)例語(yǔ)義標(biāo)注方法

通過(guò)上述步驟獲取含建筑物L(fēng)OD1模型的DSM數(shù)據(jù)后，需要將其投影至SAR圖像以確定建筑不同面的投影范圍。此處采用SAR圖像產(chǎn)品自帶的RPC(Rational Polynomial Coefficients)參數(shù)進(jìn)行處理。由于SAR圖像定位存在一定的誤差，上述DSM數(shù)據(jù)也存在一定的定位誤差。為了保證投影后能夠?qū)?zhǔn)，首先根據(jù)上述DSM數(shù)據(jù)及其對(duì)應(yīng)的高分辨率光學(xué)影像數(shù)據(jù)，尋找SAR和光學(xué)均可見(jiàn)的特征點(diǎn)(如路燈燈柱等)作為控制點(diǎn)，根據(jù)這些點(diǎn)在DSM數(shù)據(jù)上獲取的經(jīng)緯高信息，修正SAR圖像的RPC參數(shù)?；谛拚蟮腞PC參數(shù)，就可得到大地坐標(biāo)(Lat,Lon,H)和影像坐標(biāo)(rl,rs)之間的對(duì)應(yīng)關(guān)系，相關(guān)計(jì)算方法在SAR領(lǐng)域已相當(dāng)成熟，可參考文獻(xiàn)[5,6]等，在此不再贅述。

明確了投影計(jì)算關(guān)系后，還需確定能被雷達(dá)波照射和不能被雷達(dá)波照射的相交關(guān)系才能確定陰影等的范圍，下面給出具體的計(jì)算步驟與方法。

(1) 屋頂：首先確定建筑物屋頂在SAR 1級(jí)圖像中的投影范圍。根據(jù)建筑物足印信息中存儲(chǔ)的建筑物屋頂多邊形角點(diǎn)的經(jīng)緯度以及在DSM中獲取的高度，利用RPC參數(shù)可直接計(jì)算得到這些多邊形角點(diǎn)在1級(jí)圖像中的像素號(hào)，從而可連接形成一個(gè)在1級(jí)圖像中的封閉區(qū)域，如圖5所示。通過(guò)判斷每條邊所在的像素在相同方位向的近距是否有其他邊存在，可以判斷該邊所對(duì)應(yīng)的立面能否被雷達(dá)波照射到。圖5中AB和BC的立面能被照射到，而CD,D E,E F和F A所在的立面則無(wú)法被照射到。

圖5 建筑物屋頂區(qū)域示意圖Fig.5 Schematic diagram of building roof

(2) 建筑立面：根據(jù)上文的判斷規(guī)則，對(duì)能夠照射到的立面，計(jì)算建筑立面的投影區(qū)域。方法是對(duì)該立面在足印中對(duì)應(yīng)邊的頂點(diǎn)的經(jīng)度緯度和所在地面高度以及所在屋頂高度組成的4個(gè)點(diǎn)，利用RPC參數(shù)，求得其在1級(jí)圖像中對(duì)應(yīng)的像素點(diǎn)，形成立面區(qū)域，如圖6(a)中AA′B′B,BB′C′C所示，在斜距軸上，立面為圖6(b)中的藍(lán)色區(qū)域，屋頂為黃色部分，黑色點(diǎn)為墻面與地面二次散射的匯聚點(diǎn)。由圖6可見(jiàn)，立面和屋頂?shù)耐队胺秶怯兄丿B的，在本數(shù)據(jù)集的標(biāo)注json文件中，完整記錄了屋頂、立面每個(gè)區(qū)域的信息，但在Mask圖像中，屋頂和立面重疊的部分取的是屋頂?shù)臉?biāo)簽。

圖6 SAR圖像中建筑物立面投影示意圖Fig.6 Projection of building elevation

(3) 建筑陰影：建筑陰影區(qū)域的計(jì)算相對(duì)復(fù)雜一些，首先根據(jù)屋頂投影時(shí)確定的未被雷達(dá)波照射的邊來(lái)確定陰影的邊界。例如對(duì)于FA這條雷達(dá)波無(wú)法照射到的邊，先對(duì)A點(diǎn)和F點(diǎn)求關(guān)于地面的等效鏡像點(diǎn)也即A點(diǎn)的經(jīng)度緯度高度為[P,L,hg+hA]，其中hg為建筑區(qū)域周邊的地面高度，hA為建筑物屋頂相對(duì)于地面的高度，為當(dāng)?shù)氐娜肷浣牵蝗缓髮?duì)利用RPC參數(shù)求得其在SAR 1級(jí)圖像中的投影位置，如圖7的A′′所示；從圖7中可見(jiàn)與SAR的距離和陰影邊界A′′與SAR的距離是一樣的，因此可以采用該等效鏡像點(diǎn)的投影計(jì)算得到陰影邊界；同理，可計(jì)算得到F′′,E′′,D′′,C′′，從而AFEDCC′′D′′E′′F′′A′′形成了建筑陰影的外邊界，如圖8所示；將該范圍除去屋頂頂面和建筑立面投影范圍的交集，就是最終的陰影范圍。

圖7 等效鏡像點(diǎn)示意圖Fig.7 Schematic diagram of equivalent mirror point

圖8 SAR圖像中建筑物陰影投影示意圖Fig.8 Projection of building shadow in SAR image

上述解釋了單個(gè)建筑的投影范圍計(jì)算方法，對(duì)于建筑物與建筑物之間離得比較遠(yuǎn)，沒(méi)有復(fù)雜疊掩和遮擋關(guān)系的情況，就可以根據(jù)上述投影結(jié)果進(jìn)行語(yǔ)義分割標(biāo)注。然而，對(duì)于建筑物與建筑物之間離得比較近的情況，還需額外考慮相互之間的影響關(guān)系，判斷的方法如下：

(1) 首先，根據(jù)建筑物足印多邊形在地面上的位置和高度信息，得到其在SAR 1級(jí)圖像的投影，如圖9中的藍(lán)色圖像多邊形所示，并根據(jù)投影多邊形的斜距大小，判斷哪個(gè)建筑在前、哪個(gè)建筑在后。

圖9 SAR圖像中多個(gè)建筑物的投影示意圖Fig.9 Projection of multiple buildings in SAR image

(2) 其次，采用上述屋頂、立面和陰影范圍的計(jì)算方法，得到每個(gè)建筑的屋頂、立面和陰影在1級(jí)圖像中的范圍；從而對(duì)于該SAR圖像的每個(gè)像素，都可以得到其對(duì)應(yīng)的語(yǔ)義屬性，對(duì)于那些存在復(fù)雜疊掩和遮擋關(guān)系的地區(qū)，每個(gè)像素都存在多個(gè)屬性。

(3) 對(duì)標(biāo)注的語(yǔ)義根據(jù)遮擋關(guān)系進(jìn)行約簡(jiǎn)。如后一個(gè)建筑的立面或屋頂位于前一個(gè)建筑的陰影區(qū)域，如圖9(a)所示，則該區(qū)域?yàn)殛幱?，在Mask圖中標(biāo)識(shí)為陰影；如后一個(gè)建筑的立面或屋頂位于前一個(gè)建筑的立面和屋頂區(qū)域，如圖9(b)所示，則Mask圖中優(yōu)先標(biāo)識(shí)為立面，其次為屋頂；在標(biāo)注的JSON文件中則完整保留每個(gè)建筑實(shí)例的各個(gè)區(qū)域信息。

3.2.3 數(shù)據(jù)集標(biāo)注規(guī)范

基于上述方法，中科院空天院基于GF-3衛(wèi)星聚束模式數(shù)據(jù)構(gòu)建了SARMV3D-BIS 1.0版本。需要說(shuō)明的是，由于本數(shù)據(jù)集制作采用的建筑足印數(shù)據(jù)和Worldview獲取的DSM數(shù)據(jù)與SAR影像數(shù)據(jù)時(shí)不相同，因此難免存在標(biāo)注噪聲。本團(tuán)隊(duì)通過(guò)人工目視判讀進(jìn)行了一定的篩選剔除，并綜合考慮建筑物語(yǔ)義分割的難度和標(biāo)注的置信度，將數(shù)據(jù)集分成了困難(D)、中等(M)和簡(jiǎn)單(S) 3種不同難度的子數(shù)據(jù)集。其中，困難版包含尺寸為1024×1024大小的圖像1588張，涵蓋建筑實(shí)例4.8萬(wàn)余個(gè)，其中小型建筑比較多；中等版和簡(jiǎn)單版分別包含尺寸為1024×1024大小的圖像773張和234張，分別涵蓋建筑實(shí)例1.5萬(wàn)和6000余個(gè)。為了便于研究者基于相同的數(shù)據(jù)集進(jìn)行方法的比較，本團(tuán)隊(duì)按照6:2:2的比例，隨機(jī)分成了訓(xùn)練集、驗(yàn)證集和測(cè)試集，每個(gè)子集的標(biāo)注規(guī)范是完全一致的。SARMV3D-BIS 1.0數(shù)據(jù)集的構(gòu)成已在表1中明確，下面重點(diǎn)給出標(biāo)注JSON文件的信息格式。

為了與國(guó)際已有的圖像語(yǔ)義分割數(shù)據(jù)集保持一致，便于研究者應(yīng)用，本數(shù)據(jù)集的標(biāo)注JSON文件格式參考了微軟發(fā)布的MSCOCO數(shù)據(jù)集[7]。JSON文件包含的結(jié)構(gòu)體類(lèi)型有info,images和annotations 3種，info數(shù)組只有一組，在文件起始處描述文件整體的基本信息，而images數(shù)組、annotations數(shù)組的數(shù)量均等于圖像切片的數(shù)量，對(duì)每個(gè)圖像切片進(jìn)行分別描述。JSON文件的字段及含義如表2和表3所示。

表2 SARMV3D-BIS數(shù)據(jù)集的標(biāo)注文件Tab.2 Annotation file of SARMV3D-BIS dataset

表3 segmentation字段信息Tab.3 Information of ‘segmentation’ field

3.3 實(shí)驗(yàn)結(jié)果與分析

實(shí)例分割不僅要正確找到圖像中的目標(biāo)，還要對(duì)其進(jìn)行精確的語(yǔ)義分割，分割任務(wù)與檢測(cè)、分類(lèi)任務(wù)是同時(shí)進(jìn)行的。目前，計(jì)算機(jī)視覺(jué)中實(shí)現(xiàn)SOTA的實(shí)例分割神經(jīng)網(wǎng)絡(luò)主要有Mask RCNN[8],SOLOv2[9],Yolact[10]等。其中，Mask RCNN具有極高的實(shí)例分割性能和較好的泛化能力。Mask RCNN通過(guò)感興趣區(qū)域像素到像素的對(duì)齊(RoI Align)，保留真實(shí)確定的空間位置，很好地解決了感興趣區(qū)域池化(ROI Pooling)操作中兩次量化造成的區(qū)域不匹配的問(wèn)題，同時(shí)為每個(gè)感興趣區(qū)域增加一個(gè)和邊界框回歸平行的分支區(qū)預(yù)測(cè)目標(biāo)的掩膜，實(shí)現(xiàn)了掩碼預(yù)測(cè)和類(lèi)別預(yù)測(cè)的解耦。為此，本文選擇Mask RCNN來(lái)進(jìn)行本數(shù)據(jù)集的測(cè)試，驗(yàn)證數(shù)據(jù)集的可用性。

Mask RCNN能夠檢測(cè)SAR圖像中的建筑物，同時(shí)為每個(gè)建筑物實(shí)例生成高質(zhì)量的分割掩膜。由于當(dāng)前實(shí)例分割研究的主流方法均認(rèn)為一個(gè)實(shí)例中只有一個(gè)語(yǔ)義類(lèi)別，因此本團(tuán)隊(duì)將SARMV3D-BIS 1.0數(shù)據(jù)集中的疊掩和屋頂之和(不計(jì)陰影)作為SAR圖像建筑物的實(shí)例掩膜，使用Mask RCNN進(jìn)行初步實(shí)驗(yàn)，并給出該數(shù)據(jù)集的實(shí)例分割性能基準(zhǔn)。

Mask RCNN訓(xùn)練SARMV3D-BIS 1.0分為兩階段。第1階段為頭部訓(xùn)練，學(xué)習(xí)率為0.001，訓(xùn)練輪數(shù)為500，第2階段為對(duì)網(wǎng)絡(luò)所有層的微調(diào)，訓(xùn)練輪數(shù)為300，學(xué)習(xí)率為0.0001。實(shí)驗(yàn)平臺(tái)為pytorch 1.4，硬件為RTX 8000 GPU，以ResNet-101-FPN為骨干的Mask RCNN在SARMV3D-BIS 1.0數(shù)據(jù)集中的訓(xùn)練速度為3.3 fps。

Mask RCNN的損失函數(shù)[8]包括分類(lèi)損失、回歸損失和掩碼損失。使用Mask RCNN在SARMV3DBIS 1.0(S)上的訓(xùn)練過(guò)程中驗(yàn)證集損失變化曲線(xiàn)如圖10所示，最終的各類(lèi)實(shí)例分割損失[7]如表4所示。評(píng)價(jià)標(biāo)準(zhǔn)方面，采用均值平均精度(mAP)來(lái)衡量檢測(cè)及分割性能，實(shí)驗(yàn)結(jié)果如表5和表6所示，其中，第3列為MSCOCO評(píng)價(jià)標(biāo)準(zhǔn)[11]，評(píng)估在共10個(gè)不同的交并比(IoU)[0.5:0.05:0.95]下的平均mAP，第4列為Pascal VOC[12]評(píng)判標(biāo)準(zhǔn)，評(píng)測(cè)IoU在閾值為0.5下的mAP值，第5～8列為符合MSCOCO評(píng)價(jià)標(biāo)準(zhǔn)[11]中的其余幾項(xiàng)指標(biāo)。SARMV3D-BIS 1.0(S)數(shù)據(jù)集的建筑物實(shí)例分割結(jié)果如圖11所示。

圖10 使用Mask RCNN在SARMV3D-BIS 1.0(S)上的訓(xùn)練過(guò)程中驗(yàn)證集損失變化曲線(xiàn)Fig.10 Loss curve in the train process on the SARMV3D-BIS 1.0(S) validation set by using Mask RCNN

圖11 使用Mask RCNN在SARMV3D-BIS 1.0(S)驗(yàn)證集上的實(shí)例分割結(jié)果Fig.11 Results of instance segmentation on the SARMV3D-BIS 1.0(S) validation set by using Mask RCNN

表4 使用Mask RCNN在SARMV3D-BIS 1.0(S)驗(yàn)證集上的實(shí)例分割損失Tab.4 Loss of instance segmentation on the SARMV3D-BIS 1.0(S) validation set by using Mask RCNN

表5 使用Mask RCNN在SARMV3D-BIS 1.0(S)驗(yàn)證集上的檢測(cè)框mAPTab.5 mAP of bounding box on the SARMV3D-BIS 1.0(S) validation set by using Mask RCNN

表6 使用Mask RCNN在SARMV3D-BIS 1.0(S)驗(yàn)證集上的掩膜mAPTab.6 mAP of mask on the SARMV3D-BIS 1.0(S) validation set by using Mask RCNN

由結(jié)果可見(jiàn)，直接采用當(dāng)前SOTA方法進(jìn)行本數(shù)據(jù)集的實(shí)例分割達(dá)到的精度尚較低，與光學(xué)數(shù)據(jù)集分割精度指標(biāo)相比存在較大差距。原因是SAR圖像與光學(xué)圖像存在很大的差別，例如SAR圖像中建筑物輪廓往往不夠明顯，屋頂?shù)绕教贡砻娲蠖喑尸F(xiàn)弱散射，不易與地面區(qū)分。這說(shuō)明SAR圖像建筑物實(shí)例分割具有很大的挑戰(zhàn)性，還有很大的研究空間。SARMV3D-BIS 1.0作為首個(gè)公開(kāi)高精度標(biāo)注的SAR圖像建筑物實(shí)例分割數(shù)據(jù)集，能夠?yàn)楸绢I(lǐng)域研究提供良好的支撐，具有較高的可用性和研究?jī)r(jià)值。

4 SAR三維成像數(shù)據(jù)集

目前，國(guó)際上發(fā)布的可用于三維成像研究的數(shù)據(jù)集還非常少，僅有的是美國(guó)空軍實(shí)驗(yàn)室發(fā)布的GOTCHA數(shù)據(jù)集[13]。其為X波段圓跡SAR模式獲取目標(biāo)全方位角的觀測(cè)數(shù)據(jù)，并通過(guò)改變軌道高度獲取了8個(gè)不同俯仰角的觀測(cè)，所用的極化方式為全極化，帶寬640 MHz。該數(shù)據(jù)場(chǎng)景范圍為100 m×100 m左右，場(chǎng)景中的主要目標(biāo)為車(chē)輛，疊掩情況相對(duì)而言不是很?chē)?yán)重，如圖12所示。

圖12 GOTCHA數(shù)據(jù)集幅度圖像Fig.12 Amplitude image of GOTCHA dataset

2015年，中科院空天院成功研制了國(guó)際上第一部高分辨率分布式陣列干涉合成孔徑雷達(dá)三維成像實(shí)驗(yàn)系統(tǒng)[14]，該系統(tǒng)采用側(cè)視成像模式，天線(xiàn)等效相位中心沿交軌向分布，利用陣列天線(xiàn)結(jié)合MIMO技術(shù)，通過(guò)一次飛行獲取三維觀測(cè)數(shù)據(jù)，相干性好、時(shí)效性強(qiáng)，具備單次航過(guò)實(shí)現(xiàn)三維成像的能力，圖13為該陣列干涉SAR系統(tǒng)。

圖13 陣列SAR飛行平臺(tái)及天線(xiàn)Fig.13 Array InSAR

為促進(jìn)SAR三維成像領(lǐng)域的技術(shù)發(fā)展，中科院空天院基于該系統(tǒng)獲取的數(shù)據(jù)，首次于《雷達(dá)學(xué)報(bào)》網(wǎng)站上發(fā)布了機(jī)載陣列干涉SAR三維成像數(shù)據(jù)。

4.1 數(shù)據(jù)集信息

本文發(fā)布的1.0版本SARMV3D Imaging數(shù)據(jù)集，選用2015年和2019年陣列干涉SAR系統(tǒng)在山西運(yùn)城和四川峨眉山開(kāi)展飛行試驗(yàn)獲取數(shù)據(jù)中的部分?jǐn)?shù)據(jù)，數(shù)據(jù)信息如表7所示。數(shù)據(jù)集中兩個(gè)區(qū)域主要包含的地物均為疊掩較為嚴(yán)重的建筑物，如圖14和圖15所示。數(shù)據(jù)集的構(gòu)成如表8所示。

表8 SARMV3D Imaging數(shù)據(jù)集構(gòu)成Tab.8 Composition of SARMV3D Imaging dataset

圖14 運(yùn)城區(qū)域數(shù)據(jù)影像Fig.14 Data of Yuncheng area

圖15 峨眉山區(qū)域SAR圖像Fig.15 Data of mount Emei area

表7 SARMV3D Imaging數(shù)據(jù)集信息Tab.7 Information of SARMV3D Imaging dataset

4.2 數(shù)據(jù)集構(gòu)建方法

為了便于本領(lǐng)域研究人員應(yīng)用該數(shù)據(jù)集開(kāi)展研究，本團(tuán)隊(duì)對(duì)機(jī)載陣列干涉SAR數(shù)據(jù)進(jìn)行了一系列預(yù)處理，從而規(guī)避系統(tǒng)誤差帶來(lái)的影響。下面簡(jiǎn)要給出處理方法。

4.2.1 幅相誤差估計(jì)補(bǔ)償方法

受工藝水平等的限制，陣列天線(xiàn)多通道回波信號(hào)之間難免存在幅度和相位誤差，而由于SAR成像主要利用了多通道回波信號(hào)之間的相位關(guān)系，通道間的幅相誤差將會(huì)嚴(yán)重影響三維成像的質(zhì)量。圖16展示了通道間幅相誤差對(duì)于三維重建結(jié)果的影響。因此，通道間幅相誤差需要高精度的估計(jì)和補(bǔ)償。

圖16 幅相誤差補(bǔ)償前后的三維點(diǎn)云結(jié)果對(duì)比Fig.16 Comparison of 3D point cloud results

課題組采用基于定標(biāo)器估計(jì)和基于場(chǎng)景三維圖像熵優(yōu)化估計(jì)兩種方法相互驗(yàn)證的策略，獲取準(zhǔn)確可靠的幅相誤差估計(jì)結(jié)果來(lái)進(jìn)行補(bǔ)償。

首先基于場(chǎng)景中的定標(biāo)器的幅相誤差估計(jì)方法[15]，通過(guò)精確測(cè)量定標(biāo)器的三維位置結(jié)合飛行平臺(tái)的差分GPS信息，可以計(jì)算SAR圖像中定標(biāo)點(diǎn)的理想幅度與相位。通過(guò)比較定標(biāo)點(diǎn)的理想相位歷程和真實(shí)圖像相位，結(jié)合地面建筑結(jié)構(gòu)先驗(yàn)知識(shí)，可以迭代估計(jì)通道間幅相誤差。

定標(biāo)器數(shù)量非常有限，并且由于擺放誤差等原因，也存在一定的可靠性風(fēng)險(xiǎn)。為此課題組提出基于三維圖像熵約束的估計(jì)方法。假設(shè)不存在通道相位誤差的情況下，傳統(tǒng)的層析SAR三維成像模型如式(1)所示：

如果考慮到通道間的相位誤差，則上述表達(dá)式轉(zhuǎn)化為

其中，δ1,δ2,···,δN為每個(gè)通道的相位誤差，如以第1個(gè)通道為基準(zhǔn)，則存在N–1個(gè)未知量。針對(duì)上述模型，本團(tuán)隊(duì)提出以重建三維點(diǎn)云的三維圖像熵為優(yōu)化準(zhǔn)則的相位誤差估計(jì)方法，以式(3)中的相位誤差δ作為待優(yōu)化變量，在重建三維模型的同時(shí)對(duì)通道間的相位誤差進(jìn)行了估計(jì)補(bǔ)償，具體實(shí)現(xiàn)方法可參考團(tuán)隊(duì)前期工作[16]。

圖17展示了本方法對(duì)整幅圖像分塊處理后10個(gè)區(qū)域估計(jì)的結(jié)果，可見(jiàn)估計(jì)得到的通道間相位誤差基本一致，側(cè)面說(shuō)明了估計(jì)的可靠性；其中有1個(gè)區(qū)域的誤差估計(jì)結(jié)果與整體結(jié)果有些偏差，經(jīng)檢驗(yàn)該區(qū)域?qū)?yīng)圖像為水體，信噪比較低，因此應(yīng)用時(shí)將其剔除。圖18給出了基于三維圖像熵估計(jì)的相位誤差平均結(jié)果和基于定標(biāo)點(diǎn)估計(jì)結(jié)果差值的曲線(xiàn)，去除因采用參考高程不一致帶來(lái)的線(xiàn)性偏差后，兩者的差異在8°以?xún)?nèi)，驗(yàn)證了兩種估計(jì)方法的可靠性。

圖17 通道間相位誤差估計(jì)結(jié)果Fig.17 Results of phase error estimation between channels

圖18 兩種相位估計(jì)結(jié)果的比較Fig.18 Comparison results of two phase estimation methods

基于上述相位誤差估計(jì)方法，本團(tuán)隊(duì)對(duì)運(yùn)城區(qū)域和峨眉山區(qū)域的數(shù)據(jù)進(jìn)行了相位誤差補(bǔ)償，同時(shí)采用幅度比值法進(jìn)行了通道幅度誤差估計(jì)和補(bǔ)償，從而減小了系統(tǒng)誤差的影響。

4.2.2 三維成像方法

利用上述經(jīng)過(guò)幅相誤差補(bǔ)償?shù)娜S成像數(shù)據(jù)，采用團(tuán)隊(duì)近期提出的基于鄰域約束的稀疏重建算法[17]進(jìn)行三維成像。傳統(tǒng)SAR三維成像算法逐像素孤立求解，不考慮像素鄰域信息，重建結(jié)果雜散點(diǎn)多、信雜比低。為此本團(tuán)隊(duì)引入了與語(yǔ)義相關(guān)的概率約束，在每個(gè)像素的8-鄰域內(nèi)通過(guò)相鄰像素高程位置的相關(guān)性對(duì)雜散點(diǎn)位置進(jìn)行約束。研究發(fā)現(xiàn)，通常散射系數(shù)相關(guān)性越大，空間分布聚集性越強(qiáng)，基于此結(jié)論，采用局部高斯-馬爾可夫隨機(jī)場(chǎng)對(duì)鄰域高程分布進(jìn)行建模，對(duì)相鄰像素的高度進(jìn)行聯(lián)合求解，有效提升了重建精度并減少了雜散點(diǎn)數(shù)量。處理得到的三維成像結(jié)果如圖19所示，圖中顏色代表了散射點(diǎn)的海拔。

圖19 SARMV3D Imaging數(shù)據(jù)集三維成像結(jié)果Fig.19 3D imaging results of SARMV3D Imaging dataset

4.2.3 疊掩次數(shù)圖生成方法

在獲得三維成像結(jié)果的同時(shí)，為了給SAR微波視覺(jué)三維成像研究提供額外的輔助參考信息，本團(tuán)隊(duì)同步生成了一個(gè)疊掩次數(shù)圖。研究表明，受限于圖像信噪比等原因，SAR三維重建得到的點(diǎn)云往往存在大量的雜散點(diǎn)。為了濾除雜散點(diǎn)，可以通過(guò)幅值檢驗(yàn)或廣義似然比檢驗(yàn)來(lái)判斷重建的散射點(diǎn)是否為真實(shí)散射點(diǎn)。若某個(gè)散射點(diǎn)判斷為虛假散射點(diǎn)，則將其從三維點(diǎn)云中剔除。本數(shù)據(jù)集中提供的Layover.tif文件包含了圖像中每個(gè)像素包含的真實(shí)散射點(diǎn)個(gè)數(shù)，即疊掩次數(shù)。本團(tuán)隊(duì)采用基于幅值檢驗(yàn)的方法生成上述疊掩次數(shù)圖，將散射系數(shù)幅值小于事先設(shè)定閾值的散射點(diǎn)剔除后，統(tǒng)計(jì)二維圖像每個(gè)像素經(jīng)三維成像后分離出來(lái)的有效散射點(diǎn)個(gè)數(shù)，作為參考疊掩次數(shù)。圖20為運(yùn)城和峨眉山兩塊區(qū)域的疊掩次數(shù)圖。

圖20 SARMV3D Imaging數(shù)據(jù)集區(qū)域疊掩次數(shù)圖Fig.20 Overlay times map of SARMV3D Imaging dataset

5 結(jié)束語(yǔ)

本文介紹了SAR微波視覺(jué)三維成像數(shù)據(jù)集的構(gòu)建規(guī)劃，并介紹了本次發(fā)布的1.0版本數(shù)據(jù)集(SARMV3D-1.0)的構(gòu)成信息和構(gòu)建方法。SARMV3D-1.0數(shù)據(jù)集包括了SAR建筑物實(shí)例語(yǔ)義分割數(shù)據(jù)集1.0版本(SARMV3D-BIS 1.0)和SAR三維成像數(shù)據(jù)集1.0版本(SARMV3D-Imaging 1.0)。目前在SAR三維成像領(lǐng)域，國(guó)際上公開(kāi)可用的數(shù)據(jù)集非常稀缺，本文在國(guó)際上首次發(fā)布了機(jī)載陣列干涉SAR三維成像數(shù)據(jù)集，希望為SAR三維成像研究提供急需的測(cè)試和驗(yàn)證平臺(tái)。

在國(guó)家自然科學(xué)基金重大項(xiàng)目的支持下，項(xiàng)目團(tuán)隊(duì)后續(xù)將持續(xù)致力于該數(shù)據(jù)集的構(gòu)建和發(fā)展，并將根據(jù)數(shù)據(jù)集的應(yīng)用反饋持續(xù)改進(jìn)完善。

致謝本數(shù)據(jù)集的構(gòu)建得到了國(guó)家自然基金委重大項(xiàng)目的支持和指導(dǎo)專(zhuān)家組的指導(dǎo)，得到了項(xiàng)目組課題承擔(dān)單位復(fù)旦大學(xué)、中科院自動(dòng)化所、北京市遙感信息研究所等的幫助，構(gòu)建本數(shù)據(jù)集的GF-3衛(wèi)星圖像數(shù)據(jù)由國(guó)家衛(wèi)星海洋應(yīng)用中心無(wú)償提供，在此一并表示感謝。

附錄

SAR微波視覺(jué)三維成像數(shù)據(jù)集公開(kāi)共享將依托《雷達(dá)學(xué)報(bào)》官方網(wǎng)站進(jìn)行，數(shù)據(jù)于每次更新后上傳至“SAR微波視覺(jué)三維成像數(shù)據(jù)集1.0”頁(yè)面中，如附圖1所示，具體網(wǎng)址為http://radars.ie.ac.cn/web/data/getData?dataType=SARMV3D，數(shù)據(jù)將根據(jù)SAR微波視覺(jué)三維成像相關(guān)飛行試驗(yàn)的開(kāi)展和數(shù)據(jù)集的制作進(jìn)度不定期更新。

附圖1 SAR微波視覺(jué)三維成像數(shù)據(jù)集發(fā)布網(wǎng)頁(yè)App.Fig.1 Release webpage of Synthetic Aperture Radar Microwave Vision 3D Imaging Dataset