李雅麗，向隆剛，張彩麗，吳華意,龔健雅

武漢大學(xué)測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430079

道路交叉口是構(gòu)成路網(wǎng)的基礎(chǔ)與核心要素，作為道路網(wǎng)絡(luò)的節(jié)點(diǎn)，起到了連接道路和承載轉(zhuǎn)向的重要作用[1]。目前，車(chē)輛軌跡與遙感影像由于其覆蓋范圍廣、更新周期短、獲取成本低，成為道路交叉口識(shí)別研究的主要數(shù)據(jù)源。一方面，軌跡數(shù)據(jù)頻率較低、噪音大，且在路網(wǎng)上分布不均，而遙感影像易受天氣與光照影響，且存在地物遮擋或混淆等現(xiàn)象[2]；另一方面，道路交叉口結(jié)構(gòu)復(fù)雜、形態(tài)多樣、大小不一，且相鄰交叉口可能相距較近，因此提取道路交叉口是一項(xiàng)非常具有挑戰(zhàn)性的工作[3]。為此，學(xué)者們利用易于獲得的車(chē)輛軌跡或者遙感影像，在道路交叉口識(shí)別方面開(kāi)展了大量研究工作，取得了較為豐碩的研究成果。

基于車(chē)輛軌跡的道路交叉口識(shí)別一般可分為兩類(lèi)：一類(lèi)是基于交叉口處的幾何、拓?fù)涮卣?，從軌跡中直接提取交叉口。例如，文獻(xiàn)[4—5]基于軌跡中的轉(zhuǎn)向點(diǎn)對(duì)，通過(guò)距離和角度對(duì)其聚類(lèi)后提取交叉口；文獻(xiàn)[6]利用G統(tǒng)計(jì)對(duì)各軌跡相交的角度進(jìn)行熱點(diǎn)分析，以區(qū)分交叉口與非交叉口；文獻(xiàn)[7]基于形狀描述訓(xùn)練出交叉口分類(lèi)器，以區(qū)分交叉口與非交叉口。另一類(lèi)是以路網(wǎng)結(jié)構(gòu)為導(dǎo)向的交叉口識(shí)別，依據(jù)交叉口是多條路段的交匯點(diǎn)這一特征，先識(shí)別道路，再識(shí)別交叉口[8-11]。例如，文獻(xiàn)[8]首先將軌跡數(shù)據(jù)柵格化為圖像，然后利用核密度估計(jì)等法探測(cè)道路區(qū)域，最后通過(guò)形態(tài)學(xué)分析獲取骨架線(xiàn)，再據(jù)此提取交叉口位置；文獻(xiàn)[12]則集成上述兩類(lèi)方法的優(yōu)勢(shì)，融合密度峰值聚類(lèi)和形態(tài)學(xué)分析進(jìn)行交叉口識(shí)別。

基于遙感影像的道路交叉口識(shí)別主要包括基于交叉口的特征提取方法和基于道路的交叉口提取方法。前者利用原始影像上交叉口的表征形式直接提取交叉口，常見(jiàn)方法包括基于模板匹配[13]、基于形狀約束[14]、可變模型部件模型檢測(cè)[15]，以及深度神經(jīng)網(wǎng)絡(luò)模型識(shí)別[16]；后者則是在提取得的道路二值圖的基礎(chǔ)上進(jìn)行交叉口檢測(cè)[17-19]，例如，文獻(xiàn)[18]先使用分割算法從遙感影像中提取道路二值圖，再通過(guò)張量投票檢測(cè)出道路二值圖中的交叉點(diǎn)的位置作為道路交叉口。

由于單一數(shù)據(jù)的描述能力有限，上述的交叉口提取方法難以做到交叉口的全面提取?；谲?chē)輛軌跡的交叉口提取方法可以利用交叉口處軌跡特有的空間位置特征和動(dòng)態(tài)連接特征，但由于車(chē)輛軌跡空間分布不均勻，無(wú)法識(shí)別軌跡稀疏區(qū)域的交叉口，且存在將大轉(zhuǎn)彎區(qū)域的道路誤識(shí)別為交叉口的情況；遙感影像覆蓋面廣，但在場(chǎng)景復(fù)雜或受遮擋的區(qū)域，交叉口的識(shí)別精度較低。而車(chē)輛軌跡可以彌補(bǔ)遙感影像中交叉口受其他地物影響的問(wèn)題，遙感影像可以補(bǔ)充在軌跡稀疏或缺失處的交叉口信息。為了全面、精確地獲取道路交叉口，有必要綜合車(chē)輛軌跡與遙感影像各自?xún)?yōu)勢(shì)來(lái)提取交叉口。為此，本文提出了一種基于車(chē)輛軌跡和遙感數(shù)據(jù)多層次融合的道路交叉口識(shí)別方法。首先，分析道路交叉口區(qū)域區(qū)別于其他區(qū)域的顯著差異性特征，融合多元方法的交叉口提取結(jié)果，得到高質(zhì)量的種子交叉口，并以此作為下一階段小樣本集的標(biāo)注；然后，利用協(xié)同訓(xùn)練機(jī)制開(kāi)展車(chē)輛軌跡分類(lèi)模型和遙感影像分類(lèi)模型的多次迭代訓(xùn)練，從而在種子交叉口的基礎(chǔ)上逐步擴(kuò)充訓(xùn)練集的規(guī)模，以有效提升兩分類(lèi)模型的分類(lèi)能力；最后，設(shè)計(jì)基于車(chē)輛軌跡分類(lèi)模型和遙感影像分類(lèi)模型的集成識(shí)別方法，以提升交叉口提取的整體性能。

1 研究方法

本文提出的研究方法總體框架如圖1所示：①種子交叉口提取，利用車(chē)輛軌跡的空間分布特征和隱含的動(dòng)力學(xué)特征，以及遙感影像的視覺(jué)特征，分別通過(guò)形態(tài)學(xué)法、聚類(lèi)法及張量投票法[19]進(jìn)行交叉口提取，融合多元方法結(jié)果獲取高置信的種子交叉口，并據(jù)此生成小樣本集；②基于協(xié)同訓(xùn)練軌跡機(jī)制，分別構(gòu)建車(chē)輛軌跡與遙感影像的交叉口分類(lèi)器，并對(duì)兩個(gè)分類(lèi)器進(jìn)行初步訓(xùn)練后，對(duì)無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行概率預(yù)測(cè)，從中選擇高置信的偽標(biāo)簽加入訓(xùn)練集中，再次對(duì)兩分類(lèi)模型進(jìn)行訓(xùn)練，如此迭代多次，以?xún)?yōu)化兩分類(lèi)器彼此的性能；③集成兩分類(lèi)模型的結(jié)果作為最終交叉口識(shí)別結(jié)果。

1.1 種子道路交叉口提取

考慮到深度學(xué)習(xí)模型的效果依賴(lài)于訓(xùn)練集的規(guī)模與質(zhì)量，而手動(dòng)標(biāo)注樣本存在人為主觀(guān)性，且耗時(shí)又煩瑣[20]，本文采用多元方法集成獲取的種子交叉口作為標(biāo)注。具體來(lái)說(shuō)，通過(guò)分析車(chē)輛軌跡和遙感影像關(guān)于交叉口的多模特征，設(shè)計(jì)多元提取方法并進(jìn)行結(jié)果融合，獲取少量高置信的種子交叉口，據(jù)此形成少量樣本集。為確保種子交叉口的正確性，在其提取過(guò)程中遵循“真交叉口可遺漏，偽交叉口不可引入”的原則。

圖1 本文研究方法的總體框架Fig.1 The framework of our method

1.1.1 基于車(chē)輛軌跡的交叉口提取

車(chē)輛軌跡既包括空間分布特征，也包括隱含的動(dòng)力學(xué)特征，為此，基于車(chē)輛軌跡提出兩類(lèi)交叉口提取方法：①在柵格空間中，分析軌跡在路網(wǎng)上的靜態(tài)幾何分布，先提取道路中心線(xiàn)再檢測(cè)交叉口；②在矢量空間中，利用速度、方向及大轉(zhuǎn)向點(diǎn)對(duì)等隱含動(dòng)力學(xué)特征，從軌跡的點(diǎn)序列中直接提取交叉口。

在柵格空間中，車(chē)輛軌跡按照某一分辨率柵格化后形成柵格特征圖。受軌跡噪音影響，直接采用形態(tài)學(xué)處理來(lái)提取道路中心線(xiàn)將出現(xiàn)大量毛刺，從而帶來(lái)大量偽交叉口。去除毛刺處理流程為：首先，利用Roberts邊緣算子提取道路邊緣，并將其從特征圖中剔除，從而獲取具有平滑邊緣的道路二值圖；然后，在其基礎(chǔ)上進(jìn)行數(shù)學(xué)形態(tài)學(xué)開(kāi)閉運(yùn)算以及細(xì)化操作，用于獲取道路中心線(xiàn)；最后，計(jì)算中心線(xiàn)上各個(gè)像素的連通度，將連通度大于2的像素標(biāo)記為交叉點(diǎn)后，通過(guò)矢量化獲取交叉口的位置。其中，連通度定義為某像素其八鄰域內(nèi)像素值不為零的像素個(gè)數(shù)。

車(chē)輛在通過(guò)道路交叉口時(shí)常伴隨著顯著的方向變化，通過(guò)限制連續(xù)采樣點(diǎn)的方向、速度及距離可篩選出大轉(zhuǎn)向角的軌跡片段。但由于本文所采用的為出租車(chē)軌跡，其軌跡點(diǎn)間隔較大，計(jì)算得到的大轉(zhuǎn)向軌跡點(diǎn)多落在與交叉口相接的路段上，使其聚類(lèi)結(jié)果不一定位于交叉口區(qū)域。針對(duì)這一問(wèn)題，本文采用文獻(xiàn)[3]提出的反向交叉點(diǎn)代替大轉(zhuǎn)向?qū)Γ源_保多數(shù)待聚類(lèi)點(diǎn)位于交叉口區(qū)域，然后通過(guò)密度峰值法確定各聚類(lèi)簇中交叉口點(diǎn)的位置。

1.1.2 基于遙感影像的交叉口提取

遙感影像中道路交叉口輪廓特征不明顯，且交叉口本身結(jié)構(gòu)復(fù)雜、形態(tài)多樣，基于遙感影像直接識(shí)別較為困難。在文獻(xiàn)[18]的基礎(chǔ)上，進(jìn)一步發(fā)展了兩階段式的交叉口提取方法，即首先獲取道路二值圖，然后從中檢測(cè)出交叉口。

在道路二值圖的提取過(guò)程中，考慮到深度學(xué)習(xí)是基于遙感影像進(jìn)行道路提取的主流技術(shù)，且效果遠(yuǎn)優(yōu)于傳統(tǒng)方法。為此，選擇在Deep Globe道路識(shí)別競(jìng)賽中取得第1名的D-LinkNet[21]，采用其訓(xùn)練好的模型提取道路二值圖；道路交叉口在地理空間中表現(xiàn)為點(diǎn)狀特征，考慮到由文獻(xiàn)[22]提出的張量投票算法能夠從二維或三維數(shù)據(jù)中檢測(cè)出交叉點(diǎn)，曲線(xiàn)以及曲面等幾何結(jié)構(gòu)，且該算法被廣泛應(yīng)用于道路交叉口提取中[18-19],故引入張量投票算法從道路二值圖中檢測(cè)交叉口，其主要步驟如下。

(1) 道路二值圖的張量表達(dá)，由于分割得到的道路二值圖中的像素點(diǎn)沒(méi)有方向性，因此，對(duì)所有道路像素點(diǎn)進(jìn)行無(wú)方向性的球張量編碼，即對(duì)每個(gè)道路像素編碼為大小為2的單位矩陣。

(2) 非線(xiàn)性投票，對(duì)所有編碼點(diǎn)進(jìn)行稀疏投票和稠密投票。

(3) 張量分解，兩次投票后，通過(guò)張量分解的計(jì)算式(1)，獲取交叉口區(qū)域的顯著圖λ2

(1)

式中，Ts為棒狀張量分量；(λ1-λ2)為棒狀張量分量的顯著性特征；Tb為球狀張量分量；λ2為球狀張量分量的顯著性特征；當(dāng)λ1≈λ2>0時(shí)，得到球狀張量分量的顯著性特征λ2。

(4) 交叉口點(diǎn)位置的提取，采用非極大值抑制法獲取λ2中各交叉口區(qū)域的中心點(diǎn)后，再通過(guò)矢量化獲取交叉口中心點(diǎn)的坐標(biāo)。

1.1.3 種子交叉口提取

總的來(lái)說(shuō)，上述多元交叉口提取方法分為兩類(lèi)：①假設(shè)道路交匯處為交叉口，包括基于車(chē)輛軌跡通過(guò)形態(tài)學(xué)方法的交叉口提取和基于遙感影像通過(guò)張量投票方法的交叉口提??；②假設(shè)在交叉口處車(chē)輛軌跡會(huì)產(chǎn)生大的轉(zhuǎn)向角，如基于軌跡動(dòng)態(tài)特征通過(guò)聚類(lèi)生成交叉點(diǎn)。然而僅基于其中一類(lèi)方法獲取的交叉口置信度較低，如一些空間上交疊的立交橋并不存在聯(lián)通，彎曲狀道路也存在大的轉(zhuǎn)向?qū)Α５裟硡^(qū)域基于上述兩類(lèi)方法均被判定為交叉口，那么該區(qū)域?yàn)檎娼徊婵诘闹眯哦葘⒋蟠筇嵘?。為此，設(shè)計(jì)下述融合策略來(lái)獲取高置信的種子交叉口。

(1) 以軌跡動(dòng)態(tài)特征聚類(lèi)提取的交叉口位置為基準(zhǔn)點(diǎn)做半徑為R的緩沖區(qū)。

(2) 統(tǒng)計(jì)緩沖區(qū)內(nèi)基于車(chē)輛軌跡通過(guò)形態(tài)學(xué)處理和基于遙感影像通過(guò)張量投票檢測(cè)出的交叉口個(gè)數(shù)。

(3) 若緩沖區(qū)內(nèi)的交叉口點(diǎn)個(gè)數(shù)大于0，則計(jì)算它們幾何位置中心，作為種子交叉口點(diǎn)位置。

(4) 若其緩沖區(qū)內(nèi)交叉口點(diǎn)個(gè)數(shù)為0，則舍棄該基準(zhǔn)點(diǎn)。

1.2 融合車(chē)輛軌跡與遙感影像的協(xié)同訓(xùn)練及集成識(shí)別

訓(xùn)練集規(guī)模是深度學(xué)習(xí)模型效果的重要保障，為了達(dá)到利用少量種子樣本集學(xué)習(xí)出大量樣本數(shù)據(jù)的目的，本文基于半監(jiān)督學(xué)習(xí)思想，設(shè)計(jì)了協(xié)同訓(xùn)練機(jī)制來(lái)擴(kuò)充道路交叉口的訓(xùn)練樣本數(shù)量：首先，利用少量種子樣本集分別訓(xùn)練車(chē)輛軌跡和遙感影像兩種不同的分類(lèi)網(wǎng)絡(luò)，并對(duì)無(wú)標(biāo)簽數(shù)據(jù)的置信度進(jìn)行評(píng)估；然后，將計(jì)算的高置信輸出加入訓(xùn)練集，對(duì)兩個(gè)分類(lèi)器更新訓(xùn)練，經(jīng)過(guò)不斷循環(huán)迭代，達(dá)到利用少量標(biāo)簽道路交叉口樣本學(xué)習(xí)大量樣本數(shù)據(jù)的效果，提升了兩分類(lèi)器的識(shí)別能力。

1.2.1 協(xié)同訓(xùn)練與集成識(shí)別框架

協(xié)同訓(xùn)練算法是一種半監(jiān)督學(xué)習(xí)方法，訓(xùn)練的過(guò)程中僅利用少量的帶標(biāo)簽樣本以及兩個(gè)關(guān)于目標(biāo)的獨(dú)立且冗余視圖，就可以將無(wú)標(biāo)簽數(shù)據(jù)自動(dòng)標(biāo)注為訓(xùn)練樣本，使得大量無(wú)標(biāo)簽數(shù)據(jù)可以得到應(yīng)用[23]。車(chē)輛軌跡和遙感影像提供了關(guān)于道路交叉口獨(dú)立且互補(bǔ)的特征圖，且在1.1節(jié)中獲取了少量樣本的標(biāo)簽，在此基礎(chǔ)上，本文提出了車(chē)輛軌跡與遙感影像的協(xié)同訓(xùn)練框架，如圖2所示。

圖2 車(chē)輛軌跡與遙感影像的協(xié)同訓(xùn)練框架Fig.2 Co-training framework of vehicle trajectory and remote sensing image

基于車(chē)輛軌跡數(shù)據(jù)和遙感影像的道路交叉口提取的協(xié)同訓(xùn)練機(jī)制分為3個(gè)階段：訓(xùn)練階段、預(yù)測(cè)更新階段和測(cè)試階段。

在訓(xùn)練階段中，應(yīng)用軌跡訓(xùn)練集和遙感訓(xùn)練集訓(xùn)練兩個(gè)神經(jīng)網(wǎng)絡(luò)。其中，考慮到道路交叉口提取是判斷某個(gè)位置點(diǎn)是否屬于道路交叉口，屬于二分類(lèi)問(wèn)題，故針對(duì)軌跡和遙感數(shù)據(jù)其特征圖的特點(diǎn)，設(shè)計(jì)兩個(gè)不同的深度學(xué)習(xí)網(wǎng)絡(luò)作為道路交叉口分類(lèi)器。需要注意的是，在初始少量帶標(biāo)簽樣本集的制作時(shí)，基于種子交叉口僅能獲取正樣本。為確保小樣本中的正負(fù)樣本的數(shù)量均衡，本文提出負(fù)樣本的制作方法，具體為以正樣本為位置點(diǎn)為基礎(chǔ)，考慮交叉口本身大小、相鄰交叉口之間的距離，設(shè)置與正樣本的位置點(diǎn)相聚一定距離的位置為非交叉口，以獲取負(fù)樣本集。

預(yù)測(cè)更新階段是利用兩個(gè)有差異的特征圖和分類(lèi)器提供偽標(biāo)簽數(shù)據(jù)加入訓(xùn)練集，使得兩分類(lèi)器可迭代優(yōu)化彼此的性能，從而使訓(xùn)練的兩分類(lèi)器是兩類(lèi)數(shù)據(jù)綜合優(yōu)化的結(jié)果。具體步驟為：

(1) 基于同一位置的軌跡和遙感的無(wú)標(biāo)簽樣本，應(yīng)用相應(yīng)的分類(lèi)器分別進(jìn)行預(yù)測(cè)，得到基于軌跡特征的正負(fù)樣本預(yù)測(cè)概率值分別為Pt_T、Pt_F，基于遙感特征的正負(fù)樣本預(yù)測(cè)概率值分別為Pr_T、Pr_F，根據(jù)分類(lèi)器對(duì)分類(lèi)精度的貢獻(xiàn)，對(duì)兩分類(lèi)器結(jié)果進(jìn)行自適應(yīng)加權(quán)融合，獲取樣本為正負(fù)樣本分類(lèi)置信度分別為P_T、P_F。

(2) 挑選出分類(lèi)置信度不低于V的樣本，并將其打上預(yù)測(cè)的高置信偽標(biāo)簽后，添加到有標(biāo)簽樣本集中，同時(shí)將它們從無(wú)標(biāo)簽數(shù)據(jù)集中移除，之后再對(duì)兩分類(lèi)器進(jìn)行訓(xùn)練。

(3) 當(dāng)從無(wú)標(biāo)簽數(shù)據(jù)預(yù)測(cè)結(jié)果中篩選不出預(yù)測(cè)概率值大于V的樣本時(shí)，停止迭代。

在測(cè)試階段，根據(jù)待測(cè)試點(diǎn)的位置，基于軌跡特征和遙感影像分別生成測(cè)試集，利用優(yōu)化好的車(chē)輛軌跡的交叉口分類(lèi)器和遙感影像分類(lèi)器分別進(jìn)行分類(lèi)預(yù)測(cè)。由于這兩個(gè)分類(lèi)器有一定的差異，即對(duì)相同的樣本可能輸出不同的預(yù)測(cè)結(jié)果。通過(guò)自適應(yīng)加權(quán)的方法融合兩個(gè)分類(lèi)器的結(jié)果，可以進(jìn)一步判斷差異性輸出，獲取正確的預(yù)測(cè)結(jié)果。

1.2.2 基于車(chē)輛軌跡的交叉口分類(lèi)

交叉口提取實(shí)際是一個(gè)二分類(lèi)問(wèn)題，即判斷輸入點(diǎn)是否為交叉口。但城市中道路交叉口面積不等，難以在固定分辨率下，使用某一格網(wǎng)來(lái)捕獲交叉口，為此，本文對(duì)輸入的交叉口位置點(diǎn)采用多尺度信息描述，通過(guò)融合多尺度的特征獲取分類(lèi)結(jié)果。又考慮到道路交叉口不是一個(gè)孤立的點(diǎn)，其與周?chē)沫h(huán)境息息相關(guān)[24]，將網(wǎng)絡(luò)的輸入設(shè)定為包含其周?chē)泥徲蚋窬W(wǎng)信息的特征圖，所設(shè)計(jì)的車(chē)輛軌跡的交叉口分類(lèi)器模型如圖3所示。

網(wǎng)絡(luò)包括3個(gè)支路，每個(gè)支路代表特定分辨率下的交叉口提取，分支的結(jié)構(gòu)相同，均由兩個(gè)卷積核為3，步長(zhǎng)為1，填充為0的卷積層，以及兩個(gè)全連接層組成。鑒于輸入圖像的大小過(guò)小，不對(duì)圖像進(jìn)行降采樣。3個(gè)分支的特征圖通過(guò)自適應(yīng)加權(quán)的方式融合后，得到作為第5個(gè)全連接層的輸入f，融合方式如下

f=w1·f(1)+w2·f(2)+w3·f(3)

(2)

式中，f(1)、f(2)及f(3)為3個(gè)分支的特征圖；w1、w2及w3為3個(gè)特征圖對(duì)應(yīng)的自適應(yīng)權(quán)重，初始值設(shè)置為1，自適應(yīng)權(quán)重通過(guò)網(wǎng)絡(luò)學(xué)習(xí)獲得。

圖3 車(chē)輛軌跡的交叉口分類(lèi)器模型Fig.3 Intersection classifier model of vehicle trajectory

網(wǎng)絡(luò)的每一支輸入均包括軌跡點(diǎn)柵格圖、密度圖、鄰接軌跡點(diǎn)轉(zhuǎn)向圖以及朝向香農(nóng)熵圖。其中，軌跡點(diǎn)柵格圖反映道路的幾何分布的，計(jì)算方法為直接?xùn)鸥窕幻芏葓D反映由于紅綠燈道路交叉口處產(chǎn)生停留聚集的，計(jì)算方法為統(tǒng)計(jì)格網(wǎng)內(nèi)軌跡點(diǎn)個(gè)數(shù)；鄰接軌跡點(diǎn)轉(zhuǎn)向圖表示格網(wǎng)是否承當(dāng)轉(zhuǎn)向功能的，計(jì)算方式為統(tǒng)計(jì)落入格網(wǎng)內(nèi)所有軌跡點(diǎn)其上一個(gè)軌跡點(diǎn)與下一個(gè)軌跡點(diǎn)的方向差值后，計(jì)算方向差值的標(biāo)準(zhǔn)差，標(biāo)準(zhǔn)差越大說(shuō)明通過(guò)該格網(wǎng)的車(chē)輛的行為模式差異越大；朝向香農(nóng)熵圖[25]代表格網(wǎng)內(nèi)車(chē)輛朝向信息復(fù)雜程度，按照式(3)計(jì)算得到

(3)

式中，n為等間隔角度的數(shù)目；pi是屬于第i個(gè)間隔的航向角的比例。

1.2.3 基于遙感影像的交叉口分類(lèi)

相對(duì)于車(chē)輛軌跡特征圖來(lái)說(shuō)，遙感影像中蘊(yùn)含的地物信息更為復(fù)雜，很難從較小規(guī)模的初始樣本集直接訓(xùn)練出交叉口分類(lèi)模型，為此，本文采用遷移學(xué)習(xí)的策略，即在基于ImageNet訓(xùn)練好的VGG16網(wǎng)絡(luò)的基礎(chǔ)上，通過(guò)微調(diào)獲取遙感影像的交叉口分類(lèi)模型。具體為凍結(jié)用于提取圖像特征的卷積層，對(duì)用于提取特定類(lèi)別特征的全連接層進(jìn)行微調(diào)。使用的遙感影像的交叉口分類(lèi)器如圖4遙感影像的交叉口分類(lèi)器所示。特征提取部分由13個(gè)3×3的卷積層和5個(gè)2×2的池化層組成，分類(lèi)部分由3個(gè)全連接層構(gòu)成，其中最后一層全連接層由VGG16原來(lái)的1000個(gè)神經(jīng)元修改為2個(gè)神經(jīng)元，用于輸出道路交叉口分類(lèi)二分類(lèi)結(jié)果。

圖4 遙感影像的交叉口分類(lèi)器Fig.4 Intersection classifier of remote sensing image

1.2.4 自適應(yīng)加權(quán)的分類(lèi)模型集成

由于車(chē)輛軌跡和遙感影像對(duì)道路交叉口的描述角度不同，且兩分類(lèi)器所應(yīng)用的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不同，這就造成在使用兩分類(lèi)器對(duì)同一樣本進(jìn)行預(yù)測(cè)時(shí)，可能會(huì)出現(xiàn)不一致的結(jié)果。為了獲取唯一的高置信預(yù)測(cè)結(jié)果，本文結(jié)合兩個(gè)分類(lèi)器預(yù)測(cè)結(jié)果的差異性對(duì)樣本置信度的影響，根據(jù)自適應(yīng)加權(quán)融合策略[26]融合兩分類(lèi)器的預(yù)測(cè)結(jié)果，從而集成兩分類(lèi)器優(yōu)勢(shì)，提升預(yù)測(cè)結(jié)果的置信度。其中，權(quán)重值按照分類(lèi)器的類(lèi)別精度的貢獻(xiàn)確定，自適應(yīng)加權(quán)融合的計(jì)算如下

P(k)=w(k)·Pt(k)+(1-w(k))·Pr(k)

(4)

式中，P(k)是第k個(gè)類(lèi)別的融合預(yù)測(cè)值；k共計(jì)兩類(lèi)，交叉口和非交叉口；Pt(k)和Pr(k)分別是軌跡分類(lèi)器和遙感分類(lèi)器輸出的第k個(gè)類(lèi)別的預(yù)測(cè)值；w(k)是軌跡分類(lèi)器輸出的第k個(gè)類(lèi)別的權(quán)重，其大小依賴(lài)于軌跡分類(lèi)器對(duì)圖像屬于第k個(gè)類(lèi)別的分類(lèi)精度的貢獻(xiàn)，該權(quán)重的計(jì)算共分為兩步：

(1) 根據(jù)式(5)計(jì)算兩個(gè)分類(lèi)器關(guān)于類(lèi)別k的歸一化似然值wt(k)和wr(k)

(5)

式中，M是測(cè)試樣本總個(gè)數(shù)；2為總的類(lèi)別數(shù)；Pt(m,k)和Pr(m,k)是兩分類(lèi)器將第m個(gè)樣本預(yù)測(cè)為類(lèi)別k的概率值；分子表示類(lèi)別k的總的平均似然；分母是類(lèi)別k的平均似然。

(2) 根據(jù)式(6)輸出最終的權(quán)重值w(k)

(6)

2 試驗(yàn)與分析

2.1 試驗(yàn)數(shù)據(jù)與環(huán)境設(shè)置

本文所采用的軌跡試驗(yàn)數(shù)據(jù)為武漢市區(qū)出租車(chē)一周的軌跡數(shù)據(jù)，軌跡點(diǎn)數(shù)據(jù)量約為1.96 GB。車(chē)輛軌跡數(shù)據(jù)集包含7個(gè)字段，具體為：車(chē)輛的編號(hào)、時(shí)間、經(jīng)度、緯度、瞬時(shí)速度、瞬時(shí)方向角和狀態(tài)。由于軌跡數(shù)據(jù)來(lái)源于出租車(chē)，其軌跡點(diǎn)大多落于主要道路，支路上的軌跡點(diǎn)覆蓋度較低或沒(méi)有軌跡點(diǎn)，如圖5(a)紅色框所示。本文所采用的遙感影像從谷歌地球獲取，其空間分辨率約為0.5 m。為方便計(jì)算，將遙感影像降采樣到空間分辨率1 m，坐標(biāo)系統(tǒng)轉(zhuǎn)換至WGS-84坐標(biāo)系，使其與軌跡數(shù)據(jù)保持一致。研究區(qū)域的遙感影像中包含多類(lèi)型，不同大小的道路交叉口，且一些交叉口存在被樹(shù)木的遮擋的情況，如圖5(b)藍(lán)色框所示。

在應(yīng)用本文提出的交叉口提取方法進(jìn)行試驗(yàn)的過(guò)程中，涉及參數(shù)值包括：①種子交叉口提取階段，軌跡形態(tài)學(xué)法中的柵格化圖像的空間分辨率為5 m，選用較低分辨率便于提取軌跡稀疏區(qū)域的交叉口；車(chē)輛軌跡聚類(lèi)法中，在計(jì)算轉(zhuǎn)向?qū)r(shí)，篩選出的轉(zhuǎn)向?qū)π铦M(mǎn)足軌跡點(diǎn)速度小于30 km/h，相鄰軌跡點(diǎn)距離小于200 m及時(shí)間間隔小于20 s。在進(jìn)行轉(zhuǎn)向?qū)Φ姆聪螯c(diǎn)聚類(lèi)時(shí)，聚類(lèi)距離為70 m；遙感影像張量投票法中，非極大值抑制的閾值為70 m；多模方法融合中，融合半徑R為50 m。②協(xié)同訓(xùn)練階段，軌跡分類(lèi)器輸入的多尺度空間分辨率分別為10 m、15 m及20 m，輸入的特征圖大小為7×7，在各尺度下對(duì)應(yīng)實(shí)際區(qū)域?yàn)?0 m×70 m、105 m×105 m、140 m×140 m；遙感影像分類(lèi)器輸入的影像分辨率1 m，影像大小為128×128。在迭代訓(xùn)練過(guò)程中，將分類(lèi)置信度不低于V的分類(lèi)結(jié)果選作偽標(biāo)簽，通過(guò)試驗(yàn)發(fā)現(xiàn)V取值為95%時(shí)，效果最好。

在協(xié)同訓(xùn)練試驗(yàn)中，操作系統(tǒng)為Ubuntu18.04，顯卡為2塊GeForce GTX 1080Ti，開(kāi)發(fā)工具為Python，框架為Pytorch。車(chē)輛軌跡的交叉口分類(lèi)器的優(yōu)化器為SGD，迭代批量大小為256，初始學(xué)習(xí)率為0.1；遙感影像的交叉口分類(lèi)器的優(yōu)化器為Adam，迭代批量大小為64，動(dòng)量參數(shù)為0.9，初始學(xué)習(xí)率為0.01。epoch統(tǒng)一設(shè)置為50，兩個(gè)分類(lèi)器均采用交叉熵?fù)p失函數(shù)。協(xié)同訓(xùn)練中當(dāng)選擇不出偽標(biāo)簽時(shí)停止迭代，共迭代20次?；诜N子交叉口生成的帶標(biāo)簽小樣本集數(shù)量為389，其中正負(fù)樣本比例1∶3，無(wú)標(biāo)簽樣本集數(shù)量為3162，測(cè)試集數(shù)量為573。

2.2 試驗(yàn)結(jié)果分析

2.2.1 種子交叉口提取結(jié)果

依據(jù)車(chē)輛軌跡的幾何形態(tài)信息及其所蘊(yùn)含的轉(zhuǎn)向語(yǔ)義信息，計(jì)算基于軌跡點(diǎn)柵格圖獲取的道路交叉口點(diǎn)和轉(zhuǎn)向?qū)Φ姆聪蚪徊纥c(diǎn)的聚類(lèi)中心如圖6。其中，圖6(a)為軌跡點(diǎn)柵格原始圖，含有大量噪音，經(jīng)過(guò)邊緣算子圖6(b)處理后得到邊緣光滑且消除了細(xì)小道路的圖6(c)，圖6(d)是基于圖6(c)通過(guò)形態(tài)學(xué)算子處理得到的灰色道路中心線(xiàn)和白色道路交叉點(diǎn)，為了方便示意，對(duì)其進(jìn)行3個(gè)像素膨脹，通過(guò)該方法正確提取出了位于主干道交叉口，但數(shù)量較少，遺漏了連接支路的交叉口。圖6(g)中黃色點(diǎn)是基于車(chē)輛軌跡計(jì)算出的轉(zhuǎn)向?qū)Φ姆聪蚪徊纥c(diǎn)?？梢钥闯銎涮綔y(cè)出的交叉口位置較多，但也將一些彎曲道路誤識(shí)別為了交叉口，同時(shí)由于一些交叉口位于場(chǎng)所內(nèi)部，雖然在遙感影像中可以明顯辨識(shí)，但由于沒(méi)有軌跡點(diǎn)而未能識(shí)別。圖6(e)為通過(guò)現(xiàn)有道路提取模型D-LinkNet獲得的道路二值圖，可以看出由于模型的遷移能力不足，提取的道路較為細(xì)碎。通過(guò)腐蝕算子、張量分解和非極大值抑制處理道路二值圖后得到的道路交叉點(diǎn)如圖6(f)所示，可以看出其可以提取社區(qū)內(nèi)部的交叉口，但受圖譜異物的影響，將其他地物誤識(shí)別為交叉口。圖6(h)是融合多元方法后獲取的種子交叉口的示意圖，將上述方法中基于先道路后交叉口獲取的交叉口取并集后，再與基于語(yǔ)義信息直接獲取的交叉口取交集，得到兩者的交集的所有幾何中心位置，生成少量種子交叉口。

2.2.2 協(xié)同訓(xùn)練結(jié)果

基于協(xié)同訓(xùn)練的方法，經(jīng)過(guò)多次迭代訓(xùn)練，擴(kuò)充樣本集后得到模型的預(yù)測(cè)結(jié)果如圖7所示。其中圖7(a)為基于車(chē)輛軌跡模型的交叉口提取結(jié)果，圖7(b)為基于遙感影像的交叉口提取結(jié)果。由圖7中藍(lán)色框可以看出，在樹(shù)木遮擋但有軌跡點(diǎn)覆蓋的場(chǎng)景下，基于軌跡分類(lèi)器能夠有效提取交叉口，但此時(shí)遙感影像分類(lèi)器的提取能力較弱。由圖7中紅色框可以看出，基于遙感影像分類(lèi)器可以提取缺少軌跡覆蓋但空間特征明顯的交叉口，但軌跡分類(lèi)器無(wú)法識(shí)別此類(lèi)交叉口?？梢?jiàn)兩種分類(lèi)器在道路交叉口提取能力上各具優(yōu)勢(shì)且可以互補(bǔ)，但需要注意的是兩類(lèi)分類(lèi)器中仍存在一些偽交叉口，因此，為進(jìn)一步獲取全面、精確的交叉口，需要通過(guò)有效的融合方法集成兩分類(lèi)器的互補(bǔ)優(yōu)勢(shì)，同時(shí)注意剔除偽交叉口。

圖5 研究區(qū)域數(shù)據(jù)集Fig.5 Study area data set

圖6 多元方法融合提取種子交叉口Fig.6 Extraction of seeds from intersection by multi method fusion

圖7 協(xié)同訓(xùn)練模型結(jié)果Fig.7 The results of co-training model

2.2.3 分類(lèi)模型集成提取結(jié)果

圖8(a)是基于自適應(yīng)加權(quán)融合策略融合兩分類(lèi)器結(jié)果所提取的最終道路交叉口結(jié)果圖，其中藍(lán)色點(diǎn)為正確提取的交叉口；紅色點(diǎn)的位置是通過(guò)目視解譯為道路交叉口，但沒(méi)有提取到的交叉口；綠色點(diǎn)表示誤提取的交叉口。在本文方法中，車(chē)輛軌跡可以彌補(bǔ)遙感影像中交叉口被其他地物遮擋的問(wèn)題，遙感影像可以補(bǔ)充車(chē)輛軌跡稀疏區(qū)域的交叉口信息，從而實(shí)現(xiàn)兩者優(yōu)勢(shì)互補(bǔ)。例如，圖8(b)表明本文方法可以提取遙感圖像上被樹(shù)木遮擋的交叉口。圖8(c)表明缺乏軌跡覆蓋但遙感影像空間特征明顯的交叉口可以被有效提取。圖8(d)表明本文方法可以剔除大轉(zhuǎn)彎處的偽交叉口。

圖8 本文方法的交叉口提取結(jié)果Fig.8 Intersection extraction results of our method

為進(jìn)一步說(shuō)明本文提出的方法能夠適應(yīng)于不同情景下的道路交叉口提取，圖9展示了部分典型交叉口的提取細(xì)節(jié)，不難看出本文方法在道路交叉口提取方面的特點(diǎn)：①可以識(shí)別形態(tài)迥異、大小不一的多類(lèi)型交叉口，且不受交叉口之間的距離影響，如圖9(a)所示；②可以識(shí)別的道路的分岔點(diǎn)與聚合點(diǎn)，如圖9(b)所示，這對(duì)于輔助車(chē)輛導(dǎo)航有重要的幫助；③能夠識(shí)別大型興趣點(diǎn)的出入口(圖9(c))，如學(xué)校和醫(yī)院的進(jìn)出點(diǎn)。

圖10是應(yīng)用本文方法未能正確提取的道路交叉口。其中，圖10(a)是由于遙感影像中存在與交叉口光譜特征相似的地物，將道路與施工地的連接部分誤識(shí)別為交叉口；圖10(b)是由于軌跡噪音點(diǎn)的影響，將一處居民地錯(cuò)誤識(shí)別為交叉口；圖10(c)是遺漏識(shí)別的交叉口，該交叉口未能有效提取的原因是：該場(chǎng)景下軌跡點(diǎn)稀疏，同時(shí)遙感影像上的交叉口被樹(shù)木遮擋使其視覺(jué)特征不明顯。

圖9 典型交叉口提取結(jié)果Fig.9 Typical intersection extraction results

圖10 未能正確提取的交叉口Fig.10 Intersections not extracted correctly

2.3 精度對(duì)比

試驗(yàn)綜合準(zhǔn)確率、召回率及F來(lái)衡量模型的預(yù)測(cè)性能，計(jì)算公式為

(7)

(8)

(9)

式中，TP為預(yù)測(cè)正確的道路交叉口數(shù)量；FP為預(yù)測(cè)錯(cuò)誤的交叉口數(shù)量；FN為未提取出的道路交叉口數(shù)量。由于本文提取的為道路交叉口點(diǎn)，而道路交叉口本身具有一定的大小，且位于不同等級(jí)道路上的交叉口大小也不同，難以使用固定閾值的緩沖區(qū)對(duì)交叉口提取效果進(jìn)行評(píng)價(jià)，故在定量評(píng)價(jià)時(shí)采用多級(jí)緩沖區(qū)方法，即根據(jù)交叉口所在的道路等級(jí)設(shè)置其緩沖區(qū)范圍。通過(guò)對(duì)武漢市不同等級(jí)道路和交叉口的統(tǒng)計(jì)，將交叉口緩沖區(qū)分為3級(jí)，具體為，將位于主干道和快速路的交叉口緩沖區(qū)閾值設(shè)置為50 m，將位于次干道的緩沖區(qū)閾值設(shè)置為40 m，其余支路上的交叉口緩沖區(qū)閾值設(shè)置為30 m。

針對(duì)車(chē)輛軌跡數(shù)據(jù)，本文選用文獻(xiàn)[12]提出的集成形態(tài)學(xué)方法和聚類(lèi)方法提取交叉口進(jìn)行對(duì)比，針對(duì)遙感影像，采用張量投票方法[18]進(jìn)行對(duì)比。圖11展示了上述幾種方法的提取結(jié)果。圖11(a)是將真值按照其所在的道路等級(jí)分級(jí)，共分為3級(jí)，顏色越深級(jí)別越高。圖11(b)表明本文方法的交叉口提取數(shù)量最接近真值的個(gè)數(shù)，且不存在明顯的交叉口提取困難的區(qū)域。由圖11(c)可以看出集成方法提取的交叉口主要位于測(cè)試區(qū)域的中部，邊緣區(qū)域的交叉口提取個(gè)數(shù)較少，這是因?yàn)闇y(cè)試區(qū)域邊緣的軌跡稀疏或是缺乏，受軌跡覆蓋度的限制，該方法無(wú)法提取此類(lèi)區(qū)域的交叉口。圖11(d)表明張量投票方法的交叉口提取個(gè)數(shù)較少，這說(shuō)明基于遙感影像可以有效提取位于道路特征明顯區(qū)域的交叉口，但難以識(shí)別被遮擋區(qū)域以及與周?chē)尘皡^(qū)分不明顯區(qū)域的交叉口?？偟膩?lái)說(shuō)，基于單源數(shù)據(jù)的交叉口提取方法難以突破其數(shù)據(jù)本身的限制。

表1是以真值所在的道路等級(jí)做多級(jí)閾值緩沖區(qū)后，將本文方法與對(duì)比方法的測(cè)試區(qū)域178個(gè)交叉口提取效果進(jìn)行檢驗(yàn)。其中最高值用加粗黑體表示， 次高值用下劃線(xiàn)表示。由表1可以看出，本文提出的基于多層次融合的方法，在道路交叉口提取效果上，優(yōu)于集成方法和張量投票方法。基于單一數(shù)據(jù)源的集成方法和張量投票的僅提取了少量正確的交叉口，且錯(cuò)誤提取數(shù)量相對(duì)較高，使得其召回率和F值均處于小于0.6的區(qū)間。本文方法充分利用車(chē)輛軌跡和遙感影像各自的優(yōu)勢(shì)，交叉口提取的數(shù)量和質(zhì)量大幅提升，其準(zhǔn)確率、召回率和F值分別為0.934 1、0.876 4及0.904 3。

圖11 對(duì)比方法的結(jié)果Fig.11 The extraction result of comparison methods

表1 測(cè)試區(qū)域交叉口提取效果對(duì)比

2.4 討 論

基于真值的多級(jí)緩沖區(qū)，對(duì)本文在各階段通過(guò)多元方法提取的交叉口結(jié)果進(jìn)行了對(duì)比(表2)。多元方法包括：①種子交叉口提取過(guò)程中，所涉及的形態(tài)學(xué)方法、聚類(lèi)方法和張量投票方法，以及種子交叉口融合提取方法；②在協(xié)同訓(xùn)練過(guò)程中的訓(xùn)練階段，基于小樣本集訓(xùn)練獲取的兩分類(lèi)模型，以及在其測(cè)試階段，基于擴(kuò)充后的訓(xùn)練集得到的兩分類(lèi)模型；③集成識(shí)別過(guò)程中，本文提出的集成模型。

由表2可以看出，在種子交叉口提取階段，種子交叉口可以融合形態(tài)學(xué)方法、聚類(lèi)方法和張量投票的優(yōu)勢(shì)提取少量但準(zhǔn)確的種子交叉口。在協(xié)同訓(xùn)練階段，通過(guò)協(xié)同訓(xùn)練逐步擴(kuò)充訓(xùn)練樣本集的協(xié)同訓(xùn)練融合模型，其各項(xiàng)評(píng)價(jià)指標(biāo)，均高于通過(guò)監(jiān)督訓(xùn)練基于小樣本集的融合模型，這說(shuō)明加入無(wú)標(biāo)簽樣本后，可有效提升模型的分類(lèi)能力?；谲?chē)輛軌跡數(shù)據(jù)和遙感影像數(shù)據(jù)的協(xié)同訓(xùn)練模型的各項(xiàng)指標(biāo)表現(xiàn)均衡，但指標(biāo)值均低于本文方法，這也說(shuō)明了協(xié)同訓(xùn)練的前提下，融合模型的效果要高于僅基于車(chē)輛軌跡的模型或僅基于遙感影像的模型。本文方法在各項(xiàng)指標(biāo)表現(xiàn)優(yōu)異，召回率和F值均為最高值，但準(zhǔn)確率低于僅可以提取少量交叉口的形態(tài)學(xué)方法和種子交叉口提取。綜上，本文提出的方法能夠有效集成車(chē)輛軌跡數(shù)據(jù)和遙感影像數(shù)據(jù)的優(yōu)勢(shì)，提取覆蓋全面且質(zhì)量高的道路交叉口。

表2 各階段的交叉口提取結(jié)果對(duì)比

為了進(jìn)一步說(shuō)明本文方法的穩(wěn)定性，圖12展示了在真值不同的緩沖區(qū)閾值下，基于綜合評(píng)價(jià)指標(biāo)F值對(duì)兩個(gè)對(duì)比方法以及各階段交叉口提取方法的檢驗(yàn)結(jié)果。由圖12可以看出在不同閾值的緩沖區(qū)下，本文提出的交叉口提取方法的F值均遠(yuǎn)遠(yuǎn)高于其他對(duì)比方法。

圖12 各類(lèi)方法的F值對(duì)比Fig.12 F-score comparison of various methods

3 結(jié) 論

考慮到道路交叉口不僅反映在車(chē)輛軌跡的靜態(tài)分布特征和動(dòng)態(tài)轉(zhuǎn)向特征中，還呈現(xiàn)在遙感影像的紋理特征上，本文提出了一種車(chē)輛軌跡與遙感影像多層次融合的道路交叉口識(shí)別方法，彌補(bǔ)了單一數(shù)據(jù)源在道路交叉口提取上的不足?；谖錆h市數(shù)據(jù)的試驗(yàn)表明，本文方法在種子交叉口生成、協(xié)同訓(xùn)練以及集成識(shí)別多個(gè)階段融合車(chē)輛軌跡與遙感影像的交叉口描述特征，可以提取形態(tài)迥異、大小不等的道路交叉口，識(shí)別精確度超過(guò)93%，召回率達(dá)到87%。

本文方法充分利用車(chē)輛軌跡和遙感影像關(guān)于交叉口的互補(bǔ)性描述特征，不僅可以有效解決被遮擋區(qū)域和軌跡稀疏區(qū)域的交叉口提取問(wèn)題，還能夠提取輔路與主路交匯點(diǎn)，以及興趣點(diǎn)的出入口。此外，所提出的半監(jiān)督式交叉口提取技術(shù)，無(wú)須人工標(biāo)注樣本，具有較高的穩(wěn)健性與可擴(kuò)展性。需要指出的是，本文主要針對(duì)簡(jiǎn)單交叉口的提取問(wèn)題開(kāi)展研究，后續(xù)將對(duì)立交橋等復(fù)雜交叉口進(jìn)行研究。