袁朝春， 朱昊宇， 何友國(guó)， JIE Shen， 陳 龍

(1. 江蘇大學(xué) 汽車工程研究院， 江蘇 鎮(zhèn)江 212013； 2. 密西根大學(xué)迪爾本分校 計(jì)算機(jī)科學(xué)與信息科學(xué)系， 密西根州 迪爾本 MI 48128)

自主導(dǎo)航是智能車輛進(jìn)行無人行駛的基礎(chǔ).傳統(tǒng)方法利用慣導(dǎo)和GPS(global positioning system)組合方式實(shí)現(xiàn)定位，但是高樓和樹木等會(huì)遮擋GPS信號(hào)，造成GPS定位發(fā)生多路徑效應(yīng)[1].智能汽車在實(shí)際弱GPS環(huán)境導(dǎo)航時(shí)，只需確定車輛當(dāng)前在全局地圖中的大致位置，進(jìn)而利用全局路徑規(guī)劃算法為車輛輸出向前方某個(gè)道路分支行駛的方向.

筆者針對(duì)城市環(huán)境GPS易定位失效的問題，提出一種利用視覺位置識(shí)別的智能汽車自主導(dǎo)航算法.為了識(shí)別車輛在無GPS環(huán)境中的全局位置，利用無人機(jī)輔助獲取車輛周圍場(chǎng)景圖像，設(shè)計(jì)與離線存儲(chǔ)的衛(wèi)星圖像之間的檢索算法進(jìn)行位置識(shí)別.通過注意力模型和細(xì)粒度特征提取模塊得到圖像中具有判別力的視覺特征，實(shí)現(xiàn)航拍圖像與離線衛(wèi)星圖像的匹配檢索.在獲取車輛位置信息基礎(chǔ)上，通過精英蟻群優(yōu)化算法將下一節(jié)點(diǎn)與目標(biāo)節(jié)點(diǎn)距離作為啟發(fā)函數(shù)，提高蟻群對(duì)最優(yōu)路徑搜索的傾向性,為車輛輸出前方道路分支行駛的方向.

1 基于細(xì)粒度特征的視覺位置識(shí)別

視覺位置識(shí)別神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，構(gòu)造的視覺位置識(shí)別網(wǎng)絡(luò)包括孿生神經(jīng)網(wǎng)絡(luò)和細(xì)粒度特征提取模塊.孿生神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)采用2個(gè)SeResNeXt50組成提取圖像特征，其中2個(gè)子體網(wǎng)絡(luò)共享權(quán)重.在SeResNeXt50網(wǎng)絡(luò)的殘差結(jié)構(gòu)中嵌入注意力機(jī)制，獲取待識(shí)別圖像的注意力特征圖.細(xì)粒度特征提取模塊中，局部特征提取分支通過遮擋隨機(jī)批次特征圖獲取局部特征.利用標(biāo)簽平滑的交叉熵?fù)p失函數(shù)對(duì)全局特征提取分支和局部特征提取分支進(jìn)行預(yù)測(cè)訓(xùn)練.

圖1 視覺位置識(shí)別神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

1.1 SENet注意力機(jī)制模塊

SENet(squeeze-and-excitation network)[9]注意力機(jī)制從特征圖通道角度，關(guān)注對(duì)識(shí)別任務(wù)重要的通道，忽略無用通道.SENet網(wǎng)絡(luò)首先對(duì)特征圖做擠壓操作，獲取表示特征圖各個(gè)通道全局信息值；再對(duì)全局信息值做激勵(lì)操作，通過損失函數(shù)反向傳播讓網(wǎng)絡(luò)學(xué)習(xí)表達(dá)特征圖不同通道的權(quán)重值；將通道權(quán)重乘以最初的特征圖得到注意力特征圖.擠壓、激勵(lì)和重標(biāo)定的過程如圖2所示.

圖2 擠壓、激勵(lì)和重標(biāo)定的過程

SE(squeeze-and-excittation)注意力機(jī)制中擠壓、激勵(lì)和重標(biāo)定的具體過程如下：

1) 擠壓操作對(duì)輸入特征圖Uc(i，j)通過全局平均池化實(shí)現(xiàn)特征的聚合映射，即將全局空間特征壓縮成1×1×C的全局信息描述符.不同信息描述符的大小表征特征在不同通道的響應(yīng)程度.擠壓計(jì)算描述為

(1)

式中：Zc為全局特征輸出；W為特征圖寬；H為特征圖高；Uc(i，j)∈RH×W.

2) 激勵(lì)操作利用參數(shù)W表示特征通道權(quán)重，可以學(xué)習(xí)表征不同通道對(duì)識(shí)別任務(wù)重要程度.為了減少計(jì)算的復(fù)雜度，激勵(lì)操作采用全連接層結(jié)構(gòu)，前面的全連接層W1用來減小特征大小，激活函數(shù)選擇ReLU函數(shù)；后一個(gè)全連接層W2恢復(fù)特征大小，利用Sigmoid函數(shù)作為激活函數(shù).激勵(lì)計(jì)算描述為

Sc=σ(W2δ(W1Zc))，

(2)

式中：Sc為通道權(quán)重系數(shù)；W1、W2為全連接層參數(shù)；δ、σ分別為ReLU激活函數(shù)和Sigmoid激活函數(shù)操作.

3) 重標(biāo)定操作是在原有特征圖不同通道的基礎(chǔ)上加權(quán)乘以各自通道權(quán)重，實(shí)現(xiàn)重標(biāo)定初始特征圖的通道權(quán)值，其中各自通道的權(quán)重利用上文激勵(lì)操作獲取.重標(biāo)定操作方法為

(3)

1.2 細(xì)粒度特征提取模塊

為了讓網(wǎng)絡(luò)訓(xùn)練過程中降低對(duì)全局顯著特征的關(guān)注，參考batch feature erasing[10]思路，隨機(jī)遮擋批量特征圖中相同區(qū)域，讓網(wǎng)絡(luò)在圖像其余范圍中提取細(xì)粒度特征.利用SeResNeXt50網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)，其提取到的2 048×12×12特征圖并聯(lián)輸入到1個(gè)全局特征提取分支和1個(gè)局部特征隨機(jī)擦出分支.再利用1×1自適應(yīng)最大池化層的下采樣操作降低特征圖維度，融合特征圖各通道特征2 048×1，通過量綱一化批操作讓神經(jīng)網(wǎng)絡(luò)分類層輸入滿足相同分布，從而加速網(wǎng)絡(luò)訓(xùn)練速度.最終，細(xì)粒度特征提取模塊將輸入圖像樣本映射并輸出為2個(gè)512維度的特征向量.計(jì)算公式如下：

(4)

(5)

(6)

1.3 標(biāo)簽平滑的交叉熵?fù)p失函數(shù)

神經(jīng)網(wǎng)絡(luò)利用交叉熵函數(shù)計(jì)算損失值時(shí)，若結(jié)果分類錯(cuò)誤，則對(duì)模型懲罰最大；若結(jié)果分類正確，則對(duì)模型懲罰最小.在網(wǎng)絡(luò)訓(xùn)練時(shí)，為了不斷減小損失函數(shù)的大小，神經(jīng)網(wǎng)絡(luò)會(huì)朝著正確標(biāo)簽和錯(cuò)誤標(biāo)簽差值最大的方向?qū)W習(xí).但是訓(xùn)練樣本無法包含所有情況，標(biāo)注數(shù)據(jù)也不一定準(zhǔn)確時(shí)，交叉熵?fù)p失函數(shù)會(huì)降低網(wǎng)絡(luò)模型的泛化能力，即造成過擬合.

針對(duì)上述問題，HU J.等[9]利用標(biāo)簽平滑正則化(label smoothing regularization)提高識(shí)別準(zhǔn)確率.通過在輸出標(biāo)簽y中添加噪聲，軟化原本的絕對(duì)化標(biāo)簽，有效抑制網(wǎng)絡(luò)訓(xùn)練過程中的過擬合現(xiàn)象.標(biāo)簽平滑的交叉熵?fù)p失函數(shù)計(jì)算公式如下：

(7)

(8)

式中：Lsoftmax為原有交叉熵?fù)p失函數(shù)；LLSR為標(biāo)簽平滑的交叉熵?fù)p失函數(shù)；N為訓(xùn)練樣本圖像總數(shù)；yq為>訓(xùn)練樣本圖像q的標(biāo)簽；q為第q個(gè)訓(xùn)練樣本圖像；pq為訓(xùn)練樣本圖像q的預(yù)測(cè)分類；β為所設(shè)的超參數(shù).

損失函數(shù)仍然對(duì)神經(jīng)網(wǎng)絡(luò)錯(cuò)誤分類做出懲罰，但通過平滑標(biāo)簽后可以軟化0和1的2個(gè)極值，當(dāng)原樣本標(biāo)簽為1時(shí)，經(jīng)平滑后略微減?。划?dāng)原樣本標(biāo)簽為0時(shí)，經(jīng)平滑后略微增大，這樣避免模型訓(xùn)練時(shí)過于絕對(duì)，使網(wǎng)絡(luò)的泛化能力更強(qiáng).

2 基于精英蟻群優(yōu)化的全局路徑規(guī)劃

針對(duì)蟻群算法迭代收斂速度慢，無法求取全局最優(yōu)解等局限問題[11]，汪貴慶等[12]利用精英策略改進(jìn)蟻群算法信息素更新規(guī)則.在此基礎(chǔ)上，筆者采用一種精英蟻群路徑規(guī)劃優(yōu)化算法，增強(qiáng)算法從開始搜索到當(dāng)前為止搜索到最優(yōu)路徑上的信息來加速算法的收斂，通過下一節(jié)點(diǎn)到目標(biāo)節(jié)點(diǎn)的距離構(gòu)造出計(jì)算狀態(tài)轉(zhuǎn)移概率的啟發(fā)函數(shù)，搜索高適應(yīng)值子區(qū)域.

2.1 局部信息素更新規(guī)則優(yōu)化

蟻群算法迭代搜索收斂過早，蟻群之間缺乏信息交流，因此在螞蟻k完成對(duì)下一個(gè)節(jié)點(diǎn)搜索后，局部更新路徑ij上存在的信息素，計(jì)算公式為

τij(k+1)=(1-ε)τij(k)+εΔτij(k)，

(9)

(10)

式中：τij為路徑ij上的信息素；k為第k只螞蟻；ε為局部信息素?fù)]發(fā)系數(shù)，0<ε<1，表示蟻群某次迭代搜索中路徑上信息素更新程度，數(shù)值越小，可以減小算法結(jié)果是局部最優(yōu)的可能性；Q為所設(shè)的信息素總量；Fij為節(jié)點(diǎn)i、j之間的路徑距離.

2.2 全局信息素更新規(guī)則優(yōu)化

為了縮小蟻群搜索范圍，向之前搜索的最優(yōu)路徑不斷靠攏，增強(qiáng)蟻群個(gè)體間的信息交流能力，在路徑規(guī)劃中引入精英蟻群策略.在迭代后更新全局最優(yōu)路徑上的信息素，計(jì)算公式為

τTij(t+1)=(1-ρ)τTij(t)+ΔτTij(t)+ΔμTij，

(11)

(12)

(13)

(14)

式中：τTij為路徑Tij上的信息素；ΔτTij為蟻群搜索后在路徑Tij釋放的信息素；ρ為地圖中信息素消散系數(shù)，0<ρ<1，表示算法全局搜索能力，ρ越大，算法收斂速度越快；ΔμTij為點(diǎn)i、j之間路徑信息素額外增加量；m為螞蟻總數(shù)；Fk為全局最優(yōu)路徑的長(zhǎng)度；σ為所設(shè)精英蟻群的數(shù)量；FTbs為當(dāng)前蟻群尋得最優(yōu)路徑的長(zhǎng)度；Tbs為當(dāng)前蟻群尋得最優(yōu)路徑.

2.3 啟發(fā)函數(shù)優(yōu)化

常規(guī)蟻群算法中，一般通過計(jì)算某節(jié)點(diǎn)的信息素和局部啟發(fā)函數(shù)來求解狀態(tài)轉(zhuǎn)移概率.算法前期，由于初始信息素相同，整個(gè)蟻群的轉(zhuǎn)移方向隨機(jī)性較大，路徑搜索缺乏目的性和傾向性，需要改進(jìn)啟發(fā)函數(shù)提高搜索能力.通過路徑長(zhǎng)短來評(píng)價(jià)規(guī)劃路徑的優(yōu)劣，所以利用下一節(jié)點(diǎn)與目標(biāo)節(jié)點(diǎn)之間的距離來構(gòu)造啟發(fā)函數(shù)η(t)，若距離越短則轉(zhuǎn)移概率就越大.在地圖上相鄰點(diǎn)到目標(biāo)節(jié)點(diǎn)距離分布不同，往往無法體現(xiàn)出相鄰節(jié)點(diǎn)到目標(biāo)節(jié)點(diǎn)距離的差異性，需要建立距離修正函數(shù)，將距離進(jìn)行量綱一處理增大差異，計(jì)算公式為

(15)

式中：ζ1、ζ2、ζ3為修正參數(shù)，可以對(duì)啟發(fā)函數(shù)的大小進(jìn)行調(diào)節(jié)；dmax、dmin分別為下一節(jié)點(diǎn)與目標(biāo)節(jié)點(diǎn)距離d(j,q)的最大值和最小值.

3 算法驗(yàn)證

3.1 實(shí)際道路視覺位置識(shí)別算法仿真

仿真試驗(yàn)使用的CPU處理器為Intel(R) Xeon(R) CPU E5-2618L v3 2.30 GHz，GPU為雙卡GeForce RTX 2080 Ti，內(nèi)存為11 GB.Ubuntu版本為16.04，Opencv版本為3.4.0，采用PyTorch編寫網(wǎng)絡(luò)框架，實(shí)現(xiàn)具體卷積深度學(xué)習(xí)訓(xùn)練和試驗(yàn).

選用University-1 652數(shù)據(jù)集，對(duì)視覺位置識(shí)別的深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行試驗(yàn)驗(yàn)證.數(shù)據(jù)集University-1 652示例圖像如圖3所示，University-1 652數(shù)據(jù)集是通過航拍圖像、谷歌衛(wèi)星地圖和街景地圖建立的圖像對(duì)，這些圖像是在72個(gè)大學(xué)的1 652個(gè)不同位置拍攝的環(huán)境圖像，每張圖像帶有表示位置的經(jīng)緯度信息.該數(shù)據(jù)集訓(xùn)練部分包含50 218張圖像.訓(xùn)練的航拍圖像和衛(wèi)星圖像對(duì)大小為256×256.定義其中一部分圖像作為訓(xùn)練集，其余圖像作為測(cè)試數(shù)據(jù)集.為了避免網(wǎng)絡(luò)過擬合，運(yùn)用隨機(jī)遮擋、裁剪和旋轉(zhuǎn)對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行數(shù)據(jù)擴(kuò)充.訓(xùn)練時(shí)采用學(xué)習(xí)率喚醒策略，最后分類層的學(xué)習(xí)率為0.01，其余層的學(xué)習(xí)率為0.001.訓(xùn)練時(shí)一次迭代批次大小為8 張圖像，共訓(xùn)練120 次.

圖3 數(shù)據(jù)集University-1 652示例圖像

為驗(yàn)證改進(jìn)的視覺位置識(shí)別算法有效性，選用準(zhǔn)確率和召回率2個(gè)主要指標(biāo)進(jìn)行衡量.其中：準(zhǔn)確率是準(zhǔn)確識(shí)別結(jié)果數(shù)與識(shí)別結(jié)果個(gè)數(shù)的比值，衡量算法查準(zhǔn)率；召回率是前K個(gè)識(shí)別結(jié)果中準(zhǔn)確個(gè)數(shù)和數(shù)據(jù)庫中相關(guān)結(jié)果個(gè)數(shù)的比值，衡量算法查全率.在數(shù)據(jù)集上分別訓(xùn)練本研究和文獻(xiàn)[13-15]中的不同網(wǎng)絡(luò)模型，試驗(yàn)結(jié)果如表1所示，其中：Recall@1、Recall@5、Recall@10分別為前1個(gè)召回率、前5個(gè)召回率和前10個(gè)召回率；mAP為識(shí)別結(jié)果的準(zhǔn)確率.

表1 文獻(xiàn)[13-15]算法和本研究算法的試驗(yàn)結(jié)果 %

從表1可以看出：本研究算法相比文獻(xiàn)[13]中算法，Recall@1提升8.65%，mAP提升7.68%，結(jié)果表明，本研究采用的主干網(wǎng)絡(luò)和損失函數(shù)可以更有效提取圖像特征.

不同損失函數(shù)訓(xùn)練對(duì)應(yīng)的topN召回率如圖4所示.其中：topN為前N個(gè)搜索結(jié)果；LSR loss表示對(duì)數(shù)據(jù)集University-1 652采用標(biāo)簽平滑的交叉熵?fù)p失函數(shù)訓(xùn)練的試驗(yàn)結(jié)果；Instance loss表示對(duì)數(shù)據(jù)集University-1 652采用實(shí)例損失函數(shù)訓(xùn)練的試驗(yàn)結(jié)果.topN采用標(biāo)簽平滑的交叉熵?fù)p失函數(shù)召回率曲線顯示，神經(jīng)網(wǎng)絡(luò)在驗(yàn)證集上top25的召回率大于95%，更加靠近坐標(biāo)軸左上方.可以看出，采用標(biāo)簽平滑的交叉熵?fù)p失函數(shù)后，有效提升對(duì)視覺位置識(shí)別的航拍圖像數(shù)據(jù)擬合和泛化能力.

圖4 不同損失函數(shù)訓(xùn)練對(duì)應(yīng)的topN召回率

不同隨機(jī)批次擦除大小訓(xùn)練對(duì)應(yīng)的topN召回率如圖5所示，不同顏色的召回率曲線表示對(duì)數(shù)據(jù)集University-1 652擦除不同大小特征圖區(qū)域的試驗(yàn)結(jié)果.采用隨機(jī)擦除20%、30%特征圖大小的神經(jīng)網(wǎng)絡(luò)模型在驗(yàn)證集上top1的召回率接近72%，更加靠近坐標(biāo)軸左上方；隨機(jī)設(shè)置合理大小的擦除區(qū)域，能夠同時(shí)提取圖像全局和局部特征，從而提高位置識(shí)別的準(zhǔn)確率.

圖5 不同隨機(jī)批次擦除大小訓(xùn)練對(duì)應(yīng)的topN召回率

結(jié)果表明：本研究所用細(xì)粒度特征提取模塊提取更具判別力特征，利用標(biāo)簽平滑的交叉熵?fù)p失函數(shù)訓(xùn)練，可以實(shí)現(xiàn)有效識(shí)別車輛位置.

試驗(yàn)場(chǎng)地所拍攝的5 000張圖像作為實(shí)際環(huán)境算法測(cè)試的數(shù)據(jù)集.試驗(yàn)數(shù)據(jù)來源于真實(shí)環(huán)境下無人機(jī)采集的航拍圖像數(shù)據(jù)，采集場(chǎng)景隨機(jī)選取，包括不同天氣和不同時(shí)間，以保證數(shù)據(jù)的多樣性.從而為無人機(jī)輔助視覺位置識(shí)別算法提供與衛(wèi)星圖相同地點(diǎn)的航拍圖像數(shù)據(jù)集.

對(duì)某大學(xué)不同地點(diǎn)的視覺進(jìn)行定位，視覺位置識(shí)別結(jié)果如圖6所示.其中：綠色序號(hào)表示正確檢索，紅色序號(hào)表示錯(cuò)誤檢索.第1張為查詢圖像，其余為返回圖像.對(duì)于不同地點(diǎn)，返回檢索結(jié)果的前5張圖像中存在與查詢圖像相同位置的衛(wèi)星圖像，且與查詢圖像相同位置的衛(wèi)星圖像排序位置更加靠前，即返回的衛(wèi)星圖像結(jié)果同時(shí)具有較高的準(zhǔn)確率和召回率.

圖6 視覺位置識(shí)別結(jié)果

3.2 實(shí)際路網(wǎng)路徑規(guī)劃算法仿真

對(duì)某大學(xué)實(shí)際地圖采用rgb2gray進(jìn)行灰度處理，實(shí)際環(huán)境道路路徑信息如圖7所示，利用im2bw將圖像轉(zhuǎn)化為二值圖像，通過imclose對(duì)圖像進(jìn)行閉運(yùn)算，最終識(shí)別道路路網(wǎng)信息，并做柵格化處理得到柵格地圖，較好地實(shí)現(xiàn)了與實(shí)際道路往地圖映射的關(guān)系.分別從路口節(jié)點(diǎn)、路段和網(wǎng)絡(luò)關(guān)系3個(gè)方面來表示道路路網(wǎng)信息.定義路口為節(jié)點(diǎn)，將節(jié)點(diǎn)序號(hào)、到達(dá)其余各節(jié)點(diǎn)距離以及聯(lián)通道路序號(hào)組成一維數(shù)組結(jié)構(gòu)；定義節(jié)點(diǎn)之間的聯(lián)通道路為路段，路段數(shù)據(jù)與節(jié)點(diǎn)存儲(chǔ)相似，同樣采用一維數(shù)組分別儲(chǔ)存路段序號(hào)、相鄰路段序號(hào)以及路段起點(diǎn)終點(diǎn)序號(hào)；道路路網(wǎng)拓?fù)潢P(guān)系可以利用有向圖表示，本研究采用鄰接矩陣定義路網(wǎng)數(shù)據(jù).

圖7 實(shí)際環(huán)境道路路徑信息

仿真條件以圖7的實(shí)際環(huán)境道路路網(wǎng)作為地圖模型進(jìn)行全局路徑規(guī)劃.路網(wǎng)中有47個(gè)節(jié)點(diǎn)、61個(gè)路段.仿真環(huán)境為MATLAB 2019b，分別采用常規(guī)蟻群算法和精英蟻群優(yōu)化算法進(jìn)行路徑規(guī)劃.以圖7中節(jié)點(diǎn)1到節(jié)點(diǎn)31為例，路徑規(guī)劃算法仿真結(jié)果如表2所示，精英蟻群算法規(guī)劃出的最優(yōu)路徑為1—4—9—19—10—13—6—12—21—11—20—14—22—24—25—26—31，該最短路徑長(zhǎng)度為1 830 m，平均迭代次數(shù)為14.4 次；精英蟻群優(yōu)化算法規(guī)劃的最優(yōu)路徑為1—2—5—11—20—23—27—28—29—31，該最短路徑長(zhǎng)度為1 410 m，平均迭代次數(shù)為12.0次.精英蟻群算法和精英蟻群優(yōu)化算法2種方法均能尋找到最優(yōu)路徑，經(jīng)過優(yōu)化的精英蟻群算法在平均路徑長(zhǎng)度、平均迭代次數(shù)和最大迭代次數(shù)均小于精英蟻群算法，收斂速度明顯提高.

表2 路徑規(guī)劃算法仿真結(jié)果

4 結(jié) 論

1) 所提視覺位置識(shí)別算法在孿生網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上引入注意力機(jī)制和細(xì)粒度特征提取模塊，并利用平滑標(biāo)簽的交叉熵?fù)p失函數(shù)訓(xùn)練網(wǎng)絡(luò)模型，實(shí)現(xiàn)弱GPS環(huán)境下的位置識(shí)別.

2) 采用優(yōu)化后的精英蟻群算法進(jìn)行弱GPS環(huán)境下車輛行駛?cè)致窂揭?guī)劃，將下一節(jié)點(diǎn)與目標(biāo)節(jié)點(diǎn)距離作為啟發(fā)函數(shù)，改進(jìn)信息素更新策略，提高蟻群對(duì)最優(yōu)路徑搜索的傾向性，并通過仿真驗(yàn)證了算法的有效性.