楊昌凱 王指輝 周嘉麒 許彧文

（南京航空航天大學(xué) 南京 211106）

1 引言

飛行器超低空飛行過程中發(fā)需要考慮飛行包線內(nèi)障礙物的遠(yuǎn)距離探測和早期預(yù)警，因而產(chǎn)生了障礙物探測和距離估計方面的需求。過去數(shù)十年中應(yīng)用于輔助飛行器超低空飛行的測距設(shè)備主要為基于雷達(dá)的主動式傳感器，然而，主動式傳感器最大的不足在于易于被敵方探測設(shè)備追蹤，與超低空飛行的初衷相違背。近些年，計算機視覺與圖像處理技術(shù)的飛速發(fā)展，使得利用視覺傳感器來獲取場景的距離信息成為了一種行之有效的方案。與主動式傳感器相比，視覺傳感器具有無源自主、尺寸小、損耗小等優(yōu)點。因此利用單目視覺估計距離信息從而輔助飛行器超低空飛行的制導(dǎo)與控制是未來重要的發(fā)展方向。

2 深度估計算法

2.1 方法原理

訓(xùn)練時，以左視圖Il為神經(jīng)網(wǎng)絡(luò)的輸入，右視圖Ir為標(biāo)簽。當(dāng)輸入Il時，網(wǎng)絡(luò)對每個像素點進行逐個預(yù)測，得到視差圖Dr，再將Il與Dr相結(jié)合，解算出預(yù)測右圖Ipr，可是實際上我們輸入左圖期望的結(jié)果是左圖的視差圖Dl，所以本文進行反向采樣，對預(yù)測右圖中的每個像素點逐個預(yù)測，得到視差圖Dl。分別將Dr、Dl與Il、Ir結(jié)合，即可解算出新的預(yù)測右圖和預(yù)測左圖。最后，基于外觀損失代價函數(shù)，將、與輸入的左右視圖進行比較，以此訓(xùn)練網(wǎng)絡(luò)，提高網(wǎng)絡(luò)準(zhǔn)確率。方法示意圖如圖1所示。

圖1 網(wǎng)絡(luò)訓(xùn)練流程圖

根據(jù)三角形原理，已知視差值d，左視圖的深度xr可得：

其中f為相機焦距，a為相機的基線距離。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

該方法訓(xùn)練的網(wǎng)絡(luò)采用編碼解碼的結(jié)構(gòu)，其中編碼階段采用殘差網(wǎng)絡(luò)ResNet，解碼階段采用反卷積神經(jīng)網(wǎng)絡(luò)，再經(jīng)過一個卷積神經(jīng)網(wǎng)絡(luò)輸出視差圖，輸出的視差圖與原圖在雙線性采樣下生成左右預(yù)估圖，最后基于一系列的損失代價函數(shù)反向訓(xùn)練網(wǎng)絡(luò)。

2.3 損失函數(shù)

該方法主要用到三個損失代價函數(shù)：其一為外觀損失代價函數(shù)Cap，用來計算預(yù)估圖與原圖的相似度，公式如下：

其中α=0.85，N 為圖像總像素點數(shù)。顯然，當(dāng)兩個圖像越相似，結(jié)構(gòu)相似性SSIM 的值就會越接近1，則前半項的值越小。其二為左右一致性損失代價函數(shù)Clr，用來保證左右視差圖可以轉(zhuǎn)換，并提高網(wǎng)絡(luò)準(zhǔn)確率，其公式如下：

其三為深度圖局部平滑約束代價函數(shù)Cds，是針對圖像像素點深度不適定問題所提出的。為實現(xiàn)視差在局部的平滑，對視差梯度進行L1 懲罰。同時用圖像梯度的邊緣感知項進行損失加權(quán)，來解決圖像梯度中深度不連續(xù)的情況，其公式如下：

輸入包含左視圖與右視圖，但是損失代價函數(shù)的計算方式都是相同的。所以最終的損失代價總函數(shù)可以表示為

3 實驗結(jié)果分析

本節(jié)選取KITTI數(shù)據(jù)集中的200張圖片作為測試集，并選取了另外三種經(jīng)典方法進行對比測試。結(jié)果如表1所示。

表1 在KITTI數(shù)據(jù)集上定量測試結(jié)果

表中的每種類別的最佳數(shù)據(jù)已以粗體標(biāo)出。其中第三列到第五列為模型的準(zhǔn)確率，這一系列數(shù)據(jù)越高則模型準(zhǔn)確率越高。第六列到第九列為模型的誤差，這一系列數(shù)據(jù)越小則模型誤差越小。

為了更直觀地體現(xiàn)各方法恢復(fù)圖像深度的效果，圖2 展示了幾種算法的定性測試結(jié)果圖。其中，圖2（a）為輸入的測試圖像，圖2（b）為插入了稀疏真實深度數(shù)據(jù)后獲得的稠密化深度圖，圖2（c）、（d）、（e）為分別為Eigen等［8］、Zhou等［9］、Godard等［10］提出的深度估計方法獲得的深度圖。由黑框標(biāo)出的區(qū)域可以看出，本文使用的方法能夠有效減輕像素點深度的不適定，解決深度不連續(xù)的問題，且小車的邊緣預(yù)測十分平滑。但灰框標(biāo)出的區(qū)域，與另外幾種方法相比，本方法丟失部分的深度數(shù)據(jù)，對細(xì)桿狀事物的深度數(shù)據(jù)預(yù)測就不太理想。

圖2 四種方法在KITTI數(shù)據(jù)集上的深度估計結(jié)果比對

選取超低空樣本集中的seq0102可見光序列的100 張圖片作為測試集，再次對上文提出的自監(jiān)督深度估計算法測試，結(jié)果如圖3所示。

圖3 三種方法在超低空樣本集上的深度估計結(jié)果比對

4 結(jié)語

本文針對飛行器超低空飛行中的場景深度估計技術(shù)展開研究。提出了一種基于深度學(xué)習(xí)的自監(jiān)督深度估計方法，無需真實的深度數(shù)據(jù)為標(biāo)簽訓(xùn)練網(wǎng)絡(luò)，即可獲得性能較優(yōu)的深度估計模型。以立體圖像對為訓(xùn)練集，采用左右一致性原則，有效提高網(wǎng)絡(luò)準(zhǔn)確率，并通過多尺度統(tǒng)一，改善了深度圖中的空洞問題。實驗表明，在超低空場景下，該自監(jiān)督方法訓(xùn)練得到的深度估計網(wǎng)絡(luò)表現(xiàn)出了優(yōu)越的性能。