辛菁，杜柯楠，王媛媛，劉丁

（西安理工大學(xué) 自動(dòng)化與信息工程學(xué)院，陜西 西安 710048）

未知環(huán)境地形的自主感知是移動(dòng)機(jī)器人自主導(dǎo)航的基礎(chǔ)和根本保證，也是移動(dòng)機(jī)器人進(jìn)行其他行為決策的前提。坡度檢測(cè)作為移動(dòng)機(jī)器人自主感知未知環(huán)境地形的重要組成部分，其檢測(cè)精度影響移動(dòng)機(jī)器人在爬坡時(shí)的行為策略和方向，進(jìn)而影響整個(gè)導(dǎo)航系統(tǒng)的性能。因此，坡度檢測(cè)精度對(duì)移動(dòng)機(jī)器人自主導(dǎo)航性能十分重要[1]。

慣性測(cè)量單元(inertial measurement units IMU,IMUs )、傾斜傳感器、激光傳感器、超聲波傳感器和視覺(jué)傳感器是坡度檢測(cè)系統(tǒng)常用的傳感器。與IMUs和傾斜傳感器不同[2-3]，激光傳感器[4-5]、超聲波傳感器[6]和視覺(jué)傳感器在檢測(cè)坡度中不需要移動(dòng)機(jī)器人接觸或攀爬斜坡，因而被更多地應(yīng)用在移動(dòng)機(jī)器人坡度檢測(cè)與環(huán)境地形感知中。近年來(lái)，隨著計(jì)算機(jī)視覺(jué)技術(shù)，尤其是單幀圖像深度估計(jì)技術(shù)的快速發(fā)展，以及圖像本身所包含的豐富語(yǔ)義信息，使得視覺(jué)傳感器在機(jī)器人環(huán)境智能感知中得到了廣泛的應(yīng)用?；诖?，本文提出了一種基于遷移學(xué)習(xí)的移動(dòng)機(jī)器人單幀圖像坡度檢測(cè)算法，不需要移動(dòng)機(jī)器人接觸或攀爬斜坡，僅根據(jù)單幀斜坡RGB圖像就能估計(jì)出深度信息進(jìn)而檢測(cè)出斜坡的角度，同時(shí)所提算法大大減少了單幀圖像深度估計(jì)網(wǎng)絡(luò)訓(xùn)練時(shí)對(duì)室外圖像樣本數(shù)量的要求，提高了網(wǎng)絡(luò)的訓(xùn)練效率和估計(jì)精度，顯著提高了移動(dòng)機(jī)器人在未知環(huán)境中估計(jì)斜坡角度的精確度，為移動(dòng)機(jī)器人自主導(dǎo)航提供了更加可靠、準(zhǔn)確的依據(jù)。

1 單幀圖像深度估計(jì)方法

圖像的深度估計(jì)是指對(duì)構(gòu)成二維圖像的每個(gè)像素點(diǎn)對(duì)應(yīng)的深度值進(jìn)行估計(jì)，其中深度值指的是相機(jī)所拍攝圖像中每個(gè)像素點(diǎn)所對(duì)應(yīng)的真實(shí)場(chǎng)景中3D物體到相機(jī)光心所在平面的垂直距離。準(zhǔn)確有效的深度信息能提升圖像分類、目標(biāo)識(shí)別、語(yǔ)義分割等諸多計(jì)算機(jī)視覺(jué)任務(wù)的結(jié)果[7]。隨著近年來(lái)3D技術(shù)的廣泛應(yīng)用和現(xiàn)有普通3D傳感器精度受限的影響，從2D圖像深度估計(jì)信息來(lái)獲取環(huán)境的3D結(jié)構(gòu)成為計(jì)算機(jī)視覺(jué)研究領(lǐng)域的熱點(diǎn)問(wèn)題。對(duì)于單幀圖像，由于難以獲取目標(biāo)場(chǎng)景的視差信息，只能通過(guò)圖像的自身特征及先驗(yàn)知識(shí)來(lái)完成深度估計(jì)，因而具有較大的挑戰(zhàn)性。目前大多數(shù)關(guān)于圖像深度估計(jì)的研究都基于多幀圖像進(jìn)行，典型的方法是采用立體視覺(jué)技術(shù)。整個(gè)過(guò)程類似于人眼的雙目視覺(jué)成像機(jī)理,這種技術(shù)相對(duì)比較成熟,但該類方法獲取環(huán)境信息成本較高[8]，還需要圖像中具有較明顯的輔助信息，且重建結(jié)果易受到物體遮擋和對(duì)應(yīng)關(guān)系匹配誤差的影響。因此，使用簡(jiǎn)潔的單幀圖像深度估計(jì)獲取環(huán)境信息成為三維重建研究中一項(xiàng)重要的研究?jī)?nèi)容[9]。然而由于室外環(huán)境復(fù)雜多變，且干擾因素較多，根據(jù)單幀圖像推斷室外環(huán)境信息一直是三維重建中的一個(gè)挑戰(zhàn)性問(wèn)題。

目前市場(chǎng)上已存在多種用于獲取室外場(chǎng)景深度信息的傳感器，如深度相機(jī)、激光雷達(dá)等。其中，激光雷達(dá)是無(wú)人駕駛領(lǐng)域最常用的距離測(cè)量傳感器，具有高精度、便于攜帶且抗干擾等優(yōu)點(diǎn)，然而其結(jié)構(gòu)復(fù)雜且成本較高，難以廣泛應(yīng)用于工業(yè)。傳統(tǒng)的單幀圖像深度估計(jì)方法通常依賴光學(xué)幾何成像原理等，其難點(diǎn)在于幾何分析模型很難從單幀圖像中獲取足夠用于推測(cè)場(chǎng)景三維信息的相關(guān)特征。

隨著深度學(xué)習(xí)在圖像感知領(lǐng)域的快速發(fā)展，研究者們已經(jīng)將多種深度學(xué)習(xí)模型成功應(yīng)用到圖像處理中，并根據(jù)圖像特征信息來(lái)對(duì)圖像的深度信息進(jìn)行估計(jì)。本質(zhì)上, 基于深度學(xué)習(xí)的單圖像深度估計(jì)方法的核心是構(gòu)造并訓(xùn)練一個(gè)將二維RGB 圖像轉(zhuǎn)換成深度圖像的深度網(wǎng)絡(luò)[10]。常用的深度學(xué)習(xí)模型是卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)，已提出一系列基于CNN的單幀圖像深度估計(jì)算法[10-19]。Eigen等[11]提出一種多尺度CNN來(lái)實(shí)現(xiàn)單幀圖像深度估計(jì)，該方法通過(guò)粗尺度(coarse)與精尺度(fine-scale) 2個(gè)方面分別考慮圖像的全局以及局部信息，相較于直接應(yīng)用CNN網(wǎng)絡(luò)估計(jì)深度值的精確度有了較為明顯的提升，其不足之處是圖像深度估計(jì)效率較低。為此，Liu等[12]提出深度卷積神經(jīng)場(chǎng)?全連接超像素池化網(wǎng)絡(luò)(deep convolutional neural field-fully connected superpixel pooling network,DCNF-FCSP)模型，將卷積神經(jīng)網(wǎng)絡(luò)與條件隨機(jī)場(chǎng)(conditional random fields, CRF)結(jié)合在一起對(duì)單幀圖像深度估計(jì)網(wǎng)絡(luò)進(jìn)行優(yōu)化，將圖像像素點(diǎn)的深度估計(jì)轉(zhuǎn)換為像素塊的深度估計(jì)，在不影響深度估計(jì)精度的前提下提高了估計(jì)速度。單幀圖像深度估計(jì)的性能依賴于大量和多樣性的圖像訓(xùn)練數(shù)據(jù)集[13]。然而，由于室外圖像深度估計(jì)缺乏足夠的室外圖像數(shù)據(jù)集作為支撐，深度估計(jì)結(jié)果較為不理想。隨后，研究者從不角度提出了進(jìn)一步提高估計(jì)精度的方法，如采用多個(gè)深度網(wǎng)絡(luò)[14-17]，Hu等[14]采用圖像深度估計(jì)基礎(chǔ)網(wǎng)絡(luò)得到單幀圖像粗略的深度估計(jì)結(jié)果，再通過(guò)精細(xì)網(wǎng)絡(luò)對(duì)深度估計(jì)結(jié)果進(jìn)行優(yōu)化，并在損失函數(shù)中加入對(duì)象邊緣的深度梯度來(lái)優(yōu)化對(duì)象邊界的深度估計(jì)結(jié)果，提高了估計(jì)精度，但該方法的圖像深度估計(jì)效率比較低，不能滿足環(huán)境三維重建對(duì)實(shí)時(shí)性的要求。Kuznietsov等[15]采用半監(jiān)督學(xué)習(xí)方式對(duì)圖像特征進(jìn)行學(xué)習(xí)，以減少訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)所需要的訓(xùn)練樣本。Fu等[16]基于空間和深度分辨率的折衷提出了一種回歸分類級(jí)聯(lián)網(wǎng)絡(luò)。梁煜等[17]將全卷積網(wǎng)絡(luò)、擠壓?激勵(lì)網(wǎng)絡(luò)（squeeze-and-excitation networks,SENet）、殘差網(wǎng)絡(luò)（residual neural network, ResNet）三者結(jié)合提出了一種多網(wǎng)絡(luò)構(gòu)成的編碼器解碼器結(jié)構(gòu)，提高了單幀圖像深度估計(jì)的精度。此外，還有研究者通過(guò)設(shè)計(jì)新的損失函數(shù)[10,18-19]， 在保證深度估計(jì)精度的同時(shí)，提高了估計(jì)的實(shí)時(shí)性。

綜上，已有的單幅圖像深度估計(jì)方法可以獲得比較精確的深度估計(jì)結(jié)果，然而其需要大量的圖像數(shù)據(jù)集，仍不能很好地解決室外單幅圖像深度估計(jì)中訓(xùn)練數(shù)據(jù)有限且深度估計(jì)精度不理想的問(wèn)題，基于此，受遷移學(xué)習(xí)在計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)等領(lǐng)域的成功應(yīng)用，本文提出了一種基于遷移學(xué)習(xí)的室外單幀圖像深度估計(jì)方法，旨在能夠在節(jié)省訓(xùn)練樣本的同時(shí)提高深度估計(jì)結(jié)果的精確度，在此基礎(chǔ)上進(jìn)一步提出了一種改進(jìn)的移動(dòng)機(jī)器人坡度檢測(cè)算法，能夠根據(jù)移動(dòng)機(jī)器人車載相機(jī)采集的單幀斜坡RGB圖像就可估計(jì)出精確的斜坡角度。

本文的主要貢獻(xiàn)如下：

1)提出了一種基于遷移學(xué)習(xí)的室外單幀圖像深度估計(jì)方法，不僅在室外圖像標(biāo)準(zhǔn)數(shù)據(jù)集上取得了精確的深度估計(jì)結(jié)果，而且對(duì)于實(shí)際拍攝的室外單幀圖像也能進(jìn)行準(zhǔn)確的深度估計(jì)；

2)將基于遷移學(xué)習(xí)的室外單幀圖像深度估計(jì)方法與基于視覺(jué)的機(jī)器人坡度檢測(cè)方法相結(jié)合，提出了一種改進(jìn)的移動(dòng)機(jī)器人單幀圖像坡度檢測(cè)算法，能夠僅根據(jù)移動(dòng)機(jī)器人車載相機(jī)采集的單幀斜坡RGB圖像就可估計(jì)出精確的斜坡角度，滿足移動(dòng)機(jī)器人在未知環(huán)境中對(duì)坡度感知精度的要求。

2 基于遷移學(xué)習(xí)的移動(dòng)機(jī)器人單幀圖像坡度檢測(cè)算法原理

2.1 算法整體框架

本文提出的基于遷移學(xué)習(xí)的移動(dòng)機(jī)器人單幀圖像坡度檢測(cè)算法整體如圖1所示，主要由斜坡邊緣提取、斜坡邊緣像素點(diǎn)坐標(biāo)轉(zhuǎn)換和斜坡圖像深度估計(jì)3個(gè)部分組成。首先，對(duì)Kinect傳感器采集到的斜坡RGB圖像進(jìn)行濾波和邊緣提取，以獲得斜坡圖像上下邊緣像素點(diǎn)的坐標(biāo)；其次，將斜坡圖像邊緣像素點(diǎn)坐標(biāo)由圖像像素坐標(biāo)系轉(zhuǎn)換到相機(jī)坐標(biāo)系中，得到邊緣像素點(diǎn)的坐標(biāo)；接著，將斜坡圖像邊緣像素點(diǎn)坐標(biāo)由圖像像素坐標(biāo)系轉(zhuǎn)換到相機(jī)坐標(biāo)系中，得到斜坡真實(shí)長(zhǎng)度l；最后，通過(guò)基于遷移學(xué)習(xí)的室外單幀圖像深度估計(jì)網(wǎng)絡(luò)對(duì)斜坡圖像進(jìn)行深度估計(jì)，得到斜坡上下邊緣像素點(diǎn)的深度值，作差得到斜坡投影長(zhǎng)度a，再通過(guò)反余弦函數(shù)便可得到斜坡角度 θ=arccos(a/l)。其中，如何根據(jù)單幀斜坡RGB圖像估計(jì)出斜坡上下邊緣像素點(diǎn)的深度值，是獲得精確的斜波角度估計(jì)值的關(guān)鍵，本文中該值可通過(guò)所設(shè)計(jì)的深度估計(jì)網(wǎng)絡(luò)獲得。下面詳細(xì)介紹本文所提出的基于遷移學(xué)習(xí)的室外單幀圖像深度估計(jì)算法基本原理。

圖1 坡度檢測(cè)算法Fig. 1 General framework of slope detection algorithm

2.2 基于遷移學(xué)習(xí)的室外單幀圖像深度估計(jì)算法基本原理

本文提出的基于遷移學(xué)習(xí)的室外單幀圖像深度估計(jì)算法如圖2所示，主要由室內(nèi)圖像深度估計(jì)和參數(shù)遷移2部分組成。首先，采用室內(nèi)圖像語(yǔ)義分割數(shù)據(jù)集(NYU depth dataset V2, NYU-D V2)對(duì)室內(nèi)圖像深度估計(jì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到DCNF-FCSP室內(nèi)圖像深度估計(jì)網(wǎng)絡(luò)模型；然后，將該網(wǎng)絡(luò)模型中前5個(gè)圖像特征提取層的網(wǎng)絡(luò)參數(shù)遷移至室外圖像深度估計(jì)網(wǎng)絡(luò)中；最后，固定遷移至室外圖像深度估計(jì)網(wǎng)絡(luò)的圖像特征提取網(wǎng)絡(luò)參數(shù)，利用Make 3D室外圖像數(shù)據(jù)集對(duì)剩余的2個(gè)卷積層和3個(gè)全連接層的網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練，從而得到室外單幀圖像深度估計(jì)網(wǎng)絡(luò)。

下面詳細(xì)介紹基于遷移學(xué)習(xí)的室外圖像深度估計(jì)方法的具體實(shí)現(xiàn)原理，包括室內(nèi)圖像深度估計(jì)和基于遷移學(xué)習(xí)的單幀圖像深度估計(jì)。

2.2.1 室內(nèi)圖像深度估計(jì)

本文借鑒文獻(xiàn)[12]提出的室內(nèi)圖像深度估計(jì)方法對(duì)圖像深度估計(jì)網(wǎng)絡(luò)進(jìn)行初始化。首先，采用簡(jiǎn)單線性迭代聚類(simple linear iterative clustering, SLIC)超像素分割方法將室內(nèi)RGB圖像劃分為多個(gè)超像素塊；然后，通過(guò)全卷積網(wǎng)絡(luò)(full convolutional network, FCN)對(duì)室內(nèi)RGB圖像進(jìn)行特征提取，在此基礎(chǔ)上，將圖像像素點(diǎn)的深度估計(jì)問(wèn)題轉(zhuǎn)化為對(duì)圖像超像素塊的深度估計(jì)問(wèn)題，并采用超像素池化來(lái)獲得圖像超像素塊的特征信息；最后，采用條件隨機(jī)場(chǎng)(conditional random fields, CRF)參數(shù)優(yōu)化的形式構(gòu)建損失函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化，進(jìn)而得到更加準(zhǔn)確的室內(nèi)圖像深度估計(jì)結(jié)果。

圖2 基于遷移學(xué)習(xí)的室外單幀圖像深度估計(jì)算法Fig. 2 General framework of outdoor single image depth estimation algorithm based on transfer learning

假設(shè)輸入RGB圖像為x=[x1x2···xn]T，向量z=[z1z2···zn]T是n個(gè)超像素塊的預(yù)測(cè)深度值，其對(duì)應(yīng)的真實(shí)深度值為y=[y1y2···yn]T。

CRF是在給定隨機(jī)變量x的條件下，隨機(jī)變量y的馬爾可夫隨機(jī)場(chǎng)Pr(y|x)，其表達(dá)式為

式中：E(·) 為能量函數(shù)，用于表示圖像超像素塊與超像素塊之間的關(guān)系；Z(·) 為配分函數(shù)，可將輸入圖像深度預(yù)測(cè)問(wèn)題轉(zhuǎn)化為求解后驗(yàn)概率最大的值[12]：

2.2.2 基于遷移學(xué)習(xí)的室外單幀圖像深度估計(jì)

傳統(tǒng)的機(jī)器學(xué)習(xí)通常需要大量的訓(xùn)練樣本，然而現(xiàn)實(shí)生活中，因受數(shù)據(jù)獲取的限制，往往難以滿足。因此，本文采用遷移學(xué)習(xí)來(lái)解決訓(xùn)練室外單幀圖像深度估計(jì)網(wǎng)絡(luò)所需要的圖像數(shù)據(jù)集有限的問(wèn)題。由于CNN具有良好的層次結(jié)構(gòu)，而且對(duì)于CNN來(lái)說(shuō)前面幾層所學(xué)習(xí)到的特征都是通用特征，隨著網(wǎng)絡(luò)層次的加深，后面的網(wǎng)絡(luò)層更加偏重于學(xué)習(xí)特定的特征。所以，本文選用遷移學(xué)習(xí)將室內(nèi)圖像深度估計(jì)網(wǎng)絡(luò)模型中提取通用特征的網(wǎng)絡(luò)參數(shù)進(jìn)行遷移，以減少訓(xùn)練室外圖像深度估計(jì)網(wǎng)絡(luò)所需的數(shù)據(jù)量，同時(shí)節(jié)省了網(wǎng)絡(luò)訓(xùn)練時(shí)間。

遷移學(xué)習(xí)主要針對(duì)源任務(wù)與目標(biāo)任務(wù)之間的知識(shí)遷移，通過(guò)將源任務(wù)上訓(xùn)練好的模型權(quán)重直接應(yīng)用于目標(biāo)任務(wù)中，從而有效利用域間的知識(shí)遷移來(lái)解決目標(biāo)任務(wù)標(biāo)記數(shù)據(jù)不足的問(wèn)題。通過(guò)遷移源任務(wù)中預(yù)先訓(xùn)練的模型權(quán)重，來(lái)顯著減少目標(biāo)任務(wù)模型中需要學(xué)習(xí)的參數(shù)數(shù)量，從而實(shí)現(xiàn)利用較小規(guī)模的樣本就可以進(jìn)行快速有效的模型訓(xùn)練[20]。針對(duì)不同的研究領(lǐng)域，CNN遷移過(guò)程中所選取的遷移對(duì)象也不相同。本文選用歸納式遷移學(xué)習(xí)中的參數(shù)遷移方法將室內(nèi)圖像深度估計(jì)網(wǎng)絡(luò)參數(shù)遷移至室外圖像深度估計(jì)網(wǎng)絡(luò)中，以完成室外圖像深度估計(jì)任務(wù)，如圖3所示。

假設(shè)源域與目標(biāo)域共享模型參數(shù)，網(wǎng)絡(luò)由7個(gè)卷積層以及3個(gè)全連接層組成，其中前5層是基于原始圖像進(jìn)行特征提取，從第6個(gè)卷積層開(kāi)始引入超像素塊的概念，所以可以認(rèn)為前5層卷積層所提取到的特征在源域與目標(biāo)域中共用，而網(wǎng)絡(luò)后2個(gè)卷積層和3個(gè)全連接層主要是針對(duì)目標(biāo)任務(wù)進(jìn)行精細(xì)計(jì)算。

圖3 室外圖像深度估計(jì)特征提取部分網(wǎng)絡(luò)結(jié)構(gòu)Fig. 3 Network structure of feature extraction for outdoor image depth estimation

本文將DCNF-FCSP室內(nèi)圖像深度估計(jì)網(wǎng)絡(luò)中前5層圖像特征提取的網(wǎng)絡(luò)參數(shù)遷移至室外圖像深度估計(jì)網(wǎng)絡(luò)中以完成室外圖像的特征提取，如圖4所示。

室內(nèi)圖像深度估計(jì)數(shù)據(jù)集種類較多，且數(shù)據(jù)量充足，因而提取到的圖像特征較為豐富，可以彌補(bǔ)由于室外圖像數(shù)據(jù)集不足而導(dǎo)致特征提取不完備的缺陷。將室外圖像提取特征作為其后網(wǎng)絡(luò)層的輸入，結(jié)合室外圖像深度估計(jì)標(biāo)準(zhǔn)數(shù)據(jù)集Make 3D對(duì)后面的網(wǎng)絡(luò)層進(jìn)行訓(xùn)練并更新參數(shù)，來(lái)獲取最終的圖像深度的估計(jì)值。采用CRF參數(shù)優(yōu)化的形式構(gòu)建室外圖像深度估計(jì)網(wǎng)絡(luò)的損失函數(shù)[12,21]，能夠在考慮預(yù)測(cè)深度值與實(shí)際深度值之間關(guān)系的基礎(chǔ)上，利用輸入圖像鄰域超像素塊之間的相似性信息來(lái)對(duì)圖像深度估計(jì)值進(jìn)行平滑處理，進(jìn)而得到輸入圖像更加準(zhǔn)確的像素點(diǎn)深度估計(jì)值。

圖4 基于遷移學(xué)習(xí)的深度估計(jì)網(wǎng)絡(luò)結(jié)構(gòu)Fig. 4 Network structure of depth estimation based on transfer learning

3 實(shí)驗(yàn)研究

本部分進(jìn)行了2組實(shí)驗(yàn)分別用來(lái)驗(yàn)證本文所提出的室外單幀圖像深度估計(jì)算法和移動(dòng)機(jī)器人單幀圖像坡度檢測(cè)算法的有效性。

3.1 基于遷移學(xué)習(xí)的室外單幀圖像深度估計(jì)實(shí)驗(yàn)

本實(shí)驗(yàn)的目的是為了驗(yàn)證所提出的室外圖像深度估計(jì)方法的有效性與優(yōu)越性。采用室外圖像深度估計(jì)標(biāo)準(zhǔn)數(shù)據(jù)集Make 3D對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練與測(cè)試，并通過(guò)實(shí)際拍攝的室外圖像對(duì)深度估計(jì)網(wǎng)絡(luò)進(jìn)行測(cè)試。最后采用3種圖像深度估計(jì)評(píng)估標(biāo)準(zhǔn)對(duì)所提出的室外圖像深度估計(jì)方法的性能進(jìn)行評(píng)估。

本文采用的3種圖像深度估計(jì)評(píng)估標(biāo)準(zhǔn)定義為

1)平均相對(duì)誤差（mean relative error, MRE），主要反映估計(jì)值的可信程度，計(jì)算公式為

2)均方根誤差（root-mean-square error, RMSE）是一種定量的衡量方式，主要反映估計(jì)值與真實(shí)值之間的偏差，計(jì)算公式為

3)平均對(duì)數(shù)誤差(lg)，主要是為了更便捷發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)系，所以對(duì)數(shù)據(jù)轉(zhuǎn)換也是一種解決方法，計(jì)算公式為

式中：N是輸入圖像的像素總數(shù)；是像素點(diǎn)的真實(shí)深度；dp是像素點(diǎn)的預(yù)測(cè)深度。

實(shí)驗(yàn)1基于Make 3D標(biāo)準(zhǔn)數(shù)據(jù)集的深度估計(jì)

本實(shí)驗(yàn)采用http://make3d.cs.cornell.edu/data.html網(wǎng)站上提供的Make 3D標(biāo)準(zhǔn)數(shù)據(jù)集[22]進(jìn)行了室外單幀圖像深度估計(jì)實(shí)驗(yàn)。Make 3D數(shù)據(jù)集是目前最主流的室外圖像標(biāo)準(zhǔn)數(shù)據(jù)集，包含534對(duì)RGB-D圖像對(duì)(包括RGB圖像和其對(duì)應(yīng)的深度圖像)，其中，400對(duì)圖像對(duì)用于訓(xùn)練，134對(duì)圖像用于測(cè)試。每幀圖像的深度值均由激光雷達(dá)進(jìn)行采集，相較于Kinect相機(jī)采集的深度信息，該測(cè)距儀可以得到室外圖像更加精確的深度信息，而且測(cè)距范圍更大，與普通的深度傳感器相比還具有分辨率高、抗干擾能力強(qiáng)等特點(diǎn)。由于Make 3D圖像中深度層次區(qū)分不明顯，所以采用顏色熱圖表示其深度估計(jì)結(jié)果。本文從該數(shù)據(jù)集包含的134個(gè)測(cè)試樣本圖像中根據(jù)光照以及環(huán)境復(fù)雜度的不同選取了10幀圖像進(jìn)行深度估計(jì)算法驗(yàn)證，深度估計(jì)結(jié)果如圖5所示。

由圖5可以看出，本文所提出的室外圖像深度估計(jì)方法可以準(zhǔn)確地估計(jì)出室外單幀圖像的深度值。為了進(jìn)一步驗(yàn)證本文所提出方法的有效性，結(jié)合圖像深度估計(jì)性能評(píng)價(jià)標(biāo)準(zhǔn)對(duì)估計(jì)結(jié)果進(jìn)行量化分析，并與FCRN(fully convolutional residual networks, FCRN)[19]和DCNF-FCSP[12]深度估計(jì)方法進(jìn)行比較，結(jié)果如表1所示。

圖5 Make 3D數(shù)據(jù)集的深度估計(jì)結(jié)果(藍(lán)色：近；紅色：遠(yuǎn))Fig. 5 Results of depth estimation on Make 3D dataset (blue: close; red: far)

從表1可以看出本文所提出的基于遷移學(xué)習(xí)的室外單幀圖像深度估計(jì)方法在3個(gè)性能評(píng)價(jià)指標(biāo)上均優(yōu)于FCRN深度估計(jì)方法，在平均相對(duì)誤差和均方根誤差上均優(yōu)于DCNF-FCSP深度估計(jì)方法，而且在平均相對(duì)誤差這一評(píng)價(jià)指標(biāo)上具有較為明顯的優(yōu)勢(shì)。

表1 Make 3D數(shù)據(jù)集深度估計(jì)結(jié)果對(duì)比Table 1 Comparison of depth estimation results for Make 3D dataset

實(shí)驗(yàn)2實(shí)際拍攝的室外圖像深度估計(jì)

圖6 實(shí)際拍攝室外圖像深度估計(jì)結(jié)果(藍(lán)色：近；紅色：遠(yuǎn))Fig. 6 The actual outdoor image depth estimation result (blue: close; red: far)

本實(shí)驗(yàn)的目的是通過(guò)對(duì)實(shí)際拍攝的室外圖像深度估計(jì)，來(lái)進(jìn)一步驗(yàn)證所提方法在真實(shí)場(chǎng)景中的有效性和優(yōu)越性。實(shí)驗(yàn)中使用博世(BOSCH)DEL40手持激光測(cè)距儀進(jìn)行實(shí)際深度值測(cè)量，隨機(jī)選取圖像中一個(gè)矩形區(qū)域的4個(gè)頂點(diǎn)對(duì)圖像深度估計(jì)質(zhì)量進(jìn)行評(píng)估，深度估計(jì)結(jié)果如圖6所示。由圖6可以看出，本文所提出的深度估計(jì)方法對(duì)于實(shí)際拍攝的室外單幀圖像在光照均勻且場(chǎng)景簡(jiǎn)單的環(huán)境下可以實(shí)現(xiàn)較好的深度估計(jì)。

表2進(jìn)一步給出了本文所提出的室外單幀圖像深度估計(jì)方法與主流的FCRN深度估計(jì)方法[19]、DCNF-FCSP深度估計(jì)方法[12]的量化估計(jì)結(jié)果，其中深度的真實(shí)值由激光測(cè)距儀獲得。由表2可以看出，本文所提出的深度估計(jì)方法對(duì)于光照均勻且場(chǎng)景簡(jiǎn)單的室外單幀圖像能夠進(jìn)行準(zhǔn)確的深度估計(jì)。通過(guò)3種方法在室外圖像中任意選取的矩形區(qū)域頂點(diǎn)的深度估計(jì)結(jié)果與真實(shí)距離的對(duì)比可以看出，本文所提出的深度估計(jì)方法對(duì)于實(shí)際拍攝的室外單幀圖像深度估計(jì)的精度更高。

表2 實(shí)際拍攝室外圖像中所選矩形區(qū)域的深度估計(jì)結(jié)果比較Table 2 Comparison of depth estimation results of selected regions in actual outdoor images

表3給出了在式(3)～(5)所定義的3種深度估計(jì)性能評(píng)價(jià)標(biāo)準(zhǔn)下上述3種深度估計(jì)方法的性能比較結(jié)果。從表3中的對(duì)比結(jié)果可以看出，與FCRN和DCNF-FCSP方法相比，本文所提出的室外單幀圖像深度估計(jì)方法性能更優(yōu)。

表3 實(shí)際拍攝室外圖像深度估計(jì)結(jié)果對(duì)比Table 3 Comparison of depth estimation results of actual outdoor images.

綜上所述，本文所提出的基于遷移學(xué)習(xí)的室外單幀圖像深度估計(jì)方法在實(shí)際拍攝的室外單幀圖像上也取得了較高的深度估計(jì)精度，是一種有效的室外單幀圖像深度估計(jì)方法。

3.2 移動(dòng)機(jī)器人坡度檢測(cè)實(shí)驗(yàn)

本實(shí)驗(yàn)的目的是通過(guò)2組具有不同傾斜角的斜坡在不同視角下的坡度檢測(cè)實(shí)驗(yàn)，驗(yàn)證所提出的改進(jìn)的移動(dòng)機(jī)器人單幀圖像坡度檢測(cè)算法的有效性和可行性。實(shí)驗(yàn)中的斜坡圖像采集裝置主要包括TurtleBot移動(dòng)機(jī)器人和Kinect深度相機(jī)，如圖7所示，安裝在移動(dòng)機(jī)器人上的Kinect相機(jī)可以從不同的視角獲取各種角度的斜坡圖像。

圖7 斜坡圖像采集裝置Fig. 7 Slope image acquisition device

實(shí)驗(yàn)場(chǎng)地如圖8(a)、(e)所示。對(duì)2個(gè)視野開(kāi)闊，便于觀察且傾角不同的斜坡分別從5個(gè)不同視角進(jìn)行了坡度檢測(cè)實(shí)驗(yàn)。分別采用絕對(duì)誤差、相對(duì)誤差和誤差均值3個(gè)指標(biāo)對(duì)所提出的移動(dòng)機(jī)器人單幀圖像坡度檢測(cè)算法估計(jì)出的斜坡角度的精確度進(jìn)行評(píng)估。室外不同視角下的斜坡邊緣提取和深度估計(jì)的實(shí)驗(yàn)結(jié)果分別如圖8(b)～(d)、(f)～(h)所示，其量化估計(jì)結(jié)果如表4所示。由圖8和表4結(jié)果所示，將本文所提出的基于遷移學(xué)習(xí)的室外單幀圖像深度估計(jì)方法應(yīng)用于移動(dòng)機(jī)器人坡度檢測(cè)中，對(duì)于不同傾角和不同視角下的斜坡均能得到更加準(zhǔn)確的坡度檢測(cè)結(jié)果，大大提高了移動(dòng)機(jī)器人在未知環(huán)境中感知坡度的精確度。

圖8 室外斜坡邊緣提取結(jié)果與深度估計(jì)結(jié)果(藍(lán)色：近；紅色：遠(yuǎn))Fig. 8 Outdoor slope edge extraction results and depth estimation results (blue: close; red: far)

表4 室外斜坡角度估計(jì)結(jié)果對(duì)比Table 4 Comparison of outdoor slope angle estimation results

4 結(jié)束語(yǔ)

本文提出了一種基于遷移學(xué)習(xí)的室外單幀圖像深度估計(jì)方法，通過(guò)將室內(nèi)圖像深度估計(jì)網(wǎng)絡(luò)參數(shù)遷移至室外圖像深度估計(jì)網(wǎng)絡(luò)中，對(duì)室外單幀圖像深度進(jìn)行估計(jì)，解決了室外圖像數(shù)據(jù)集有限的問(wèn)題。實(shí)驗(yàn)結(jié)果表明，本文所提出的室外圖像深度估計(jì)方法在Make 3D標(biāo)準(zhǔn)數(shù)據(jù)集和實(shí)際拍攝的室外單幀圖像上都取得了較高的深度估計(jì)精度。在此基礎(chǔ)上將其與基于視覺(jué)的移動(dòng)機(jī)器人坡度檢測(cè)相結(jié)合進(jìn)一步提出了一種改進(jìn)的移動(dòng)機(jī)器人單幀圖像坡度檢測(cè)算法，實(shí)驗(yàn)結(jié)果表明移動(dòng)機(jī)器人坡度檢測(cè)精度得到了顯著提高，檢測(cè)精度滿足移動(dòng)機(jī)器人在未知環(huán)境中對(duì)坡度感知精度的要求。在今后的工作中，我們將進(jìn)一步將本文所提出的單幀圖像深度估計(jì)結(jié)果應(yīng)用到圖像語(yǔ)義分割中以提高圖像語(yǔ)義分割網(wǎng)絡(luò)的性能，最終完成未知環(huán)境下的高精度3D語(yǔ)義地圖構(gòu)建。