成 怡，孟 祺

(天津工業(yè)大學(xué)電氣工程與自動化學(xué)院，天津 300387)

1 引言

深度感知是計算機視覺領(lǐng)域的熱點問題之一，對機器人完成諸如目標檢測、無人駕駛、地圖繪制、定位和避障等任務(wù)是必不可少的。單目相機具有成本低、體積小、能源效率高等優(yōu)點，因此，出現(xiàn)了很多利用單目相機進行深度估計的研究。單目深度估計方法從單幅RGB圖像中估計深度信息，但單張RGB圖片對應(yīng)的真實場景可能有無數(shù)個，而圖像中沒有穩(wěn)定的線索來約束這些可能性[1]。典型的傳統(tǒng)計算機視覺需要加一定的約束來解決這一問題，例如物體表面的特性、紋理元素。最等早利用機器學(xué)習(xí)方法來估計深度是基于馬爾可夫隨機場(MRF)[2]，這類方法通常依賴人為設(shè)計的特征與概率圖模型，文獻[3]將深度圖的估計問題變成一個搜索問題，這是在假設(shè)相似圖像具有相似深度圖的前提下進行的，從這時開始，深度估計從最開始的基于手動設(shè)置特征到后來的基于深度學(xué)習(xí)的方法。

Eigen等人首次將深度神經(jīng)網(wǎng)絡(luò)用于單目深度估計任務(wù)，提出使用粗尺度與細尺度兩個網(wǎng)絡(luò)來對單張RGB圖片進行深度估計，首先將原始圖片經(jīng)過粗尺度網(wǎng)絡(luò)后，得到全局尺度下對場景深度的粗略估計。然后將上層的粗略估計作為附加的第一層圖像特征傳遞給細尺度網(wǎng)絡(luò)，添加更多的細節(jié)信息來進行局部優(yōu)化。Liu等人將深度卷積神經(jīng)網(wǎng)絡(luò)與CRF結(jié)合，提出了深度卷積神經(jīng)場[4]。Laina等人提出了一種基于殘差學(xué)習(xí)的全卷積網(wǎng)絡(luò)架構(gòu)用于單目深度估計，具有更深的網(wǎng)絡(luò)結(jié)構(gòu)，而且不需要進行后續(xù)處理[5]。

當前，在深度估計領(lǐng)域為了提高深度估計的精度，往往要求更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，這就要求硬件具備快速計算能力。而大多數(shù)移動端和嵌入式設(shè)備其計算能力有限，吞吐量極低，無法實現(xiàn)實時預(yù)測，要想在嵌入式端設(shè)計算法，一個難點就是如何平衡設(shè)備計算能力與耗時性和算法本身的精確率之間的關(guān)系。由此出現(xiàn)了輕量級神經(jīng)網(wǎng)絡(luò)模型，如MobileNet[6]、ThunderNet[7]等，這類算法在不損失網(wǎng)絡(luò)性能的前提下使網(wǎng)絡(luò)參數(shù)更少[8]。例如MobileNet網(wǎng)絡(luò)采用深度可分離(Depthwise Separable Convolution)的卷積方式降參，它將卷積方式分解為逐通道卷積(Depthwise Convolution)與逐點卷積(Pointwise Convolution)，本文用DC與PC表示。

深度神經(jīng)網(wǎng)絡(luò)對單幅圖像進行深度估計屬于密集預(yù)測任務(wù)[9]，在語義分割[10]、網(wǎng)絡(luò)風(fēng)格轉(zhuǎn)換[11]等密集預(yù)測任務(wù)中編碼器-解碼器網(wǎng)絡(luò)是常見的一種結(jié)構(gòu)，編碼器部分即卷積提取特征部分，用來捕獲像素位置信息和圖像特征，解碼器部分利用反卷積池化或上采用等操作將其進行解析并還原圖像的空間維度和像素的位置信息。本文在編碼器-解碼器網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，采用監(jiān)督訓(xùn)練方式，提出一種可以應(yīng)用于嵌入式平臺Jetson TX2的單目深度估計算法，在不損失精度的情況下，大幅度降低網(wǎng)絡(luò)的參數(shù)量以及計算量。

2 基于編碼器-解碼器網(wǎng)絡(luò)的單目深度估計算法

基于編碼器-解碼器網(wǎng)絡(luò)的單目深度估計算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 編碼器-解碼器網(wǎng)絡(luò)結(jié)構(gòu)圖

在編碼器階段，也即特征收縮階段，高層特征具有較高的分辨率，但是提取的信息較少，底層特征分辨率較低，但是可以提取到更多的信息。在解碼器階段，底層特征在預(yù)測像素的同時再結(jié)合高層特征利用更多的信息生成清晰度較高的特征圖。對損失函數(shù)的不同選擇會對訓(xùn)練速度以及整體深度估計的性能產(chǎn)生顯著影響，深度估計屬于深度回歸問題，本文的的回歸損失函數(shù)采用的誤差是平均絕對誤差(L1＿Loss)來最小化深度像素差異重構(gòu)深度圖像

(1)

2.1 編碼器階段特征提取

本文編碼器網(wǎng)絡(luò)采用針對移動端和嵌入式端且廣泛應(yīng)用于密集預(yù)測任務(wù)的輕量化模型Mobile Net v1對輸入彩色圖像進行特征提取，獲得高級語義信息。

Mobile Net v1結(jié)構(gòu)如上節(jié)所述是基于深度可分離卷積所構(gòu)成，其主體網(wǎng)絡(luò)結(jié)構(gòu)與深度可分離基本結(jié)構(gòu)分別如表1所示。本文網(wǎng)絡(luò)輸入為224×224×3的彩色圖像，首先是一個3×3的標準卷積，步長為2下采樣，之后是DC與PC進行逐層堆積，每一層卷積后面跟著批量歸一化層(Batch Normalization，BN)以及ReLu非線性激活函數(shù)。卷積步驟可以看作3×3 DC+BN+Relu與1×1 PC+BN+Relu的逐層堆積。對于標準卷積，每個Filter與所有通道數(shù)卷積造成參數(shù)量很大，而DC中每一個Filter只與單個通道進行卷積，F(xiàn)liter數(shù)與輸入通道數(shù)相同，完成后的特征圖(Feature Map)數(shù)與輸入通道相同。使用1×1×M 的PC提取不同特征圖在相同空間像素位置上的信息，其中M為上一層通道數(shù),有幾個Filter就生成幾個特征圖，最終參數(shù)的計算是由以上兩部分相加得到，得到的參數(shù)個數(shù)是遠遠低于標準卷積。

表1 Mobile Net網(wǎng)絡(luò)主體結(jié)構(gòu)

此模型幾乎將95%的計算量都放在了PC的1×1卷積中，而1×1的卷積在數(shù)值線性代數(shù)算法里是最優(yōu)的一類，Mobile Net v1中1×1的卷積占參數(shù)總量的74.59%，參數(shù)量很小，這對嵌入式端神經(jīng)網(wǎng)絡(luò)算法是很重要的。經(jīng)過編碼器網(wǎng)絡(luò)的14層時，特征圖的分辨率會逐漸降低，并且更高級的特征被提取到，當輸入到解碼器網(wǎng)絡(luò)時，許多的特征將會丟失，這種方式缺乏對多層級特征的利用，使解碼器很難預(yù)測到稠密數(shù)據(jù)，考慮到不同層級的特征圖空間分辨率與特征提取程度，本文采用在U-Net中被驗證對稠密數(shù)據(jù)輸出很有效的跳躍連接方式，從Mobile Net v1網(wǎng)絡(luò)中引出Level-1，Level-2的輸出作為跳躍連接的輸入，以解決不同尺度特征的融合問題。

2.2 解碼器結(jié)構(gòu)

解碼器根據(jù)編碼器輸出的特征圖進行上采樣，并在空間上縮小特征映射，生成與輸入尺寸相同的深度圖。本文使用插值與卷積的方式降低卷積層的特征圖。編碼器輸出有高級語義信息的特征圖，其空間分辨率低而通道數(shù)大，Mobile Net v1輸出特征圖的大小為7×7(寬×高)，而通道數(shù)為1024。與編碼器操作不同，解碼器需要經(jīng)過幾層放大特征圖，同時降低通道數(shù)，本文采用雙線性插值的方法加倍特征圖分辨率，使用5×5的卷積操作降低通道數(shù)，使輸出通道數(shù)量降低為輸入通道的一半。但是，會出現(xiàn)預(yù)測深度只能覆蓋中心區(qū)域，深度圖與地面真實深度(Ground Truth)在像素極上出現(xiàn)不一致性的問題。為此采用膨脹卷積的方式增大感受野，7×7的卷積層正則等效于3個3×3的卷積層的疊加，同時參數(shù)量也會降低。當多次疊加3×3的膨脹卷積會使Kernel不連續(xù)，出現(xiàn)感受野不連續(xù)問題(Gridding effect)。所以可以通過設(shè)置不同的膨脹率d(dilation rate)靈活控制不同的膨脹卷積大小。本文使用了3個卷積核為3×3的膨脹卷積，為了防止感受野不連續(xù)的發(fā)生，將膨脹率分別設(shè)置為d=1，d=2，d=5，得到的感受野分別為3×3，5×5，11×11，與堆疊的方法相比，相加操作減少了網(wǎng)絡(luò)參數(shù)量，膨脹卷積模塊的卷積層采用ReLu作為激活函數(shù)，結(jié)構(gòu)如圖2所示。在網(wǎng)絡(luò)最后一層使用PC進一步降低卷積層復(fù)雜度，構(gòu)成解碼器結(jié)構(gòu)又薄又快。

圖2 膨脹卷積模塊

3 實驗驗證及結(jié)果分析

3.1 實驗環(huán)境及評價指標

本文實驗環(huán)境為Ubuntu16.04，64位操作系統(tǒng)，STRIX-GTX1080TI服務(wù)器，8G內(nèi)存，使用pytorch作為深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練平臺，并以32位浮點型精度實現(xiàn)，采用Adam作為優(yōu)化器，初始學(xué)習(xí)率為0.001，訓(xùn)練進程到70%和90%時學(xué)習(xí)率減半，批量大小(Batch Size)設(shè)置為8，由于當?shù)孛嬲鎸嵣疃戎翟酱髸r，誤差部分往往也會變大，本文使用原始深度yorig的倒數(shù)m/yorig作為損失函數(shù)計算中的真實深度值y，其中m是最大深度值。本文所用數(shù)據(jù)集NYU Depth v2中深度值最大為10米，因此m設(shè)為10。編碼器部分Mobile Net v1的權(quán)重由公開數(shù)據(jù)集ImageNet預(yù)訓(xùn)練。

NYU Depth v2公開數(shù)據(jù)集由RGB相機和Microsoft Kinect深度相機同時采集室內(nèi)場景的RGB信息和深度信息，總共收集了407024幀RGB-D圖像對，并對1449幅深度圖片利用著色算法進行填充得到了稠密的深度圖，同時人工標注了語義信息，數(shù)據(jù)集中的深度范圍為0.5～10 m，劃分為795個訓(xùn)練樣本與654個測試樣本。訓(xùn)練過程中，為了增加訓(xùn)練數(shù)據(jù)較常用的方法是進行幾何變換，本文對數(shù)據(jù)預(yù)處理做如下操作：(1)原始數(shù)據(jù)集的分辨率為480×640(寬×高)，為了得到224×224×3的圖，先對數(shù)據(jù)采樣到一半240×320，再中心裁剪。(2)對RGB-D圖同時隨機旋轉(zhuǎn)r∈[-5°，5°]。(3)對RGB-D圖以二分之一概率隨機垂直翻轉(zhuǎn)。

深度學(xué)習(xí)算法最后是部署在Nvidia Jetson TX2平臺上。本文使用一種讓框架自適應(yīng)的尋找最優(yōu)或者次優(yōu)的算子優(yōu)化-TVM編譯器堆棧部署[12]，最大化發(fā)揮硬件性能，使用神經(jīng)網(wǎng)絡(luò)編譯器為特定的目標平臺生成一個可執(zhí)行文件，直接在目標平臺上運行。前提在主機端以及TX2端都需要安裝Cuda以及LLVM作為目標后端。工作流如圖3所示。

圖3 TVM工作流

首先在主機端通過交叉編譯生成適合于Jetson TX2的動態(tài)鏈接庫，然后在Jetson TX2端安裝運行時環(huán)境，調(diào)用動態(tài)鏈接庫，target＿host參數(shù)需要指定目標平臺TX2，設(shè)為aarch64-linux-gnu，對于算力(CUDA ARCH)的設(shè)置，設(shè)置為 sm＿62，編譯后獲得三個參數(shù)TVM模塊庫、json執(zhí)行圖以及模型參數(shù)，其中與運行平臺有關(guān)的是TVM模塊庫(lib文件)。

圖像的深度估計是一個回歸問題，因此，本文的評價指標選擇準確率δ與均方根誤差(RMS)，指標表達式為

準確率：

(2)

均方根誤差(RMS)：

(3)

3.2 實驗結(jié)果對比分析

為了驗證提出算法的性能，從NYU depth v2公開數(shù)據(jù)集中隨機挑選三幅圖像做深度估計測試。對比本文方法與文獻[5]中所使用的全卷積殘差網(wǎng)絡(luò)(FCRN)方法結(jié)果對比如圖4所示，圖中顏色越深表示物體離相機原點越接近。

圖4 不同深度估計方法比較

從圖4可以看出，本文方法與文獻[5]所提方法相比，可以得到較好的深度估計效果，從圖4第一行第三行可以看出，文獻[5]所提出的方法的周邊會存在黑框的情況，本文的預(yù)測結(jié)果與真實深度值較為接近。本文的方法和典型的深度估計方法的準確率與均方根誤差對比如表2所示。

表2 不同深度估計方法對比

由表2可以看出本文提出的方法在均方根誤差指標上優(yōu)于文獻[13]，文獻[1]，文獻[15]，文獻[14]所提出的方法，本文方法與文獻[13]相比在δ<1.25指標上高了約70%，比文獻[1]高了約24%，比文獻[15]高了約14%。本文使用深度學(xué)習(xí)的方法不需要額外的后處理操作，而其它多數(shù)方法需要對CNN的輸出做后處理，例如CRF，這些操作會增加額外的計算與運行成本耗費，不利于深度估計算法在嵌入式設(shè)備上的運行。

為了比較網(wǎng)絡(luò)輕量化效果，使用所引文獻中準確率最高的文獻[5]中的方法在TX2端使用GPU加速且最大功耗模式Max-N下，測得幀率為每秒3幀左右，而使用本文算法在相同最大功耗模式下幀率則為每秒160幀左右，為文獻[5]全卷積殘差網(wǎng)絡(luò)算法的53倍左右。在TX2端測試更具體的不同工作模式狀態(tài)下的算法的吞吐量如圖5。

圖5 TX2不同工作模式吞吐量

目標平臺是由一個GPU 和一個CPU集群組成，CPU集群由雙核Denver2處理器和四核ARM Cortex-A57組成，通過高性能互連架構(gòu)連接，通過對處理器的搭配組合以及CPU、GPU頻率的不同構(gòu)成總共五種工作模式，其中Max-N模式下Denver2處理器和ARM Cortex-A57六個CPU都同時運行，為最大功耗模式，Max-Q模式為均衡和節(jié)能模式。通過對圖5進行分析，使用本文算法在目標平臺上當使用GPU加速時，每一種模式得到的幀率都是遠大于文獻[5]的，而Max-N工作模式下的吞吐量為最高的160幀，在其它各種模式下根據(jù)調(diào)用ARM Cortex-A57與Denver2的數(shù)量不同，吞吐量也有所不同，但是使用輕量化網(wǎng)絡(luò)的作用是明顯優(yōu)于其它神經(jīng)網(wǎng)絡(luò)的。

4 結(jié)束語

本文基于Mobile Net v1深度卷積神經(jīng)網(wǎng)絡(luò)，對傳統(tǒng)編碼器-解碼器網(wǎng)絡(luò)模型進行改進，以解決嵌入式端的單目深度估計的問題，實現(xiàn)高準確率高吞吐量算法，在編碼器端利用Mobile Net v1深度可分離卷積的優(yōu)勢進行高級語義信息提取，作為解碼器的輸入，并使用兩級跳躍連接的方式將編碼器更多細節(jié)映射到解碼器中，在解碼器端，利用先卷積后雙線性插值操作，放大特征圖并降低通道數(shù)。同時使用不同膨脹率的膨脹卷積在不增加卷積核參數(shù)的情況下捕獲多尺度特征信息，有利于提升精度。實驗結(jié)果表明，在NYU depth v2 數(shù)據(jù)集上，深度估計效果評價指標在優(yōu)于或者與其它方法相當?shù)那闆r下，在TX2端的運行時間及吞吐量有著很好的表現(xiàn)。但是可以看出在細節(jié)部分的深度估計還是會有誤差，并且隨著輕量化方法的陸續(xù)增多，在提升精確度，部署在移動端及嵌入端等方向還有很多要改進的地方。