王東敏，彭永勝，李永樂(lè)

(1.陸軍軍事交通學(xué)院 研究生管理大隊(duì)，天津 300161； 2.陸軍軍事交通學(xué)院 軍用車輛系，天津 300161)

● 基礎(chǔ)科學(xué)與技術(shù)BasicScience&Technology

視覺(jué)與激光點(diǎn)云融合的深度圖像獲取方法

王東敏1，彭永勝2，李永樂(lè)2

(1.陸軍軍事交通學(xué)院 研究生管理大隊(duì)，天津 300161； 2.陸軍軍事交通學(xué)院 軍用車輛系，天津 300161)

針對(duì)無(wú)人車駕駛車輛使用相機(jī)進(jìn)行環(huán)境感知時(shí)容易受到光照、陰影等影響，導(dǎo)致難以獲得有效的障礙物種類及位置信息等問(wèn)題，使用64線激光雷達(dá)獲取前方6～60 m，左、右9 m范圍內(nèi)的點(diǎn)云數(shù)據(jù)，使用k-d樹(shù)的方法將映射到圖像的三維激光點(diǎn)云進(jìn)行排列并插值，對(duì)激光雷達(dá)數(shù)據(jù)與圖像信息進(jìn)行融合。為解決映射后圖像深度信息稀疏的問(wèn)題，采用二維圖像的紋理信息豐富雷達(dá)點(diǎn)云的方法對(duì)稀疏的深度圖像進(jìn)行擬合插值，得到分辨率為1 624×350的小粒度深度圖像，為無(wú)人車行駛提供準(zhǔn)確的環(huán)境場(chǎng)景信息。

無(wú)人車；視覺(jué)；激光點(diǎn)云；深度圖像

深度圖像利用場(chǎng)景中物體的深度信息來(lái)反映場(chǎng)景中物體之間的相互關(guān)系。一般的二維彩色圖像，容易受光照、環(huán)境陰影等影響，缺失原本的辨識(shí)特征，導(dǎo)致按顏色、紋理等特征進(jìn)行分割難以得到令人滿意的結(jié)果。深度圖像不但能夠反映出場(chǎng)景中物體的外部紋理信息，還能夠反映出場(chǎng)景中各點(diǎn)相對(duì)于無(wú)人車相機(jī)的距離，有效區(qū)別遮擋物體，更方便地表現(xiàn)出場(chǎng)景中物體表面的三維信息。通過(guò)深度圖像可直接求解出物體的三維幾何特征，方便無(wú)人車在感知過(guò)程中對(duì)場(chǎng)景中的物體進(jìn)行識(shí)別與定位[1]。

通常無(wú)人車系統(tǒng)通過(guò)對(duì)獲取的彩色圖像進(jìn)行處理獲得場(chǎng)景的深度圖像。根據(jù)其獲取深度圖像原理的不同，通常采用如下幾種方法[2]：利用圖像的投影原理，得到場(chǎng)景的幾何模型，根據(jù)幾何模型及特征點(diǎn)，獲取特定相機(jī)參數(shù)下深度圖像的三維重建視覺(jué)方法[3-5]；利用平行設(shè)置的兩臺(tái)保持相同配置的相機(jī)，同時(shí)對(duì)同一場(chǎng)景進(jìn)行記錄，通過(guò)建立兩幅圖像點(diǎn)與點(diǎn)之間的對(duì)應(yīng)關(guān)系，計(jì)算出兩圖像像素點(diǎn)的視差，恢復(fù)出圖像的三維信息的雙目視覺(jué)方法[6-7]；利用獨(dú)立于相機(jī)之外的深度傳感器，通過(guò)激光雷達(dá)深度成像及結(jié)構(gòu)光測(cè)距等方法，來(lái)獲取獨(dú)立于圖像之外的場(chǎng)景深度信息，通過(guò)融合相同時(shí)刻采集的彩色圖像及深度信息，來(lái)構(gòu)建場(chǎng)景深度圖像的三維重構(gòu)方法[8-11]。

然而，利用彩色圖像獲取深度圖像的三維重建視覺(jué)方法及雙目視覺(jué)方法，單純依靠攝像機(jī)獲取的圖像色彩及紋理信息，難以擺脫由于光照、環(huán)境陰影對(duì)圖像處理的干擾問(wèn)題，造成生成深度數(shù)據(jù)的誤差[12]。使用三維重構(gòu)方法，如Kinect相機(jī)獲取的場(chǎng)景深度信息難以獲得較遠(yuǎn)距離的可靠數(shù)據(jù)，無(wú)法滿足無(wú)人車獲取較遠(yuǎn)距離深度信息的場(chǎng)景感知要求。因此，針對(duì)無(wú)人車的感知需求，使用64線激光雷達(dá)及彩色相機(jī)采集場(chǎng)景數(shù)據(jù)，融合后生成小粒度深度圖像，提升獲取深度圖像的范圍，降低光照對(duì)深度場(chǎng)景感知的影響。由于64線激光雷達(dá)獲取的點(diǎn)云數(shù)據(jù)在圖像平面內(nèi)是稀疏的，因此，利用彩色圖像的顏色紋理信息對(duì)激光雷達(dá)點(diǎn)進(jìn)行擬合插值，生成小粒度的深度圖像，可使深度圖像獲取到場(chǎng)景中的紋理信息。

1 基于二維圖像與激光點(diǎn)云融合的深度圖像獲取方法

本文結(jié)合無(wú)人車平臺(tái)傳感器特點(diǎn)，提出采用相機(jī)采集場(chǎng)景的顏色數(shù)據(jù)，使用64線激光雷達(dá)獲取獨(dú)立的場(chǎng)景深度數(shù)據(jù)，用顏色數(shù)據(jù)對(duì)場(chǎng)景深度數(shù)據(jù)進(jìn)行插值，形成小粒度深度圖像的方法[13-14]，為無(wú)人車提供包含深度信息的高解析度場(chǎng)景圖像，提高無(wú)人車環(huán)境感知和理解的準(zhǔn)確性。

使用圖像及雷達(dá)點(diǎn)云來(lái)獲得高分辨率的深度圖像，分為4個(gè)部分進(jìn)行(如圖1所示)：①使用已經(jīng)進(jìn)行64線激光雷達(dá)與相機(jī)聯(lián)合標(biāo)定的無(wú)人車，獲取同一時(shí)刻的圖像與64線三維激光點(diǎn)云數(shù)據(jù)。②使用標(biāo)定好的64線激光雷達(dá)三維坐標(biāo)與相機(jī)平面二維坐標(biāo)的轉(zhuǎn)化矩陣M，將激光點(diǎn)云投影到圖像相應(yīng)的獨(dú)立于圖像的顏色通道之外的深度通道。③將投影到相機(jī)數(shù)據(jù)點(diǎn)上已知深度的雷達(dá)數(shù)據(jù)構(gòu)建k-d樹(shù)。④使用圖像的顏色信息，對(duì)稀疏的64線激光雷達(dá)信息進(jìn)行插值重構(gòu)，獲得小粒度的深度圖像。

圖1 基于二維圖像與激光點(diǎn)云融合的深度圖像獲取流程

2 二元數(shù)據(jù)歸一化

在無(wú)人車系統(tǒng)中， 64線激光雷達(dá)和相機(jī)的相對(duì)位置與姿態(tài)固定不變， 64線激光雷達(dá)與相機(jī)所獲取數(shù)據(jù)，在兩個(gè)傳感器都覆蓋的采集范圍內(nèi)，存在著一一對(duì)應(yīng)關(guān)系[15]。根據(jù)激光雷達(dá)與相機(jī)的工作原理和成像模型，64線激光雷達(dá)數(shù)據(jù)點(diǎn)云坐標(biāo)與圖像像素坐標(biāo)之間存在如下關(guān)系：

(1)

式中：fx與fy為圖像坐標(biāo)系中一個(gè)像素點(diǎn)所代表實(shí)際x、y方向上的距離；(u,v)為圖像坐標(biāo)系坐標(biāo)；s為圖像的深度距離與實(shí)際距離的比例因子；(u0,v0)為相機(jī)光軸與成像平面的交點(diǎn)坐標(biāo)；R為3×3的正交旋轉(zhuǎn)矩陣；t為相機(jī)與64線激光雷達(dá)的外部平移向量；(Xw,Yw,Zw)為三維激光雷達(dá)數(shù)據(jù)點(diǎn)云坐標(biāo)。

通過(guò)相機(jī)與64線激光雷達(dá)的內(nèi)部參數(shù)與外部參數(shù)，可求得64線激光雷達(dá)點(diǎn)到圖像平面的轉(zhuǎn)化矩陣M：

(2)

式(1)可以簡(jiǎn)化為

(3)

3 基于k-d樹(shù)的二元信息融合

經(jīng)過(guò)歸一化處理，圖像上任意點(diǎn)的位置，通過(guò)二維坐標(biāo)(u,v)進(jìn)行定位，將圖像擴(kuò)展為4個(gè)像素通道R、G、B、D，分別對(duì)應(yīng)彩色圖像R、G、B顏色通道，以及深度通道。通過(guò)使用標(biāo)定好的64線激光雷達(dá)三維坐標(biāo)點(diǎn)與圖像二維坐標(biāo)點(diǎn)的轉(zhuǎn)化矩陣M，將64線獲得的激光雷達(dá)坐標(biāo)點(diǎn)轉(zhuǎn)化到圖像平面，將激光雷達(dá)點(diǎn)的深度值添加到相應(yīng)位置的深度通道，作為深度圖像生成的原始數(shù)據(jù)。

使用k-d樹(shù)對(duì)映射后的深度值點(diǎn)進(jìn)行排列，便于對(duì)像素點(diǎn)進(jìn)行處理，使得圖像中的各像素點(diǎn)都能夠查找到距離最近的雷達(dá)數(shù)據(jù)映射點(diǎn)。如圖2所示，k-d樹(shù)在構(gòu)建的過(guò)程中，按照二叉樹(shù)的方式對(duì)圖像平面中獲得深度值的二維坐標(biāo)點(diǎn)進(jìn)行排列，分別計(jì)算x、y兩個(gè)維度上的坐標(biāo)方差，按照維度方差較大的中位坐標(biāo)點(diǎn)進(jìn)行垂直劃分，將圖像平面的坐標(biāo)點(diǎn)劃分為左、右兩個(gè)點(diǎn)集，按各個(gè)數(shù)據(jù)點(diǎn)遞歸進(jìn)行左右子集空間劃分，同時(shí)記錄著每次劃分的節(jié)點(diǎn)，及各節(jié)點(diǎn)的父代節(jié)點(diǎn)，從而生成方便查找的k-d樹(shù)，直至生成包含空間中所需記錄的每一個(gè)像素點(diǎn)的k-d樹(shù)。將構(gòu)建的k-d樹(shù)中沒(méi)有子節(jié)點(diǎn)的節(jié)點(diǎn)作為“葉子節(jié)點(diǎn)”進(jìn)行記錄。將每一個(gè)節(jié)點(diǎn)進(jìn)行保存，從而完成構(gòu)建k-d樹(shù)。

圖2 算法流程

4 深度圖像的高分辨率重構(gòu)

通過(guò)構(gòu)建好的k-d樹(shù)，查找到距離所需要計(jì)算的像素點(diǎn)最近的k-d樹(shù)節(jié)點(diǎn)(如圖3所示)，再依據(jù)無(wú)人車場(chǎng)景中相似外表的區(qū)域具有相近的深度值的假設(shè)，通過(guò)R、G、B三通道的顏色信息相關(guān)性得到的權(quán)值，對(duì)沒(méi)有雷達(dá)數(shù)據(jù)的像素點(diǎn)進(jìn)行插值，生成高分辨率的深度圖像。

圖3 算法流程

在對(duì)圖像的深度信息進(jìn)行插值的過(guò)程中，其使用的加權(quán)平均方式為

(4)

在求取深度信息的過(guò)程中，vj為鄰近像素點(diǎn)所代表的該點(diǎn)的深度值，p為基于相機(jī)顏色的描述符，函數(shù)f為

f(x)=e-|x|2/2σ2

(5)

通過(guò)對(duì)圖像像素點(diǎn)進(jìn)行插值重構(gòu)后，生成高分辨率的深度圖像，如圖4所示。16 309個(gè)激光點(diǎn)云投影在圖像平面內(nèi)，通過(guò)對(duì)圖像第4個(gè)深度通道的數(shù)據(jù)進(jìn)行重構(gòu)，圖像中564 589個(gè)像素點(diǎn)，得到其深度值，在寬1 624p、高350p的平面內(nèi)覆蓋了99%以上，從而獲得相應(yīng)高分辨率的深度圖像。

如圖4—6所示，圖像中的顏色隨著無(wú)人車場(chǎng)景深度的變化而變化。深度圖像的下半部分，距離無(wú)人車較近，生成深度圖像顏色較深。圖像6(c)下方已知深度的像素點(diǎn)多，因此能夠獲得較為準(zhǔn)確的圖像深度信息，如圖像中的黑色區(qū)域。由圖像的下方向上，隨著無(wú)人車場(chǎng)景距離的增加，使得深度圖像深度值隨之增加，從而使得圖像的顏色也隨之變淺。而在中間部分，雷達(dá)已知的深度值的像素點(diǎn)較為密集，且雷達(dá)坐標(biāo)系與相機(jī)坐標(biāo)系標(biāo)定良好，能夠獲得準(zhǔn)確的圖像深度信息值，如圖6(c)中的灰色區(qū)域。在距離圖像較遠(yuǎn)的場(chǎng)景中，激光點(diǎn)云稀疏，獲取的獨(dú)立于彩色圖像之外的圖像深度信息值較少，圖像遠(yuǎn)距離的像素分辨率低，因此難以獲得遠(yuǎn)距離的場(chǎng)景的準(zhǔn)確深度信息，如圖6(c)的白色區(qū)域。如圖5(c)圖像中上部的黑色區(qū)域，超出了采集的雷達(dá)數(shù)據(jù)范圍，而無(wú)法產(chǎn)生深度信息，造成生成深度圖像數(shù)據(jù)缺失。

而對(duì)于深度連續(xù)的地面，本文方法能夠避免樹(shù)木的陰影造成的不良影響，如圖6(c)。雖然地面上存在著復(fù)雜的陰影，但是在深度圖像中，地面上的深度值是連續(xù)的，沒(méi)有受到陰影的影響而產(chǎn)生圖像不連續(xù)的變化。通過(guò)產(chǎn)生深度圖像，降低了場(chǎng)景中光照、陰影對(duì)無(wú)人車感知周圍場(chǎng)景的影響。

圖4 無(wú)人車場(chǎng)景圖像Ⅰ

圖5 無(wú)人車場(chǎng)景圖像Ⅱ

圖6 無(wú)人車場(chǎng)景圖像Ⅲ

5 結(jié) 語(yǔ)

本文通過(guò)將二維彩色圖像與激光點(diǎn)云進(jìn)行融合，以及加權(quán)平均的方法，產(chǎn)生高分辨率的深度圖像。首先將無(wú)人駕駛實(shí)驗(yàn)平臺(tái)安裝的64線激光雷達(dá)與彩色相機(jī)進(jìn)行聯(lián)合標(biāo)定，采集單幀的二維彩色圖片及前方6～60 m，左、右9 m的范圍內(nèi)單圈的激光雷達(dá)點(diǎn)云數(shù)據(jù)，再通過(guò)對(duì)深度圖像的高分辨率重構(gòu)，為無(wú)人車環(huán)境感知提供可靠的深度圖像。使用本方法，獲取深度值的圖像面積占整個(gè)圖像平面的99%以上，本方法通過(guò)獲取獨(dú)立于二維彩色圖像信息之外的場(chǎng)景深度信息，獲取高分辨率的場(chǎng)景深度圖像對(duì)周圍場(chǎng)景進(jìn)行感知，降低無(wú)人車由于使用相機(jī)進(jìn)行環(huán)境感知時(shí)光照及陰影造成的影響，方便無(wú)人車在感知過(guò)程中對(duì)場(chǎng)景中的物體進(jìn)行識(shí)別與定位。但是依然存在深度信息會(huì)隨物體距離的增加而使得誤差增長(zhǎng)的不足, 在接下來(lái)的工作需在現(xiàn)有工作的基礎(chǔ)上，調(diào)整攝像機(jī)焦距，增強(qiáng)雷達(dá)獲取的三維激光雷達(dá)深度信息映射到圖像平面在遠(yuǎn)距離的準(zhǔn)確性，從而處理得到更大范圍的深度圖像。

[1] THOMAS D, SUGIMOTO A.A flexible scene representation for 3D reconstruction using an RGB-D camera[C]．Sydney:IEEE International Conference on Computer Vision,2013: 2800-2807.

[2] 李可宏,姜靈敏,龔永義.2維至3維圖像/視頻轉(zhuǎn)換的深度圖提取方法綜述[J].中國(guó)圖象圖形學(xué)報(bào),2014,19(10):1393-1406.

[3] 劉三毛,朱文球,孫文靜,等.基于RGB-D單目視覺(jué)的室內(nèi)場(chǎng)景三維重建[J].微型機(jī)與應(yīng)用,2017(1):44-47.

[4] LEE K R，NGUYEN T．Realistic surface geometry reconstruction using a hand-held RGB-D camera[J].Machine Vision &Applications,2016，27( 3) : 377-385．

[5] KERL C, STURM J, CREMERS D．Dense visual SLAM for RGB-D cameras[C].Chiago:IEEE /RSJ International Conference on Intelligent Robots and Systems，2013:2100-2106．

[6] 李海軍,王洪豐,沙煥濱.平行雙目視覺(jué)系統(tǒng)的三維重建研究[J].自動(dòng)化技術(shù)與應(yīng)用，2007,26(6):56-58.

[7] 朱波,蔣剛毅,張?jiān)?等.面向虛擬視點(diǎn)圖像繪制的深度圖編碼算法[J].光電子·激光,2010(5):718-724.

[8] 張勤,賈慶軒.基于激光與單目視覺(jué)的室內(nèi)場(chǎng)景三維重建[J].系統(tǒng)仿真學(xué)報(bào),2014(2):357-362.

[9] 鄒廣群,張維忠,卞思琳.上采樣深度圖像與RGB圖像的融合[J].青島大學(xué)學(xué)報(bào)(自然科學(xué)版),2016(1):71-74.

[10] 楊宇翔,曾毓,何志偉,等．基于自適應(yīng)權(quán)值濾波的深度圖像超分辨率重建[J].中國(guó)圖象圖形學(xué)報(bào)，2014，19(8):1210-1218.

[11] 彭誠(chéng),孫新柱.一種改進(jìn)的深度圖像修復(fù)算法研究[J].重慶工商大學(xué)學(xué)報(bào)(自然科學(xué)版),2016(1):65-69.

[12] 劉嬌麗,李素梅,李永達(dá),等. 基于TOF與立體匹配相融合的高分辨率深度獲取[J].信息技術(shù),2016(12):190-193.

[13] 江文婷,龔小謹(jǐn),劉濟(jì)林. 顏色指導(dǎo)的深度圖像升采樣算法的對(duì)比性研究[J].杭州電子科技大學(xué)學(xué)報(bào)，2014(1)：21-24.

[14] KOPF J,COHEN MF,LISCHINSKI D,etal.Joint Bilateral Upsampling[J].Acm Trans Graph,2007,26(3):96.

[15] 邱茂林,馬頌德,李毅.計(jì)算機(jī)視覺(jué)中攝像機(jī)定標(biāo)綜述[J].自動(dòng)化學(xué)報(bào),2000, 26(1):43-55.

(編輯：史海英)

AcquisitionMethodforVisionandLaser-pointCloudIntegratedRangeImage

WANG Dongmin1, PENG Yongsheng2, LI Yongle2

(1.Postgraduate Training Brigade, Army Military Transportation University, Tianjin 300161, China; 2.Military Vehicle Department, Army Military Transportation University, Tianjin 300161, China)

Since the unmanned vehicle is easily influenced by illumination and shadow while perceiving environment with camera, and it is difficult to acquire effective obstacles variety and location, the paper firstly acquires point cloud data in the range of 6～30 m ahead and 9 m at left and right with HDL-64E. Then, it arranges and interpolates three-dimensional laser-point cloud which maps to image with k-d tree, and integrates LIDAR data with image information. Finally, in order to solve the sparse depth information of the image after mapping, it obtains the range image of 1 624×350 by making fitting and interpolation on the sparse range image with the method of enriching radar point cloud by the texture information of two-dimensional image, which can provide accurate information of environment scenario for unmanned vehicle.

unmanned vehicle; vision; laser point cloud; range image

10.16807/j.cnki.12-1372/e.2017.10.019

TP391

A

1674-2192(2017)10- 0080- 05

2017-05-03；

2017-08-21.

國(guó)家重大研發(fā)計(jì)劃“智能電動(dòng)汽車路徑規(guī)劃及自主決策方法”(2016YFB0100903)；國(guó)家自然科學(xué)基金重大項(xiàng)目“自主駕駛車輛關(guān)鍵技術(shù)與集成驗(yàn)證平臺(tái)”(91220301).

王東敏(1992—)，男，碩士研究生；彭永勝(1972—)，男，博士，教授，碩士研究生導(dǎo)師.