司徒仕忠 邱廣萍 王錦春

摘? 要：為實現(xiàn)機器視覺系統(tǒng)的障礙物信息進行探測和識別，文章提出利用深度相機識別障礙物的方法：以障礙物和平面的距離變化梯度不同為主要判別方式，搭配孔洞填充，中值濾波，漫水填充，數(shù)學(xué)形態(tài)學(xué)運算，幀間運算等噪聲抑制算法，實現(xiàn)對障礙物的探測。根據(jù)周圍環(huán)境信息提取具有一定形狀特征的典型目標(biāo)物。實驗結(jié)果表明，此方法能有效分別障礙物和平面。

關(guān)鍵詞：障礙識別;深度相機;無人駕駛;機器視覺

中圖分類號：TP391 文獻標(biāo)志碼：A 文章編號：2095-2945（2019）27-0037-04

Abstract： In order to detect and recognize obstacle information in machine vision system， this paper presents a method of using depth camera to identify obstacles： taking the difference of distance gradient between obstacle and plane as the main discriminant method， matching with hole filling， median filtering， flooding filling， mathematical morphology operation， inter-frame operation， etc. Noise suppression algorithm is used to detect obstacles. According to the surrounding environment， the typical objects with certain shape characteristics are extracted. The experimental results show that this method can effectively distinguish obstacles from planes.

Keywords： obstacle recognition; depth camera; unmanned driving; machine vision

引言

障礙物識別是移動式的機器人的基本能力，只有能識別障礙物，機器人才能在復(fù)雜的生產(chǎn)環(huán)境中移動和工作。目前識別障礙物的方法有激光雷達、超聲波測距、基于單目攝像頭的視覺識別和深度相機測距識別等[1]。

激光雷達具有精度高，采集速度快等優(yōu)點，但激光雷達價格昂貴，讓小型經(jīng)濟型的機器人開發(fā)難以承受[2]。超聲波測距的器材價格便宜，但單個超聲波測量范圍較小，要實現(xiàn)對單方向的不同高度的障礙物的識別都需要安裝多個超聲波傳感器，較占用機器人的空間。單攝像頭的視覺識別一般基于機器學(xué)習(xí)，對于障礙物識別需要準(zhǔn)備大量的數(shù)據(jù)集，且對環(huán)境光照因素較為敏感。基于深度相機障礙物識別依靠障礙物和平面區(qū)域的距離梯度信息的不同，即可大致判斷是否存在障礙物，單個深度相機就能對單一方向即時處理，且具有單目攝像頭的功能，需要占用的空間少。

本文研究一種適合低速機器人的基于深度相機的障礙物識別算法，通過一款適合工作環(huán)境的深度相機，采集的深度圖和BGR圖，分析深度圖中各物品的距離關(guān)系，抑制各種圖像噪聲，分辨出圖中障礙物和道路。

1 機器視覺總體設(shè)計

本設(shè)計基本思路：首先通過標(biāo)定好的深度相機對環(huán)境進行拍攝，獲取環(huán)境的深度圖，先對深度圖進行孔洞填充，為因干擾而無法獲得深度信息的區(qū)域填充距離信息，再進行深度圖的卷積計算，得出深度圖的數(shù)據(jù)的梯度變化數(shù)據(jù)，將梯度變化的數(shù)據(jù)與閾值比較，將障礙物設(shè)為1，平地設(shè)為0，形成掩模，對障礙物和道路進行大致的分辨，再通過數(shù)學(xué)形態(tài)學(xué)運算和兩幀之間進行運算來進行噪音的抑制[3]。算法流程圖如圖1所示。

2 關(guān)鍵算法

2.1 深度圖的孔洞填充

（1）深度圖孔洞噪聲分析

深度圖的噪聲主要來源于物體表面的光線反射，或近景的物品遮擋了遠景的物品。不同類型的深度相機的孔洞噪音的成因也是不同的。深度圖的孔洞噪聲表現(xiàn)為在無法探測的區(qū)域，是一個固定的值，一般為“0”。因為任何的一種深度圖攝像頭都無法探測距離攝像頭為0物品。因為是一些連續(xù)的區(qū)域包圍著一些數(shù)值為0的區(qū)域，故稱為孔洞噪聲[4]。

雙目攝像頭的孔洞噪音主要來自物品上的紋理太少，導(dǎo)致無法精確定位相應(yīng)的區(qū)域，進行深度計算?；蛘呤且蚬饩€問題而無法拍攝到物品上的紋理，或者是近景物品遮擋了遠景物品一部分，兩個攝像頭無法同時獲取遠景物品的某一部分的紋理信息。而無法獲取特征信息來計算兩者間的距離。

結(jié)構(gòu)光攝像頭的孔洞噪聲主要來源于光線的照射。結(jié)構(gòu)光攝像頭發(fā)送到物體上的結(jié)構(gòu)光，當(dāng)遇到強光或者物體發(fā)生鏡面反射時，會造成結(jié)構(gòu)光的信息的丟失，而無法根據(jù)編碼光進行深度的計算[5]。

根據(jù)上述的分析，得出深度圖的孔洞噪聲主要來自三方面：物品表面紋理信息的丟失（鏡面反射），物品表面紋理信息的不足和近景物品的阻擋。

（2）深度圖孔洞噪聲消除方法

從深度圖的信息分析，如無物品的阻擋，深度圖同一行的深度信息是大致相同的，物品表面紋理信息的丟失和不足而導(dǎo)致的孔洞噪聲可以通過同一行的與孔洞最近的有效值來填補。

孔洞噪聲的某一行一般都會有兩個值，根據(jù)之前的對孔洞噪聲的分析，當(dāng)它是近景物品遮擋遠景物品時，那應(yīng)該拿較大（較遠）的數(shù)值去填充。而當(dāng)孔洞噪聲是在水平平面時，因為深度圖同一行的距離信息一般都是大致相同的，仍可以用較大的數(shù)值去填充[6]。孔洞填充效果如圖2所示。

2.2 中值濾波

孔洞填充后的深度圖，在原本有孔洞噪音的邊界會出現(xiàn)一些明顯的細(xì)長的線型痕跡，這是原本孔洞噪音的邊界，這些邊界會對深度圖的梯度的計算造成一定的影響，應(yīng)在計算梯度之前將這些線型的噪聲濾除。這些噪聲的特點是形狀細(xì)長，彎曲包圍著原本的孔洞。選用中值濾波的方法將這些噪聲濾除。

中值濾波使用一個滑動窗口來濾除噪聲，當(dāng)窗口越大時，中值可選擇的范圍就越大，濾波的效果就越大，中值濾波法要先對窗口內(nèi)的數(shù)據(jù)進行排序，是一個運算量隨著窗口增大而迅速增大的一個算法，當(dāng)窗口太大時，處理速度會迅速下降，而窗口太小，濾波效果不太好。各個窗口的運行的平均速度如表1所示。

比較使用3×3，5×5，和7×7的滑動窗口濾波后發(fā)現(xiàn)，3×3的窗口對噪聲的抑制不太好，而7×7的窗口的運行速度降低得很明顯，故選用5×5的移動窗口。5×5窗口對噪聲的抑制與7×7的效果相仿，但運算速度比7×7明顯提高不少。各個窗口中值濾波效果圖如圖3所示。

中值濾波法可有效地濾除點線形狀的噪音。但同時，中值濾波法也可以破壞原圖像的點線細(xì)節(jié)，但深度圖的點線細(xì)節(jié)不是處理的關(guān)鍵，故用中值濾波法將深度圖所有的點線濾除[7]。

2.3 距離梯度計算

（1）卷積

卷積是圖像處理經(jīng)常用到的一種運算方式。公式為：輸出=輸入*系統(tǒng)。輸入為圖像信號，經(jīng)過一個特定的系統(tǒng)，即卷積核，會得到一個相應(yīng)的輸出。

（2）卷積核

卷積核是指一組有權(quán)重的矩陣，它會應(yīng)用在圖像的某一個區(qū)域，并由此生成目標(biāo)矩陣的一個元素。卷積核可看作是一片毛玻璃，蓋在圖像的某個區(qū)域上時，原圖像透過毛玻璃的作用，我們的看到的圖像就會發(fā)生相應(yīng)的變化[9]。

算法是通過深度圖找出圖像中的障礙物和平面，主要原理是通過對深度圖進行梯度的卷積運算，找出深度圖中梯度變化小的區(qū)域。

微分卷積核，也稱微分算子。Prewitt算子和Sobel算子，Laplacian算子，Marr算子是圖像處理常用的一些微分算子[10]。使用這些卷積核分別和深度圖進行卷積，得到卷積后的梯度數(shù)據(jù)，再得到這些數(shù)據(jù)的絕對值。找出梯度數(shù)據(jù)中所有在有參考價值范圍內(nèi)的值，這個參考價值的范圍要根據(jù)每個梯度算子而定，一般算子的矩陣越大，或者算子的數(shù)值權(quán)重越大，這個范圍就越大。而大于這個范圍的可視為噪聲去除?？蛇\用可視化的方式找出，可先從0～500開始尋找，將梯度數(shù)據(jù)在0～500內(nèi)的數(shù)據(jù)找出，運用直方圖，0～500內(nèi)的數(shù)值顯示出來，再根據(jù)直方圖的疏密程度進一步調(diào)整這個范圍。各算子卷積后的梯度直方圖如圖4所示。

其中Laplaction算子對中間數(shù)據(jù)和4鄰域的梯度，造成梯度過于集中，在本算法中對距離梯度的計算并不適用，Marr算子shape較大，對細(xì)小障礙物造成誤判，故在對障礙物識別有高要求的時候不適用。

（3）判斷閾值的設(shè)定

障礙物的閾值分布的范圍，就是平面分布的梯度的分布范圍[11]。將平面區(qū)域設(shè)為“0”。障礙物區(qū)域卷積后得到了深度圖的梯度數(shù)值，然后就是根據(jù)梯度數(shù)值判斷平面區(qū)域和障礙物區(qū)域。根據(jù)直方圖得出的數(shù)據(jù)，逐步選出障礙為“1”。閾值判斷后的場景圖如圖5所示。

通過閾值判斷的圖像存在眾多噪聲，但明顯，障礙物區(qū)域的黑色明顯少于平面區(qū)域的黑色。

2.4 漫水填充

因為硬件的限制，深度相機獲取的深度圖存在眾多的噪音，這些噪音會對圖像的處理存在嚴(yán)重的干擾，運算后的得出的掩模會存在眾多的錯誤的判斷的區(qū)域，如障礙物區(qū)域會有許多判斷為平地的小區(qū)域。比如， 平面的區(qū)域，通過卷積運算得出的判斷大部分是正確的，所以得出的掩模是眾多的“0”包圍了少數(shù)的“1”，要用漫水填充去消除這些“1”，反之亦然。

（1）漫水填充

漫水填充是一種用特定顏色填充連通區(qū)域，通過設(shè)置可聯(lián)通像素的上下限以及聯(lián)通的方式來達到不同的填充效果的方法。漫水填充經(jīng)常被用來標(biāo)記或分離圖像的一部分，以便對其進一步的處理和分析。簡單概括就是將選定的種子像素點聯(lián)通的區(qū)域替換為指定的顏色[12]。在OpenCV和MATLAB中都有相應(yīng)的函數(shù)實現(xiàn)。

運用漫水填充處理平面區(qū)域（“0”區(qū)域）掩模，漫水填充后的平面區(qū)域如圖6所示。

（2）漫水填充的局限

漫水填充是用特定顏色填充連通區(qū)域，但當(dāng)區(qū)域不連續(xù)的時候，可能將一些不同的區(qū)域漏填了，導(dǎo)致效果不夠完美[13]。這個可以通過從深度圖的多個地方尋找同一屬性的種子進行多次漫水填充。最后用或運算將不同的掩模合成到一張掩模上。這可以有效防止不連續(xù)的區(qū)域漏填。

2.5 數(shù)學(xué)形態(tài)學(xué)運算

數(shù)學(xué)形態(tài)學(xué)（Mathematical morphology）是一門建立在格論和拓?fù)鋵W(xué)基礎(chǔ)之上的圖像分析學(xué)科，是數(shù)學(xué)形態(tài)學(xué)圖像處理的基本理論[14，15]。數(shù)學(xué)形態(tài)學(xué)的最基本操作有兩種，分別為腐蝕和膨脹：

二值腐蝕會把前景物體的邊緣腐蝕掉。原理是卷積核沿著圖像滑動，如果與卷積核對應(yīng)的原圖像像素都是1，那么中心元素保持原值，否則為0。效果是靠近前景的像素被腐蝕為0，前景物體變小，圖像白色區(qū)域減少，對于去除白噪聲很有用，可以斷開兩個連接在一起的物體。

二值膨脹是與二值腐蝕相反的操作。當(dāng)二值膨脹時，卷積核當(dāng)中只要有一個值是1，中心元素值就是1。此操作會增加前景中的白色區(qū)域。

2.6 幀間對比消除噪音

因為光影和硬件本身的問題，每一幀的深度圖的數(shù)據(jù)都會有一定的波動，采用兩幀之間的掩模進行比較可以進一步抑制噪聲。因為障礙物的掩模標(biāo)記為1，而平地的掩模標(biāo)記為0，當(dāng)兩幀掩模之間進行或運算時，可以有效抑制障礙物區(qū)域的噪聲，兩幀之間進行與運算時，可有效消除平地區(qū)域的噪聲[16]。利用幀間對比抑制噪音可有效抑制幀間的波動。

3 實驗驗證

3.1 實驗平臺

本文采用Intel公司的realsense D435深度攝像頭，具有雙目測距和紅外測距，兩種方式互補，可生成精度更高，噪聲更少的深度圖。通過Intel提供的SDK可對攝像頭進行快速配置開發(fā)。

3.2 實驗測試過程

采用本算法，將探測范圍設(shè)定為150厘米，并將掩膜上范圍外的區(qū)域置零。實驗開始時將障礙物置于攝像頭前方，緩慢推進攝像頭，當(dāng)障礙物進入測距范圍時，障礙物被識別出來。但邊沿擬合效果不好，利用OpenCV內(nèi)置函數(shù)將掩模的識別出的區(qū)域找出，并在BGR圖中標(biāo)識出來。效果如圖7所示。

4 結(jié)束語

本文基于深度攝像頭，對障礙物識別的方法進行了研究，得到以下結(jié)論：

（1）通過一款優(yōu)秀的深度相機，提取出準(zhǔn)確的深度圖，再結(jié)合本文的算法，根據(jù)深度相機的參數(shù)和電腦的性能調(diào)節(jié)算法相應(yīng)的參數(shù)，能較好地分辨出障礙物和平面。

（2）但算法依然存在缺陷，受深度相機的性能優(yōu)劣和測量距離對算法的效果影響相當(dāng)大，可能會為結(jié)果引入眾多的噪聲;而且不同類型的深度相機對光照，場景類型的魯棒性都是不同的，需要為特定的場景選用特定的攝像頭。對于反光的平面，深度相機無法有效分辨。

（3）深度相機識別障礙物雖然具有較好的識別效果，但面對復(fù)雜多變的道路情況，更好的方式是采用多傳感器融合，深度相機可搭配超聲波、激光雷達等，從而對環(huán)境有更加全面和準(zhǔn)確的感知。

參考文獻：

[1]黃如林，梁華為，陳佳佳，等.基于激光雷達的無人駕駛汽車動態(tài)障礙物檢測，跟蹤與識別方法[J].機器人，2016，38（4）：437-443.

[2]劉志.基于多傳感器的導(dǎo)盲機器人同時定位與地圖構(gòu)建[D].江蘇科技大學(xué)，2017.

[3]Chen C， Jafari R， Kehtarnavaz N. UTD-MHAD： A multimodal dataset for human action recognition utilizing a depth camera and a wearable inertial sensor[C]//2015 IEEE International conference on image processing（ICIP）. IEEE，2015：168-172.

[4]趙洋，劉國良，田國會，等.基于深度學(xué)習(xí)的視覺SLAM綜述[J].機器人，2017，39（6）：889-896.

[5]婁達平，王曉東，富顯祖，等.基于深度引導(dǎo)空洞填補的虛擬視點繪制方法[J].計算機應(yīng)用與軟件，2017，34（6）：162-168.

[6]Raffle H S， Starner T E， Weaver J， et al. Method and system for input detection using structured light projection： U.S. Patent 8，955，973[P]. 2015-2-17.

[7]Bai M， Wu J. Efficient deblending using median filtering without correct normal moveout-with comparison on migrated images[J]. J. seism. Explor，2017，26：455-79.

[8]韓萍，韓賓賓.基于典型散射差異指數(shù)的PolSAR圖像Lee濾波[J].系統(tǒng)工程與電子技術(shù)，2018，40（2）：287-294

[9]常亮，鄧小明，周明全，等.圖像理解中的卷積神經(jīng)網(wǎng)絡(luò)[J].自動化學(xué)報，2016，42（9）：1300-1312.

[10]王正來，黃敏，朱啟兵，等.基于深度卷積神經(jīng)網(wǎng)絡(luò)的運動目標(biāo)光流檢測方法[J].光電工程，2018，48（8）：43-52.

[11]陳存祺.汽車自主駕駛中基于單目視覺的障礙物檢測[D].吉林大學(xué)，2013.

[12]陳佳鑫，賈英民.一種基于漫水填充法的實時彩色目標(biāo)識別方法[J].計算機仿真，2012，29（03）：4-9.

[13]羅云崗.特定目標(biāo)的檢測與識別技術(shù)研究[D].上海交通大學(xué)，2014.

[14]Li H， Wang R， Cao S， et al. A method for low-frequency noise suppression based on mathematical morphology in microseismic monitoring[J]. Geophysics， 2016，81（3）：159-167.

[15]鄧仕超，黃寅.二值圖像膨脹腐蝕的快速算法[J].計算機工程與應(yīng)用，2017，53（5）：207-211.

[16]辛浩，李玲玲.基于幀間差分與背景消減的視頻摘要算法研究[J].淮北師范大學(xué)學(xué)報（自然科學(xué)版），2017（2）：13.