陳旭鳳 趙彥偉 胡雪花 張茜 黃文靜

摘?要：當(dāng)前服務(wù)型移動(dòng)機(jī)器人在未知環(huán)境下，大多需要一直進(jìn)行避障算法的計(jì)算，這會(huì)使得系統(tǒng)的能耗增高，工作效率降低。針對(duì)上述現(xiàn)狀，本文設(shè)計(jì)了一種基于多傳感器融合的服務(wù)機(jī)器人避障系統(tǒng)：利用彩色圖像信息和相匹配的高質(zhì)量深度場(chǎng)景圖的信息，進(jìn)行機(jī)器人與跟蹤目標(biāo)之間有無障礙物的判斷，以及障礙物的動(dòng)靜態(tài)分類，并針對(duì)無障礙物、有靜態(tài)障礙物與有動(dòng)態(tài)障礙物的檢測(cè)結(jié)果設(shè)計(jì)了不同的避障策略。

關(guān)鍵詞：多傳感器融合；障礙物檢測(cè)；避障策略；服務(wù)機(jī)器人

大多數(shù)傳統(tǒng)的跟蹤方法只將彩色圖像用于跟蹤目標(biāo)過程中，這可能會(huì)遭受到不斷變化的環(huán)境，如光照變化、部分遮擋和背景雜波，導(dǎo)致所謂模型的漂移問題，而深度圖像包含空間信息、深度圖像編碼這些問題的重要線索。在獲取到跟蹤目標(biāo)所處的場(chǎng)景信息后，服務(wù)機(jī)器人仍然需要對(duì)所處環(huán)境中可能存在的障礙物進(jìn)行檢測(cè)，并對(duì)檢測(cè)結(jié)果做出合理的避障行為?？偠灾?，當(dāng)前服務(wù)型移動(dòng)機(jī)器人在未知環(huán)境下的避障需要一直進(jìn)行避障算法的計(jì)算，這會(huì)使得系統(tǒng)的能耗增高，工作效率降低。

為了達(dá)到使服務(wù)機(jī)器人更好地跟蹤服務(wù)對(duì)象的目的，本文設(shè)計(jì)了一種基于多傳感器融合的服務(wù)機(jī)器人避障系統(tǒng)。該系統(tǒng)通過融合視覺和深度傳感器進(jìn)行場(chǎng)景信息的獲取，對(duì)獲取到的彩色和深度圖像進(jìn)行處理完成障礙物的檢測(cè)和分類，針對(duì)不同類型的障礙物設(shè)計(jì)相應(yīng)的機(jī)器人避障策略。系統(tǒng)框圖如圖1所示。

1?多傳感器融合

1.1?服務(wù)機(jī)器人平臺(tái)

本文研究基于ARTrobotROS全開放機(jī)器人套件開展，系統(tǒng)平臺(tái)包含顏色攝像頭（高分辨率）、深度攝像頭（低分辨率；有效傳感深度為1.2～3.5m）、麥克風(fēng)陣列等，并提供人體跟隨實(shí)例代碼。其系統(tǒng)架構(gòu)如圖2所示。

1.2?彩色和深度傳感器融合

筆者在前期工作中，融合其彩色視覺傳感器和深度視覺傳感器，構(gòu)成了一個(gè)能獲取到更高質(zhì)量、分辨率更合理的場(chǎng)景深度圖的深度成像系統(tǒng)，以便于后期基于此高質(zhì)量的場(chǎng)景深度圖進(jìn)一步進(jìn)行障礙物檢測(cè)和避障策略的設(shè)計(jì)［1］。

2?障礙物檢測(cè)

在基于TOF的快速加權(quán)中值濾波深度成像系統(tǒng)的支撐下，可以獲取到機(jī)器人跟蹤目標(biāo)過程中通過攝像頭系統(tǒng)得到的場(chǎng)景深度圖?；谝曈X和深度傳感器融合的平臺(tái)，可對(duì)跟蹤過程中障礙物進(jìn)行檢測(cè)識(shí)別與分類。

2.1?檢測(cè)有無障礙物

本方法主要采用深度直方圖來判斷是否有障礙物存在于機(jī)器人與跟蹤目標(biāo)之間［2］。

基于服務(wù)機(jī)器人跟蹤目標(biāo)過程中采用如下跟蹤模塊的前提：在第t幀中目標(biāo)的位置A=（xt，yt，wt，ht），然后在目標(biāo)位置附近提取一些正樣本并在遠(yuǎn)離目標(biāo)位置提取一些負(fù)樣本。分別在彩色圖像和深度圖像中計(jì)算其特性來更新貝葉斯分類器的參數(shù)。在接下來的t+1幀，我們得到位置A周圍的一些樣本，把它們放進(jìn)更新后的貝葉斯分類器。通過這種方法，分類器中得分最高的被認(rèn)為是當(dāng)前幀的目標(biāo)位置（xt+1，yt+1，wt+1，ht+1）。

假設(shè)跟蹤目標(biāo)框在第一幀沒有發(fā)生遮擋，則進(jìn)行以下圖像處理：（1）把跟蹤目標(biāo)所在的場(chǎng)景深度圖進(jìn)行預(yù)處理。把深度值歸一化到0～255之間，越靠近相機(jī)則深度值越大。因此當(dāng)發(fā)生遮擋時(shí)，遮擋物的深度值將大于目標(biāo)的深度值。（2）計(jì)算跟蹤目標(biāo)框的深度直方圖，并將目標(biāo)深度值融合成一個(gè)高斯分布。因?yàn)橐粋€(gè)目標(biāo)中的深度值是連續(xù)的，所以在直方圖中會(huì)有一個(gè)最大值的波峰，如圖3左圖所示（中間圖像為深度圖提取出來的跟蹤目標(biāo)）。（3）對(duì)于后續(xù)獲得的每一幀，在得到跟蹤目標(biāo)的位置后，計(jì)算新一幀的深度直方圖。（4）判斷有無障礙物存在：如果出現(xiàn)了滿足高斯分布均值和標(biāo)準(zhǔn)差特定條件［見公式（1）］的新的峰值，則認(rèn)為遮擋發(fā)生，即在服務(wù)機(jī)器人與跟蹤目標(biāo)之間存在障礙物。如圖3右圖所示。

圖3?左：深度圖中跟蹤目標(biāo)框所得到的深度直方圖（坐標(biāo)系圖中曲線為目標(biāo)的深度高斯分布）；中：深度直方圖中的跟蹤目標(biāo)；右：遮擋出現(xiàn)時(shí)，深度直方圖中出現(xiàn)新峰值

｜μ-larg?erdepthvalue｜＞2*σ（1）

2.2?障礙物動(dòng)靜態(tài)分類

基于前文對(duì)是否存在障礙物的判斷進(jìn)行后續(xù)障礙物分類：如果沒有障礙物存在，則不需要對(duì)其類型進(jìn)行判斷；如果有障礙物存在，則需要進(jìn)一步判斷該障礙物的類型。

本文采用三幀差分法與金字塔LK光流法結(jié)合的方法［3］，判斷該障礙物是否為動(dòng)態(tài)障礙物，并且得到該動(dòng)態(tài)障礙物的具體區(qū)域，以便于后期的避障。若結(jié)果判定為動(dòng)態(tài)，則指定機(jī)器人進(jìn)行動(dòng)態(tài)避障策略；否則指定機(jī)器人進(jìn)行靜態(tài)避障策略。

對(duì)三幀差分法處理結(jié)果再進(jìn)行金字塔LK光流法的具體步驟如下：

（1）對(duì)機(jī)器人的視覺成像系統(tǒng)獲取到的視頻序列預(yù)處理、去噪。

（2）取視頻序列的連續(xù)三幀圖像Ii1（x，y）、Ii（x，y）、Ii+1（x，y），對(duì)Ii1（x，y）、Ii（x，y）做差分運(yùn)算，得到幀差圖像fi（x，y），對(duì)Ii（x，y）、Ii+1（x，y）做差分運(yùn)算，得到幀差圖像fi+1（x，y）。

（3）對(duì)幀差圖像fi（x，y）、fi+1（x，y）做二值化處理之后再進(jìn)行邏輯與操作，從而能夠得到運(yùn)動(dòng)區(qū)域的圖像J（x，y）。

（4）對(duì)J（x，y）建立金字塔模型JL，L=0，1，……，Lm。首先初始化金字塔最底層也就是Lm層的光流估計(jì)值gLm=［0?0］T，Lm層圖像上特征點(diǎn)u的速度為uL=u2L。

（5）對(duì)圖像JL求x、y的偏導(dǎo)數(shù)JLx、JLy，計(jì)算G=∑uLx+wx-uLx-w∑uLy+wy-uLx-wJ2xJxJyJxJyJ2y。

（6）初始化光流dLm=［0?0］T，求δI=JL（x，y）-JL（x+gLx，y+gLy），計(jì)算b=∑uLx+wx-uLx-w∑uLy+wy-uLx-wδI·IxδI·Iy。

（7）計(jì)算得到Lm層的光流值dL=G-1b，計(jì)算Lm1層的光流gL-1=2（gL+dL），以此類推得到最后的光流值d=g0+d0。

（8）圖像P（x，y）的對(duì)應(yīng)特征點(diǎn)為ν=u+d；最后得到運(yùn)動(dòng)目標(biāo)圖像P（x，y）。

在移動(dòng)機(jī)器人跟隨服務(wù)目標(biāo)移動(dòng)過程中，當(dāng)檢測(cè)到存在其他運(yùn)動(dòng)物體的有效圖像時(shí)，將此次對(duì)遮擋物的判斷分類為——?jiǎng)討B(tài)障礙物，并執(zhí)行“動(dòng)態(tài)避障行為”；否則將此次對(duì)遮擋物的判斷分類為——靜態(tài)障礙物，并執(zhí)行“靜態(tài)避障行為”。

3?避障策略

基于障礙物的分類與多傳感器深度成像系統(tǒng)所獲取的數(shù)據(jù)，設(shè)計(jì)了應(yīng)對(duì)跟蹤過程中出現(xiàn)未知障礙物的避障策略。

3.1?機(jī)器人避障行為

針對(duì)前文工作對(duì)于障礙物的檢測(cè)和分類，將獲取到的場(chǎng)景圖平均分為左中右視場(chǎng)［4］。移動(dòng)機(jī)器人采用的避障行為主要設(shè)計(jì)思路為：前方無障礙物，直線運(yùn)動(dòng)；左前方有障礙物，右轉(zhuǎn)；右前方有障礙物，左轉(zhuǎn)。最終將避障策略的設(shè)計(jì)落實(shí)到機(jī)器人避障指令的關(guān)鍵為：確定機(jī)器人的左右輪速wl、wr和轉(zhuǎn)動(dòng)角速度θ。

本文設(shè)計(jì)的服務(wù)機(jī)器人避障策略主要分為以下三種行為：

（1）無障礙物出現(xiàn)——避障行為1：保持服務(wù)對(duì)象即跟蹤目標(biāo)在圖像的中間視場(chǎng)，直線運(yùn)動(dòng)保持跟隨；同時(shí)實(shí)時(shí)運(yùn)行視覺傳感器和障礙物檢測(cè)算法。如果檢測(cè)到有障礙物出現(xiàn)則進(jìn)行障礙物的靜動(dòng)態(tài)判斷，否則保持避障策略1行為。

（2）出現(xiàn)靜態(tài)障礙物——避障行為2：根據(jù)場(chǎng)景的深度信息判斷該障礙物的邊界，并使移動(dòng)機(jī)器人在以跟蹤目標(biāo)為主線的路徑上進(jìn)行角度微調(diào)，沿其邊界繞路行走，直到障礙物識(shí)別結(jié)果為“無障礙物”為止。具體實(shí)施方法：根據(jù)多傳感器系統(tǒng)獲取到的修正（去噪+形態(tài)學(xué)處理）后的深度圖，使用邊緣檢測(cè)算法，得到靜態(tài)障礙物的邊緣，結(jié)合從視場(chǎng)的深度直方圖獲取到的該障礙物與機(jī)器人的距離，對(duì)機(jī)器人進(jìn)行合理的避障決策——①在距障礙物較遠(yuǎn)處可以保持直接跟蹤；②到一定距離閾值處根據(jù)該靜態(tài)障礙物的邊緣進(jìn)行左轉(zhuǎn)或右轉(zhuǎn)，從而達(dá)到避障的目的：本方法將場(chǎng)景平均分為左中右三視場(chǎng)，當(dāng)障礙物在左或左中視場(chǎng)時(shí)，機(jī)器人右轉(zhuǎn)；障礙物在右或右中視場(chǎng)時(shí)，機(jī)器人左轉(zhuǎn)；障礙物在中視場(chǎng)時(shí)，機(jī)器人左轉(zhuǎn)或右轉(zhuǎn)避障皆可。

（3）出現(xiàn)動(dòng)態(tài)障礙物——避障行為3：根據(jù)前文中障礙物檢測(cè)算法得到了動(dòng)態(tài)障礙物目標(biāo)的位置與邊緣，接著使用VFH算法進(jìn)行機(jī)器人的實(shí)時(shí)動(dòng)態(tài)避障。該算法將移動(dòng)機(jī)器人運(yùn)動(dòng)場(chǎng)景的環(huán)境信息表征成若干個(gè)二維柵格系列，其中每個(gè)柵格都有一個(gè)概率值用來表示該像素點(diǎn)存在障礙物的可能性大小，即可信度CV（Certainty?Value）。

具體實(shí)施方法如下：

①柵格向量化。對(duì)t時(shí)刻視頻中的幀進(jìn)行柵格向量化，使用的計(jì)算公式為：mi，j=（ci，j）2（a-bdi，j）。

移動(dòng)機(jī)器人t+1的運(yùn)動(dòng)方向由t時(shí)與障礙物的相對(duì)位置依據(jù)下方公式而定：

βi，j=tan-1yj-y0xi-x0

其中，a、b是正常數(shù)，Ci，j為視頻圖像中柵格（i，j）的CV值，di，j是該柵格到機(jī)器人中心點(diǎn)的距離值，（x0，y0）是t時(shí)刻移動(dòng)機(jī)器人中心點(diǎn)的絕對(duì)位置坐標(biāo)，（xj，yj）是柵格的絕對(duì)位置。

②活動(dòng)窗口分區(qū)。假設(shè)圖像的分辨率為α，包括n=360α個(gè)區(qū)間，對(duì)于任意區(qū)間k，（k=0，1，2，...，n1），有k=int（βi，jα），其障礙密度hk=∑i，jmi，j。在此基礎(chǔ)上可采用下述方法進(jìn)行平滑處理：

h′k=hk-l+1+2hk-l+2+…+lhk+（l-1）hk+1+…+2hk+l-1+hk+l2l-1（2）

③確定移動(dòng)機(jī)器人的運(yùn)動(dòng)方向θ。經(jīng)上式（2）的計(jì)算能得到環(huán)境圖像中每個(gè)分區(qū)障礙物的概率密度；采用概率密度與閾值τ對(duì)比，從而確定區(qū)間是否足夠移動(dòng)機(jī)器人行走，其中閾值需要提前設(shè)定。當(dāng)障礙物的概率密度小于τ時(shí)，該區(qū)域?yàn)榘踩珔^(qū)域，當(dāng)有連續(xù)多個(gè)區(qū)間（大多超過18個(gè)區(qū)間）都為安全區(qū)域時(shí)，則稱這些區(qū)域?yàn)锳，否則稱之為B。A的最左邊區(qū)間為kl，最右邊區(qū)間為kr，此時(shí)移動(dòng)機(jī)器人的運(yùn)動(dòng)方向?yàn)椋?/p>

θ=12（kl+kr）

3.2?系統(tǒng)避障策略

本文所提出的避障策略方法概括如下：

STEP1：以特定時(shí)間間隔連續(xù)獲取含跟蹤目標(biāo)在內(nèi)的、同一場(chǎng)景的彩色圖Image_color和深度圖Image_depth，得到不同時(shí)刻相匹配的連續(xù)幀Image_color_t1、Image_color_t、Image_color_t+1和Image_depth_t1、Image_depth_t、Image_depth_t+1，并將場(chǎng)景平均分為左中右三視場(chǎng)。

STEP2：利用當(dāng)前場(chǎng)景的深度直方圖（由Image_depth_t計(jì)算得出）判斷移動(dòng)機(jī)器人與跟蹤目標(biāo)間是否有遮擋物。

（1）無遮擋物則歸類為“無障礙物出現(xiàn)”，同時(shí)執(zhí)行避障行為1；

（2）有遮擋物則歸類為“有障礙物出現(xiàn)”，進(jìn)入STEP3判斷該遮擋物類型。

STEP3：使用三幀差分法與金字塔LK光流法結(jié)合判斷是否存在動(dòng)態(tài)障礙物。

（1）如果不存在運(yùn)動(dòng)物體的有效圖像，則歸類為“靜態(tài)障礙物”，同時(shí)執(zhí)行避障行為2。完成避障行為后返回STEP1。

（2）如果得到了運(yùn)動(dòng)物體的有效圖像，則歸類為“動(dòng)態(tài)障礙物”，同時(shí)執(zhí)行避障行為3：將移動(dòng)機(jī)器人運(yùn)動(dòng)場(chǎng)景的環(huán)境信息表征成若干個(gè)二維柵格系列，其中每個(gè)柵格都用一個(gè)概率值（可信度CV）來表示該像素點(diǎn)存在障礙物的可能性大小，使用VFH算法進(jìn)行機(jī)器人的實(shí)時(shí)動(dòng)態(tài)避障——柵格向量化、活動(dòng)窗口分區(qū)、確定移動(dòng)機(jī)器人的運(yùn)動(dòng)方向。完成避障行為后返回STEP1。

4?結(jié)論

本文提出的避障系統(tǒng)具有以下優(yōu)勢(shì)：（1）基于彩色圖像與深度圖像的融合，能使獲取到的障礙物的邊緣更清晰；（2）通過對(duì)障礙物的識(shí)別分類的預(yù)判，與時(shí)刻進(jìn)行未知環(huán)境下的避障算法相比，從一定程度上能夠降低系統(tǒng)能耗，提升工作效率；（3）判斷動(dòng)態(tài)障礙物時(shí)，先對(duì)圖像視頻序列進(jìn)行幀間差分運(yùn)算，得到運(yùn)動(dòng)目標(biāo)區(qū)域，再進(jìn)行金字塔式的光流運(yùn)算，這樣既避免了光照環(huán)境對(duì)檢測(cè)結(jié)果的影響，同時(shí)還可以檢測(cè)到運(yùn)動(dòng)速度過大的目標(biāo)。相比于傳統(tǒng)的金字塔LK光流法，該算法的計(jì)算量較低，算法的處理速度較快，因而更加滿足了系統(tǒng)對(duì)實(shí)時(shí)性的要求。

參考文獻(xiàn)：

［1］陳旭鳳，李玉龍，侯志奇，等.基于TOF的快速加權(quán)中值濾波深度成像系統(tǒng)［J］.科技風(fēng)，2019（26）：3435.

［2］丁萍，宋硯.基于RGBD圖像進(jìn)行遮擋處理和恢復(fù)的目標(biāo)跟蹤方法，中國(guó)科技論文在線，http：//www.paper.edu.cn.

［3］郝慧琴.基于單目視覺移動(dòng)機(jī)器人的避障研究［D］.中國(guó)優(yōu)秀搏碩士學(xué)位論文全文數(shù)據(jù)庫(kù)（碩士）信息科技輯，2016，08.

［4］陳至坤.基于光流法的移動(dòng)機(jī)器人避障平衡策略的改進(jìn)［J］.華北理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，40（2）.

平臺(tái)支撐：“河北省冶金工業(yè)過程數(shù)字化控制技術(shù)創(chuàng)新中心”支撐（平臺(tái)編號(hào)：SG2021185）；“河北省鋼鐵焦化企業(yè)污染治理技術(shù)創(chuàng)新中心”支撐（平臺(tái)編號(hào)SG2020220）

基金項(xiàng)目：中央引導(dǎo)地方科技發(fā)展資金項(xiàng)目（項(xiàng)目編號(hào)：216Z1004G）

作者簡(jiǎn)介：陳旭鳳（1991—?），女，漢族，河北定州人，碩士研究生，講師，研究方向：人工智能、機(jī)器視覺。

*通訊作者：趙彥偉。