曹夢龍,石夢鴿

(青島科技大學(xué)自動化與電子工程學(xué)院,青島 266042)

0 引言

避障是移動機(jī)器人導(dǎo)航及自主作業(yè)至關(guān)重要的關(guān)鍵技術(shù)之一[1-2],近年來已取得突飛猛進(jìn)的發(fā)展,基于視覺的光流避障[3]研究應(yīng)用也逐漸增多。LK光流法[4-5]是典型的稀疏光流,通過追蹤特征點,實現(xiàn)視場中的障礙物檢測,且與稠密方法相比,該方法對圖像噪聲不敏感且時間成本低。針對相機(jī)運動較快,光流假設(shè)難以成立問題,余功興等[6]基于金字塔LK光流跟蹤算法建立魯棒的關(guān)鍵點匹配關(guān)系,但在實驗過程中,算法追蹤的魯棒性不及預(yù)期結(jié)果?；谔卣鼽c的LK光流算法,對特征點要求高,需要特征點具備較好的跟蹤性能[7]。GUO等[8]結(jié)合金字塔LK光流和Shi-Tomasi特征提取設(shè)計的特征跟蹤器,只計算強角點處的光流場,可有效檢測出目標(biāo),權(quán)衡效率和精度的矛盾問題。在相機(jī)運動產(chǎn)生動態(tài)背景的情況下難以有效檢測出運動目標(biāo),李成美等[9]使用金字塔LK光流法追蹤Shi-Tomasi角點,采用卡爾曼濾波平滑運動矢量,加入仿射變換對當(dāng)前圖像進(jìn)行運動補償,有效提高了制導(dǎo)武器的精確性。在視場中完成障礙物檢測后,需采取合適的碰撞機(jī)制才能實現(xiàn)障礙物規(guī)避,平衡策略[10]是利用光流場實現(xiàn)避障最簡單直接的方式,但存在左右光流相似時避障失效問題。于乃功等[11]使用光流散度計算碰撞時間(time-to-collision,TTC),利用TTC構(gòu)建障礙地圖,提高算法的計算精度和魯棒性,但構(gòu)建障礙地圖需耗費較多時間。CHANG等[12]利用TTC和光流平衡策略引導(dǎo)無人機(jī)在無碰路徑上飛行,其中無人機(jī)可飛行的自由空間由TTC估計,光流平衡策略計算出轉(zhuǎn)向角度。雖然結(jié)合TTC和光流平衡策略實現(xiàn)避障的應(yīng)用逐漸成熟,但該技術(shù)目前以無人機(jī)應(yīng)用作為主流。

針對上述問題,本文提出一種光流結(jié)合特征提取的室內(nèi)移動機(jī)器人視覺避障方法。將LK光流與多尺度思想結(jié)合,建立圖像金字塔,解決相機(jī)快速運動導(dǎo)致相鄰圖像差異明顯問題。為糾正圖像畸變,在圖像金字塔中加入仿射變換,提高算法追蹤角點的噪聲魯棒性,進(jìn)而準(zhǔn)確檢測視場中的障礙物。針對光流平衡策略避障失效問題,本文將機(jī)器人視場重新劃分區(qū)域,制定出TTC結(jié)合光流平衡策略的碰撞機(jī)制,使機(jī)器人準(zhǔn)確規(guī)避正向障礙物,引導(dǎo)機(jī)器人在無碰路徑上移動。

1 光流結(jié)合特征提取

移動機(jī)器人避障需具備實時性。由于光流追蹤特征點的時間要小于特征提取中描述子的計算與匹配,因此本文使用光流法代替描述子的計算與匹配,從而提高移動機(jī)器人避障的實時性。Shi-Tomasi為不受噪聲干燥的強角點,是目前常用的特征提取方法之一。LK光流作為稀疏光流,通常用于追蹤特征點來計算光流,較稠密光流計算時間相對較短。本文將Shi-Tomasi與金字塔LK光流結(jié)合,并針對相機(jī)快速運動時易產(chǎn)生圖像畸變問題,在光流法中加入仿射變換,從而提高算法的追蹤成功率。

1.1 特征提取

將局部窗口ω(x,y)的圖像灰度I(x,y)向各個方向移動(u,v)后,得到圖像灰度I(x+u,y+v),所有灰度差異總和為:

(1)

I(x+u,y+v)進(jìn)行Taylor展開:

E(u,v)=[uv]M[uv]T

(2)

(3)

式中:M對應(yīng)式(10)中的G,Ix和Iy是沿x和y方向的導(dǎo)數(shù),M的特征值為λ1和λ2,若矩陣M的較小特征值大于閾值,則為所要提取的角點:

R=min{λ1,λ2}

(4)

通過式(3)能夠保留局部最大的像素,即圖像的強角點。特征提取作為低層次的圖像處理,為進(jìn)一步實現(xiàn)運動相機(jī)下的光流追蹤提供了重要信息。

1.2 金字塔LK光流法

相機(jī)快速運動會導(dǎo)致連續(xù)兩幀圖像差異較明顯,打破了光流第二條假設(shè),即連續(xù)的小運動,求解時易達(dá)到一個局部極小值。光流法與多尺度思想結(jié)合對圖像進(jìn)行分層處理[13],能將一個較大的像素位移分解為多個較小的殘余光流位移進(jìn)行計算,提高算法的準(zhǔn)確性。根據(jù)光流假設(shè)可以得到灰度值為I(x,y,t)的像素點(x,y,t)在兩個圖像幀之間移動的光流基本方程。LK光流法引入空間一致假設(shè),考慮大小為ω×ω的窗口,得到ω2個光流約束方程:

(5)

式中:Ix、Iy為空間梯度,It為時間梯度,u、v分別為待求解的光流水平和垂直矢量。

如圖1所示,金字塔LK光流法能夠?qū)崿F(xiàn)精確追蹤,用一個[1/16 1/4 3/8 1/4 1/16]的低通濾波器建立第L-1層圖像到第L層圖像的金字塔,得到的L層圖像大小是L-1層圖像的兩倍,其中最終層為原始圖像。

圖1 圖像金字塔和光流由粗至精的過程

光流追蹤時,首先在最上層中計算出光流,上一層的結(jié)果將作為下一層光流的初始值,直至迭代到最終層作為最后結(jié)果。從最上層開始,通過最小化每個ω2窗口的匹配誤差和,得到每層圖像中各個點的光流值,式(6)為第L層的代價函數(shù)。

(6)

(7)

(8)

兩張圖像差為:

δI(x,y)?A(x,y)-B(x,y)

(9)

綜合式(7)～式(9),得到G。

(10)

(11)

迭代到一定次數(shù)或者光流誤差小于一個設(shè)定閾值后,得到最終得光流d。相機(jī)快速運動會不可避免地出現(xiàn)圖像變形問題,需加入圖像糾正畸變操作,提高光流算法的追蹤性能。

1.3 改進(jìn)金字塔LK光流法

針對相機(jī)快速運動導(dǎo)致的圖像畸變問題,在加入仿射變換后[14],一個矩形窗口的點從圖像I變換到圖像J,變成一個平行四邊形,進(jìn)一步提高算法精度,本文采用六參數(shù)仿射變換,一般形式為:

(12)

式中:a0、a1、a2、b0、b1、b2表示仿射變形參數(shù)。利用光流法得到至少3個特征點對即可計算出仿射變形參數(shù),進(jìn)而對整張圖片做仿射變換,糾正圖像畸變問題。

1.4 運動相機(jī)下的光流追蹤

運動相機(jī)下,光流結(jié)合特征提取的處理流程具體表述為:

(1)對第t幀圖像進(jìn)行Shi-Tomasi角點檢測,提取圖像的強角點;

(2)利用提取出的角點做金字塔LK光流計算,預(yù)測這些角點在t+1幀的位置,得到多組相互匹配的特征點對;

(3)計算仿射變換參數(shù)糾正圖像變形;

(4)計算出兩幀圖像間的光流場。

2 碰撞機(jī)制

視覺避障成本較低,但硬件條件過于薄弱,因此需提高檢測障礙物算法的精度并制定有效的碰撞機(jī)制來規(guī)避正向障礙物[15],其中碰撞機(jī)制通過機(jī)器人與障礙物的距離來制定。光流平衡策略將機(jī)器人視場等分為左右區(qū)域,由于左右光流數(shù)目相等或相差不大而無法有效規(guī)避視場中央的障礙物,因此本文將機(jī)器人視場等分為圖2a所示的左中右區(qū)域,并結(jié)合TTC來制定碰撞機(jī)制,解決光流平衡策略正向避障的缺陷。

(a) 機(jī)器人視場 (b) 擴(kuò)散焦點

2.1 計算光流場信息

如圖2b所示,逼近機(jī)器人的障礙物紋理會有向視野外擴(kuò)張的傾向,反映到光流即是明顯擴(kuò)散的向量,圖像運動處處都是遠(yuǎn)離平移向量對應(yīng)的奇點,這個點被稱為擴(kuò)散焦點(focus of expansion,FOE)。

可通過FOE建立更可靠的無標(biāo)度深度圖,然而在計算上較為復(fù)雜,需對FOE位置進(jìn)行估計,并計算每個像素點的碰撞時間(TTC)?？紤]噪聲影響FOE坐標(biāo)(cx,cy)的準(zhǔn)確計算,因此求取所有特征點流向量的最小二乘解,得到較為精確的FOE坐標(biāo)值:

(cx,cy)T=(ATA)-1ATb=

(13)

根據(jù)每個像素點pi=(x,y)的光流矢量(u,v)得到ai0=v,ai1=u,bi=xv-yu。精確估計接近障礙物的TTC對于移動機(jī)器人避障至關(guān)重要,圖3假設(shè)相機(jī)方向與機(jī)器人運動方向一致,根據(jù)幾何關(guān)系和FOE坐標(biāo)值計算pi的TTC值,如式(14)所示。

(14)

圖3 攝像機(jī)移動過程

機(jī)器人直行檢測障礙物,依據(jù)TTC和光流平衡策略選擇碰撞機(jī)制來規(guī)避障礙物。

2.2 基于行為的碰撞機(jī)制

避障指機(jī)器人通過快速合理地改變前進(jìn)方向,安全繞過障礙物。旋轉(zhuǎn)過程中產(chǎn)生的流動散度會對FOE和TTC產(chǎn)生不利影響。本研究假設(shè)速度為零,不計算旋轉(zhuǎn)過程中的光流。為保證算法的穩(wěn)定性和魯棒性,根據(jù)障礙物的分布情況,本文提出一種基于行為的碰撞機(jī)制,結(jié)合TTC和光流平衡策略引導(dǎo)機(jī)器人實現(xiàn)在無碰路徑上移動,碰撞機(jī)制如圖4所示,機(jī)器人的避障行為如下:

圖4 改進(jìn)碰撞機(jī)制流程圖

(1)一般避障行為。障礙物在機(jī)器人兩側(cè)或在其面前占據(jù)較小區(qū)域時,機(jī)器人視場中間區(qū)域碰撞時間的平均值(CTTCave)高于閾值,按照光流平衡策略的航向決策算法,計算出偏航角,控制機(jī)器人旋轉(zhuǎn)相應(yīng)角度,從而順利躲避障礙物。

(15)

式中:rot為機(jī)器人視場左右兩側(cè)的偏航角度,正為右偏,負(fù)為左偏;angle為最大旋轉(zhuǎn)角度,LS和RS分別為左、右側(cè)視場的光流量。

(2)緊急避障行為。當(dāng)障礙物在機(jī)器人面前占據(jù)比較大的空間,可轉(zhuǎn)向區(qū)域過小或機(jī)器人即將碰到障礙物時,此時CTTCave低于某一閾值,機(jī)器人停止前進(jìn),向右轉(zhuǎn)動90°,重新進(jìn)行采集數(shù)據(jù),計算偏航角,選擇避障行為。

本文碰撞機(jī)制直行檢測視場中障礙物的風(fēng)險程度,并將視場等分成左中右3部分。若CTTCave低于設(shè)定值時需要緊急避障;若CTTCave高于設(shè)定值,則視為一般避障行為。

3 仿真驗證

3.1 實驗條件

實現(xiàn)上述算法的實驗所用硬件平臺為Intel(R) Core(TM) i5-7200U和8 GB RAM,軟件平臺Ubuntu20.04,內(nèi)存60 GB,CPU 2 GHz,運行環(huán)境為Opencv3.4.13。實驗操作平臺為Ubuntu20.04,內(nèi)存50 GB,CPU 2 GHz的ROS服務(wù)機(jī)器人,其中機(jī)器人相機(jī)采集到的圖像分辨率為512×424,光流追蹤參數(shù)如表1所示。

表1 光流追蹤參數(shù)設(shè)置

3.2 實驗過程

實驗對室內(nèi)數(shù)據(jù)集中的圖像幀進(jìn)行光流追蹤效果對比,驗證光流追蹤角點的準(zhǔn)確性,在上述方法計算出的光流場中求得TTC,并在機(jī)器人操作平臺上對本文提出的碰撞機(jī)制進(jìn)行驗證。

在相機(jī)快速運動的情況下,為驗證算法的準(zhǔn)確追蹤優(yōu)勢,圖5對比3種算法在兩幀圖像間的光流追蹤,其中第6～第10幀為兩幀圖像差異明顯的追蹤,第9～第10幀為連續(xù)小運動追蹤。表2記錄3種算法追蹤時,刪除跟丟角點后的對比信息。

表2 3種算法追蹤效果對比

(a) 第6幀角點 (b) 第9幀角點

對比3種光流算法追蹤角點的效果及數(shù)據(jù),加入仿射變換的金字塔LK光流追蹤的成功率較高且效果明顯要好,其中第9～10幀的追蹤成功率較LK和金字塔LK分別提高13.02%、3.8%,第6～10幀的追蹤成功率分別提高27.94%、6.21%,追蹤時間與金字塔LK相近,可有效平衡效率與精度矛盾問題。

為驗證本文碰撞機(jī)制規(guī)避障礙物的準(zhǔn)確性,實驗將其與光流平衡策略進(jìn)行對比分析。CTTCave閾值設(shè)置為4 s,angle設(shè)置為8°,光流平衡策略左右兩側(cè)力閾值設(shè)置為0.5。圖6為將兩種策略應(yīng)用到機(jī)器人靠近視場中央障礙物的場景,該過程共10幀,幀數(shù)與左右光流和特征點數(shù)目的關(guān)系如圖7所示。

(a) 光流平衡策略第1幀 (b) 光流平衡策略第10幀

(a) 光流平衡策略左右視場 (b) 本文碰撞機(jī)制左右視場

正向障礙物位置在視場中央時,兩種碰撞機(jī)制的左右光流數(shù)目相差不大。利用光流數(shù)目求得光流平衡策略左右兩側(cè)的力均低于閾值0.5,因此機(jī)器人保持直行。圖8為機(jī)器人視場中央障礙物規(guī)避效果對比,表3記錄本文碰撞機(jī)制中CTTCave和偏航角隨幀數(shù)的變化。

表3 本文碰撞機(jī)制中CTTCave和偏航角隨幀數(shù)變化

對比兩種策略規(guī)避視場中央障礙物的效果,光流平衡策略因左右光流數(shù)目相近,導(dǎo)致避障失效,而本文碰撞機(jī)制在第10幀時視場中央的CTTCave值低于設(shè)定的閾值4 s,需要采取緊急避障行為,向右旋轉(zhuǎn)90°,有效避開了視場中央的障礙物。

機(jī)器人正向避障時,視場中央的障礙物作為規(guī)避的首要對象,同時左右兩側(cè)的障礙物也不容忽視。圖9為本文碰撞機(jī)制對視場左右兩側(cè)障礙物的規(guī)避情況,圖10為視場光流和特征點數(shù)目與幀數(shù)的關(guān)系,表4記錄視場兩側(cè)障礙物的偏航角隨幀數(shù)的變化。

表4 兩側(cè)障礙物偏航角變化

(a) 左側(cè)障礙物 (b) 行駛路線圖

(a) 光流平衡策略左右視場 (b) 本文碰撞機(jī)制左右視場

從左右兩側(cè)障礙物的規(guī)避效果來看,本文提出的碰撞機(jī)制中,第1～10幀的CTTCave均高于4 s,因此可視為一般避障行為,通過平衡左右光流數(shù)目計算出偏航角,有效規(guī)避置于視場左右兩側(cè)的障礙物,驗證了本文碰撞機(jī)制解決機(jī)器人正向避障問題的完整性。

3.3 結(jié)果分析

對本文改進(jìn)算法及碰撞機(jī)制進(jìn)行對比試驗,驗證了在運動相機(jī)下進(jìn)行障礙物檢測時,加入仿射變換的金字塔LK光流結(jié)合特征提取算法具有準(zhǔn)確追蹤的優(yōu)勢;得到光流場信息后,結(jié)合TTC和光流平衡策略引導(dǎo)機(jī)器人在無碰路徑上移動,在機(jī)器人操作平臺上驗證了本文針對正向障礙物所提出的碰撞機(jī)制具備可行性。

4 結(jié)論

針對室內(nèi)機(jī)器人正向避障問題,本文在沒有先驗環(huán)境信息且不建立地圖的情況下,提出一種基于機(jī)器視覺的避障方法,利用運動相機(jī)提取角點,使用加入仿射變換的光流追蹤圖像間的角點,實現(xiàn)障礙物檢測。利用光流場信息,提出一種結(jié)合TTC與光流平衡策略的碰撞機(jī)制,并將其與光流平衡策略的碰撞機(jī)制進(jìn)行對比試驗,該方法能夠有效解決光流平衡策略存在的避障缺點,實現(xiàn)移動機(jī)器人正向準(zhǔn)確避障。此方法還有待改善,例如光流場的計算要受到光照噪聲、紋理等環(huán)境因素的影響,在光流場中計算TTC限制了機(jī)器人的運動方式,以及如何提高此算法在避障過程中的實時性和對真實環(huán)境噪聲抑制的魯棒性。