亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于單目視覺(jué)的機(jī)器人避障方法研究

        2018-02-28 01:27:58王瀟峰張禮廉胡小平
        導(dǎo)航與控制 2018年1期
        關(guān)鍵詞:光流障礙物紋理

        王瀟峰,張禮廉,胡小平,張 盼

        (1.國(guó)防科學(xué)技術(shù)大學(xué),長(zhǎng)沙410073;2.浙江理工大學(xué),杭州310018)

        0 引言

        機(jī)器人避障就是在機(jī)器人運(yùn)動(dòng)過(guò)程中,通過(guò)相應(yīng)的障礙物檢測(cè)算法,運(yùn)用控制策略指導(dǎo)機(jī)器人對(duì)檢測(cè)到的障礙物進(jìn)行躲避,保障機(jī)器人的安全行駛。機(jī)器人避障是實(shí)現(xiàn)機(jī)器人全自主運(yùn)動(dòng)的關(guān)鍵環(huán)節(jié),總體方法可分為主動(dòng)避障和被動(dòng)避障。主動(dòng)避障這類(lèi)算法是針對(duì)已知環(huán)境情況的,此時(shí)機(jī)器人運(yùn)動(dòng)空間中的障礙物信息是完全已知的,如同時(shí)定位與地圖構(gòu)建(Simultaneous Localization and Mapping,SLAM),經(jīng)典的基于視覺(jué)的 SLAM方法有 LSD-SLAM(Large Scale Direct Monocular SLAM)[1]。主動(dòng)避障方法在得到環(huán)境地圖后,進(jìn)行路徑規(guī)劃,可實(shí)現(xiàn)機(jī)器人主動(dòng)避開(kāi)障礙物。本文提出的方法屬于被動(dòng)避障,這類(lèi)避障方法針對(duì)的環(huán)境情況是未知的,或者即使環(huán)境已知但還需要面對(duì)突然出現(xiàn)的障礙物,因而需要實(shí)時(shí)檢測(cè)障礙物,在檢測(cè)到障礙物后進(jìn)行躲避。隨著計(jì)算機(jī)視覺(jué)技術(shù)的不斷發(fā)展,基于視覺(jué)的障礙物檢測(cè)方法被不斷地研究和應(yīng)用,現(xiàn)已成為機(jī)器人障礙物檢測(cè)的主要手段。

        相關(guān)的基于視覺(jué)的方法有:在文獻(xiàn)[2]中,結(jié)合SIFT特征及MOPS恢復(fù)了障礙物的三維信息。其中,MOPS用于提取障礙物的邊緣及角點(diǎn)信息,SIFT用于檢測(cè)障礙物內(nèi)部輪廓信息。文獻(xiàn)[3]提出了一種測(cè)量到障礙物相對(duì)距離的方法。其中,基于慣性傳感器(IMU)并應(yīng)用拓展Kalman濾波(EKF)方法估計(jì)攝像機(jī)位置,然后重投影特征點(diǎn)到圖像中來(lái)計(jì)算障礙物的空間坐標(biāo)。Kovács[4]利用顯著性物體檢測(cè)方法檢測(cè)圖像內(nèi)的顯著性物體,并把該物體當(dāng)作障礙物,然后進(jìn)行規(guī)避。文獻(xiàn)[5]提出一種仿生方法,模擬昆蟲(chóng)的避障機(jī)理,提出基于光流的平衡策略,并計(jì)算接觸時(shí)間(Time to Contact,TTC)構(gòu)建深度圖。 透視信息[6-7](例如消失的線特征)在人造的結(jié)構(gòu)化的環(huán)境中很有作用,然而在自然環(huán)境中表現(xiàn)很差。基于立體視覺(jué)的方法也有很多,如文獻(xiàn)[8],模擬人類(lèi)的雙眼結(jié)構(gòu),能獲得較好的深度信息,但是對(duì)應(yīng)的成本更高、結(jié)構(gòu)更復(fù)雜,主流處理方法的復(fù)雜性較高。

        本文提出的方法僅僅依賴(lài)單目相機(jī),針對(duì)單目攝像頭系統(tǒng)的局限性,因而需要一種可靠的避障方法。當(dāng)機(jī)器人正前方的障礙物尺寸擴(kuò)大時(shí),意味著障礙物正在靠近機(jī)器人。因而提出基于SURF特征[9]尺度膨脹的方法,并計(jì)算由特征點(diǎn)連接成的凸包的面積,用于檢測(cè)機(jī)器人正前方的障礙物。對(duì)于機(jī)器人視野兩側(cè)的障礙物,采用基于光流平衡的方法,通過(guò)平衡運(yùn)動(dòng)視差避免碰撞到兩側(cè)的障礙物;然而基于特征和光流的方法對(duì)于紋理高度相似的區(qū)域(如白墻)失效,因?yàn)闆](méi)有足夠的信息來(lái)提取特征和計(jì)算光流,所以,提出基于圖像熵的方法指導(dǎo)機(jī)器人在這些情況下的避障。本文提出的方法在地面移動(dòng)機(jī)器人Turtlebot上進(jìn)行了大量實(shí)驗(yàn),表現(xiàn)出了良好的避障效果。

        1 系統(tǒng)總述

        本文的方法首先將一幅圖像分為3個(gè)區(qū)域,分別為IL、IM、IR,如圖1所示。

        之所以將圖像分成3個(gè)區(qū)域,是為了充分利用上文提到的各方法的優(yōu)勢(shì),形成互補(bǔ)。圖像中間區(qū)域IM運(yùn)用特征尺度檢測(cè)器算法檢測(cè)正前方的障礙物,視野兩側(cè)的區(qū)域IL、IR則被應(yīng)用于光流平衡策略躲避兩側(cè)障礙物。對(duì)于高度相似紋理的障礙物(如白墻),計(jì)算的光流是不可靠的,而且也沒(méi)特征點(diǎn)可以提取,這種時(shí)候需要分別在3個(gè)區(qū)域計(jì)算圖像熵,利用熵值判斷障礙物。系統(tǒng)總體結(jié)構(gòu)框圖如圖2所示。

        圖2中的圖像序列指的是前后兩幀圖像,這是因?yàn)樵赟URF特征點(diǎn)匹配以及計(jì)算光流場(chǎng)時(shí)都需要兩幀圖像。當(dāng)左右視野IL、IR某一區(qū)域圖像熵小于閾值時(shí),例如區(qū)域IL,說(shuō)明機(jī)器人左側(cè)已經(jīng)靠近障礙物,這時(shí)候需要轉(zhuǎn)向右側(cè),反之亦然;當(dāng)IL、IR熵值都沒(méi)有達(dá)到閾值,這時(shí)候可以分別計(jì)算左右視場(chǎng)的光流場(chǎng),通過(guò)平衡光流達(dá)到同時(shí)不碰撞兩側(cè)障礙物的目的;對(duì)于區(qū)域IM,在提取特征點(diǎn)前先同樣計(jì)算圖像熵,當(dāng)中間區(qū)域檢測(cè)到障礙物時(shí),需要向左側(cè)還是右側(cè)規(guī)避?本文采取的策略是,轉(zhuǎn)向左右視場(chǎng)中光流較小的一側(cè)。轉(zhuǎn)角大小與左右區(qū)域光流差值成正比例關(guān)系,即簡(jiǎn)單的比例控制。

        2 單目視覺(jué)避障方法

        2.1 特征尺度檢測(cè)器

        本文中機(jī)器人視野正前方障礙物的檢測(cè)方法主要依賴(lài)于尺度膨脹信息,這種檢測(cè)方法不依賴(lài)于先驗(yàn)信息,也不對(duì)環(huán)境作前提假設(shè)。尺度膨脹信息在避免機(jī)器人碰撞到正前方障礙物時(shí)很有用,當(dāng)障礙物與機(jī)器人的距離縮小時(shí),圖像中的物體尺寸也在相應(yīng)擴(kuò)大。因而采用基于SURF特征的尺度檢測(cè)器方法,用于檢測(cè)機(jī)器人正對(duì)著的正在靠近的障礙物。

        本文的方法首先在某兩幀圖像(區(qū)域IM)中提取SURF特征關(guān)鍵點(diǎn)和描述子,這些特征點(diǎn)可能是障礙物上的點(diǎn),也可能不是障礙物上的點(diǎn)。由于SUFR特征點(diǎn)具有旋轉(zhuǎn)不變性和尺度不變性,因而即使關(guān)鍵點(diǎn)尺寸大小發(fā)生變化,也能匹配。所以,在連續(xù)的圖像序列中,將相鄰兩幅圖像中的關(guān)鍵點(diǎn)進(jìn)行匹配,并且比較匹配上的兩個(gè)點(diǎn)的尺寸大小,來(lái)判斷相機(jī)是否正在靠近障礙物。在所有關(guān)鍵點(diǎn)匹配好以后,由于是檢測(cè)正在靠近的障礙物,所以先剔除關(guān)鍵點(diǎn)尺寸變小或者不變的匹配對(duì)。然后用基于尺寸比例的方法進(jìn)一步確定有可能是障礙物上的點(diǎn),最后將這些特征點(diǎn)連接起來(lái)構(gòu)成一個(gè)凸包,比較上下兩幀凸包的面積,只有當(dāng)面積之比大于一個(gè)閾值時(shí),就認(rèn)為已經(jīng)檢測(cè)到障礙物,具體算法步驟如下。

        算法:特征尺度檢測(cè)器

        ⑥判斷障礙物,ratio>Th?yes:no。

        首先在相鄰兩幀圖像中提取關(guān)鍵點(diǎn)和特征描述子,并進(jìn)行FLANN匹配(步驟①和步驟②),匹配結(jié)果如圖3所示,這里面有許多誤匹配的點(diǎn)。

        為了提高匹配的準(zhǔn)確率,必須對(duì)匹配點(diǎn)進(jìn)行過(guò)濾,只有當(dāng)兩個(gè)匹配點(diǎn)描述子的距離度量小于一定閾值時(shí),才認(rèn)為這些關(guān)鍵點(diǎn)足夠相似,然后保留這些匹配對(duì)。此外,僅僅需要在下一幀圖像中尺寸變大的關(guān)鍵點(diǎn),因而去除尺寸變小或者不變的匹配對(duì)(步驟③),得到結(jié)果如圖4所示。此時(shí)可以看到,誤匹配情況很少。

        但僅僅利用尺寸變大這一點(diǎn)是無(wú)法判斷這些特征點(diǎn)是否屬于障礙物,因?yàn)闄C(jī)器人在前進(jìn)的過(guò)程中,看到的大部分物體尺寸都是在變大的。雖然物體尺寸都在變大,但是變大的比例是不一樣的。如圖4所示,機(jī)器人向前移動(dòng)一定距離,分別得到上一時(shí)刻和當(dāng)前時(shí)刻的圖像。可以看到,距離最近的物體(書(shū)本)的尺寸明顯變大,而距離較遠(yuǎn)的物體(窗戶(hù)邊的椅子)尺寸則變化不明顯,也就是說(shuō)特征尺寸變化的比例是不一樣的。利用這一觀察,對(duì)特征點(diǎn)作進(jìn)一步過(guò)濾,如步驟④,這里的scale參數(shù)(本文設(shè)置為1.2,必須大于1)設(shè)置依據(jù)機(jī)器人運(yùn)動(dòng)速度而異,得到圖5的結(jié)果??梢钥吹?,此時(shí)剩余這些特征點(diǎn)基本都屬于障礙物(書(shū)本)。

        最后,將剩余這些特征點(diǎn)連接形成凸包,并比較上一幀和當(dāng)前幀凸包面積之比,步驟⑤的結(jié)果如圖6所示。目的是進(jìn)一步確認(rèn)剩余的這些特征點(diǎn)是否構(gòu)成障礙物,當(dāng)剩余特征點(diǎn)很少且稀疏時(shí),認(rèn)為這不是障礙物。通過(guò)設(shè)置Th參數(shù)(本文設(shè)置為1.15,必須大于1),可以防止在距離障礙物很遠(yuǎn)時(shí)就檢測(cè)出障礙物,距離障礙物太遠(yuǎn)就進(jìn)行規(guī)避是沒(méi)有必要的。由圖6可以看到,畫(huà)出的凸包的位置基本上描述了障礙物的大致位置。

        可以看到,利用特征尺度檢測(cè)器的方法,檢測(cè)正前方的障礙物是確實(shí)有效的。但稍微也有不足之處,正前方可能沒(méi)有障礙物,而機(jī)器人的兩側(cè)有障礙物,這時(shí)候需要用另一種方法進(jìn)行互補(bǔ),即基于光流平衡的避障方法。

        2.2 光流平衡策略

        光流(Optical Flow)是圖像灰度模式的運(yùn)動(dòng)。運(yùn)動(dòng)場(chǎng)是空間物體三維運(yùn)動(dòng)在圖像平面的投影,光流場(chǎng)是一個(gè)二維矢量場(chǎng),它包含的信息是各像素點(diǎn)的瞬時(shí)運(yùn)動(dòng)速度矢量信息。在含有平移運(yùn)動(dòng)的情況下,運(yùn)動(dòng)場(chǎng)可等價(jià)于光流場(chǎng)。

        平衡策略(Balancing Strategy)受到了昆蟲(chóng)飛行的啟發(fā),人們?cè)谌粘I钪杏^察發(fā)現(xiàn),蜜蜂在穿過(guò)窗戶(hù)上的小洞時(shí),能沿著洞的中心飛過(guò)去;在走廊環(huán)境中時(shí),能沿走廊的中心線飛行。在探究了蜜蜂的導(dǎo)航機(jī)理以后,證實(shí)了蜜蜂是通過(guò)平衡兩眼中圖像的運(yùn)動(dòng)速度即光流來(lái)控制飛行軌跡的。

        仿照蜜蜂的視覺(jué)導(dǎo)航機(jī)理,設(shè)計(jì)了光流平衡策略用于機(jī)器人避障。使用光流密度來(lái)構(gòu)建平衡策略方法的主要思想是利用運(yùn)動(dòng)視差:當(dāng)機(jī)器人運(yùn)動(dòng)時(shí),近處的物體比遠(yuǎn)處的物體在圖像上產(chǎn)生更大的運(yùn)動(dòng);近處的物體會(huì)占據(jù)更大的視野,所以近處的障礙物將產(chǎn)生更大的光流??刂茩C(jī)器人遠(yuǎn)離光流更大的一側(cè),就可實(shí)現(xiàn)避障[10]。

        本文的做法是,在圖像區(qū)域IL、IR分別計(jì)算稠密光流場(chǎng)。稠密光流是一種針對(duì)圖像進(jìn)行逐點(diǎn)匹配的圖像配準(zhǔn)方法,稀疏光流只針對(duì)圖像上若干個(gè)特征點(diǎn),稠密光流計(jì)算圖像上所有點(diǎn)的偏移量,從而形成一個(gè)稠密的光流場(chǎng)。通過(guò)這個(gè)稠密的光流場(chǎng),可以進(jìn)行像素級(jí)別的圖像配準(zhǔn),相比稀疏光流計(jì)算,稠密光流更加精確,而且更重要的是對(duì)于特征點(diǎn)少的物體也能可靠計(jì)算。由于要計(jì)算每個(gè)點(diǎn)的偏移量,所以計(jì)算量特別大。但是本文并不需要在整幅圖像上計(jì)算,只需要分別在機(jī)器人視野IL、IR中計(jì)算每個(gè)像素的光流即可。更進(jìn)一步節(jié)省計(jì)算資源的方法,也是本文用到的方法,將IL、IR分別進(jìn)行降采樣,IL、IR同時(shí)縮小為原來(lái)的1/2,再對(duì)得到的像素計(jì)算光流。這樣做不僅不影響光流計(jì)算的精度,而且能極大減少計(jì)算量。

        稠密光流計(jì)算方法采用Farneback法,F(xiàn)arneback在文獻(xiàn)[11]中通過(guò)計(jì)算參數(shù)化的運(yùn)動(dòng)模型約束,從圖像序列中計(jì)算3D方向張量。方向張量構(gòu)造如下:

        本文不是直接從張量點(diǎn)估計(jì)速度,而是假設(shè)在某個(gè)區(qū)域的速度場(chǎng)能夠根據(jù)運(yùn)動(dòng)模型被參數(shù)化,然后用所有的張量去計(jì)算參數(shù)。用仿射模型表示該方法:

        x、y表示像素坐標(biāo),寫(xiě)成矩陣形式如下:

        為了估計(jì)運(yùn)動(dòng)模型的向量p,引入代價(jià)函數(shù):

        根據(jù)式(3)、 式(4)得到:

        將區(qū)域內(nèi)所有點(diǎn)相加得到:

        通過(guò)最小化這個(gè)總代價(jià)函數(shù),可以估計(jì)出參數(shù)向量p,即計(jì)算出每個(gè)像素點(diǎn)的運(yùn)動(dòng)向量,得到稠密光流場(chǎng)。

        截取機(jī)器人運(yùn)動(dòng)過(guò)程中的某連續(xù)兩幀圖像進(jìn)行計(jì)算, 如圖7所示。 圖7(b)由圖7(a)向前運(yùn)動(dòng)得到,可以看到在圖像視野右側(cè),機(jī)器人已經(jīng)靠近障礙物,這時(shí)候需要進(jìn)行躲避。

        通過(guò)分別計(jì)算IL、IR區(qū)域的稠密光流場(chǎng),并每隔10個(gè)像素取一個(gè)像素,畫(huà)出該像素點(diǎn)的光流向量,如圖8所示。

        從圖8中得到的光流場(chǎng)可以看到,IR區(qū)域由于距離障礙物較近,所以大部分像素點(diǎn)的光流向量幅值(直線長(zhǎng)度)明顯大于IL區(qū)域。假設(shè)像素點(diǎn)(x,y)處光流向量為f(x,y)=(u,v), 則該像素點(diǎn)光流幅值為:

        分別在IL、IR區(qū)域內(nèi)計(jì)算所有像素點(diǎn)的光流向量幅值之和得到:

        根據(jù)運(yùn)動(dòng)視差原理,設(shè)計(jì)光流平衡策略如下[5]:

        比較左右兩側(cè)的光流強(qiáng)度總和,再進(jìn)行歸一化,得到作用力F。如果F大于0,說(shuō)明機(jī)器人左側(cè)的光流較大,極有可能左側(cè)距離障礙物較近;F小于0,則右側(cè)已靠近障礙物。但是由于圖像噪聲的原因,光流計(jì)算不可能絕對(duì)準(zhǔn)確。如果僅僅F大于0,就控制機(jī)器人向右轉(zhuǎn),F(xiàn)小于0,機(jī)器人向左轉(zhuǎn),那么整個(gè)運(yùn)動(dòng)過(guò)程機(jī)器人就一直在左右搖擺。因而需要對(duì)F設(shè)定一個(gè)閾值Fthreshold,實(shí)際上歸一化的目的就是為了方便設(shè)定閾值。通過(guò)合理設(shè)定這個(gè)閾值,就可以控制機(jī)器人在實(shí)際靠近障礙物時(shí)再進(jìn)行轉(zhuǎn)向,而不是一直左右轉(zhuǎn)向。至于轉(zhuǎn)角大小,本文的方法是與F成比例關(guān)系。F絕對(duì)值越大,說(shuō)明某一側(cè)靠近障礙物的速度越快,因而需要一個(gè)大的轉(zhuǎn)角,確保立即避開(kāi)。

        結(jié)合特征尺度檢測(cè)器和光流平衡策略,對(duì)于大部分自然障礙物已經(jīng)可以達(dá)到很好的避障效果。但這些障礙物通常具有少量的紋理信息,這樣才可以提取特征點(diǎn),或者可以計(jì)算稠密光流場(chǎng)。但是對(duì)于很大區(qū)域都是相同紋理的物體,例如白墻,既無(wú)法提取特征點(diǎn),光流計(jì)算也不準(zhǔn),這種情況就需要利用計(jì)算圖像熵的方法,此法對(duì)這種障礙物也能檢測(cè)。

        2.3 計(jì)算圖像熵

        熵的概念最早起源于物理學(xué),用于度量一個(gè)熱力學(xué)系統(tǒng)的無(wú)序程度。熱力學(xué)第二定律,又稱(chēng)“熵增定律”,表明了在自然過(guò)程中,一個(gè)孤立系統(tǒng)的總混亂度不會(huì)減小。在信息論中,熵被用來(lái)衡量一個(gè)隨機(jī)變量出現(xiàn)的期望值。它代表了在被接收之前,信號(hào)傳輸過(guò)程中損失的信息量,又被稱(chēng)為信息熵。信息熵也稱(chēng)信源熵、平均自信息量。

        實(shí)際上熵就是衡量信息量的大小,對(duì)于圖像來(lái)說(shuō),如果一個(gè)灰度圖像的值是常數(shù),那么它的熵為0,也就是這個(gè)圖像沒(méi)帶給我們?nèi)魏涡畔?,我們知道了一個(gè)像素值,其他也就全知道了。相反,熵越大說(shuō)明圖像包含的信息越多、越復(fù)雜,其灰度值越混亂。因而可以通過(guò)檢測(cè)圖像熵的方法,去判斷物體包含紋理的多少。對(duì)于白墻,幾乎沒(méi)有紋理信息,因而圖像熵很?。欢呒y理的物體,包含大量紋理信息,圖像比較混亂,因而擁有較大的圖像熵。

        這里只引入圖像的一維熵,它反映了圖像中平均信息量的多少,表示圖像灰度分布的聚集特征所包含的信息量,計(jì)算方法如下:

        mi表示圖像中灰度值為i的像素點(diǎn)的總個(gè)數(shù),N表示該圖像內(nèi)像素總數(shù),所以pi代表了某個(gè)灰度在該圖像中出現(xiàn)的概率。圖像的熵則表示為:

        實(shí)驗(yàn)中,讓機(jī)器人分別靠近一張黑色椅子和一面白墻,并計(jì)算相應(yīng)區(qū)域的圖像熵。首先,機(jī)器人視野右側(cè)有一張純黑色椅子,讓機(jī)器人逐漸靠近,計(jì)算IR區(qū)域的圖像熵,熵值用數(shù)字標(biāo)明,得到如圖9所示的3幅圖像。

        然后,再讓機(jī)器人靠近一堵白墻,并計(jì)算IM區(qū)域的圖像熵,結(jié)果如圖10所示。

        從實(shí)驗(yàn)結(jié)果可以看到,當(dāng)圖像某區(qū)域只有一種相似紋理的時(shí)候,例如純黑色椅子和白墻,該區(qū)域圖像熵值很小;當(dāng)混有其他紋理時(shí),則熵值很大。從高紋理到低紋理,圖像熵值有一個(gè)大幅度的跳躍過(guò)程,例如圖9中,從第2幀到第3幀,第2幀中IR區(qū)域還包括地面,該區(qū)域熵值為2223;但當(dāng)?shù)降?幀時(shí),IR區(qū)域就只包含黑色椅子,圖像熵值為173,可以看到有一個(gè)急劇跳躍的過(guò)程,圖10也是相同的過(guò)程。從而可以設(shè)定一個(gè)臨界值Ethreshold,本文設(shè)定為800,當(dāng)圖像某一區(qū)域熵值小于該臨界值時(shí),表明該區(qū)域已經(jīng)臨近障礙物,需要做出動(dòng)作規(guī)避。從上面實(shí)驗(yàn)也可以看到,當(dāng)面對(duì)的是一堵白墻時(shí),根本無(wú)法提取有效特征點(diǎn),所以計(jì)算圖像熵值是在提取特征點(diǎn)和計(jì)算光流場(chǎng)之前。

        3 實(shí)驗(yàn)及結(jié)果分析

        為了驗(yàn)證本文方法的可行性,把上述方法綜合起來(lái)構(gòu)成一個(gè)實(shí)際系統(tǒng)。本文實(shí)驗(yàn)基于Turtlebot地面移動(dòng)機(jī)器人,上面搭載ROS開(kāi)源機(jī)器人操作系統(tǒng),配備Kinect深度/彩色相機(jī)(本文僅需彩色相機(jī)),RGB相機(jī)分辨率為640×480,采樣頻率為25Hz。在室內(nèi)環(huán)境下進(jìn)行實(shí)驗(yàn),設(shè)置機(jī)器人直線速度為0.2m/s,室內(nèi)環(huán)境布置如圖11所示。

        相關(guān)實(shí)驗(yàn)參數(shù)設(shè)置如表1所示。

        表1 實(shí)驗(yàn)參數(shù)設(shè)置Table 1 Parameter setting of experiment

        每次實(shí)驗(yàn)場(chǎng)景障礙物擺放略有不同,且機(jī)器人每次從不同起點(diǎn)出發(fā),目的是為了充分驗(yàn)證本文方法的可行性。本文在上述環(huán)境中共做了12次漫游實(shí)驗(yàn),只有當(dāng)無(wú)碰撞漫游時(shí)間達(dá)到2min或者中途碰撞到障礙物時(shí),一次實(shí)驗(yàn)才算完成。提取其中3次成功的實(shí)驗(yàn),并將軌跡圖畫(huà)出來(lái),得到如圖12所示結(jié)果。

        圖12中,灰色線條及矩形為障礙物,黑色邊框表示墻壁,黑色菱形為機(jī)器人初始位置,虛線為機(jī)器人運(yùn)動(dòng)軌跡,黑色三角形是機(jī)器人漫游終點(diǎn)位置。從圖12可以看到,機(jī)器人在漫游過(guò)程中可以避開(kāi)障礙物,本文提出的方法對(duì)指導(dǎo)機(jī)器人避障確實(shí)有效。

        本實(shí)驗(yàn)?zāi)壳爸辉谑覂?nèi)進(jìn)行,由于室內(nèi)環(huán)境比較封閉,從而容易使機(jī)器人陷入障礙物構(gòu)成的狹小角落內(nèi),如圖12(b)終點(diǎn)黑色三角形所示。機(jī)器人進(jìn)入這樣的角落,就極有可能一直在原地左右搖擺尋找可通行路徑。圖12(b)是在時(shí)間到了2min以后陷入角落,所以仍視為一次成功的實(shí)驗(yàn)。實(shí)際上在陷入角落之前,很多次實(shí)驗(yàn)都沒(méi)有碰撞到障礙物,但是實(shí)驗(yàn)時(shí)間沒(méi)有達(dá)到2min,對(duì)于這樣的一次實(shí)驗(yàn)既沒(méi)有算做成功也沒(méi)有并入失敗,相當(dāng)于一次無(wú)效實(shí)驗(yàn)。因而要在室內(nèi)漫游時(shí)間達(dá)到2min而不陷入角落需要一定運(yùn)氣,如果是在室外,2min漫游則容易達(dá)到。12次實(shí)驗(yàn)中共有兩次實(shí)驗(yàn)失敗,避障失敗的情形如圖13所示。

        圖13(a)失敗并不是因?yàn)闆](méi)有檢測(cè)到障礙物(黑色椅子),而是因?yàn)闆](méi)有相應(yīng)措施檢測(cè)到地面障礙物(椅子底座),這也是本文方法的局限之一,因?yàn)楸疚牡姆椒ǘ际羌僭O(shè)障礙物至少具有一定高度;圖13(b)失敗是因?yàn)樵撜系K物出現(xiàn)在圖像IM區(qū)域,但是供提取的特征點(diǎn)不夠,所以沒(méi)有檢測(cè)出該障礙物,這也是本文方法的局限之二,正前方障礙物需要一定量的紋理可供提取特征點(diǎn)。但實(shí)驗(yàn)中發(fā)現(xiàn),當(dāng)圖13(b)中的障礙物出現(xiàn)在機(jī)器人視野兩側(cè)時(shí),則可以躲避成功,這是因?yàn)楣饬饔?jì)算對(duì)于紋理要求相對(duì)較低。

        4 總結(jié)及未來(lái)工作

        本文基于單目視覺(jué),通過(guò)結(jié)合特征尺度檢測(cè)器、光流平衡策略以及圖像熵的方法,設(shè)計(jì)了一個(gè)可靠的避障系統(tǒng),具有較強(qiáng)的實(shí)用性。本文的方法把圖像分為左中右3個(gè)區(qū)域,在不同區(qū)域內(nèi)應(yīng)用不同的方法檢測(cè)障礙物,這樣可以將各個(gè)方法形成互補(bǔ),保證系統(tǒng)的可靠性。

        對(duì)于圖像中間區(qū)域,基于SURF特征提取膨脹特征點(diǎn),并將這些特征點(diǎn)連接以形成凸包,通過(guò)凸包面積變化速率,可以確認(rèn)是否有障礙物靠近。實(shí)驗(yàn)表明,在障礙物有足夠紋理提取特征時(shí),這種方法對(duì)于檢測(cè)正前方障礙物很有效。對(duì)于圖像視野兩側(cè),可以通過(guò)平衡這兩個(gè)區(qū)域的光流密度來(lái)避障。本文計(jì)算方法是Farneback稠密光流方法,為了保證實(shí)時(shí)性,可以將左右區(qū)域再降采樣。通過(guò)上述兩種方法的互補(bǔ),既可以檢測(cè)機(jī)器人正前方的障礙物,也可以同時(shí)躲避左右兩側(cè)的障礙物。但保證上述兩種方法有效的前提是,障礙物具有一定紋理信息。當(dāng)障礙物紋理信息很低時(shí),可以再加入圖像熵的方法避障。

        接下來(lái)的工作將考慮把主動(dòng)避障和被動(dòng)避障結(jié)合起來(lái),先對(duì)環(huán)境建圖,然后作路徑規(guī)劃指導(dǎo)機(jī)器人避障,對(duì)于動(dòng)態(tài)障礙物或者地圖構(gòu)建不準(zhǔn)確時(shí)則用被動(dòng)避障方法。此外,還可以在本文方法的基礎(chǔ)上,加入透視及其他信息進(jìn)行融合,因?yàn)橥敢曅畔⒁呀?jīng)被成功應(yīng)用于結(jié)構(gòu)化環(huán)境中的導(dǎo)航,因而同樣可以應(yīng)用于避障。而且,本文對(duì)環(huán)境信息沒(méi)有作假設(shè),這種方法可以應(yīng)用于室內(nèi)環(huán)境,也可以用在自然環(huán)境中;既可以是地面移動(dòng)機(jī)器人,也可以是飛行器,所以將考慮把本文方法應(yīng)用于四旋翼無(wú)人機(jī)的自動(dòng)避障。

        [1]Engel J,Sch?ps T,Cremers D.LSD-SLAM:large-scale direct monocular SLAM [C].European Conference on Computer Vision,2014:834-849.

        [2]Lee J O,Lee K H,Park S H,et al.Obstacle avoidance for small UAVs using monocular vision [J].Aircraft Engineering and Aerospace Technology,2011,83 (6):397-406.

        [3]Saha S,Natraj A,Waharte S.A real-time monocular vision-based frontal obstacle detection and avoidance for low cost UAVs in GPS denied environment[C].IEEE International Conference on Aerospace Electronics and Remote Sensing Technology (ICARES),2014:189-195.

        [4]Kovács L.Visual monocular obstacle avoidance for small unmanned vehicles [C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops,2016:59-66.

        [5]Souhila K,Karim A.Optical flow based robot obstacle avoidance [J].International Journal of Advanced Robotic Systems,2007,4 (1):13-16.

        [6]Bills C,Chen J,Saxena A.Autonomous MAV flight in indoor environments using single image perspective cues[C].IEEE International Conference on Robotics and Automation (ICRA),2011:5776-5783.

        [7]Chavez A,Gustafson D.Vision-based obstacle avoidance using SIFT features [C].International Symposium on Visual Computing,2009:550-557.

        [8]Hrabar S,Sukhatme G S,Corke P,et al.Combined opticflow and stereo-based navigation of urban canyons for a UAV [C].2005 IEEE/RSJ International Conference on Intelligent Robots and Systems,2005:3309-3316.

        [9]Mori T,Scherer S.First results in detecting and avoiding frontal obstacles from a monocular camera for micro unmanned aerial vehicles [C].IEEE International Conference on Robotics and Automation (ICRA),2013:1750-1757.

        [10]徐麗.基于光流的移動(dòng)機(jī)器人仿生避障方法研究[D].北京工業(yè)大學(xué),2014.XU Li.Research on bionic obstacle avoidance method of mobile robot based on optical flow [D].Beijing University of Technology,2014.

        [11]Farneback G.Fast and accurate motion estimation using orientation tensors and parametric motion models [C].15thInternational Conference on Pattern Recognition,2000,1 (1):135-139.

        猜你喜歡
        光流障礙物紋理
        利用掩膜和單應(yīng)矩陣提高LK光流追蹤效果
        高低翻越
        基于BM3D的復(fù)雜紋理區(qū)域圖像去噪
        軟件(2020年3期)2020-04-20 01:45:18
        SelTrac?CBTC系統(tǒng)中非通信障礙物的設(shè)計(jì)和處理
        使用紋理疊加添加藝術(shù)畫(huà)特效
        基于物理學(xué)的改善粒子圖像測(cè)速穩(wěn)健光流方法研究
        TEXTURE ON TEXTURE質(zhì)地上的紋理
        Coco薇(2017年8期)2017-08-03 15:23:38
        消除凹凸紋理有妙招!
        Coco薇(2015年5期)2016-03-29 23:22:15
        融合光流速度場(chǎng)與背景差分的自適應(yīng)背景更新方法
        土釘墻在近障礙物的地下車(chē)行通道工程中的應(yīng)用
        综合三区后入内射国产馆| 中国丰满熟妇xxxx| 好大好深好猛好爽视频免费| 日韩我不卡| 日本巨大的奶头在线观看 | 色诱久久av| 国产一区二区欧美丝袜| 国产大学生自拍三级视频| 日本精品中文字幕人妻| 国产在线观看自拍av| 国产日韩精品欧美一区喷水| 无码av无码天堂资源网| 人与嘼av免费| 日本理论片一区二区三区| 亚洲精品一区二区视频| 日本综合视频一区二区| 丰满少妇高潮惨叫久久久| 国产精品久久久久久久妇| 老妇肥熟凸凹丰满刺激| 99热在线播放精品6| 日韩精品一区二区三区av| 亚洲精品有码日本久久久| 久久伊人少妇熟女大香线蕉| 99久久免费精品高清特色大片| 人人妻人人澡av| 久久精品人妻中文av| 国产无遮挡又黄又爽高潮| 欧美日韩国产成人高清视频| 国产欧美成人| 亚洲中文字幕乱码一二三区| 国产一品二品三品精品久久| 精品亚洲一区二区区别在线观看| 国产精品久久久久精品一区二区| 1000部夫妻午夜免费| 亚洲色大成在线观看| 日韩成人精品一区二区三区| 国产人妖在线视频网站| 乱色欧美激惰| 午夜福利麻豆国产精品 | 中文字幕有码在线人妻| 亚洲精品无码永久中文字幕|