于陽陽,陳 妍,李偉民
(1.貴州民族大學(xué)理學(xué)院,貴州 貴陽 550025;2.貴州民族大學(xué)傳媒學(xué)院,貴州 貴陽 550025)
A Monocular Vision Obstacle Detection Method in Low Light Environments for Unmanned Systems
YU Yangyang1,CHEN Yan2,LI Weimin1
(1.Polytechnic College,Guizhou Minzu University,Guiyang 550025,China;
2.College of Broadcasting Media,Guizhou Minzu University,Guiyang 550025,China)
?
弱光環(huán)境下基于單目視覺的無人系統(tǒng)自主障礙探測方法
于陽陽1,陳妍2,李偉民1
(1.貴州民族大學(xué)理學(xué)院,貴州 貴陽 550025;2.貴州民族大學(xué)傳媒學(xué)院,貴州 貴陽 550025)
AMonocularVisionObstacleDetectionMethodinLowLightEnvironmentsforUnmannedSystems
YUYangyang1,CHEN Yan2,LI Weimin1
(1.PolytechnicCollege,GuizhouMinzuUniversity,Guiyang550025,China;
2.CollegeofBroadcastingMedia,GuizhouMinzuUniversity,Guiyang550025,China)
摘要:提出了一種無人系統(tǒng)自主障礙探測方法,該方法借助單目視覺系統(tǒng)感知環(huán)境信息,采用模糊方法對視覺圖像信息進行增強,通過檢測障礙物邊緣,實現(xiàn)對弱光環(huán)境中障礙的探測。最后,通過對比實驗可知,該方法可以有效地識別出無人系統(tǒng)前方的障礙物,為無人系統(tǒng)的自主障礙回避提供依據(jù)。
關(guān)鍵詞:無人系統(tǒng);弱光增強;障礙探測
近年來,無人系統(tǒng)在航空、航海及工業(yè)、農(nóng)業(yè)等領(lǐng)域得到廣泛應(yīng)用[1]。由于無人系統(tǒng)工作的環(huán)境通常是危險的或遙遠的環(huán)境,操作或控制人員不便到達或不可能到達,所以無人系統(tǒng)應(yīng)具有良好的自主能力,其中良好的避障能力是實現(xiàn)無人系統(tǒng)自主運動的關(guān)鍵之一。目前,針對無人系統(tǒng)如何更準確、更快速的躲避障礙,相關(guān)人員已做了大量的研究,如:采用啟發(fā)式動態(tài)規(guī)劃算法,解決無人系統(tǒng)尋路、避障問題的方案[2];采用多傳感器信息融合的方法,通過多個超聲傳感器對障礙物信息進行采集,然后利用模糊推理的方法實現(xiàn)無人系統(tǒng)的避障控制[3]等。眾多探測方法中,基于視覺的探測由于其前瞻性好,且能包含優(yōu)于距離類傳感器的大量環(huán)境信息,因而,基于視覺的探測得到廣泛關(guān)注。其中,張躍東等人研究了一種基于單目視覺的障礙物深度提取算法,根據(jù)圖像序列中特征點間距離的變化和無人機的運動計算障礙物的深度[4];楊唐文等人利用道路上的顏色信息以實現(xiàn)復(fù)雜環(huán)境下的道路避障功能[5];對于動態(tài)目標識別,邱雪娜等人提出了采用目標特征和視差進行目標匹配,通過區(qū)域增長方法進行目標區(qū)域的提取,結(jié)合視覺標定的模型對目標進行定位的方法[6]。但是,這些研究是在光線充足的環(huán)境中實現(xiàn)的,現(xiàn)實中,無人系統(tǒng)常需要在如室內(nèi)或樹林等環(huán)境里開展救援或偵查任務(wù),在這類環(huán)境中,通常由于遮擋造成視覺系統(tǒng)進光量不足,這會對基于視覺探測的無人系統(tǒng)的障礙識別能力帶來較大影響。
因此,針對無人系統(tǒng)面臨的弱光環(huán)境中的自主障礙探測問題,提出了一種基于單目視覺的無人系統(tǒng)障礙檢測方法,該方法使用安裝在無人系統(tǒng)頭部的單目視覺系統(tǒng)所采集到的環(huán)境信息進行分析,在傳統(tǒng)的Canny算法基礎(chǔ)上,利用模糊方法對環(huán)境圖像信息進行增強,并對障礙物邊緣進行識別,根據(jù)識別出的邊緣信息提取出環(huán)境中障礙物的輪廓,從而實現(xiàn)對弱光環(huán)境中障礙的探測。
將單目視覺系統(tǒng)所采集到的環(huán)境信息進行分析后,提取出障礙物的邊緣信息。由于受各種拍攝條件的限制,視覺系統(tǒng)所采集到的障礙物圖像信息會出現(xiàn)對比度較差或是圖像模糊的情況。因此,首先對障礙物圖像信息進行模糊增強處理,它不但可以改善圖像模糊不清甚至失真的現(xiàn)象,而且可以抑制障礙物圖像的某些特征而使另一些特征得到增強。其次,對經(jīng)過增強處理后的障礙物圖像信息進行濾波處理,在非線性平滑濾波中,中值濾波可以在不減小圖像對比度的情況下減小異常值的影響,能較好地保留障礙物的邊緣細節(jié),同時克服線性濾波所帶來的圖像細節(jié)模糊問題[7]。然后,通過Canny算法檢測出障礙物的邊緣信息,Canny算法在傳統(tǒng)的邊緣檢測算法中表現(xiàn)突出,在邊緣提取中取得了良好的效果[8]。最后,根據(jù)檢測到的邊緣信息提取出障礙物的輪廓。自主障礙探測方法流程如圖1所示。
圖1 自主障礙探測方法流程
1.1圖像模糊增強算法
圖像增強是在邊緣檢測中按特定的需求盡可能突現(xiàn)圖像中的某些信息,同時削弱或去除某些不需要的信息,從而提高圖像的質(zhì)量。假設(shè)某一幅m×n個像素的L級灰度圖像其矩陣表達式為X,對圖像進行模糊化之后得到其模糊矩陣U:
(1)
μmn表示點(m,n)處的灰度級xmn相對于某一個特定灰度級的隸屬度,μmn∈[0,1]。
模糊邊緣檢測方法中給出了隸屬函數(shù)的表達式為:
(2)
(3)
由式(3)可以看出,對圖像進行模糊增強處理的主要方法是對低于0.5的像素點進行抑制,對高于0.5像素點的邊緣信息進行增強,即增強邊緣信息,抑制非邊緣信息。然后,根據(jù)式(4)得出迭代后的模糊增強矩陣。
(4)
(5)
1.2基于模糊增強的Canny邊緣檢測算法
本算法的基本思想是,采用高斯函數(shù)對圖像進行卷積運算得出其梯度的幅值和方向,然后在圖像中找出具有局部最大梯度幅值的像素點,而且經(jīng)過模糊增強之后,圖像邊緣兩側(cè)的對比度會明顯增強,降低了邊緣的模糊性。
a.通過高斯濾波去除圖像噪聲,對圖像進行平滑處理。一般選擇方差為1.4的高斯函數(shù)模板和圖像進行卷積運算[9]。將模糊增強代替高斯平滑,利用式(1)將灰度空間圖像轉(zhuǎn)換到模糊空間,在模糊空間中使用式(3)對圖像做增強處理,得到模糊增強后的圖像矩陣,最后根據(jù)式(5)的逆變換得到模糊增強后的圖像。
b.計算梯度的幅值和方向,通常采取一階偏導(dǎo)數(shù)的有限差分,分別計算出x和y方向的偏導(dǎo)數(shù)、方向角以及梯度幅值。選用 2×2 一階有限差分近似數(shù)據(jù)矩陣的梯度:
(6)
數(shù)據(jù)矩陣在x與y方向上的偏導(dǎo)矩陣為:
(7)
圖像中任一像素點的梯度幅值和方向角為:
(8)
c.非極大值抑制。幅值越大必然導(dǎo)致其對應(yīng)的圖像梯度值越大,但由于偽邊緣點的存在不足以確定邊緣,要確定邊緣需對圖像進行細化,為此,選用大小為3×3,含8方向的鄰域?qū)D像中所有像素點沿梯度方向進行插值。如果鄰域中心點的梯度值比沿梯度方向上的2個插值結(jié)果小,則認為該點不是邊緣,反之則標記為候選邊緣點,這樣就得到了候選邊緣圖像[10]。
d.雙閾值檢測。對經(jīng)過非極大值抑制的梯度直方圖分別確定2個高(TH)、低(TL)閾值,若圖像中任一像素點(i,j)的梯度幅值高于高閾值TH,則認為該點一定是邊緣點,若像素點(i,j)的梯度幅值低于低閾值TL,則認為該點一定不是邊緣點,而對于梯度幅值處于2個閾值之間的像素點,則可看成是可疑邊緣點。此時需根據(jù)邊緣的連續(xù)性對其進一步判斷,若該像素點的鄰接像素中有邊緣點,則認為該點也為邊緣點,否則認為該點為非邊緣點[11]。
1.3障礙物輪廓提取
利用Canny算法提取出的障礙物邊緣信息,是分布在圖像區(qū)域中一系列的離散點,為了得到更準確的圖像邊緣輪廓信息,需要對邊緣進行跟蹤處理。在經(jīng)Canny算法進行邊緣提取之后的圖像信息為0,1矩陣。假設(shè)1為邊緣點,0為非邊緣點,用矩陣E[i,j]保存障礙物的邊緣信息點。先確定障礙物邊緣的起始點,一般情況下采取邊緣點為1的最小行、最小列的邊緣點為起始點,然后找出本行中為1的最大列的邊緣點,按照此方法分別找出最小列中最大行為1的邊緣點以及最大列最大行為1的邊緣點,由此得出的矩形區(qū)域即可確定為障礙物的邊緣信息。
2.1視覺系統(tǒng)
將視覺系統(tǒng)應(yīng)用于四旋翼無人系統(tǒng)中,通過分析單目視覺系統(tǒng)采集的信息來感知外部環(huán)境。由于飛行系統(tǒng)的有效載荷質(zhì)量約束,因此傳感器和主控芯片的選擇,需要綜合考慮尺寸、功耗、外設(shè)資源和計算能力。四旋翼無人系統(tǒng)硬件方面,選用F450型機架以及2212型無刷直流電機,搭載APM開源飛行控制器、電子調(diào)速器以及數(shù)據(jù)鏈模塊,并選用8寸通用螺旋槳,在此基礎(chǔ)上,單目視覺系統(tǒng)選用SONY公司1/3 960H CCD傳感器模塊,其分辨率達800 TVL,搭配SONY公司Effio處理芯片,裝配3.6 mm鏡頭,其監(jiān)控角度可達70°。
2.2邊緣檢測基準實驗
圖2 人像邊緣檢測結(jié)果
在Matlab7.0環(huán)境下,以任意一張細節(jié)邊緣比較復(fù)雜,邊緣類型比較多的圖像作為試驗對象,可得邊緣檢測結(jié)果如圖2所示。從圖2c中可以看出,圖像中的一些簡單線條及大概輪廓已經(jīng)表現(xiàn)出來,但是對一些細節(jié)線條,如頭發(fā)、鎖骨及手指部分的邊緣提取效果較差,并且包含一些偽邊緣,而圖2d運用本文提出的邊緣檢測方法,則能較完整的提取出整個邊緣信息,并且在檢測結(jié)果中消除了偽邊緣,細節(jié)和輪廓都比較完整。
圖3的楓葉圖其邊緣信息較上圖少很多。圖3c已大致檢測出楓葉的邊緣輪廓,但圖像后面的虛影部分沒有被檢測出來,而且葉脈部分提取效果較差,而圖3d已檢測出模糊虛影部分,并且已明顯檢測出葉脈部分。
圖3 楓葉邊緣檢測結(jié)果
2.3弱光環(huán)境下自主障礙檢測實驗
相同場景下不同光照強度通過攝像頭采集到的圖像如圖4和圖5所示,分別采用傳統(tǒng)Canny算法和本文所提出的基于模糊增強的圖像邊緣檢測算法,對障礙物進行邊緣提取,分析不同光照強度對本算法的影響。
圖4 正常光照下障礙探測實驗
圖5 弱光環(huán)境中障礙探測實驗
圖4為正常光照下的實驗結(jié)果,可以看出,圖4b中的邊緣點雜亂無章,辨別不出障礙物的位置,而圖4c已經(jīng)大概提取出了障礙物的邊緣信息。圖5為弱光條件下的實驗結(jié)果,可以看出,使用傳統(tǒng)的Canny算法在弱光環(huán)境下提取出的障礙物邊緣更加模糊,基本分辨不出其輪廓,而使用本文所提出的方法可很清晰地看出其輪廓形狀。在圖4d和圖5d中,矩形方框區(qū)域即可視為障礙物區(qū)域。
設(shè)計了一種適用于弱光環(huán)境中的無人系統(tǒng)自主障礙探測方法,采用單目視覺系統(tǒng)作為感知裝置,在傳統(tǒng)邊緣檢測算法基礎(chǔ)上,進行模糊增強,最終提取出環(huán)境中障礙的輪廓。通過對比可知,該方法能夠一定程度上抑制噪聲對障礙邊緣的影響,在弱光環(huán)境下能較好地分辨出障礙物,提高了障礙探測算法的弱光適應(yīng)性。但是,該算法在某些相對復(fù)雜的環(huán)境中還有一定的局限性,需要進一步改進。
參考文獻:
[1]王越超,劉金國.無人系統(tǒng)的自主性評價方法[J].科學(xué)通報,2012,57(15):1290-1299.
[2]方嘯,鄭德忠.移動機器人自主尋路避障啟發(fā)式動態(tài)規(guī)劃算法[J].農(nóng)業(yè)機械學(xué)報,2014,45(7):47-54.
[3]陳紹茹,陳奕梅.基于多傳感器信息融合的移動機器人避障[J].傳感器與微系統(tǒng),2014,33(5):35-38
[4]張躍東,李麗,劉曉波,等.基于單目視覺的無人機障礙探測算法研究[J].激光與紅外,2009,39(6):673-676
[5]楊唐文,王敏杰,秦勇.融合圖像邊緣和區(qū)域特征的道路檢測算法[J].東南大學(xué)學(xué)報:自然科學(xué)版,2013(7):81-84.
[6]邱雪娜,劉斐,劉士榮,等.基于雙目視覺的移動機器人動態(tài)目標識別與定位[J].華東理工大學(xué)學(xué)報:自然科學(xué)版,2010,36(1):103-108.
[7]秦文學(xué).用于邊緣檢測的圖像增強技術(shù)研究[D].北京:北京工業(yè)大學(xué),2008.
[8]雒濤,鄭喜鳳,丁鐵夫.改進的自適應(yīng)閾值Canny邊緣檢測[J].光電工程,2009,36(11):106-111.
[9]李俊山,馬穎,趙方舟,等.改進的Canny圖像邊緣檢測算法[J].光子學(xué)報,2011,40(增刊1):50-54.
[10]曾崢,李彥,儲海平.一種改進的基于模糊增強的Canny邊緣提取算法[J].科學(xué)技術(shù)與工程,2009,9 (18) :38-42.
[11]呂哲,王福利,常玉清.一種改進的Canny邊緣檢測算法[J].東北大學(xué)學(xué)報:自然科學(xué)版,2007,28(12) :81-84.
Abstract:An autonomous obstacle detection approach is presented to help capture environmental information for monocular vision system sensors. The approach uses fuzzy methods to enhance the collected image data and detects the edges of obstacles to detect obstacles in a low light environment. Results of the experiment demonstrate that the presented method can identify the obstacles located in front of Unmanned Systems. This method can be used as the basis of autonomous obstacle avoidance.
Key words:unmanned systems;low light enhancement;obstacle detection
作者簡介:于陽陽(1987-),女,天津薊縣人,碩士,講師,研究方向為計算機測控技術(shù)。
基金項目:貴州民族大學(xué)科研基金資助項目(??蒲?013007)
收稿日期:2015-03-17
文章編號:1001-2257(2015)06-0077-04
文獻標識碼:A
中圖分類號:TP391