謝習(xí)華,王 剛,辛 濤,趙喻明
1.中南大學(xué) 高性能復(fù)雜制造國(guó)家重點(diǎn)實(shí)驗(yàn)室,長(zhǎng)沙 410083
2.山河智能裝備股份有限公司,長(zhǎng)沙 410100
3.中國(guó)人民解放軍 32181部隊(duì)
4.清華大學(xué) 精密儀器系,北京 00084
道路識(shí)別作為高級(jí)駕駛輔助系統(tǒng)(ADAS)的重要組成部分[1],更是實(shí)現(xiàn)自動(dòng)駕駛技術(shù)的先決條件。由于視覺(jué)傳感器可提供極為豐富的環(huán)境信息,并且作為被動(dòng)式傳感器,克服了多傳感器協(xié)同作業(yè)時(shí)的干擾問(wèn)題,常被用作于自主車輛感知導(dǎo)航實(shí)踐中。室外環(huán)境中,道路一般分為結(jié)構(gòu)化道路和非結(jié)構(gòu)化道路。結(jié)構(gòu)化道路一般只存在于高速公路、一級(jí)公路以及部分二級(jí)公路,大多數(shù)道路為非結(jié)構(gòu)化道路。非結(jié)構(gòu)化道路由于缺少人工形態(tài)特征,道路屬性極易受光照和氣候影響,檢測(cè)識(shí)別難度較大,例如大多數(shù)鄉(xiāng)村道路、山林道路以及戈壁道路等,如圖1所示。
圖1 非結(jié)構(gòu)化道路示例Fig.1 Examples of unstructured roads
目前針對(duì)非結(jié)構(gòu)化道路的識(shí)別方法主要分為基于傳統(tǒng)方法和基于機(jī)器學(xué)習(xí)方法。傳統(tǒng)方法一般是通過(guò)基本遍歷、卷積濾波、統(tǒng)計(jì)分析等手段對(duì)圖像的空間域或變換域進(jìn)行處理,提取圖像的紋理特征、顏色特征、形狀特征等信息,并進(jìn)行編碼表示或向量表示,再與已有的道路模型特征或在線學(xué)習(xí)特征進(jìn)行比較,利用聚類、區(qū)域生長(zhǎng)(seeded region growing,SRG)等算法,對(duì)道路進(jìn)行消失點(diǎn)(vanishing point,VP)檢測(cè)[2-3]、區(qū)域或邊界檢測(cè)[4-5]等。該類方法普遍基于像素級(jí)計(jì)算,運(yùn)算量較大并且對(duì)異常點(diǎn)較為敏感。機(jī)器學(xué)習(xí)方法具體可分為基于人工神經(jīng)網(wǎng)絡(luò)[6]和基于深度學(xué)習(xí)[7-9]。相比于傳統(tǒng)方法,該類方法克服了人工設(shè)計(jì)的基于數(shù)學(xué)強(qiáng)邏輯性方法在處理非結(jié)構(gòu)化數(shù)據(jù)方面的不足,但同時(shí)導(dǎo)致可解釋性不強(qiáng)。目前基于深度學(xué)習(xí)的道路識(shí)別技術(shù)在結(jié)構(gòu)化道路上已經(jīng)取得了較大的成功,但由于非結(jié)構(gòu)化道路缺少統(tǒng)一的道路屬性,導(dǎo)致訓(xùn)練的網(wǎng)絡(luò)模型普適性較差,并且實(shí)際運(yùn)用中,實(shí)時(shí)性難以保證。
為了提高道路識(shí)別率,同時(shí)保證算法實(shí)時(shí)性并降低復(fù)雜性,本文提出一種超像素層級(jí)的道路識(shí)別方法。首先以超像素分割步長(zhǎng)作為其數(shù)量約束,獲取行列規(guī)則有序的分割圖,并以此構(gòu)造低分辨率超像素特征圖;在特征圖的基礎(chǔ)上利用聚類算法與鄰域搜索算法自適應(yīng)獲取生長(zhǎng)種子點(diǎn),引入CIEDE2000色差公式作為區(qū)域生長(zhǎng)法生長(zhǎng)準(zhǔn)則,初步生成道路區(qū)域;最后根據(jù)道路連續(xù)一致特點(diǎn),優(yōu)化超像素級(jí)生長(zhǎng)圖,并結(jié)合分割圖獲取最終道路區(qū)域。算法整體流程如圖2所示。
圖2 算法流程圖Fig.2 Algorithm flow chart
超像素(superpixel)是由Ren等人[10]于2003年提出的概念,是指圖像中局部的、具有連續(xù)性,能夠保持圖像局部結(jié)構(gòu)特征的子區(qū)域,相較于單一像素點(diǎn),其具有更好的區(qū)域特征表達(dá)性質(zhì)。簡(jiǎn)單線性迭代聚類(simple linear iterative clustering,SLIC)是由ACHANTA等人[11]于2012年提出的一種基于顏色和空間特征的超像素算法,其具有運(yùn)算速度快、超像素形狀規(guī)范等優(yōu)點(diǎn)[12]。算法原理為:
(1)初始化聚類中心。假設(shè)圖像像素點(diǎn)個(gè)數(shù)為N,設(shè)定超像素個(gè)數(shù)為K,預(yù)計(jì)超像素邊長(zhǎng)S=N/K,即迭代步長(zhǎng)取S。為避免聚類中心處于邊緣并減少噪聲像素干擾,在S×S矩形區(qū)域中心點(diǎn)的n×n(一般取n=3)鄰域內(nèi)搜索梯度值最小的像素點(diǎn)作為初始聚類中心。
(2)利用K-means算法[13]在限定區(qū)域內(nèi)迭代聚類。在每個(gè)初始聚類中心2S×2S區(qū)域內(nèi)搜索相似像素點(diǎn),相似性的判斷通過(guò)顏色特征和空間特征來(lái)度量,具體為:
利用5維特征向量表達(dá)像素點(diǎn)屬性:
式中,l、a、b表示Lab顏色空間三通道顏色分量,x、y表示像素點(diǎn)坐標(biāo)值。因此,5維歐式距離D的度量公式為:
式中,k表示第k個(gè)聚類中心,i表示第i個(gè)像素,dlab表示顏色距離,dxy表示空間距離,m表示空間距離權(quán)重系數(shù)。
完成第一次迭代后,將區(qū)域內(nèi)像素平均值更新為新的聚類中心,進(jìn)行后續(xù)迭代,迭代次數(shù)一般在10次以內(nèi)即可收斂。
傳統(tǒng)SLIC算法一般以最優(yōu)分割效果為目標(biāo),實(shí)際算法處理中存在以下問(wèn)題:
(1)設(shè)定超像素個(gè)數(shù)不等于生成超像素個(gè)數(shù)。傳統(tǒng)SLIC算法以超像素個(gè)數(shù)K作為輸入?yún)?shù),但由于初始化聚類中心過(guò)程中存在除法、開(kāi)方以及取整運(yùn)算,導(dǎo)致實(shí)際生成的超像素個(gè)數(shù)Kr并不等于K。如圖3(a)所示,K=100,Kr=88。
(2)超像素分割圖形狀規(guī)則但組合無(wú)序。部分改進(jìn)SLIC算法為保證超像素塊形狀規(guī)則、輪廓緊湊,采用相鄰行聚類區(qū)域人為錯(cuò)開(kāi)策略,即每行超像素個(gè)數(shù)依此取n和n-1,盡量使得超像素塊為六邊形結(jié)構(gòu)。如圖3(b)所示,相鄰行超像素個(gè)數(shù)分別為11和12(見(jiàn)底部?jī)尚校?/p>
圖3 SLIC存在的問(wèn)題Fig.3 Problems with SLIC
以上問(wèn)題導(dǎo)致超像素分割圖尺度不可控,且非矩陣式結(jié)構(gòu)不便于后續(xù)算法處理。因此本文作出以下改進(jìn):
(1)初始化聚類中心點(diǎn)時(shí),以步長(zhǎng)S直接劃分圖像為K個(gè)均勻矩形塊,且滿足式(6);
式中,W、H分別表示圖像寬度和高度。
(2)利用上述迭代聚類算法生成具有矩陣式結(jié)構(gòu)的超像素分割圖。
(3)基于超像素分割圖,取各超像素類簇中所有像素點(diǎn)R,G,B顏色平均值構(gòu)成新的像素點(diǎn),即用單個(gè)像素點(diǎn)替代超像素塊,按照超像素排列構(gòu)造低分辨率超像素特征圖SI:
式中,Sk表示第k個(gè)超像素類簇,Nk表示第k個(gè)超像素類簇中的像素點(diǎn)個(gè)數(shù)。生成超像素特征圖結(jié)果如圖4(b)所示。
超像素特征圖是基于對(duì)原圖進(jìn)行SLIC分割處理后,計(jì)算各類簇的顏色均值而生成,其本質(zhì)上是預(yù)先對(duì)顏色相似,位置相近的像素點(diǎn)進(jìn)行了微合并。由于后續(xù)區(qū)域生長(zhǎng)算法僅使用顏色特征與空間特征,因此有效信息依然存在于特征圖中。同時(shí)由于特征圖實(shí)現(xiàn)了對(duì)原圖像的降維表達(dá),提高了后續(xù)算法處理速度,且每個(gè)特征圖像素點(diǎn)可映射至分割圖獲取像素塊的輪廓信息,有利于識(shí)別道路邊界。
圖4 超像素特征圖Fig.4 Superpixel feature map
區(qū)域生長(zhǎng)法是一種經(jīng)典的圖像分割方法。通過(guò)選取一個(gè)種子像素點(diǎn)作為生長(zhǎng)起點(diǎn),利用生長(zhǎng)準(zhǔn)則將種子點(diǎn)周圍具有相似特征的像素并入種子范圍,獲得最終聯(lián)通區(qū)域。傳統(tǒng)區(qū)域生長(zhǎng)法一般通過(guò)交互式選擇種子點(diǎn)或固定式選擇種子點(diǎn)。前一種方法不適用于道路識(shí)別場(chǎng)景,后一種方法易受異常像素干擾。對(duì)此本文采用一種自適應(yīng)種子點(diǎn)選擇策略:
(1)假設(shè)“車在路上”,即車前為道路可能區(qū)域,且該區(qū)域中道路區(qū)域占比較大[14]。
(2)環(huán)境感知系統(tǒng)的傳感器安裝方案中,為便于傳感器標(biāo)定以及數(shù)據(jù)融合,前向視覺(jué)傳感器一般會(huì)居中安裝。
(3)取超像素特征圖底部中間矩形區(qū)域像素集合作為種子點(diǎn)Ps的備選區(qū)Rs,利用K-means算法對(duì)其進(jìn)行二分類處理,獲得集合R1和R2,則有:
若用card(R)表示集合R中的元素個(gè)數(shù),基于道路面積較大原則,有:
(4)判斷Rs中心點(diǎn)(xc,yc)是否滿足條件。若滿足條件,則該點(diǎn)即為種子點(diǎn),若不滿足,以圖5所示規(guī)則搜索中心點(diǎn)鄰域范圍,直至滿足種子點(diǎn)落在元素較多集合中。
圖5 種子點(diǎn)搜索規(guī)則Fig.5 Seed point search rules
對(duì)于彎曲道路(見(jiàn)圖6(a)),種子點(diǎn)備選區(qū)易受背景部分干擾,固定式選擇方法易將種子點(diǎn)錯(cuò)選在非道路區(qū)域,而自適應(yīng)方法則可通過(guò)搜索策略避開(kāi)背景區(qū)域。對(duì)于路面中間存在干擾像素時(shí)(見(jiàn)圖6(d)),自適應(yīng)種子點(diǎn)選擇策略可避免種子點(diǎn)錯(cuò)選在干擾像素處,提高種子點(diǎn)選擇的準(zhǔn)確性。
圖6 種子點(diǎn)選擇結(jié)果Fig.6 Seed point selection results
生長(zhǎng)準(zhǔn)則作為區(qū)域生長(zhǎng)法的關(guān)鍵之一,影響著算法運(yùn)行效率和處理效果?;趨^(qū)域灰度差的生長(zhǎng)準(zhǔn)則原理簡(jiǎn)單,通過(guò)比較像素間灰度差與設(shè)定閾值實(shí)現(xiàn)歸屬判斷,但對(duì)于灰度梯度變化緩慢的圖像處理效果一般。針對(duì)該問(wèn)題,本文提出了一種基于CIEDE2000色差理論[15]的生長(zhǎng)準(zhǔn)則,利用色差公式計(jì)算種子像素與鄰域像素的差別。
色差是色彩學(xué)中表示顏色差異的一種概念。由國(guó)際照明委員會(huì)(CIE)2001年修訂的CIEDE2000色差公式是迄今為止最為先進(jìn)的工業(yè)色差計(jì)算公式,其結(jié)果表達(dá)式如下:
基于CIEDE2000色差公式的生長(zhǎng)準(zhǔn)則是以種子點(diǎn)作為基色,計(jì)算其他像素與其差異,且基于色相、飽和度、明度等多種參數(shù)、權(quán)重綜合計(jì)算建立的評(píng)價(jià)體系更有利于衡量其他點(diǎn)與種子點(diǎn)的差別。圖7~9展示了三種場(chǎng)景下利用色差公式計(jì)算種子點(diǎn)(seed)和其他像素點(diǎn)(other)的差異結(jié)果,同時(shí)對(duì)比了傳統(tǒng)灰度準(zhǔn)則、加權(quán)通道融合準(zhǔn)則[16]及均勻度準(zhǔn)則[17]的實(shí)際效果區(qū)別。
圖7 草原場(chǎng)景(天空和道路相互連接)Fig.7 Prairie scene(sky and road are connected)
圖8 戈壁場(chǎng)景(天際線灰度差異小,天空灰度階梯明顯)Fig.8 Gobi scene(gray scale difference of skyline is small,and gray scale of sky is obvious)
圖9 暗光場(chǎng)景(天空高亮,道路與兩側(cè)區(qū)域區(qū)分較難)Fig.9 Dark scene(sky is bright and it is difficult to distinguish road from area on both sides)
在某些非結(jié)構(gòu)化場(chǎng)景中,道路區(qū)域和天空區(qū)域時(shí)常連接在一起,這種情況在戈壁、草原等自然場(chǎng)景中格外常見(jiàn),如圖7(a)所示?;趥鹘y(tǒng)灰度差的生長(zhǎng)準(zhǔn)則,天空部分分布較為離散,且右上角出現(xiàn)塌陷,易導(dǎo)致生長(zhǎng)過(guò)程出現(xiàn)過(guò)分割。其他三種方法對(duì)于該場(chǎng)景處理效果均較優(yōu),其中色差準(zhǔn)則在保證天空部分較為平整的同時(shí),對(duì)道路左右側(cè)處理效果最優(yōu),易于提取道路區(qū)域。大多數(shù)戈壁場(chǎng)景中,道路區(qū)域與天空區(qū)域灰度差異較小,尤其天際線部分與道路部分極為相近,如圖8(a)所示。采用灰度差計(jì)算準(zhǔn)則,天際線處出現(xiàn)數(shù)值跌落,同時(shí)由于天空部分灰度階梯較為明顯,導(dǎo)致灰度差呈明顯遞增趨勢(shì)。加權(quán)通道融合準(zhǔn)則對(duì)天空部分處理較好,但難以區(qū)分其他背景區(qū)域。采用均勻度差計(jì)算時(shí),天空部分整體較為平整,但數(shù)值趨近于道路區(qū)域,不利于后續(xù)分割。此時(shí)色差準(zhǔn)則仍能較好區(qū)分出天空與道路部分,并且天際線部位處理較好,與道路區(qū)域區(qū)分明顯。對(duì)于環(huán)境光照較暗且逆光條件下,天空部分處于高亮,道路與兩側(cè)區(qū)域均為暗色,如圖9(a)所示。此時(shí)僅有色差準(zhǔn)則可區(qū)分出道路區(qū)域,其他三種方法僅對(duì)天空部分較為敏感,無(wú)法處理暗色部分。
通過(guò)改進(jìn)區(qū)域生長(zhǎng)法處理超像素特征圖后,獲取的道路區(qū)域存在孔洞、邊緣不連續(xù)等情況。由于超像素級(jí)生長(zhǎng)圖分辨率極低,形態(tài)學(xué)方法易導(dǎo)致其過(guò)腐蝕或過(guò)膨脹,不適用于其后處理。并且個(gè)別場(chǎng)景由于天空區(qū)域和道路區(qū)域極為相似,天際線處存在連接點(diǎn),使得區(qū)域生長(zhǎng)過(guò)程中存在“突破點(diǎn)”,將天空區(qū)域誤歸為道路區(qū)域,導(dǎo)致過(guò)分割。圖10示意圖展示了超像素級(jí)生長(zhǎng)圖可能包含的大部分待優(yōu)化問(wèn)題。
圖10 待優(yōu)化問(wèn)題Fig.10 Problems that need to be optimized
針對(duì)以上問(wèn)題,本文根據(jù)道路連續(xù)一致的特點(diǎn),改進(jìn)文獻(xiàn)[18]的區(qū)域分塊分類方法,利用8鄰域?qū)傩詫?duì)像素點(diǎn)進(jìn)行判別,如圖11所示,具體優(yōu)化策略如下:
圖11 8鄰域示意圖Fig.11 8 neighborhood diagram
(1)首先設(shè)定像素點(diǎn)屬性Pli=1表示道路點(diǎn),Pli=0表示背景點(diǎn)。Nr表示8鄰域中屬于道路點(diǎn)的像素個(gè)數(shù)。對(duì)于特殊位置,用Nrv表示圖像頂點(diǎn)的3鄰域中屬于道路點(diǎn)的像素個(gè)數(shù)。
(2)圖像上半部分一般為天空區(qū)域,即情況d:直接修正圖像上1/4區(qū)域?yàn)楸尘?。?duì)于剩余部分,參照閉運(yùn)算思想,采取先填充后剔除的方法。
(3)填充。針對(duì)道路孔洞或邊界缺陷,即情況a:滿足Nr≥6,則Pl0=1。
特殊位置:對(duì)于道路近端孔洞(圖像底部邊界但不包括左右頂點(diǎn)),即情況b:滿足Pl4、Pl5、Pl6中任意兩個(gè)為1,則Pl0=1。對(duì)于底部左右頂點(diǎn),即情況c:滿足Nrv=3,則Pl0=1。
(4)剔除。針對(duì)異常孤立道路點(diǎn),即情況e:滿足Nr≤2,則Pl0=0。
特殊位置:經(jīng)過(guò)步驟(2)處理后,此時(shí)仍可能存在殘留的天空部分,需進(jìn)一步處理。基于相機(jī)感知視角及成像原理,道路遠(yuǎn)端在圖像中一般收縮為點(diǎn)狀,因此在超像素級(jí)生長(zhǎng)圖中,天際線處“突破點(diǎn)”一般為單個(gè)像素,已在步驟(4)中剔除。因此,殘留的天空部分已成為孤立區(qū)域,將該區(qū)域全部剔除,修正為背景區(qū)域。
按照以上方法對(duì)超像素級(jí)生長(zhǎng)圖進(jìn)行優(yōu)化后,一定程度上解決了道路區(qū)域孔洞,邊界不連續(xù)以及過(guò)分割等情況,如圖12所示。但對(duì)于較大孔洞,本文認(rèn)為不能將其簡(jiǎn)單進(jìn)行填充,此時(shí)路面可能存在較大干擾物,需考慮正負(fù)障礙物識(shí)別等其他手段。
圖12 后處理效果示意Fig.12 Post-processing effects
結(jié)合超像素分割圖,根據(jù)特征圖像素點(diǎn)和超像素塊的映射關(guān)系,聯(lián)合坐標(biāo)信息與輪廓信息,獲得最終道路區(qū)域。
本文所有算法驗(yàn)證均在PC機(jī)上完成,PC配置為:處理器Intel?CoreTMi5-7200U,主頻2.50 GHz,內(nèi)存8 GB,操作系統(tǒng)Ubuntu16.04。所有算法均使用C++和OpenCV3.4.0編寫(xiě),開(kāi)發(fā)環(huán)境為VSCode2019。
實(shí)驗(yàn)數(shù)據(jù)包含圖像數(shù)據(jù)和視頻數(shù)據(jù)兩部分。其中圖像數(shù)據(jù)共600張,其中110張來(lái)源于美國(guó)國(guó)防高級(jí)研究計(jì)劃局(DARPA)舉辦的無(wú)人車挑戰(zhàn)賽實(shí)拍圖像,100張來(lái)源于互聯(lián)網(wǎng)搜索非結(jié)構(gòu)化道路圖像,350張來(lái)源于文獻(xiàn)[19]提供的未鋪設(shè)道路圖像以及40張實(shí)際場(chǎng)景拍攝圖像,場(chǎng)景包括鄉(xiāng)村、山林、戈壁、草原等多種情況。所有圖像統(tǒng)一歸一化為320×240像素,并采用手工方法標(biāo)定道路區(qū)域。視頻數(shù)據(jù)來(lái)源于實(shí)際采集的非結(jié)構(gòu)化道路視頻,同樣歸一化為320×240像素,采集場(chǎng)景如圖13(a)所示。實(shí)際場(chǎng)景圖像與視頻均利用無(wú)人車搭載單目攝像頭完成數(shù)據(jù)采集,攝像頭的傳感器型號(hào)為PointGrey-BFLY-PGE-23S6,配備6 mm光學(xué)鏡頭,如圖13(b)所示。
圖13 實(shí)際采集場(chǎng)景Fig.13 Actual collection scene
實(shí)驗(yàn)中各參數(shù)分別為:SLIC算法迭代次數(shù)取默認(rèn)參數(shù)10次;根據(jù)歸一化后的圖像尺度,設(shè)定空間距離權(quán)重系數(shù)m為65時(shí),可保證超像素塊輪廓清晰;對(duì)本文數(shù)據(jù)集進(jìn)行反復(fù)實(shí)驗(yàn),區(qū)域生長(zhǎng)閾值T為15時(shí)可保證較高的分割準(zhǔn)確性。
本文以交并比(IoU)作為道路識(shí)別評(píng)價(jià)指標(biāo),IoU越大,表明識(shí)別結(jié)果與真實(shí)結(jié)果重合率越高,具體指標(biāo)計(jì)算公式如下:
式中,TP表示正確識(shí)別的道路區(qū)域像素,F(xiàn)P和FN表示錯(cuò)誤識(shí)別的道路區(qū)域像素和背景區(qū)域像素。
分別用n70和n80表示IoU大于等于70%和80%的圖片數(shù)目,則兩者的正確率分別表示為:
式中,N表示圖片總數(shù)目,此處取600張。
在統(tǒng)計(jì)算法平均耗時(shí)中,考慮到識(shí)別失敗時(shí),算法運(yùn)行時(shí)間易出現(xiàn)極小數(shù)值,從而影響該指標(biāo)的準(zhǔn)確性和有效性。因此本文僅統(tǒng)計(jì)滿足正確率C70的識(shí)別時(shí)間,將該平均耗時(shí)定義為:有效平均耗時(shí)。
改進(jìn)后的SLIC算法以分割步長(zhǎng)S作為超像素類簇?cái)?shù)量約束,為比較不同S對(duì)算法性能的影響,以區(qū)間長(zhǎng)度為1,且S∈[1,30]分別對(duì)600幅圖像進(jìn)行處理(當(dāng)S無(wú)法直接滿足式(6)時(shí),對(duì)歸一化圖像進(jìn)行尺度微調(diào)),統(tǒng)計(jì)滿足正確率C80的圖像數(shù)目,并記錄有效平均耗時(shí),如圖14所示。
圖14 分割步長(zhǎng)性能分析Fig.14 Segmentation step size performance analysis
根據(jù)平均處理時(shí)間曲線可知,隨著分割步長(zhǎng)逐漸增大,由于需生成的超像素塊數(shù)目減少,算法耗時(shí)逐漸降低,并在S=15后逐漸趨于平穩(wěn)(紅框部分)。由圖像數(shù)目統(tǒng)計(jì)曲線可知,S在13至17之間時(shí),滿足C80的圖像數(shù)目較多(藍(lán)框部分)。當(dāng)分割步長(zhǎng)過(guò)小時(shí),由于此時(shí)超像素塊尺寸較小,由其取類簇均值構(gòu)成超像素特征圖時(shí),干擾像素點(diǎn)的影響較大,使得后續(xù)區(qū)域生長(zhǎng)處理出現(xiàn)異常,影響識(shí)別結(jié)果。當(dāng)分割步長(zhǎng)過(guò)大時(shí),由于生成的超像素塊數(shù)目較少,超像素分割圖中無(wú)法準(zhǔn)確描述和保留原有圖像的輪廓信息,使得識(shí)別結(jié)果出現(xiàn)較大誤差。因此,為滿足較高的識(shí)別正確率且算法耗時(shí)較低,同時(shí)可直接滿足式(6),S取16。
圖15展示了5種方法在數(shù)據(jù)集上的部分識(shí)別結(jié)果,場(chǎng)景涵蓋筆直道路(1),彎曲道路(2),陰影干擾道路(3),雜草干擾道路(4),水坑干擾道路(5),車轍干擾道路(6),中央干擾道路(7),表面不均道路(8)和背景相似道路(9)。
基于灰度差準(zhǔn)則的道路識(shí)別算法(SRG)對(duì)灰度值區(qū)分度要求較高,易出現(xiàn)欠分割和過(guò)分割(見(jiàn)圖15第2、3、6、8、9行),且由于種子點(diǎn)選擇抗干擾能力較差,算法穩(wěn)定性欠佳(見(jiàn)圖15第7行)?;贖SV色彩空間的區(qū)域生長(zhǎng)算法[16]通過(guò)設(shè)定權(quán)值融合色調(diào)H與飽和度S(HS-SRG),提升色彩穩(wěn)定性,但該方法抗干擾能力有限(見(jiàn)圖15第5、6、7、8行),且背景與道路區(qū)域相似時(shí)易出現(xiàn)過(guò)分割(見(jiàn)圖15第2、9行)。基于消失點(diǎn)約束的區(qū)域生長(zhǎng)算法[20]結(jié)合兩種算法(VP-SRG),先利用快速消失點(diǎn)估計(jì)算法初步確定道路區(qū)域,再通過(guò)基于YUV色彩空間的區(qū)域生長(zhǎng)算法對(duì)道路區(qū)域進(jìn)行再分割。該方法一定程度上克服了消失點(diǎn)算法無(wú)法適應(yīng)彎曲道路的問(wèn)題,同時(shí)限制道路邊界避免出現(xiàn)過(guò)分割。但由于算法屬于串聯(lián)式,最終結(jié)果易受初始道路區(qū)域估計(jì)精度的影響(見(jiàn)圖15第2行),且該方法對(duì)道路邊界的識(shí)別精確度有限(見(jiàn)圖15第1、8、9行)。為驗(yàn)證超像素預(yù)處理對(duì)道路識(shí)別結(jié)果的影響,采用舍去超像素預(yù)處理,直接使用本文改進(jìn)后的區(qū)域生長(zhǎng)算法(CSRG)對(duì)數(shù)據(jù)集進(jìn)行處理,即直接通過(guò)CIEDE2000色差公式進(jìn)行像素級(jí)計(jì)算。該方法識(shí)別效果較好,但抗干擾能力較弱,對(duì)受陰影等異常像素干擾的路面處理效果不佳(見(jiàn)圖15第3、6、7、8行)。本文方法(S-CSRG)總體效果優(yōu)于其他算法,由于超像素塊對(duì)較小的異常區(qū)域具有一定的抗干擾能力,使得算法具有較強(qiáng)的魯棒性,同時(shí)基于色差準(zhǔn)則的區(qū)域生長(zhǎng)算法對(duì)道路區(qū)域具有較強(qiáng)的識(shí)別能力。
圖15 各算法結(jié)果對(duì)比Fig.15 Results comparison of each algorithm
圖16 噪聲抑制能力Fig.16 Ability to suppress noise
超像素塊具有較好的局部特征表達(dá)屬性,由其取類簇均值構(gòu)成的超像素特征圖可以一定程度抑制噪聲數(shù)據(jù),降低其對(duì)后續(xù)處理的影響。對(duì)圖16中原圖數(shù)據(jù)添加均值為0但標(biāo)準(zhǔn)差不同(σ分別取0.04、0.08、0.12)的高斯噪聲,在未進(jìn)行任何降噪預(yù)處理的情況下,直接使用本文方法對(duì)道路進(jìn)行識(shí)別。從圖中可以看出,使用超像素塊作為區(qū)域生長(zhǎng)單位,噪聲數(shù)據(jù)只對(duì)道路邊界部分產(chǎn)生細(xì)微影響,使得部分邊界存在模糊,但整體上未對(duì)道路識(shí)別結(jié)果產(chǎn)生較大影響。
分別統(tǒng)計(jì)5種方法識(shí)別600幅圖像的IoU值,構(gòu)造統(tǒng)計(jì)曲線圖,如圖17所示。將IoU值以0.1間距長(zhǎng)度劃分為11個(gè)統(tǒng)計(jì)區(qū)間,其中IoU小于0.05歸為0區(qū)間,大于0.95歸為1.0區(qū)間。同時(shí)記錄各方法有效平均耗時(shí),統(tǒng)計(jì)結(jié)果如表1所示。
圖17 IoU分布對(duì)比Fig.17 Comparison of Io U distribution
表1 檢測(cè)結(jié)果對(duì)比Table 1 Comparison of test results
由圖17及表1可知,SRG算法處理速度最快,但由于算法抗干擾較弱,整體識(shí)別結(jié)果較差,正確率C70及C80僅36.2%和21.5%。HS-SRG算法處理速度次之,但識(shí)別結(jié)果出現(xiàn)兩極化,設(shè)定閾值對(duì)于某類場(chǎng)景識(shí)別效果較好(251幅圖IoU大于0.85),但一旦場(chǎng)景發(fā)生變化,極易出現(xiàn)完全無(wú)法識(shí)別的情況(79幅圖IoU小于0.05),最終導(dǎo)致兩種正確率僅有62.3%和49.7%。VP-SRG算法識(shí)別效果較為一般(372幅圖IoU小于0.75),由于受消失點(diǎn)位置的約束,弱紋理、窄彎等場(chǎng)景極易出現(xiàn)識(shí)別錯(cuò)誤,兩種正確率僅有49.0%和28.5%,并且該方法在消失點(diǎn)估計(jì)過(guò)程中存在卷積計(jì)算,導(dǎo)致算法運(yùn)行時(shí)間最長(zhǎng)。CSRG算法和S-CSRG識(shí)別效果較好,高IoU區(qū)域圖片數(shù)目均較多,前者正確率為92.3%和83.3%,后者為93.8%和88.5%,但是由于前者是基于像素級(jí)的計(jì)算分類,相對(duì)于本文超像素級(jí)的處理,其算法運(yùn)行時(shí)間較長(zhǎng)。綜合比較,S-CSRG識(shí)別率較高且耗時(shí)較少。
為驗(yàn)證超像素預(yù)處理對(duì)后續(xù)算法處理時(shí)效性的影響,分別利用S-CSRG和CSRG處理一段視頻數(shù)據(jù)。通過(guò)記錄處理每幀圖像的時(shí)間,取較為平穩(wěn)的500幀時(shí)間數(shù)據(jù),繪制圖18。同時(shí)統(tǒng)計(jì)兩種方法各算法步驟耗時(shí)的平均值,如圖19所示。
圖18 視頻幀處理時(shí)間對(duì)比Fig.18 Comparison of video frame processing time
圖19 算法步驟耗時(shí)對(duì)比Fig.19 Comparison of algorithm time-consuming
由圖18可知,S-CSRG的處理時(shí)間基本在110 ms上下波動(dòng),且波動(dòng)范圍較小。而基于像素級(jí)的CSRG由于道路面積始終變化,導(dǎo)致時(shí)間波動(dòng)較大,并出現(xiàn)欠分割現(xiàn)象(異常點(diǎn)A、B),且整體耗時(shí)較長(zhǎng)。由圖19可知,S-CSRG使用SLIC算法進(jìn)行全像素域計(jì)算,由于相似性計(jì)算公式較為簡(jiǎn)單,僅耗時(shí)108.3 ms。由此降維生成的超像素特征圖,由于像素點(diǎn)極少,即使對(duì)其進(jìn)行復(fù)雜的色差運(yùn)算,并未帶來(lái)較高的時(shí)間消耗,區(qū)域生長(zhǎng)階段僅耗時(shí)3.63 ms。而CSRG直接對(duì)原圖進(jìn)行像素級(jí)色差計(jì)算,耗時(shí)高達(dá)174.95 ms。因此,超像素預(yù)處理可極大減少后續(xù)算法的處理時(shí)間,具有明顯的實(shí)時(shí)性優(yōu)勢(shì)。
提出一種基于SLIC和改進(jìn)區(qū)域生長(zhǎng)算法的非結(jié)構(gòu)化道路識(shí)別方法。首先基于SLIC算法構(gòu)造低分辨率超像素特征圖,用于提高后續(xù)算法處理實(shí)時(shí)性;然后利用K-means算法和鄰域搜索算法自適應(yīng)獲取生長(zhǎng)種子點(diǎn),提高種子點(diǎn)選擇的準(zhǔn)確性;其次引入CIEDE2000色差公式作為區(qū)域生長(zhǎng)法生長(zhǎng)準(zhǔn)則,極大提高分割算法精確度;并且根據(jù)道路特性設(shè)定優(yōu)化策略,對(duì)超像素級(jí)生長(zhǎng)圖進(jìn)行后處理,提高了算法的抗干擾能力;最后聯(lián)合超像素分割圖的輪廓信息,獲取最終道路識(shí)別結(jié)果。實(shí)驗(yàn)結(jié)果表明,該識(shí)別方法具有一定的有效性,并且魯棒性、實(shí)時(shí)性較好。但該方法對(duì)弱色彩、弱對(duì)比度場(chǎng)景的道路識(shí)別存在一定偏差,有待進(jìn)一步改進(jìn)。