馬 雷，劉澤賓，曹 彪，王文舉，邱泉源

（燕山大學(xué)車輛與能源學(xué)院，秦皇島066004）

前言

行車過程中復(fù)雜的道路環(huán)境，光照的強弱、道路狀況的優(yōu)劣以及路旁樹木或建筑的陰影都會對道路識別算法造成影響。近年來，國內(nèi)外對智能車輛道路可行駛區(qū)域識別的方法［1］主要有基于圖像形態(tài)學(xué)的方法和基于深度學(xué)習(xí)的方法?；趫D像形態(tài)學(xué)的方法一般通過邊緣檢測［3］、道路消失點檢測［4］、空間濾波［5］等技術(shù)手段對道路圖像進行分割和識別，此類方法主要對于道路圖像的像素進行計算，導(dǎo)致在圖像處理過程中計算量較大且易受環(huán)境條件影響?；谏疃葘W(xué)習(xí)的道路識別方法目前主要應(yīng)用于結(jié)構(gòu)化道路的可行駛區(qū)域識別并取得了良好效果，Kim等［6］在2014年提出了基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的車道檢測方法，準確率達到94.7%，但該方法在輸入前需要經(jīng)過圖像預(yù)處理，訓(xùn)練方式以及數(shù)據(jù)結(jié)構(gòu)較為復(fù)雜。2016年，Gurghian等［7］提出了一種基于分類的深度神經(jīng)網(wǎng)絡(luò)車道檢測算法，該方法雖然不需要預(yù)處理和后處理，但首先要對前方車道位置進行估計，限制了算法的應(yīng)用場景。2018年，Huang等［8］提出了基于時空的深度學(xué)習(xí)網(wǎng)絡(luò)（STLNet）進行道路識別的方法，通過預(yù)處理、CNN分類和車道擬合3個步驟完成道路識別任務(wù)，該方法探索了時間的約束性，但由于逆透視變換導(dǎo)致算法的魯棒性受到制約。

為提高道路識別算法計算效率，同時增強算法穩(wěn)定性，本文中提出一種基于粗糙性度量的道路識別方法，通過對道路圖像的形態(tài)學(xué)特征進行計算獲得圖像的粗糙性，基于道路圖像在顏色特征空間中的色彩分布能夠較為精確地劃分顏色波段，并以此為依據(jù)實現(xiàn)對圖像道路區(qū)域的初分割。為提高道路可行駛區(qū)域識別的直觀性和準確性，本文中引入了基于圖像灰度級的區(qū)域生長算法，通過K-means聚類方法自動獲取初始種子點，得到道路圖像的可行駛區(qū)域特征圖；優(yōu)化道路圖像中小規(guī)模的孔洞和邊界不連續(xù)的位置，最終獲得道路圖像中的可行駛區(qū)域。

1 道路圖像預(yù)處理

道路圖像大致可分為3大區(qū)域：天空、垂直區(qū)域（樹木、建筑等）和道路區(qū)域。采用IMX225相機拍攝，相機高度為1.32 m，向下偏轉(zhuǎn)3°，對圖像中道路區(qū)域進行標定。如圖1所示，紅線上方區(qū)域為天空和垂直區(qū)域，紅線下方表示道路區(qū)域。由于智能汽車道路識別過程旨在計算道路的可行駛區(qū)域，而圖像中大量的冗余非道路區(qū)域無疑會增加計算量，因此，需要對道路圖像進行預(yù)處理以去除道路冗余區(qū)域，提高道路識別速度和精度。實驗所用圖像為320×240像素，一個像素代表一個單位長度。只對下方100像素即0≤y≤100范圍內(nèi)所含的道路信息進行計算。

圖1 道路圖像及其冗余區(qū)域去除

1.1 道路子塊圖像劃分

將預(yù)處理后的圖像進行子塊劃分，劃分的子塊數(shù)量可以直接影響算法耗時，因此需要確定合適的子塊尺寸，保證在耗時盡可能小的情況下道路可行駛區(qū)域特征依然存在。將圖2（a）所示的道路圖像等分為不同像素大小的子塊，并計算出各個子塊圖像灰度均值特征，圖2（b）為16×5像素圖像，圖2（c）為32×10像素圖像，對比可知，16×5像素圖像中遠方車輛特征已消失，而32×10像素圖像中遠方車輛及路邊車輛特征依然存在，因此，本文中子塊劃分選取10×10尺寸子塊將圖像劃分為32×10像素圖像。

圖2 不同像素圖像均值特征

將圖1預(yù)處理后的圖像進行子塊劃分得到的特征圖像如圖3所示。分析圖3可知，道路可行駛區(qū)域與道路邊緣存在明顯的像素梯度，即在道路邊緣的像素子塊內(nèi)存在兩部分像素差值較大的區(qū)域，常見于子塊對角區(qū)域。在較為復(fù)雜的道路環(huán)境中存在大量的噪聲（陰影、水漬、道路車輛），導(dǎo)致子塊內(nèi)的像素梯度特征可能不完整，但反映在整個道路圖像中，大多數(shù)道路邊界子塊內(nèi)部存在明顯的梯度特征，為之后的邊界識別提供了數(shù)據(jù)條件。

圖3 32×10像素道路特征圖像

對于道路圖像中常見的陰影和道路車輛等復(fù)雜目標，通過合理劃分子塊的方法能夠在減小識別錯誤率的前提下濾除部分道路陰影的影響。圖4為陰影道路及劃分子塊后特征圖，由圖4（b）可知，子塊特征圖中陰影部分相較于原圖中的樹影色彩更淺，部分枝杈陰影在特征圖中基本消失。圖5為道路上存在車輛和陰影的圖像及特征圖，對比圖5中兩子圖可知，距離本車較近的白色車輛在子塊特征圖中輪廓依然存在，而遠處深藍色車輛由于與道路陰影顏色相近導(dǎo)致輪廓特征消失，但該車輛所在位置的子塊顏色相對于道路部分依然較深。該圖像的陰影部分較為明顯，可能會對之后的道路識別造成一定影響。

圖4 陰影道路圖像及其子塊特征圖

圖5 陰影和車輛圖像及其子塊特征圖

1.2 道路圖像色彩信息近似表示

基于灰度直方圖的閾值分割算法簡便易實現(xiàn)，一直被廣泛應(yīng)用，但該方法沒有考慮圖像中鄰域像素的關(guān)系。1982年，波蘭學(xué)者Pawlak提出粗糙集理論［9］，為處理具有模糊、不精確或不完全信息的分類問題提供了一種新的數(shù)學(xué)工具［10］。因此，基于粗糙集提出改進直方圖Histon的概念，考慮鄰域像素色差的同時，還考慮了像素與周圍顏色的近似關(guān)系，對于之后劃分像素十分有利。

設(shè)F是像素大小為M×N的RGB道路圖像，則F在R、G、B3個通道上特征分量的粗糙集下近似表示如下：

設(shè)定像素鄰域大小為3×3，中心像素F（m，n）與其鄰域像素F（i，j）之間的距離可以表示為

式中D3×3（F（m，n），F(xiàn)（i，j））表示為像素位置（m，n）周圍3×3鄰域所有距離之和。式（3）為兩個像素點F（m，n）與F（i，j）之間的歐氏距離，兩像素點歐氏距離表示如圖6所示。

圖6 3×3鄰域兩像素點歐氏距離表示

根據(jù)道路圖像中道路區(qū)域的色調(diào)特征設(shè)定合理的閾值r，則中心像素F（m，n）與其鄰域像素間的同質(zhì)程度可表示為

當(dāng)D3×3（m，n）小于閾值r時，認為其鄰域像素與中心像素F(m，n)完全同質(zhì)；隨著D3×3（m，n）的增大，鄰域的同質(zhì)程度逐漸減小，直至完全失去同質(zhì)性；其中r的取值通過多次測試得出。

根據(jù)像素的同質(zhì)性，構(gòu)造道路圖像各顏色特征上色彩分布信息的粗糙集上近似表示如下：

根據(jù)式（1）和式（5）確定的道路圖像在基色R上的上下近似分布信息表示如圖7所示，顯然圖7 中上下近似差異較大的部分表示粗糙程度較高，能夠為下文的道路圖像初分割賦予更加精確的色彩描述。其中，L為各顏色特征上的灰度級數(shù)目，V為變量L的度量。

圖7 道路圖像色彩分布信息直方圖

1.3 道路圖像粗糙性

道路圖像的下近似色彩分布信息是對像素顏色特征的精確描述，換言之，其下近似為道路圖像像素的真實色彩分布；而道路圖像的上近似色彩分布為基于同質(zhì)度函數(shù)的像素可能的色彩分布。因此，兩者之間產(chǎn)生的粗糙性可表示為

式中：0≤g≤L-1且k∈｛R，G，B｝；W（?）為引入的權(quán)重函數(shù)，該函數(shù)與原圖像分布直方圖相關(guān)。

式中：m=c2/2b2；n=c2/2（c-b）2；參數(shù)b和c根據(jù)道路圖像下近似色彩統(tǒng)計分布直方圖的分布均值計算得到。

因此，根據(jù)式（6）即可得出道路圖像在基色R上近似色彩分布與下近似色彩分布的粗糙性，相應(yīng)得到的道路圖像粗糙性分布直方圖如圖8所示。通過這種量化粗糙性的方法能夠?qū)Φ缆穲D像的色彩分布進行精確描述，從而獲得圖像中較為完備的道路信息，減少由于道路子塊圖像劃分導(dǎo)致的圖像信息丟失現(xiàn)象。由圖8可知，若根據(jù)現(xiàn)有的粗糙性信息進行圖像分割將導(dǎo)致顏色特征劃分過細，難以保證圖像中道路部分的一致性，因此，還需要選定合理的圖像分割策略，保證圖像顏色特征劃分準確并減少圖像色彩的數(shù)目，保證道路可行駛區(qū)域的色彩一致性。

圖8 道路圖像粗糙性分布直方圖

2 道路圖像初步分割策略

2.1 分割原理

根據(jù)粗糙度函數(shù)和粗糙性分布直方圖的性質(zhì)可知，道路圖像的上下近似信息差異大小分別對應(yīng)粗糙性分布直方圖的波峰和波谷位置。因此，通過選定道路可行駛區(qū)域所代表的粗糙性峰值即能夠?qū)崿F(xiàn)對道路圖像的色彩波段劃分，進而完成對道路圖像中可行駛區(qū)域的初步分割。

在道路圖像粗糙性分布直方圖中，需要找出直方圖中波峰和波谷的位置以便于確定分割圖像的粗糙性閾值。首先將所有粗糙性峰值由小到大進行排序，極大峰值中的最大值記為Pmax，極小峰值中的最小值記為Pmin，計算其均值μm及標準差σm，將峰值序列的高度閾值設(shè)定為Th=μm-σm。與固定閾值分割方法相比，這種自適應(yīng)的閾值設(shè)定方法更能適應(yīng)實際行車環(huán)境中道路圖像的可行駛區(qū)域識別情況。

（1）在粗糙性分布直方圖中，若粗糙性波峰的峰值大于算法輸出的高度閾值Th，則認為該波峰為有效波峰。

（2）依據(jù)高度閾值Th確定波峰序列，設(shè)定寬度閾值Tw=4，若相鄰波峰間的距離超過寬度閾值Tw，則認為該波峰為有效波峰。

根據(jù)分割原理及波峰序列選定算法所得有效波峰圖像如圖9所示。在確定有效波峰后，根據(jù)圖9中的有效波峰信息將道路圖像色彩波段進行初步分割，基于相鄰波峰間的波谷位置確定道路圖像的色彩波段，各波段的灰度值由該波段內(nèi)像素點數(shù)目與整幅圖像像素點個數(shù)的比值加權(quán)得到。

圖9 道路圖像粗糙性分布有效波峰圖像

2.2 道路圖像初分割

在已知圖像尺寸為32×10的情況下，通過對算法參數(shù)的反復(fù)調(diào)整，得到較優(yōu)的分割參數(shù)，參數(shù)設(shè)置如

表1 所示，最終圖3的初分割效果如圖10所示。

圖10 道路圖像初分割效果圖

3 道路圖像可行駛區(qū)域識別

3.1 區(qū)域生長算法

區(qū)域生長是一種經(jīng)典的圖像分割方法。利用生長準則將種子點周圍具有相似特征的像素或區(qū)域并入種子范圍，最后獲得聯(lián)通區(qū)域［12］，區(qū)域生長算法的準確性主要取決于生長準則的制定和初始種子的選取位置，不合理的生長準則和初始種子點位置將會導(dǎo)致區(qū)域的欠分割與過分割現(xiàn)象。種子點的信息必須能夠代表道路圖像中目標區(qū)域的大部分像素性質(zhì)，本文中采用一種自適應(yīng)種子點選取方法，選取原則如下。

（1）車輛在道路上行駛的過程中，車載相機或環(huán)境感知傳感器一般都安裝在車輛前部的中間位置，以便于進行與其他傳感器的數(shù)據(jù)融合。因此，車載相機拍攝的圖像，其道路可能區(qū)域相對于整個圖像占比較大，且位于圖像中間位置。

（2）選取道路初分割效果圖底部中間矩形區(qū)域內(nèi)的所有像素集合作為種子點Se的預(yù)選區(qū)Ue，采用K-means聚類方法對其進行二分類處理，并擬定預(yù)選區(qū)中心點Me為區(qū)域生長的種子點Se。

臭牡丹(Clerodendrum bungei)為馬鞭科大青屬植物，具有解毒、消腫、止痛、鎮(zhèn)靜和催眠功效[4].目前對臭牡丹的活性研究主要集中在粗提物的抗炎、鎮(zhèn)痛、抗腫瘤等方面[5]，而抗氧化活性成分研究未見報道.1，1-二苯基-2-二酰肼(1，1-diphenyl-2-Picrylhydrazyl， DPPH)是一種穩(wěn)定存在的自由基，可與抗氧化物質(zhì)的活性氫發(fā)生反應(yīng)，通過DPPH的半數(shù)抑制濃度(IC50)值評估物質(zhì)的抗氧化活性強弱[6].

（3）判斷種子點Se是否滿足條件。根據(jù)Kmeans聚類方法確定的聚類中心若落在元素較多集合中，則滿足條件，反之，則以Me為起始點，按照逆時針方向的鄰域?qū)ふ覞M足條件的初始種子點Se。

區(qū)域生長準則對于區(qū)域生長算法的準確度和程序計算耗時至關(guān)重要。本文中采用道路圖像灰度差的生長準則，將選取的種子點為基準點，通過灰度差衡量基準點與其他像素點間的差別。

3.2 道路區(qū)域處理

如圖11所示，利用區(qū)域生長法處理初分割道路圖像后，道路可行駛區(qū)域內(nèi)存在邊緣不連續(xù)或者孔洞現(xiàn)象。

圖11 道路原圖及區(qū)域生長孔洞圖

由于光照條件影響以及道路與背景的相似度較高，導(dǎo)致區(qū)域生長的過程中存在“破綻”，最終獲得的道路可行駛區(qū)域與圖像背景產(chǎn)生部分重疊。針對上述問題，對武歷穎、余強提出的道路分塊分類方法［13］進行改進，改進策略如下。

（1）通過像素點的8鄰域?qū)傩耘袆e該像素點。首先利用3.1節(jié)中的區(qū)域生長算法設(shè)定像素點屬性：道路點中Rlg=255，非道路點中Rlg=0。

（2）某一像素點的8鄰域包含兩類屬性，采用置信概率判定該混合區(qū)域的像素屬性。設(shè)該混合區(qū)域HR中，道路區(qū)域為R，非道路區(qū)域為NR，則其置信概率為

式中P為該像素點屬于道路區(qū)域的概率，設(shè)置置信度為0.6，當(dāng)P大于0.6時，則認為該像素點屬性為道路區(qū)域。

（3）在混合區(qū)域HR中，若存在某些異常像素點（R≤2）時，則認為是非道路區(qū)域，對異常像素點進行刪除處理。

如圖12所示，通過上述步驟對道路區(qū)域特征圖像的優(yōu)化能夠彌補特征圖中出現(xiàn)的孔洞和道路邊緣不連續(xù)現(xiàn)象。

圖12 道路區(qū)域優(yōu)化處理圖

3.3 圖像連續(xù)幀融合

由圖12可知，通過區(qū)域生長法獲得道路可行駛區(qū)域特征圖后，區(qū)域邊界部分鋸齒明顯，邊界識別效果不理想，因此，根據(jù)1.1節(jié)得到的道路圖像邊界梯度特征，確定圖像邊界特征點，采用三次多項式擬合道路邊界，根據(jù)道路可行駛區(qū)域特征與子塊位置的映射關(guān)系，與道路邊界進行融合，得到最終的道路可行駛區(qū)域。

車輛環(huán)境感知傳感器采集圖像信息的時間間隔一般不超過0.1 s，在道路可行駛區(qū)域識別過程中，由于連續(xù)兩幀圖像的道路可行駛區(qū)域信息相關(guān)性較強，因此可以通過上一幀圖像道路可行駛區(qū)域的識別結(jié)果來確定本幀圖像（圖13）的道路區(qū)域。在道路子塊圖像中，第一幀圖像識別區(qū)域大小為32×10像素，在識別下一幀圖像時，道路可行駛區(qū)域內(nèi)部信息基本不變，因此在下一幀圖像識別中只需識別特征圖像的首行和末行并將其加載至上一幀道路特征圖像中即可確定下一幀圖像的可行駛區(qū)域。下一幀圖像首尾行識別結(jié)果如圖14所示（白色為道路區(qū)域）。

圖13 本幀原圖

圖14 本幀道路識別結(jié)果

設(shè)定道路邊界的識別頻率為1次/s，圖像采集頻率為8幀/s。將圖14中的下一幀道路圖像首尾行識別結(jié)果融合至上一幀道路特征得到圖15。圖16為下一幀圖像道路識別結(jié)果，通過3.2節(jié)優(yōu)化后的識別結(jié)果如圖17所示。

圖15 首尾行識別結(jié)果

圖16 融合后特征圖

圖17 下一幀道路識別結(jié)果

由此可知，在道路可行駛區(qū)域識別過程中，每秒僅需完整識別第一幀道路圖像可行駛區(qū)域和區(qū)域邊界位置即可完成對下一幀圖像的道路識別，有效縮短了算法耗時。在之后的研究中，將探究在不影響行車安全的條件下不同車速對于連續(xù)幀融合的影響。

4 實驗結(jié)果與分析

4.1 實驗條件和數(shù)據(jù)來源

本文中所有算法驗證均在計算機上完成，計算機配置為：處理器AMD Ryzen 7 4800H，主頻2.90 GHz，內(nèi)存16 GB，操作系統(tǒng)Windows 10（64位）專業(yè)版。開發(fā)環(huán)境為VS2017。實驗數(shù)據(jù)來源于實際拍攝圖像，所有圖像大小統(tǒng)一設(shè)定為320×240像素。

4.2 算法測試結(jié)果

從實地拍攝的道路圖像數(shù)據(jù)中隨機選取400幅圖像進行測試分析和實驗，證明基于粗糙性度量的方法具有較優(yōu)的初分割效果。圖18為直接利用原始圖像進行區(qū)域生長的道路特征圖，對比圖12可知，利用粗糙性度量的方法對道路圖像進行初分割能夠有效加強圖像中道路區(qū)域色彩的同質(zhì)性，從而減少區(qū)域生長法產(chǎn)生的孔洞及邊界不連續(xù)現(xiàn)象。圖19中各分圖依次展示了連續(xù)采集的8幀道路圖像的識別結(jié)果。由圖19可知，將0時刻的道路邊界識別結(jié)果作為未來1 s內(nèi)的道路可行駛區(qū)域邊界具有可行性，不會產(chǎn)生較大偏差。由于對道路圖像粗糙性的定義，使得算法具有較強的魯棒性；基于灰度級的8鄰域區(qū)域生長算法對道路圖像可行駛區(qū)域具有良好的識別效果。

圖18 未初分割處理的區(qū)域生長特征圖

圖19 連續(xù)圖像道路可行駛區(qū)域識別效果

通過大量實驗可知，在光照較好、結(jié)構(gòu)化道路圖像中，閾值r取0.1~0.15效果較好，光照條件較差及非結(jié)構(gòu)化道路圖像r一般取0.15~0.2。圖20顯示了原圖以及不同距離閾值在識別準確、欠擬合、過擬合等3種情況。

圖20 不同閾值下道路識別情況

由圖19和圖20可知，本文算法對于結(jié)構(gòu)化路面和非結(jié)構(gòu)化路面都具有良好的識別效果，但未考慮道路中存在陰影及車輛的影響。圖21和圖22分別為道路中存在陰影及道路中存在陰影和車輛的道路可行駛區(qū)域識別結(jié)果。由此可知，本文算法對于道路中存在顏色較淺的陰影和距離較近的車輛具有良好識別能力。由于對圖像進行了縮小處理，導(dǎo)致圖22中遠處的道路區(qū)域未能識別，在邊界擬合過程中，由于遠方深藍色車輛的存在，導(dǎo)致右邊界其他位置的擬合結(jié)果稍有欠缺。在車輛行駛過程中，光照條件對于道路識別算法的影響很大，在光照條件差的隧道內(nèi)，算法的識別效果仍然較好，如圖23和圖24所示。

圖21 陰影道路識別結(jié)果

圖22 陰影和車輛識別結(jié)果

圖23 隧道內(nèi)道路圖像

圖24 隧道內(nèi)道路識別結(jié)果

4.3 算法耗時定量分析

算法各步驟耗時如圖25所示。由圖可知，改進的區(qū)域生長法并未帶來較高的時間消耗。由于上一幀圖像的部分識別結(jié)果能夠加載至下一幀圖像，因此在下一幀圖像識別過程中只需要識別首尾兩行子塊圖像，從而減少了下一幀圖像的識別耗時。上一幀圖像總耗時為99.2 ms，而下一幀圖像的總耗時為86.4 ms。因此未來1 s內(nèi)的該方法耗時相較于將每幀圖像全部區(qū)域進行識別的算法耗時減少約102.4 ms，識別算法的計算效率提高12.9%。

圖25 算法各步驟耗時

5 結(jié)論

（1）直接利用彩色道路圖像，通過度量圖像粗糙性的方法對道路圖像進行初分割處理。該方法較傳統(tǒng)直方圖的信息統(tǒng)計方法能夠更加有效地分割出圖像中的同質(zhì)區(qū)域。此外，有效波峰選定算法能夠在準確完成初分割的同時，也極大減少了道路圖像的像素規(guī)模。

（2）采用區(qū)域生長方法，利用K-means聚類獲取生長種子點，摒棄以往交互式或固定式選取生長種子點的方法，提高種子點選取準確性；并根據(jù)改進后的優(yōu)化策略，得到最終的道路圖像可行駛區(qū)域識別結(jié)果。