李運(yùn)生 張名佳
摘 要: 為了有效地保障汽車駕駛?cè)藛T及乘車人員的生命財(cái)產(chǎn)安全,緩解交通擁堵現(xiàn)象,針對(duì)智能交通靜態(tài)目標(biāo)的自動(dòng)識(shí)別系統(tǒng)進(jìn)行研究。利用CCD攝像頭采集的公路視頻樣本,基于先進(jìn)數(shù)字圖像處理技術(shù),實(shí)現(xiàn)對(duì)視頻中交通公路靜態(tài)目標(biāo)標(biāo)線的自動(dòng)檢測(cè)識(shí)別。針對(duì)標(biāo)線形態(tài)特點(diǎn),進(jìn)行有效的數(shù)字圖像濾波除噪處理,提出采用累計(jì)概率霍夫變換算法對(duì)標(biāo)線進(jìn)行識(shí)別,有效地檢測(cè)出公路行車標(biāo)線,實(shí)現(xiàn)對(duì)視頻圖像中公路標(biāo)線的跟蹤識(shí)別。
關(guān)鍵詞: 智能交通; 靜態(tài)目標(biāo); 公路標(biāo)線; 自動(dòng)識(shí)別; 邊緣檢測(cè); 累計(jì)概率霍夫變換
中圖分類號(hào): TN911.73?34 文獻(xiàn)標(biāo)識(shí)碼: A 文章編號(hào): 1004?373X(2018)15?0141?06
Research on static target automatic recognition system of intelligent traffic
LI Yunsheng, ZHANG Mingjia
(School of Automation, Xian University of Posts & Telecommunications, Xian 710121, China)
Abstract: The static target automatic recognition system of intelligent traffic is studied to protect the safety of life and property of drivers and passengers effectively, and alleviate the traffic congestion. The highway video samples acquired by CCD camera and advanced digital image processing technology are used to realize the automatic recognition and detection of the highway static target marking in the video. According to morphological characteristics of marking, the digital image is filtered and denoised effectively. The cumulative probability Hough transform algorithm is used to recognize the highway marking, detect the travelling marking of the highway, and realize the tracking and recognition of the highway marking in video images.
Keywords: intelligent traffic; static target; highway marking; automatic recognition; edge detection; cumulative probability Hough transform
近年來,智能交通系統(tǒng)(Intelligent Traffic System,ITS)的概念逐步形成并越來越受到社會(huì)的關(guān)注。ITS以信息技術(shù)作為先導(dǎo),并融合了其他相關(guān)先進(jìn)科技,旨在憑借現(xiàn)代化科學(xué)技術(shù)改善交通現(xiàn)狀[1],這已成為全球范圍內(nèi)的重要發(fā)展趨勢(shì)。在國(guó)內(nèi),國(guó)防科技大學(xué)從20世紀(jì)80年代起逐步開始研究該項(xiàng)技術(shù)[2]。
在日常車輛行駛中,交通情況瞬息萬變,很容易釀成嚴(yán)重的交通事故。為了保障行車安全,同時(shí)緩解公路擁堵現(xiàn)象,急需研究公路交通靜態(tài)目標(biāo)的自動(dòng)識(shí)別系統(tǒng)。以往的研究所識(shí)別的目標(biāo)準(zhǔn)確度低、誤判現(xiàn)象較多,并易受外界環(huán)境的干擾[3]。本研究對(duì)公路交通靜態(tài)目標(biāo)車道標(biāo)線的識(shí)別進(jìn)行目標(biāo)建模、跟蹤[4]、分析、識(shí)別和判斷,提出采用累計(jì)概率霍夫變換算法對(duì)標(biāo)線的檢測(cè),以期實(shí)現(xiàn)在復(fù)雜的公路交通環(huán)境下,可以實(shí)時(shí)對(duì)駕駛?cè)藛T發(fā)出預(yù)警,提示駕駛員安全的行車區(qū)域、有效地避免意外事故的發(fā)生[5?6],提高安全駕駛的可靠性。
針對(duì)公路標(biāo)線圖像的特點(diǎn)和實(shí)際環(huán)境條件,提出如圖1所示的系統(tǒng)流程結(jié)構(gòu)框圖。
對(duì)于一幅待處理的公路圖像,本研究所關(guān)注的重點(diǎn)是公路上的車道標(biāo)線,所以只對(duì)圖像中的關(guān)注區(qū)域(Region of Interest,RoI)[7]進(jìn)行處理。
RoI是確定需要著重處理的圖像區(qū)域,明確RoI以便有針對(duì)性地進(jìn)行處理,同時(shí)簡(jiǎn)化系統(tǒng)目標(biāo)的識(shí)別過程,并減少處理時(shí)間。為了有效地分析處理,針對(duì)公路車道標(biāo)線圖像的特點(diǎn)進(jìn)行采集提取。提取效果如圖2所示。
為了將圖像信號(hào)中的噪聲波段挑出來去掉,濾波就是一種十分重要的抑制噪聲的手段[8?10],通過濾波可以盡可能地防止噪聲的干擾。線性濾波處理過程為:
為了能更好地進(jìn)行對(duì)比,增加辨識(shí)度,本研究將圖3中不同濾波方法檢測(cè)的結(jié)果對(duì)應(yīng)地展示為邊緣檢測(cè)后的結(jié)果,如圖4所示。
線性濾波易于實(shí)現(xiàn),對(duì)高斯噪聲的濾除成效顯著。但是當(dāng)噪聲變成散粒噪聲后,線性濾波就基本上失去了作用。例如,對(duì)突然出現(xiàn)的較高值,線性濾波就只能把它緩解下來而不能徹底消除。因此就顯出了非線性濾波[13]的重要作用。
對(duì)圖3以及圖4的4幅圖像進(jìn)行比較,可知對(duì)于每個(gè)單獨(dú)使用的濾波方式,其處理效果差別很小,基本保持在同一層次。
因此,本研究考慮使用中值濾波和雙邊濾波等多種濾波方式相結(jié)合的多重綜合濾波方法對(duì)圖像進(jìn)行邊緣檢測(cè)分析,并采用相關(guān)像素運(yùn)算處理法以增強(qiáng)處理效果。
同樣為了更明顯地表示出濾波效果,對(duì)圖5中的結(jié)果進(jìn)行相應(yīng)的邊緣檢測(cè)處理,結(jié)果如圖6所示。比對(duì)圖5和圖6以及使用單個(gè)濾波器的圖3,圖4,尤其是圖6與圖4的比對(duì)中,可以明顯地看出,本研究所采用的多重綜合濾波方法使除噪效果有了顯著的改善。
公路標(biāo)線與路面有較明顯的邊界,而且標(biāo)線的形狀十分規(guī)則,分辨起來比較有規(guī)律。通過對(duì)公路圖像進(jìn)行Canny邊緣檢測(cè)[14],可以將標(biāo)線的邊界分離出來。利用概率霍夫變換[15?18]進(jìn)行標(biāo)線識(shí)別,以確定標(biāo)線的位置,并進(jìn)行標(biāo)記。
霍夫變換(Hough Transform)的原理:一條直線在[2?D]空間里的表達(dá)形式有多種。對(duì)于霍夫變換,通過由極徑和極角[(r,θ)]表示的極坐標(biāo)系形式表示的直線如圖7所示。
在極坐標(biāo)系中,畫出全部通過定點(diǎn)[(x0,y0)]的直線,得到一條正弦曲線如圖8所示(部分曲線)。
對(duì)圖像中全部的點(diǎn)進(jìn)行上述操作,針對(duì)兩個(gè)不同的點(diǎn),如果得到的曲線在極坐標(biāo)系相交,說明它們通過同一條直線。
如圖9所示,三條曲線相交,交點(diǎn)坐標(biāo)表示的是平面內(nèi)參數(shù)對(duì)[θ?r] 構(gòu)成的直線。
通常情況下,可以通過在平面[θ?r]上尋找相交于定點(diǎn)曲線的數(shù)量來檢測(cè)直線。經(jīng)過某一點(diǎn)的曲線越多,說明經(jīng)過該點(diǎn)的直線上的點(diǎn)越多。本研究設(shè)置通過定點(diǎn)的曲線數(shù)量作為閾值,該閾值表示只有大于該值時(shí),才認(rèn)為檢測(cè)到了一條直線。
霍夫變換要檢測(cè)圖像中每個(gè)點(diǎn)。當(dāng)交于一點(diǎn)的曲線數(shù)量大于閾值時(shí)就會(huì)被標(biāo)記出來。表明這個(gè)點(diǎn)表示的參數(shù)對(duì)[(rθ,θ)]在原圖像中是一條直線。這種算法就是標(biāo)準(zhǔn)霍夫變換(Standard Hough Transform),能提供一組參數(shù)對(duì)[(rθ,θ)]的集合來表示檢測(cè)到的直線。
使用標(biāo)準(zhǔn)霍夫變換法進(jìn)行標(biāo)線識(shí)別標(biāo)記的結(jié)果如圖10所示。
從圖10可以看出,公路中的標(biāo)線被有效地標(biāo)識(shí)了出來。但是經(jīng)分析判斷,標(biāo)準(zhǔn)霍夫變換法不能檢測(cè)出公路標(biāo)線的兩個(gè)端點(diǎn),所以無法識(shí)別出公路標(biāo)線中的虛標(biāo)線類型。
本質(zhì)上,標(biāo)準(zhǔn)霍夫變換是在它的參數(shù)空間上將目標(biāo)映射出來,需要計(jì)算所有的[M]個(gè)特征點(diǎn),因此計(jì)算量大、耗時(shí)多,無法實(shí)現(xiàn)對(duì)公路標(biāo)線的實(shí)時(shí)檢測(cè)與識(shí)別。針對(duì)上述問題提出一種算法,即考慮只解決[m(m
累計(jì)概率霍夫變換法是執(zhí)行起來效率更高的霍夫變換。它輸出檢測(cè)到的直線的端點(diǎn)[(x0,y0,x1,y1)]只在一定范圍內(nèi)進(jìn)行霍夫變換,從而減少計(jì)算量,縮短計(jì)算時(shí)間,不僅效率得到提高,而且可以檢測(cè)出直線的兩端。
累計(jì)概率霍夫變換算法流程圖如圖11所示,其主要流程步驟如下:
1) 隨機(jī)抽取一個(gè)目標(biāo)的特征點(diǎn),也就是目標(biāo)的邊緣點(diǎn)。若此點(diǎn)已被標(biāo)記,那么就在余下的特征點(diǎn)中繼續(xù)選擇,直到所有邊緣點(diǎn)都抽取完。
2) 對(duì)該點(diǎn)實(shí)行霍夫變換,然后進(jìn)行累加并計(jì)算。
3) 選擇霍夫空間內(nèi)數(shù)值最大的點(diǎn)。假如該點(diǎn)的數(shù)值小于預(yù)先設(shè)定的閾值,則返回到步驟1),否則繼續(xù)執(zhí)行以下步驟。
4) 通過霍夫變換獲得最大值點(diǎn)。從該點(diǎn)出發(fā),沿直線的方向移動(dòng),直到尋找到直線的兩個(gè)端點(diǎn)。
5) 計(jì)算檢測(cè)出的直線長(zhǎng)度。如果長(zhǎng)度大于預(yù)先給定的閾值,就作為良好的直線輸出結(jié)果。
采用累計(jì)概率霍夫變換法進(jìn)行公路標(biāo)線的檢測(cè)與識(shí)別,其識(shí)別標(biāo)記出的結(jié)果如圖12所示。
對(duì)于標(biāo)準(zhǔn)公路,本研究采用累計(jì)概率霍夫變換法對(duì)公路車道標(biāo)線進(jìn)行檢測(cè),能夠檢測(cè)出目標(biāo)的兩個(gè)端點(diǎn)。這就是本文方法最重要的特點(diǎn)。
根據(jù)本系統(tǒng)所要識(shí)別目標(biāo)的特點(diǎn)以及系統(tǒng)流程框圖,將視頻中提取出幀圖像的目標(biāo)識(shí)別作為實(shí)用性研究的主要方面。
通過直接調(diào)用視頻以實(shí)現(xiàn)對(duì)圖像的采集過程。需特別注意的是,須在提取視頻的同時(shí)設(shè)置所需的主要參數(shù),包括幀率、編碼解碼、文件名等。另外,待處理的圖像尺寸須與提取視頻時(shí)指定的尺寸一致。
選擇的編碼解碼格式為MJPG,定義輸出的視頻大小為320×240 。結(jié)合圖像識(shí)別處理過程,最終可以實(shí)現(xiàn)對(duì)視頻的提取和標(biāo)識(shí),如圖13所示。
從整個(gè)視頻中截取一幀視圖如圖13a)所示,考慮到現(xiàn)實(shí)中的視角,在每一幀中只分析下半部分的區(qū)域,如圖13b)所示。
本研究的過程分為兩部分:首先是對(duì)單一圖像的標(biāo)線分析識(shí)別;其次是對(duì)視頻的標(biāo)線識(shí)別。通過本研究的提案,對(duì)車道標(biāo)線的識(shí)別達(dá)到了清晰準(zhǔn)確的效果。
針對(duì)城市中的一般公路,對(duì)車道標(biāo)線識(shí)別的結(jié)果如圖14a)所示。繼續(xù)行駛一段距離改變視野后,再次進(jìn)行圖像分析處理,車道標(biāo)線識(shí)別的結(jié)果如圖14b)所示。
從圖14a)中可以看到:本研究所提出的方法可以將圖像區(qū)域內(nèi)的標(biāo)線準(zhǔn)確、清晰地標(biāo)記出來,同時(shí)虛標(biāo)線的兩端也能夠有效地識(shí)別出來。根據(jù)閾值的設(shè)置,在檢查目標(biāo)時(shí)會(huì)排除低于閾值的目標(biāo),或者將與目標(biāo)對(duì)象相似的偽目標(biāo)誤判為真實(shí)目標(biāo)而被標(biāo)記出來,這樣會(huì)導(dǎo)致識(shí)別結(jié)果的偏差。如圖14a),在識(shí)別區(qū)域的右上角存在一段被標(biāo)記的偽目標(biāo),而在識(shí)別區(qū)域視野最遠(yuǎn)處的虛標(biāo)線并沒有被標(biāo)記,這說明系統(tǒng)在這兩處跟蹤查找目標(biāo)時(shí)出現(xiàn)了小范圍的波動(dòng)。
實(shí)際上,圖像視野中越遠(yuǎn)的地方,標(biāo)線顯現(xiàn)得越細(xì)越短。對(duì)虛標(biāo)線而言這種特征更明顯。所以可以認(rèn)為,即使視野識(shí)別區(qū)域最遠(yuǎn)處的虛標(biāo)線偶然出現(xiàn)誤判和漏判不能完全標(biāo)記出,但是對(duì)比圖14b),最遠(yuǎn)處的虛線在車輛向前行駛一段距離后,這種漏判或誤判就會(huì)被重新識(shí)別出來。因此從實(shí)際識(shí)別效果上判斷,完全不會(huì)影響到本系統(tǒng)的可行性和有效性。
經(jīng)過反復(fù)測(cè)試實(shí)驗(yàn),在不同的拍攝角度和公路環(huán)境中,對(duì)標(biāo)線的整體識(shí)別達(dá)到了精準(zhǔn)、良好的效果。
通過對(duì)視頻樣本的測(cè)試,最終可以實(shí)現(xiàn)對(duì)公路視頻中的車道標(biāo)線進(jìn)行跟蹤標(biāo)識(shí)。在輸出的視頻中,可以看到對(duì)目標(biāo)的標(biāo)記具有一定的連貫性,而且在普通公路和高速路環(huán)境中對(duì)目標(biāo)識(shí)別的誤判漏判現(xiàn)象少、識(shí)別的精確性高。
不同環(huán)境下公路標(biāo)線視頻圖像及其跟蹤識(shí)別的結(jié)果如圖15所示。圖15a)和圖15c)為普通城市公路,圖15e)為高速公路環(huán)境。如圖15b)、圖15d)、圖15f)所示,從識(shí)別結(jié)果中可以清楚地看出識(shí)別效果。對(duì)于實(shí)線和虛線的車道標(biāo)線能夠明確地辨別和跟蹤,并進(jìn)行實(shí)時(shí)標(biāo)記。在普通城市公路(圖15a),圖15c))和高速公路(圖15e))的不同道路環(huán)境下進(jìn)行測(cè)試實(shí)驗(yàn),其結(jié)果表明本研究具有廣泛性和實(shí)用性。
此外,在光照方面,從圖15e)和圖15f)中判斷,系統(tǒng)在陰天光照較弱的環(huán)境下也可對(duì)目標(biāo)進(jìn)行準(zhǔn)確地跟蹤與識(shí)別,可見本系統(tǒng)對(duì)光線的適應(yīng)性良好。
本研究實(shí)現(xiàn)了對(duì)公路交通靜態(tài)目標(biāo)車道標(biāo)線的自動(dòng)識(shí)別。提出將累計(jì)概率霍夫變換法作為本課題研究的核心算法,可以有效地辨析識(shí)別出標(biāo)線目標(biāo)圖像,尤其是對(duì)于出現(xiàn)的虛線車道,可以準(zhǔn)確地判斷出其標(biāo)線的兩端。
同時(shí),結(jié)合標(biāo)線識(shí)別的具體特點(diǎn),通過對(duì)圖像檢測(cè)算法進(jìn)行分析比較,采用Canny算法進(jìn)行標(biāo)線的邊緣檢測(cè),并對(duì)檢測(cè)出來的目標(biāo)進(jìn)行標(biāo)記輸出,實(shí)現(xiàn)了對(duì)公路標(biāo)線的跟蹤標(biāo)識(shí)。
通過對(duì)普通公路和高速路環(huán)境下車道標(biāo)線圖像的目標(biāo)跟蹤和識(shí)別系統(tǒng)的研究,充分表明所提出并采用的累計(jì)概率霍夫變換法在公路交通圖像識(shí)別應(yīng)用的有效性和實(shí)用性。
參考文獻(xiàn)
[1] 何鵬.我國(guó)智能交通系統(tǒng)技術(shù)發(fā)展現(xiàn)狀與展望[J].建筑工程技術(shù)與設(shè)計(jì),2016,13(5):3377.
HE Peng. Present situation and prospect of intelligent transportation system technology in China [J]. Building engineering technology and design, 2016, 13(5): 3377.
[2] 潘琪.智能交通:促進(jìn)城市交通可持續(xù)發(fā)展的最佳途徑[J].綜合運(yùn)輸,2010(7):85?89.
PAN Qi. Intelligent transportation: the best way to promote the sustainable development of transportation [J]. Integrated transport, 2010(7): 85?89.
[3] 金茂菁.我國(guó)智能交通系統(tǒng)技術(shù)發(fā)展現(xiàn)狀及展望[J].交通信息與安全,2012,30(5):1?5.
JIN Maojing. The development of intelligent transportation system [J]. Traffic information and security, 2012, 30(5): 1?5.
[4] LI Y, TAKEZAWA H, SUZUKI M, et al. Prediction of fish motion by neural network [C]// The 3rd International Symposium on Autonomous Minirobots for Research and Edutainment. [S.l.]: Springer, 2005: 217?222.
[5] 徐杰.智能車輛視覺導(dǎo)航中公路邊界識(shí)別技術(shù)的研究[D].長(zhǎng)春:吉林大學(xué),2001.
XU Jie. Research on highway boundary recognition technology in intelligent vehicle vision navigation [D]. Changchun: Jilin University, 2001.
[6] 邢艷云.強(qiáng)光照條件下車道標(biāo)識(shí)線識(shí)別與跟蹤算法研究[D].長(zhǎng)春:吉林大學(xué),2006.
XING Yanyun. Study on lane mark identification and tracking algorithm under illumination [D]. Changchun: Jilin University, 2006.
[7] 李業(yè)偉.基于感興趣區(qū)域的圖像處理算法研究[D].濟(jì)南:山東師范大學(xué),2012.
LI Yewei. Study on image processing algorithms based on the region of interest [D]. Jinan: Shandong Normal University, 2012.
[8] 李龍光,蘇靜,韓海倫,等.不同光照條件下二值化技術(shù)研究及應(yīng)用[J].電子世界,2015(20):145?149.
LI Longguang, SU Jing, HAN Hailun, et al. Research and application of two value technology under different illumination conditions [J]. Electronic world journal, 2015(20): 145?149.
[9] 楊立敬,劉鑫,朱雙東.基于顏色分量補(bǔ)償?shù)慕煌?biāo)志圖像預(yù)處理[J].計(jì)算機(jī)工程與應(yīng)用,2008,44(36):184?186.
YANG Lijing, LIU Xin, ZHU Shuangdong. Traffic sign image preprocessing based on color component compensation [J]. Computer engineering and applications, 2008, 44(36): 184?186.
[10] 陳君.濾波技術(shù)研究[J].工業(yè)控制計(jì)算機(jī),2014,27(12):157?158.
CHEN Jun. Research on filtering technology [J]. Journal of industrial control computer technology, 2014, 27(12): 157?158.
[11] 江莉.基于多尺度空間分析的圖像模糊測(cè)量方法研究[D].成都:西華大學(xué),2014.
JIANG Li. Research on image fuzzy measurement based on multi?scale spatial analysis [D]. Chengdu: Xihua University, 2014.
[12] 李俊生.圖像非線性濾波技術(shù)的研究[J].常州工學(xué)院學(xué)報(bào),2005,18(2):21?23.
LI Junsheng. Research on image nonlinear filtering technology [J]. Journal of Changzhou Institute of Technology, 2005, 18(2): 21?23.
[13] 呂風(fēng)君.數(shù)字圖像處理編程入門[M].北京:清華大學(xué)出版社,1999.
L? Fengjun. Introduction to digital image processing programming [M]. Beijing: Tsinghua University Press, 1999.
[14] 趙吉廣.基于視頻圖像的路面性能參數(shù)采集方法研究[D].南京:東南大學(xué),2006.
ZHAO Jiguang. Research on the method of pavement performance parameter collection based on video image [D]. Nanjing: Southeast University, 2006.
[15] 楊喜寧,段建民,高德芝,等.基于改進(jìn)Hough變換的車道線檢測(cè)技術(shù)[J].計(jì)算機(jī)測(cè)量與控制,2010,18(2):292?294.
YANG Xining, DUAN Jianmin, GAO Dezhi, et al. Lane detection technology based on improved Hough transform [J]. Computer measurement and control, 2010, 18(2): 292?294.
[16] YU Zhiding, ZHANG Wende, VIJAYA KUMAR B V K, et al. Structured Hough voting for vision?based highway border detection [C]// 2015 IEEE Winter Conference on Applications of Computer Vision. Waikoloa: IEEE, 2015: 246?253.
[17] SAYANAN Sivaraman, MOHAN Manubhai Trivedi. Looking at vehicles on the road: a survey of vision?based vehicle detection, tracking, and behavior analysis [J]. IEEE transactions on intelligent transportation systems, 2013, 14(4): 1773?1795.
[18] 馮偉興,賀博.Visual C++數(shù)字圖像模式識(shí)別技術(shù)詳解[M].北京:機(jī)械工業(yè)出版社,2013.
FENG Weixing, HE Bo. Detailed Visual C++ digital image pattern recognition technology [M]. Beijing: Mechanical Industry Press, 2013.