李 晨, 王 巍
(1.西安工業(yè)大學(xué) 北方信息工程學(xué)院,陜西 西安 710032;2.航天恒星空間技術(shù)應(yīng)用有限公司 陜西 西安 710077)
隨著公路交通的飛速發(fā)展,汽車安全性問題已日益成為交通問題的焦點(diǎn)。目前,智能車輛作為汽車主動安全方面的最新發(fā)展方向,受到了廣泛的關(guān)注。關(guān)于智能車輛中對行駛前方危險障礙物的檢測,很多國家及多個相關(guān)領(lǐng)域的研究學(xué)者們已經(jīng)提出了很多可行的想法及有效方案。其中,基于MPEG視頻流的行車障礙檢測算法由于其直接從壓縮域入手的特點(diǎn),避免了在空間域中所遇到的對外界環(huán)境、光線及氣候條件要求較高等多種敏感問題,已經(jīng)逐漸顯示出其在應(yīng)用中的方便性及可行性。通過在實(shí)際情況中對該算法的仿真實(shí)驗(yàn)及對該算法在實(shí)際應(yīng)用情況中所造成的虛警,漏警數(shù)據(jù)的統(tǒng)計及分析可知,該算法正確性較高,在實(shí)際生活中有較好的應(yīng)用前景。
在目前已有研究出的基于MPEG運(yùn)動矢量的行車障礙檢測算法的基礎(chǔ)上,對已有算法的部分參數(shù)進(jìn)行驗(yàn)證,在原有檢測系統(tǒng)中采用模板匹配的方法,通過具體路況實(shí)驗(yàn),進(jìn)行統(tǒng)計分析及經(jīng)驗(yàn)驗(yàn)證,設(shè)定出不同情況下的檢測閾值及相應(yīng)的經(jīng)驗(yàn)公式,使之能夠適應(yīng)不同的行車環(huán)境,達(dá)到理想的檢測效果。
本實(shí)驗(yàn)系統(tǒng)首先通過車載單目攝像機(jī)來采集行車路況的連續(xù)視頻流信息。所拍攝的路況連續(xù)視頻流信息均為AVI文件格式,MPEG視頻壓縮制式,以此來達(dá)到算法制定時基于MPEG運(yùn)動矢量的要求。通過MATLAB軟件進(jìn)行MPEG連續(xù)視頻流平臺的搭建以及MPEG連續(xù)視頻流行車障礙檢測算法的實(shí)現(xiàn)。利用MATLAB圖像處理工具箱中自帶函數(shù)可以使本文的一些圖像處理問題得到簡化。
文中進(jìn)行MPEG運(yùn)動矢量行車障礙檢測方法的實(shí)驗(yàn)的系統(tǒng)構(gòu)成圖如圖1所示。
圖1 MPEG運(yùn)動矢量行車障礙檢測方法實(shí)驗(yàn)系統(tǒng)構(gòu)成圖Fig.1 The experimental system structure graph of driving obstacle detection which based on MPEG motion vectors
文中的研究是建立在基于MPEG運(yùn)動矢量行車障礙檢測算法之上的。在其對運(yùn)動矢量解碼提取過程中,為方便研究,主要提取的是P幀運(yùn)動矢量,因此對車輛速度有一定要求。由于本文主要介紹的是這種檢測方法的應(yīng)用過程,所以只列舉在一種車速下該方法對前方車輛不同行駛狀況的檢測過程。
1)前方車輛橫向運(yùn)動
在相對車速為40 km/h下,拍攝視頻長度為25 s,通過對該段MPEG連續(xù)視頻流的分解,共分解出獨(dú)立圖片200幀。圖2所示是在分解后的單幀圖片中,對前方車輛橫向運(yùn)動時所選取的4幅關(guān)鍵幀圖片。
圖2 相對車速為40 km/h下,前方車輛橫向運(yùn)動時提取的關(guān)鍵幀F(xiàn)ig.2 The key frames of forward vehicle lateral motion in the relative vehicle speed 40 km/h
2)前方車輛減速運(yùn)動
在相對車速為40 km/h下,拍攝視頻長度為50 s,通過對該段MPEG連續(xù)視頻流的分解,共分解出獨(dú)立圖片400幀。圖3所示是在分解后的單幀圖片中,對前方車輛減速運(yùn)動即追尾時所選取的4幅關(guān)鍵幀圖片。
圖3 相對車速為40 km/h下,前方車輛減速運(yùn)動時提取的關(guān)鍵幀F(xiàn)ig.3 The key frames of forward vehicle retarded motion in the relative vehicle speed 40 km/h
噪聲的濾除是很有必要的,壓縮域中運(yùn)動矢量只是用于編碼目的,它們是有噪聲的,不可靠的,直接用于檢測算法會產(chǎn)生很大的噪聲誤差和錯誤。特別是由于汽車抖動引起的邊緣毛刺,天空等非危險區(qū)域產(chǎn)生的孤立噪聲點(diǎn)等,都會對行車障礙檢測系統(tǒng)的檢測可靠性及檢測效率等問題造成不必要的影響和麻煩。為了盡可能地消除噪聲,增強(qiáng)運(yùn)動矢量的可靠性,在對非危險運(yùn)動矢量篩選之前,首先需進(jìn)行噪聲運(yùn)動矢量的濾除處理。
由于圖像信號和噪聲信號往往交織在一起,特別是在行車障礙檢測算法中,圖像的邊緣噪聲和天空等非危險區(qū)域所產(chǎn)生的噪聲都會在運(yùn)動矢量場圖中顯示,并且增加檢測算法的誤判率。因此,根據(jù)上述運(yùn)動矢量場圖中噪聲的特點(diǎn),首先根據(jù)危險運(yùn)動矢量規(guī)則進(jìn)行除噪,其次本文在原有基礎(chǔ)上增加了不同情況下匹配模板的運(yùn)用,對于確定的路況及以此選定的匹配模板,模板外側(cè)邊緣(被認(rèn)為是圖像邊緣,帶有不可靠的噪聲)以及天空等非危險區(qū)域,由于該區(qū)域?qū)z測算法的判決并不產(chǎn)生影響,因此通過模板的邊緣限制,可將模板外邊緣區(qū)域直接置零,設(shè)置為非危險區(qū)域。表達(dá)式為:
其中 MVi,j為坐標(biāo)(i,j)處宏塊的運(yùn)動矢量。
由于車輛在行駛過程中,整個視頻圖像序列的背景為動態(tài)背景,因此車輛在正常行駛情況下都會產(chǎn)生符合正常規(guī)律的發(fā)散的運(yùn)動矢量,但不是所有區(qū)域的運(yùn)動矢量都會對行車構(gòu)成危險,例如天空中的運(yùn)動物體的運(yùn)動對車輛正常行駛就不會構(gòu)成危險等,因此必須首先排除對于車輛正常行駛時不構(gòu)成危險的區(qū)域,從而確定對于車輛正常行駛時構(gòu)成威脅的危險區(qū)域,并給予高度重視。因此確定車輛在行駛過程中的危險區(qū)域也就成為行車障礙檢測算法中的一個重要環(huán)節(jié)。
文中所介紹的基于MPEG運(yùn)動矢量的行車障礙檢測方法確定危險區(qū)域的方式是:通過在路面區(qū)域之上設(shè)定與之相應(yīng)的匹配模板來確定危險區(qū)域。
根據(jù)所分析的路面情況,事先做好一些道路檢測模板,然后檢測道路曲線與哪一種模板匹配程度最好。在模板中應(yīng)用了滅點(diǎn)的概念。所謂滅點(diǎn),即在直行道路環(huán)境下,當(dāng)攝像機(jī)位置確定后,所拍攝的視頻圖像中的透視圖像的道路前方相對于攝像機(jī)在同一水平面位置上的道路前方的一點(diǎn),即攝像機(jī)朝向該點(diǎn)運(yùn)動,則該點(diǎn)稱為滅點(diǎn)。滅點(diǎn)的運(yùn)動矢量為零。滅點(diǎn)的確定決定于攝像機(jī)位置的確定。對于滅點(diǎn)以上的運(yùn)動矢量即天空中的運(yùn)動物體等所產(chǎn)生的運(yùn)動矢量對行駛車輛并不構(gòu)成危險,所以滅點(diǎn)以上的運(yùn)動矢量應(yīng)該給予排除。模板的制定主要是選取以滅點(diǎn)為中心,選擇公路及其兩旁部分區(qū)域作為模板內(nèi)部區(qū)域,將天空及圖像邊緣作為非危險區(qū)域,列為模板外部區(qū)域。利用滅點(diǎn)的概念設(shè)置模板更加簡單、靈活和方便,且更容易實(shí)現(xiàn)。
由于車輛在行駛過程中,不僅有直行狀態(tài),還有轉(zhuǎn)彎及上下坡彎道等多種行駛情況,不同狀態(tài)下攝像機(jī)所需面對的視景及處理的危險區(qū)域不同,因此在模板的設(shè)置過程中也應(yīng)考慮以上多種情況,設(shè)定不同情況下的模板形狀及匹配閾值。
在運(yùn)動矢量圖中篩選出來的異常危險運(yùn)動矢量具有散亂的特性,本文所介紹的檢測方法通過方框?qū)ξkU障礙物進(jìn)行標(biāo)注來達(dá)到預(yù)警的作用。方框大小的確定與危險運(yùn)動矢量區(qū)域的大小相關(guān)。本文根據(jù)MPEG運(yùn)動矢量行車障礙檢測方法步驟,對大量實(shí)際拍攝的視頻圖像序列進(jìn)行了檢測,在此選擇其中具有典型代表性的幾組車輛前方路況視頻圖像序列對該檢測方法的實(shí)現(xiàn)進(jìn)行說明。
實(shí)驗(yàn)一:在相對車速為40 km/h下對車輛前方橫向行駛車輛進(jìn)行檢測
在車速為40 km/h下,對車輛前方橫向行駛車輛提取的關(guān)鍵兩幀如圖4所示;在車速為40 km/h下,通過本文介紹檢測方法對車輛前方橫向行駛車輛進(jìn)行檢測的結(jié)果如圖5所示。實(shí)驗(yàn)二:在相對車速為40 km/h下對前方車輛減速運(yùn)動進(jìn)行檢測
圖4 車速為40 km/h下對橫向行駛車輛提取的關(guān)鍵兩幀F(xiàn)ig.4 The key frames of forward vehicle lateral motion in the relative vehicle speed 40 km/h
在車速為40 km/h下,對車輛前方減速運(yùn)動車輛所拍攝視頻提取的關(guān)鍵兩幀如圖6所示;在車速為40 km/h下,通過本文介紹檢測方法對車輛前方減速運(yùn)動車輛進(jìn)行檢測的結(jié)果如圖7所示。
圖5 車速為40 km/h下對橫向行駛車輛檢測結(jié)果Fig.5 The detection results of forward vehicle lateral motion in the relative vehicle speed 40 km/h
圖6 相對車速為40km/h下對前方車輛減速運(yùn)動提取的關(guān)鍵兩幀F(xiàn)ig.6 The key frames of forward vehicle retarded motion in the relative vehicle speed 40km/h
文中介紹的基于MPEG運(yùn)動矢量的行車障礙檢測方法,對不同行駛情況下匹配模版中的檢測閾值T進(jìn)行了經(jīng)驗(yàn)總結(jié)。根據(jù)經(jīng)驗(yàn)及實(shí)際仿真結(jié)果可知,經(jīng)驗(yàn)閾值T的選取及設(shè)定與行駛車速及行駛狀態(tài)相關(guān)。在平直公路行駛時的具體關(guān)系符合T=0.025 V+1.5的線性關(guān)系式。在視頻圖像統(tǒng)一采用格式為291×218大小,正常行駛時,車輛在車速為20 km/h正常安全行駛時相鄰運(yùn)動矢量之差都在閾值T=2的范圍內(nèi);車輛在車速為40 km/h正常安全行駛時相鄰運(yùn)動矢量之差都在閾值T=2.5的范圍內(nèi);車輛在車速為60 km/h正常安全行駛時相鄰運(yùn)動矢量之差都在閾值T=3的范圍內(nèi);在轉(zhuǎn)彎行駛狀態(tài)下,由于攝像機(jī)視景中道路一側(cè)非危險區(qū)域的視景會增加,因此一些非危險運(yùn)動矢量可能增加誤判的可能性,在該種情況下,通過統(tǒng)計歸納可知,相應(yīng)的檢測閾值較平直公路有所增加,在2.5的范圍內(nèi);在上下坡行駛狀態(tài)下,由于上坡時攝像機(jī)視景中所出現(xiàn)的天空視景增加,即非危險區(qū)域增加,因此可增加誤判可能性的非危險運(yùn)動矢量增加,需要增加相應(yīng)的檢測閾值,通過統(tǒng)計歸納可得出針對該種情況的經(jīng)驗(yàn)閾值在3的范圍內(nèi);在下坡行駛狀態(tài)下,由于攝像機(jī)視景中所出現(xiàn)的路面視景增加,因此獲取危險運(yùn)動矢量的幾率增加,此時需降低檢測閾值,通過統(tǒng)計歸納可得出該種情況下的經(jīng)驗(yàn)檢測閾值在2的范圍內(nèi)。
圖7 相對車速為40 km/h下對前方車輛減速運(yùn)動檢測結(jié)果Fig.7 The detection results of forward vehicle retarded motion in the relative vehicle speed 40 km/h
車輛正常行駛時,直行各車速下相鄰運(yùn)動矢量之差符合的閾值范圍如表1所示。
表1 直行各車速下相鄰運(yùn)動矢量之差的閾值范圍Tab.1 The threshold range of the difference between adjacent motion vectors in different vehicle speed
文中對基于MPEG運(yùn)動矢量的行車障礙檢測方法進(jìn)行了模擬實(shí)驗(yàn),在對MPEG相關(guān)知識有所了解的前提下,結(jié)合前人在基于MPEG智能輔助駕駛車輛障礙檢測系統(tǒng)中的研究成果,在噪聲的濾除和危險區(qū)域的確定中利用了模板匹配的方法,具體進(jìn)行實(shí)驗(yàn)時,在此基礎(chǔ)上選定與具體路況相匹配的模板和檢測閾值。檢測閾值T的選取在本文中主要是依據(jù)行駛車速及行駛狀態(tài)來確定,通過在不同狀態(tài)下的模擬實(shí)驗(yàn)及經(jīng)驗(yàn)總結(jié),確定了不同車速、不同狀態(tài)下的經(jīng)驗(yàn)檢測閾值,為該種檢測方法提供了更高的可實(shí)施性。
[1]蔡光程.MPEG視頻中對運(yùn)動物體的跟蹤 [J].昆明理工大學(xué)學(xué)報,2004,29(2):68-71.CAI Guang-cheng.Tracking the moving object from MPEG code[J].Journal of Kunming University of Science and Technology,2004,29(2):68-71.
[2]劉濤.智能型汽車行駛主動安全系統(tǒng)研究[D].重慶:重慶大學(xué)自動化學(xué)院,2003.
[3]張偉.智能車輛中的道路檢測與識別[D].重慶:重慶大學(xué),2006.
[4]郝寶青.智能車輛視覺導(dǎo)航中道路與行人檢測技術(shù)的研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2006.
[5]劉化勝,王友仁.車輛視覺導(dǎo)航系統(tǒng)中的實(shí)時道路檢測[J].計算機(jī)測量與控制,2004,12(10):901-904.LIU Hua-sheng,WANG You-ren.Real-time lane detection for vehicle vision system[J].Computer Measurement and Control,2004,12(10):901-904.
[6]張偉.基于視覺的運(yùn)動車輛檢測與跟蹤[D].上海:上海交通大學(xué),2007.