吳 煒李 勃 楊 嫻 端金鳴 陳啟美
(南京大學(xué)電子科學(xué)與工程學(xué)院 南京 210046)
霧、霾等惡劣天氣是嚴(yán)重影響高速公路道路行車安全的因素,每年由低能見度原因造成的交通擁塞甚至惡性事故頻頻發(fā)生,據(jù)統(tǒng)計(jì)發(fā)生在特殊天氣下的交通事故占總交通事故的24%左右,因此及時(shí)、準(zhǔn)確、有效地對(duì)霧天道路能見度進(jìn)行監(jiān)測(cè)和預(yù)警意義重大。傳統(tǒng)的能見度監(jiān)測(cè)儀器價(jià)格昂貴,動(dòng)輒幾十萬(wàn),且無(wú)法密集布設(shè),難以準(zhǔn)確反映整個(gè)路段的能見度情況。因此,急需在實(shí)時(shí)性、準(zhǔn)確性、檢測(cè)范圍上尋求能夠替代甚至超越能見度儀的方法。
近年來(lái),基于視頻處理的能見度檢測(cè)方法因其速度快、成本低、自動(dòng)化等優(yōu)點(diǎn)廣受國(guó)內(nèi)外學(xué)者的青睞。美國(guó)明尼蘇達(dá)州大學(xué)提出了基于固定距離目標(biāo)物的視頻能見度檢測(cè)方法[1],該算法需人工放置目標(biāo)物,操作煩瑣,且成本高,對(duì)檢測(cè)路段的地形環(huán)境有較高要求;MIT提出基于標(biāo)志圖像計(jì)算相對(duì)能見度的方法[2],通過(guò)與樣本庫(kù)中能見度已知的圖像作對(duì)比,得出待檢測(cè)場(chǎng)景圖像的相對(duì)能見度,該方法無(wú)需人工干預(yù)較為方便,但難以用于高速公路上的PTZ攝像機(jī);文獻(xiàn)[3]提出了基于求取路面特征亮度曲線的二階拐點(diǎn)來(lái)估算能見度值的算法,算法具有場(chǎng)景上的局限性,由于實(shí)際攝像機(jī)架的角度,當(dāng)前道路畫面不一定能計(jì)算出二階拐點(diǎn)。文獻(xiàn)[4]研究了場(chǎng)景的物理特性,用非線性數(shù)據(jù)回歸的方式求解能見度,此方法需要對(duì)場(chǎng)景采集大量圖像作為樣本用于機(jī)器學(xué)習(xí),工作量大。
國(guó)內(nèi)方面,許多研究機(jī)構(gòu)在基于視頻的能見度檢測(cè)方法上作出了探索,其中,文獻(xiàn)[5]提出的算法通過(guò)分割出天空區(qū)域進(jìn)行信息重建,引入暗原色的知識(shí)計(jì)算大氣透射率進(jìn)而求得能見度值,該方法需要進(jìn)行長(zhǎng)時(shí)間的時(shí)間積累獲得太陽(yáng)的角度等信息,并且只在1500~3000 m的范圍內(nèi)有較好的效果;文獻(xiàn)[6]提出了基于 SAD 檢測(cè)算法和景深自適應(yīng)算法的視頻霧區(qū)自動(dòng)檢測(cè)方法,需事先采集大量圖像,分割出多組距離信息目標(biāo)物,提取對(duì)比度信息得到能見度相對(duì)值,再根據(jù)基準(zhǔn)標(biāo)志物映射出絕對(duì)距離,此方法對(duì)攝像機(jī)安裝的絕對(duì)位置有要求,稍有擾動(dòng)會(huì)產(chǎn)生較大偏差。本實(shí)驗(yàn)室在能見度檢測(cè)算法上也有多年研究,其中,文獻(xiàn)[7]提出了基于小波變換的視頻能見度檢測(cè)算法,采用小波變換提取圖像邊緣特征點(diǎn),使提取的能見度值符合人眼的特征;文獻(xiàn)[8]提出了無(wú)需人工標(biāo)記的基于視頻圖像對(duì)比度的檢測(cè)方法。這兩種方法計(jì)算量大且易受到噪聲的干擾,影響檢測(cè)的穩(wěn)定性。
在上述研究的基礎(chǔ)上,本文結(jié)合攝像機(jī)標(biāo)定,提出了一種基于路面亮度特征的能見度檢測(cè)算法,利用高度和亮度一致的路面區(qū)域,將其亮度特征曲線作為目標(biāo)值,選定消光系數(shù)的初值,用根據(jù)理論計(jì)算得到的視亮度值與目標(biāo)值作差平方,根據(jù)最小二乘法原理,求使差平方取得最小值時(shí)消光系數(shù)的最優(yōu)解,進(jìn)而得到實(shí)際能見度。經(jīng)過(guò)實(shí)驗(yàn)論證,本文算法與現(xiàn)有算法相比,具有計(jì)算精度高、速度快且對(duì)噪聲魯棒性高等優(yōu)點(diǎn),并且能夠很好地與高速公路路況監(jiān)控系統(tǒng)兼容,具有普適性和實(shí)用性。
根據(jù)路況攝像機(jī)成像模型[9],建立路面坐標(biāo)系、攝像機(jī)坐標(biāo)系間與成像平面間的變換關(guān)系,并推算出路面上一點(diǎn)到攝像機(jī)坐標(biāo)系的垂直距離di與該點(diǎn)在像平面上對(duì)應(yīng)像素點(diǎn)的坐標(biāo)的對(duì)應(yīng)關(guān)系:
其中,θ為攝像機(jī)光軸與路面夾角,H為攝像機(jī)光心距路面的垂直距離,f為鏡頭有效焦距,vi為路面上一點(diǎn)在像平面坐標(biāo)系中的行坐標(biāo),vh為滅點(diǎn)在像平面坐標(biāo)系中的行坐標(biāo)。
光在介質(zhì)中傳播時(shí)[10],在其傳播路徑上能量不斷地?fù)p耗。根據(jù)Koschmieder理論[11],令k表示大氣消光系數(shù),某一固定亮度的物體在距離人眼距離為處的視亮度與物體本身亮度及背景亮度Lf關(guān)系為
根據(jù)CIE的定義[12],目標(biāo)物相對(duì)于背景對(duì)比度大于0.05的像素點(diǎn),人眼才能夠區(qū)分出來(lái),用Cd表示目標(biāo)物亮度對(duì)比度,C0表示固有亮度對(duì)比度,當(dāng)時(shí),對(duì)于臨界位置處的黑色目標(biāo)物,可以計(jì)算出大氣能見距離Vmet為
在成像過(guò)程中,由于真實(shí)3維空間和圖像2維空間轉(zhuǎn)換的關(guān)系,容易丟失物體高度信息,使得部分物體成像在地平線之上,因此本文采用拋物線擬合車道線,再通過(guò)隨機(jī)霍夫變換分割出完整的路面,如圖1所示。
為了排除路側(cè)樹木、路基等干擾,使得提取出的路面亮度具有一致性,本文采用區(qū)域增長(zhǎng)算法[13,14]。設(shè)置路面興趣域最底端為種子區(qū)域,計(jì)算種子區(qū)域的灰度中值,記為。令種子區(qū)域的上一行像素點(diǎn)為目標(biāo)區(qū)域,逐行向上處理,選擇像素點(diǎn)與其3鄰域內(nèi)像素點(diǎn)的亮度值之差作為判別閾值,如圖2所示,若目標(biāo)像素點(diǎn)的亮度值與種子點(diǎn)的中值亮度之間滿足式(4)所示約束關(guān)系,則認(rèn)為此點(diǎn)是亮度一致的路面上的點(diǎn)。
圖1 車道分割線重建
圖2 種子點(diǎn)上3鄰域示意圖
其中,nr表示目標(biāo)像素點(diǎn)與初始種子點(diǎn)ps相隔的行數(shù)。
對(duì)圖像依照自下而上、從左至右原則逐行掃描,獲得滿足亮度一致性的像素點(diǎn)后,采用Nagao中值濾波[15]將滿足高度、亮度一致性的像素點(diǎn)加入到路面區(qū)域中,得到精確增長(zhǎng)出的路面區(qū)域。區(qū)域增長(zhǎng)的效果可見圖3(a), 3(b)。
圖3 區(qū)域增長(zhǎng)前后效果對(duì)比圖
在分割出的路面區(qū)域中,去除了行駛車輛、中間綠化帶、樹木陰影、車道線等的影響后,對(duì)于路面區(qū)域的每一行,亮度值會(huì)出現(xiàn)不連續(xù)的情況,因此不能直接取每行路面中點(diǎn)的亮度值作為該行路面的特征視亮度。為此,本文先計(jì)算圖像目標(biāo)行第 v行中的連續(xù)像素點(diǎn)集,選取包含像素點(diǎn)數(shù)量最多的連續(xù)像素點(diǎn)集,其像素個(gè)數(shù)記為,如圖4(a)所示。隨后據(jù)式(5)計(jì)算該最長(zhǎng)點(diǎn)集的亮度中值,將第vi行的路面視亮度特征記為。
圖4是對(duì)圖3(a)霧天交通視頻圖像經(jīng)過(guò)分割去噪后提取出的路面區(qū)域,按照上述原則,對(duì)整幅圖像以行為單位,據(jù)式(5)計(jì)算第 vi行對(duì)應(yīng)的視亮度,并畫出路面亮度-距離特征曲線,如圖5所示。進(jìn)而通過(guò)式(1)進(jìn)行實(shí)際距離與圖像坐標(biāo)的轉(zhuǎn)換,也即得出路面視亮度與實(shí)際距離的視亮度真值曲線。
圖4 最長(zhǎng)連續(xù)像素點(diǎn)集
圖5 路面亮度-距離(v)特征曲線
3.3.1 最小二乘法原理
由極值的必要條件:
3.3.2目標(biāo)函數(shù)建立及求解 結(jié)合上述Koschmieder理論和最小二乘法原理[16,17],假設(shè)取不同的k和L0值代入式(2)計(jì)算視頻圖像每行對(duì)應(yīng)的視亮度,便能得到許多條對(duì)應(yīng)不同的曲線,若將此曲線與亮度真值曲線擬合,根據(jù)最小二乘法原理,當(dāng)兩條曲線無(wú)限接近時(shí),則此時(shí)的即目標(biāo)圖像實(shí)際對(duì)應(yīng)的消光系數(shù)和固有亮度。因此,本文以假設(shè)曲線與真實(shí)目標(biāo)曲線的差平方建立目標(biāo)函數(shù),根據(jù)最小二乘法逼近原理,計(jì)算目標(biāo)函數(shù)取得最小值時(shí)的最優(yōu)解。
據(jù)式(2)建立目標(biāo)函數(shù):
根據(jù)極值條件,目標(biāo)函數(shù)對(duì)L0求偏導(dǎo),有
由最優(yōu)解處條件,式(9)=0,化簡(jiǎn)得
由式(10)可以得出L0和k之間的關(guān)系,隨后將目標(biāo)函數(shù)對(duì)k求偏導(dǎo):
將式(10)代入式(12),經(jīng)過(guò)整理得
式中,h是圖像總行數(shù),di是圖像上第vi行對(duì)應(yīng)實(shí)際路面上該行到攝像機(jī)坐標(biāo)系的垂直距離,據(jù)式(1)計(jì)算得出;Lf是天空背景亮度即滅點(diǎn)處的視亮度值;為直接從圖像中得到的路面視亮度,作為目標(biāo)真值。因此,只有 k是未知數(shù),解方程式(13)得到消光系數(shù)k,進(jìn)而由式(3)求得能見度距離vis。
根據(jù)路況攝像機(jī)的成像模型和大氣光學(xué)基本原理,文中假定在有霧情況下,視頻一旦開始拍攝則攝像機(jī)的位置固定,俯仰角、焦距等參數(shù)不再改變。首先確保路面區(qū)域高度的一致性,本文采用拋物線擬合車道線,通過(guò)隨機(jī)霍夫變換(RHT)檢測(cè)圖像的ROI,再通過(guò)特定的區(qū)域增長(zhǎng)準(zhǔn)則保證圖像具有亮度一致性,得到精確的區(qū)域來(lái)計(jì)算路面每一行的視亮度特征值,從而得出亮度-距離曲線。對(duì)于視頻中的每一幀圖像,大氣消光系數(shù)和路面固有亮度均是一個(gè)定值,取不同的k和L0值代入式(2)得到L(di)與整幅圖像的視亮度真值作差平方,建立目標(biāo)函數(shù),根據(jù)最小二乘原理,計(jì)算目標(biāo)函數(shù)Q(k,L0)取得最小值時(shí)的消光系數(shù) k,從而據(jù)式(3)算出對(duì)應(yīng)的能見度值。
本文具體算法流程如圖6所示。
本文將此能見度檢測(cè)算法在自行研制的高速公路視頻監(jiān)控系統(tǒng)上進(jìn)行了測(cè)試,測(cè)試硬件平臺(tái)為Intel Core i5-2500 @ 3.3 GHz 4核 CPU, 4 GB內(nèi)存,SUSE Linux操作系統(tǒng),所采集的視頻來(lái)自江蘇省寧連高速公路視頻監(jiān)控圖像,格式為MPEG-2,分辨率為704×576。
選擇典型霧天天氣情況,從 8:03~10:33每 10 min截取1幀圖像,即圖7(a)~7(p)所示的16幀圖像,以此作為測(cè)試序列,分別將本文算法測(cè)試結(jié)果與能見度儀測(cè)值、文獻(xiàn)[7]提出的基于小波變換的視頻能見度檢測(cè)算法、文獻(xiàn)[8]提出的無(wú)需人工標(biāo)記的基于視頻圖像對(duì)比度的檢測(cè)方法結(jié)果進(jìn)行對(duì)比,考察性能優(yōu)劣。其中,用于測(cè)量真值的儀器是芬蘭VAISALA公司生產(chǎn)的PWD22前向散射能見度計(jì),精確度為±1.5%。
圖6 具體算法流程圖
對(duì)于式(1)中的λ,只需在視頻圖像中找到一條清晰的車道分割線,車道分割線頭端到攝像機(jī)坐標(biāo)系的距離為 d2,車道分割線尾端到攝像機(jī)坐標(biāo)系的距離為 d1,由于實(shí)際高速公路的車道分割線有固定長(zhǎng)度6 m,且車道線到攝像機(jī)距離較遠(yuǎn),因此近似認(rèn)為,并讀出該車道分割線頭尾的行坐標(biāo),代入式(1)可以計(jì)算得到:
對(duì)于不同時(shí)刻的測(cè)試圖像,圖7中給出了應(yīng)用本文算法得出的相應(yīng)能見度值。不難發(fā)現(xiàn),該結(jié)果與人眼感知的能見度距離十分吻合。為了更加客觀,圖8同時(shí)給出了能見度儀測(cè)值、小波算法、對(duì)比度法和本文算法的計(jì)算結(jié)果。
從統(tǒng)計(jì)結(jié)果中可以看出,小波算法在霧濃度較低時(shí)檢測(cè)結(jié)果偏大,且易受攝像機(jī)晃動(dòng)等因素影響;對(duì)比度法是逐點(diǎn)計(jì)算,對(duì)圖像中出現(xiàn)的鏡頭污漬、車輛等噪聲較為敏感,容易發(fā)生跳變(如09:23時(shí)刻數(shù)據(jù));而本文算法先對(duì)整個(gè)圖像預(yù)處理,以行為單位進(jìn)行計(jì)算,受噪聲影響小,有較好的魯棒性。由圖8可見,本文算法結(jié)果在大部分?jǐn)?shù)值與真值近乎一致,只有少部分?jǐn)?shù)值略有偏差,同時(shí)經(jīng)觀察,本文算法能極好地反映相鄰能見度值的變化,與真值變化趨勢(shì)完全一致,這一特點(diǎn)也為將來(lái)應(yīng)用本文算法進(jìn)行霧霾消散情況的預(yù)測(cè)提供了支持。
圖7 霧天視頻圖像測(cè)試序列
圖9為本文算法及其他算法相對(duì)于能見度儀測(cè)量值的誤差,表1給出了3種算法的平均誤差和準(zhǔn)確率。由數(shù)據(jù)得出,本文算法誤差均在10 m以內(nèi),平均誤差只有約5 m,這樣微小的誤差在高速公路實(shí)際應(yīng)用中是可以忽略的。通過(guò)準(zhǔn)確率對(duì)比,顯見本文算法精確度更高。
據(jù)本文理論,能見度檢測(cè)問(wèn)題歸結(jié)為求目標(biāo)函數(shù)極小值的問(wèn)題。為此,以圖 3(a)霧天交通圖像為例,從0~0.2之間以0.001為間隔取不同的消光系數(shù)k值代入式(10)計(jì)算Q,得到如圖10所示曲線,顯見Q為凸函數(shù),有且僅有一個(gè)極小值,符合本文理論。
表1 算法準(zhǔn)確率對(duì)比
再者,由消光系數(shù) k值可以據(jù)式(12)反推出路面固有亮度L0的值,圖11列出了每幅測(cè)試圖像對(duì)應(yīng)的L0的值。路面固有亮度是根據(jù)CIE相應(yīng)測(cè)試標(biāo)準(zhǔn)得出的一個(gè)路面固有特征,針對(duì)一個(gè)固定的場(chǎng)景,L0是一個(gè)定值。由圖可見,同一段道路在不同時(shí)刻下計(jì)算得出的固有亮度值基本維持穩(wěn)定,均值為85.5,符合該標(biāo)準(zhǔn),說(shuō)明本文算法具有較好的穩(wěn)定性。
表2給出了本文算法和其他兩種算法在測(cè)試環(huán)境下的計(jì)算速率及資源利用率。小波算法和對(duì)比度法是逐點(diǎn)進(jìn)行處理,而本文算法則是以行為單位進(jìn)行計(jì)算,并采用了最小二乘法逼近求解,減小了計(jì)算開銷。
圖8 本文算法與能見度儀值、其他算法結(jié)果對(duì)比
圖9 誤差對(duì)比分析
圖10 圖3(a)道路圖像的Q-k曲線
圖11 路面固有亮度L0計(jì)算值
表2 算法計(jì)算速率比較
本文能見度檢測(cè)系統(tǒng)與現(xiàn)有高速公路路況監(jiān)控系統(tǒng)兼容,可方便地接入,并已在滬寧、寧連、寧常等路段試用。與能見度儀和以往的軟件檢測(cè)形式對(duì)比,具有以下明顯優(yōu)勢(shì):(1)無(wú)需設(shè)置任何人工標(biāo)志物,充分利用了路況攝像機(jī)的視頻圖像,無(wú)附加成本,監(jiān)測(cè)直觀,處理及時(shí),具有重要的社會(huì)經(jīng)濟(jì)效益;(2)本文算法提取滿足條件的路面區(qū)域進(jìn)行逐行計(jì)算,排除了周圍噪聲干擾,計(jì)算速度快,準(zhǔn)確率高,穩(wěn)定性好,適用于實(shí)時(shí)監(jiān)測(cè);(3)對(duì)高速沿路分布的監(jiān)控視頻逐一進(jìn)行能見度檢測(cè),進(jìn)而開展全路段的能見度統(tǒng)計(jì)分析,反饋給運(yùn)管部門,實(shí)時(shí)發(fā)布路況能見度信息,給出相應(yīng)路段的車輛限速,以及路由迂回等信息,具有廣闊的應(yīng)用前景和推廣價(jià)值。
當(dāng)然,本文算法也存在一些不足,如在夜間,由于照明條件問(wèn)題,不能準(zhǔn)確地提取出路面視亮度,導(dǎo)致能見度檢測(cè)該方法模型并不適用。此外,測(cè)試時(shí)已驗(yàn)證,本文算法能夠完全準(zhǔn)確地反映能見度值變化的趨勢(shì),這一特點(diǎn)為進(jìn)行霧霾消長(zhǎng)情況的預(yù)測(cè)提供了支持,也是本文算法進(jìn)行下一步深化研究的目標(biāo)。
[1] Kwon T M. Atmospheric visibility measurements using video
[10] Harrison R G. Aerosol-induced correlation between visibility and atmospheric electricity[J]. Journal of Aerosol Science,2012, 52(6): 121-126.
[11] Jaruwatanadilok S, Ishimaru A, and Kuga Y. Optical imaging through clouds and fog[J]. IEEE Transactions on Geoscience and Remote Sensing, 1993, 41(8): 1834-1843.
[12] CIE: International Lighting Vocabulary. CIE Publications 17.4[S]. Commission International de L’Eclairage, 1987.
[13] Shihf Y and Cheng S. Automatic seeded region growing for color image segmentation[J]. Image and Vision Computing,2005, 23(4): 771-792.
[14] 解立志, 周明全, 田沄, 等. 基于區(qū)域增長(zhǎng)與局部自適應(yīng)-C-V-模型的腦血管分割[J]. 軟件學(xué)報(bào), 2013, 24(8):1927-1936.Xie Li-zhi, Zhou Ming-quan, Tian Yun, et al..Cerebrovascular segmentation based on region growing and local adaptive C-V model[J]. Journal of Software, 2013, 24(8):1927-1936.
[15] 張煜東, 吳樂(lè)南. 基于SPCNN和Nagao濾波的圖像去噪[J].中國(guó)科學(xué)F輯: 信息科學(xué), 2009, 39(6): 598-607.Zhang Yu-dong and Wu Yue-nan. Image denoising based on SPC-NN and Nagao filter[J]. SCIENCE IN CHINA F:Information Science, 2009, 39(6): 598-607.
[16] Tobar F A, Kung Sun-yuan, and Mandic D P. Multikernel least mean square algorithm[J]. IEEE Transactions on Neural Networks and Learning Systems, 2013, 25(2): 265-277.
[17] Gui Guan, Peng Wei, and Fumiyuki A. Improved adaptive sparse channel estimation based on the least mean square algorithm[C]. IEEE Wireless Communications and Networking Conference, Shanghai, China, April 2013:3105-3109.