彭 博 蔡曉禹 張有節(jié) 李少博

(重慶交通大學(xué)交通運輸學(xué)院, 重慶 400074)

基于對稱幀差和分塊背景建模的無人機視頻車輛自動檢測

彭 博 蔡曉禹 張有節(jié) 李少博

(重慶交通大學(xué)交通運輸學(xué)院, 重慶 400074)

為了從廣域的視角準(zhǔn)確全面地識別交通流信息,針對無人機視頻提出了基于對稱幀差和分塊背景建模的車輛自動檢測方法.首先,對視頻圖像進(jìn)行4×4降維處理和灰度化處理,并人工勾勒出感興趣區(qū)域(ROI),以降低圖像維度,劃定檢測區(qū)域;其次,利用對稱幀間差分法提取ROI中的運動目標(biāo),并在此基礎(chǔ)上應(yīng)用分塊背景建模獲得背景圖像;然后,通過背景差分初步提取車輛信息;最后,基于形態(tài)學(xué)處理等方法消除噪聲,實現(xiàn)車輛識別.此外,提出了針對車輛識別算法的正檢率、重檢率、漏檢率和錯檢率4個評價指標(biāo).基于150幀無人機視頻圖像對算法進(jìn)行測試,結(jié)果表明:算法具有較高的正檢率(均值92.29%)、較低的漏檢率(均值7.31%)與錯檢率(均值0.39%),而重檢率為0.

智能交通;車輛檢測;對稱幀間差分;背景建模;無人機;感興趣區(qū)域

在現(xiàn)代交通系統(tǒng)中,基于視頻的交通信息檢測是一種重要的交通信息采集技術(shù).由于其具有可視化、安裝維護(hù)便捷、可獲取多種交通參數(shù)且不破壞路面結(jié)構(gòu)等優(yōu)勢,在交通監(jiān)控管理和交通研究等領(lǐng)域得到了廣泛的應(yīng)用,國內(nèi)外學(xué)者也對車輛視頻檢測進(jìn)行了長期的研究[1].

近年來,無人機因其具有成本低、檢測范圍廣、不受地面交通干擾、可獲取多種交通參數(shù)等優(yōu)勢,越來越受到交通研究人員的關(guān)注[2-9].從2002年起,美國[2]、德國[3]、西班牙[4]、俄羅斯[5]、韓國[6]及中國[7-9]等國家的交通管理局和高校等機構(gòu)先后展開了無人機在交通領(lǐng)域的應(yīng)用研究.研究者一致認(rèn)為,基于無人機視頻進(jìn)行實時的交通信息采集和交通監(jiān)控具有很大潛力,但也面臨著車輛識別難度高、計算量大等挑戰(zhàn).

為此,人們展開了一系列與無人機視頻車輛檢測相關(guān)的研究,例如:Coifman等[10]使用無人機采集城市道路交通流信息,結(jié)合GIS平臺提取交通流量、密度、平均交通量、道路服務(wù)水平等;Cheng等[11]針對無人機圖像,利用背景消除和背景配準(zhǔn)技巧來識別動態(tài)車輛;劉慧等[12]針對背景像素的移動,提出了SURF特征穩(wěn)像和光流法向量相結(jié)合的新方法來解決低空視頻的道路車輛檢測;譚雄等[13]針對無人機視頻背景位移的特點進(jìn)行全局運動補償和背景位移消除,然后實現(xiàn)車輛檢測與跟蹤;張新[14]利用背景差分法進(jìn)行車輛檢測,以此為基礎(chǔ)提取交通信息并將其用于城市道路車輛跟蹤模型的標(biāo)定;Azevedo等[15]基于中值背景差分法檢測遙感圖像中的車輛;周雨陽等[16]基于無人機視頻計算交叉口行駛車輛的速度、加速度、車頭間距等車輛運行參數(shù).

綜觀這些既有方法,大都采用車輛檢測方法對低空視頻、遙感圖像和無人機視頻進(jìn)行車輛跟蹤和交通參數(shù)提取,而專門針對無人機視頻車輛檢測方法的研究還比較少見,也很少進(jìn)行定量的評價分析.

因此,本文提出一種基于對稱幀間差分處理和分塊背景建模的無人機視頻車輛自動檢測方法,建立了車輛檢測算法評價指標(biāo)體系,并基于150幀無人機視頻圖像對算法進(jìn)行了測試與分析.

1 方法簡介

本文基于背景建模方法進(jìn)行無人機視頻的車輛檢測,使用的視頻數(shù)據(jù)由國內(nèi)某品牌無人機懸停于道路正上方50～100 m處、攝像機鏡頭以-90°(即垂直朝下)拍攝,視頻分辨率為3 840×2 160像素.主要步驟如下:

① 圖像預(yù)處理.對無人機視頻的幀圖像進(jìn)行降維處理和灰度化處理,同時人工勾勒出感興趣區(qū)域(ROI).

② 背景模型建立.通過對稱幀間差分處理獲得初步的運動目標(biāo)圖像,在此基礎(chǔ)上應(yīng)用分塊背景建模思想生成背景圖像.

③ 車輛檢測.通過背景差分、圖像去噪等處理,獲得車輛檢測結(jié)果.

2 原始圖像三重預(yù)處理方法

圖像預(yù)處理方法主要包括3個步驟:圖像降維、感興趣區(qū)域繪制和圖像灰度處理.

2.1 圖像降維預(yù)處理

無人機視頻的原始幀圖像(3 840×2 160像素)如圖1所示.對該圖像進(jìn)行4×4降維處理,圖像尺寸降低為960×540像素,從而可降低計算量,縮短計算時間.

圖1 無人機視頻原始圖像示例

2.2 圖像勾畫預(yù)處理

無人機視頻的場景較廣,但車輛識別時僅需針對特定道路范圍的圖像進(jìn)行處理,因此需要勾畫感興趣區(qū)域,使得后續(xù)車輛檢測程序只針對該區(qū)域展開運算,進(jìn)而大幅降低算法復(fù)雜度,節(jié)省運行時間.繪制的感興趣區(qū)域如圖2中線框所示.

圖2 繪制的感興趣區(qū)域

2.3 圖像灰化預(yù)處理

根據(jù)既有視頻和圖像識別研究的常見做法,將降維圖像轉(zhuǎn)化為灰度圖像,如圖3所示.

圖3 降維灰度圖像

3 基于對稱幀間差分處理的背景圖像生成

通過對稱幀間差分處理獲得初步的運動目標(biāo)圖像,在此基礎(chǔ)上應(yīng)用分塊背景建模思想生成背景圖像.

3.1 對稱幀間差分處理

對稱幀間差分處理的輸入圖像為連續(xù)3幀降維灰度圖像(第i-1,i,i+1幀),簡記為Ii-1,Ii,Ii+1.對稱幀間差分處理主要包含差分處理、中值濾波和圖像二值化3個處理環(huán)節(jié).

(1)

(2)

(3)

3.2 運動目標(biāo)圖像初步識別

圖5 運動目標(biāo)初步識別結(jié)果Bi

3.3 分塊背景建模

本文提出了一種基于對稱幀間差分的分塊建模方法,流程如圖6所示,其主要步驟說明如下:

圖6 背景建模流程圖

① 初背景圖像Ib的尺寸與對稱幀間差分結(jié)果Bi及降維灰度圖Ii一致.

② 子塊劃分.將Bi,Ii,Ib均劃分為M×N個子塊(子塊大小根據(jù)實際情況而定,例如取M=48,N=27,則子塊尺寸為20×20像素).Bi的像素分為前景像素(白色像素,代表運動目標(biāo))和背景像素(黑色像素,代表背景),因而Bi的子塊可能存在如下3種情況:背景子塊(全為背景像素,如圖7中子塊3)、含背景像素和前景像素的子塊(如圖7中子塊2)、前景子塊(全為前景像素,如圖7中子塊1).

③ 生成背景圖Ib.當(dāng)Ib中M×N個子塊均生成背景時,背景圖像Ib才成功生成.因此,首先經(jīng)過j++循環(huán),對Bi的所有子塊進(jìn)行背景判斷,如果成功生成Ib,則背景建模完成.否則,需要進(jìn)入i++循環(huán),進(jìn)行下一輪對稱幀間差分處理,獲得更新后的Bi,再進(jìn)行子塊背景判斷,直到Ib中M×N個子塊均生成背景.

圖7 Bi的子塊劃分示例

通常情況下,背景建模過程中將多次進(jìn)入i++循環(huán),即會多次調(diào)用對稱幀間差分處理程序,然后才能成功生成背景圖像,如圖8所示.

(a) 生成部分背景子塊的Ib

(b) 成功生成的背景圖像Ib

4 基于背景差分的車輛識別

對于無人機視頻的任意一幀降維灰度圖像(第k幀,記為Ik),通過背景差分法獲得差分圖像,然后進(jìn)行去噪和車輛識別.

4.1 背景差分處理

對Ik與Ib進(jìn)行絕對差分計算,獲得差分圖像Dk,如圖9所示.計算公式如下:

(4)

(a) Ik

(b) Dk

4.2 圖像去噪

為了初步消除背景差分圖像噪聲,采用2×2像素尺寸的中值濾波算子對Dk進(jìn)行濾波處理,然后采用對稱幀間差分處理過程中用到的圖像二值化方法生成Dk的二值化圖像Bk,如圖10所示.

圖10 去噪二值圖像Bk

4.3 車輛識別

為了準(zhǔn)確識別車輛目標(biāo),需要剔除路面標(biāo)線、小型目標(biāo)(摩托車、自行車和行人)等干擾因素,最終實現(xiàn)車輛輪廓定位.為此,對Bk進(jìn)行了如下操作:① 膨脹和內(nèi)輪廓填充操作,主要目的是補空洞邊緣、增強目標(biāo)完整性和連續(xù)性.② 腐蝕操作,主要目的是使所有目標(biāo)區(qū)域向內(nèi)收縮,消除部分尺寸較小的噪聲.③ 去噪處理,對于圖像中的任意前景區(qū)域,當(dāng)其面積較小或過于狹長時,判定為噪聲予以剔除.④ 車輛識別,對于任意前景區(qū)域Ωm,A(Ωm)表示Ωm的面積,R(Ωm) 表示Ωm的最小外接矩形長寬比,當(dāng)其滿足如下條件

(5)

時可判定為車輛.式中,a,r分別為車輛面積閾值和車輛長寬比閾值.經(jīng)過測試,a可取120,r可取6.將車輛用矩形線框標(biāo)識出來,如圖11所示.

圖11 車輛識別結(jié)果

5 算法性能評價分析

算法需要設(shè)置3個參數(shù):圖像分割閾值調(diào)整值Δ、車輛面積閾值a和車輛長寬比閾值r.在經(jīng)過大量數(shù)據(jù)測試和分析的基礎(chǔ)上,本文取Δ=25,a=120,r=6.

5.1 既有相關(guān)評價指標(biāo)簡介

本文基于無人機視頻進(jìn)行車輛識別,本質(zhì)上仍屬于圖像處理范疇.既有圖像檢測研究常用F1指標(biāo)評價算法優(yōu)劣[18],F1值越高算法越優(yōu).

根據(jù)F1指標(biāo)評價法的思想,首先將車輛檢測結(jié)果分為4種情況:① 車輛被判定為車輛,即TP;② 車輛被漏檢,即FN;③ 其他物體被檢測成車輛,即FP;④ 背景被判定為背景,即TN.F1計算公式如下:

(6)

式中,P為準(zhǔn)確率(precision),P=TP/(TP+FP);R為召回率(recall),R=TP/(TP+FN).

但實際上車輛檢測結(jié)果還可能存在一輛車被檢測成2輛車或多輛車的情況.此時,情況①實際涵蓋了2種情況:單個車輛被判定為1輛車(即真正意義上的準(zhǔn)確檢測);單個車輛被判定為2輛或多輛車(即重復(fù)檢測).因此,F1指標(biāo)的計算存在不足之處,并不完全適用于無人機視頻車輛檢測算法的評價.

5.2 新建評價指標(biāo)體系

鑒于F1評價指標(biāo)存在的缺陷,本文對檢測結(jié)果的情況進(jìn)行了更細(xì)致分類:① 車輛被正確檢測,即一輛車被判定為一輛車;② 車輛重檢,即一輛車被檢測成2輛車或多輛車;③ 車輛漏檢;④ 其他物體被檢測成車輛;⑤ 背景被判定為背景.根據(jù)以上分類,提出了正檢率PT、重檢率PR、漏檢率PM和錯檢率PW4個評價指標(biāo),并用這4個指標(biāo)衡量算法檢測效果的優(yōu)劣.

PT=NT/NS

(7)

PR=NR/NS

(8)

PM=NM/NS

(9)

PW=(NR+NE)/NS

(10)

式中,NE為檢測區(qū)內(nèi)被檢測成車輛的非車輛物體個數(shù);NT為檢測區(qū)內(nèi)正確檢測的車輛數(shù);NM為檢測區(qū)內(nèi)被漏檢的車輛數(shù);NR為檢測區(qū)內(nèi)被重復(fù)檢測的車輛數(shù);NS為實際車輛數(shù),NS=NT+NM+NR,因此有PT+PR+PM=1.

5.3 評價結(jié)果分析

在Microsoft Visual Studio 2010和OpenCV 2.4.9環(huán)境下編制本文算法程序,并實現(xiàn)無人機視頻檢測.隨機提取150幀檢測圖像,基于檢測結(jié)果和人工判讀,對于每一張圖像均可計算出一組評價指標(biāo)值,統(tǒng)計結(jié)果如表1和圖12所示.

表1 算法評價指標(biāo)統(tǒng)計結(jié)果 %

由表1可看出,算法正檢率均值為92.29%;重檢率均值為0,表明幾乎不會將一輛車識別為多輛車;漏檢率均值為7.31%,即很少發(fā)生車輛漏檢情況;錯檢率均值為0.39%,表明很少將其他物體識別為車輛.從4個指標(biāo)的均值和中值來看,本文算法均取得了較好的車輛檢測效果.正檢率、重檢率、漏檢率和錯檢率的方差分別為0.017%,0%,0.016%和0.001%,表明評價指標(biāo)值集中分布于均值附近,離散程度較小,體現(xiàn)了算法檢測結(jié)果具有較高的穩(wěn)定性.

圖12 評價指標(biāo)值分布

由圖12的評價指標(biāo)分布情況可看出:① 約有130張圖像(占樣本總量的86%)的正檢率高于80%,約有115張圖像(占樣本總量的77%)的正檢率高于90%,表明對于大部分圖像而言,正檢率都能達(dá)到較高水平;② 對于150張圖像,重檢率均為0,表明檢測算法對車輛的整體分割效果較好,能保證車輛的完整性;③ 漏檢率為0%～54%,約有90張圖像(占樣本總量的60%)的漏檢率為0,約有120張圖像(占樣本總量的80%)的漏檢率小于10%,表明大多數(shù)情況下車輛漏檢幾率較低;④ 絕大部分圖像錯檢率為0,只有少數(shù)幾張圖像錯檢率在8.3%～17.0%,表明算法很少將其他物體誤判為車輛.

由上述分析可看出,算法在重檢率和錯檢率方面已取得比較滿意的效果;正檢率平均值較高,但仍有部分圖像只能獲得46%～80%的正檢率,根據(jù)PT+PR+PM=1,由于PR=0,要提高正檢率,就需要降低漏檢率.從算法測試圖像來看,車輛漏檢的主要原因在于部分車輛色澤比較黯淡(特別是黑色或灰色車輛)、與路面灰度十分接近,這使得對稱幀間差分處理和背景差分之后車輛目標(biāo)不清晰、完整,導(dǎo)致車輛無法識別.如何避免或減少車輛漏檢情況的發(fā)生,將是下一步著重研究的課題.

6 結(jié)語

本文針對無人機視頻,提出了一種基于對稱幀間差分和分塊背景建模的車輛自動識別方法.該方法通過圖像預(yù)處理和對稱幀間差分處獲得初步運動目標(biāo),再應(yīng)用分塊建模思想建立背景模型,通過背景差分和去噪處理等程序?qū)崿F(xiàn)車輛識別.本文還新提出了正檢率、重檢率、漏檢率和錯檢率4個指標(biāo)來衡量算法的性能.測試表明,本文方法可獲得較高的正檢率,而重檢率、錯檢率和漏檢率均較低.

該方法為基于無人機視頻的廣域交通流信息(如交通密度和車輛軌跡)實時采集奠定了基礎(chǔ),有望彌補現(xiàn)有交通信息采集技術(shù)的不足,推動廣域交通流分析等相關(guān)研究,因此具有較廣闊的工程應(yīng)用價值和理論意義.由于交通場景的復(fù)雜多樣性,本文方法還有待進(jìn)一步提升,需要基于更廣泛的無人機懸停及巡航視頻數(shù)據(jù)展開測試和改進(jìn)研究.

References)

[1]張暉,董育寧.基于視頻的車輛檢測算法綜述[J].南京郵電大學(xué)學(xué)報(自然科學(xué)版),2007,27(3):88-94. DOI:10.3969/j.issn.1673-5439.2007.03.018. Zhang Hui, Dong Yuning. Survey on video based vehicle detection algorithms[J].JournalofNanjingUniversityofPostsandTelecommunications(NaturalScience), 2007, 27(3): 88-94. DOI:10.3969/j.issn.1673-5439.2007.03.018. (in Chinese)

[2]Carroll E A, Rathbone D B. Using an unmanned airborne data acquisition system (ADAS) for traffic surveillance, monitoring, and management[C]//ASME2002InternationalMechanicalEngineeringCongressandExposition. New Orleans, Louisiana, USA, 2002: 145-157. DOI:10.1115/imece2002-32916.

[3]Bethke K H, Baumgartner S, Gabele M, et al. Air-and spaceborne monitoring of road traffic using SAR movingtarget indication—Project TRAMRAD[J].ISPRSJournalofPhotogrammetryandRemoteSensing, 2006, 61(3): 243-259. DOI:10.1016/j.isprsjprs.2006.09.005.

[4]Sánchez-Oro J, Fernández-López D, Cabido R, et al. Radar-based road-traffic monitoring in urban environments[J].DigitalSignalProcessing, 2012, 23(1): 364-374. DOI:10.1016/j.dsp.2012.09.012.

[5]Kim N V, Chervonenkis M A. Situation control of unmanned aerial vehicles for road traffic monitoring[J].ModernAppliedScience, 2015, 9(5): 1-13. DOI:10.5539/mas.v9n5p1.

[6]Hoang V D, Hernandez D C, Filonenko A, et al. Path planning for unmanned vehicle motion based on road detection using online road map and satellite image[C]//ComputerVision—ACCV2014Workshops. Singapore, 2014: 433-447. DOI:10.1007/978-3-319-16631-5_32.

[7]Cao X, Gao C, Lan J, et al. Ego motion guided particle filter for vehicle tracking in airborne videos[J].Neurocomputing, 2014, 124(2): 168-177. DOI:10.1016/j.neucom.2013.07.014.

[8]彭仲仁,劉曉鋒,張立業(yè),等.無人飛機在交通信息采集中的研究進(jìn)展和展望[J].交通運輸工程學(xué)報,2012,12(6):119-126. Peng Zhongren, Liu Xiaofeng, Zhang Liye, et al. Research progress and prospect of UAV applications in transportation information collection[J].JournalofTrafficandTransportationEngineering, 2012, 12(6): 119-126. (in Chinese)

[9]Kanistras K, Martins G, Rutherford M J, et al. Survey of unmanned aerial vehicles (UAVs) for traffic monitoring[C]//InternationalConferenceonUnmannedAircraftSystems. Atlanta, Georgia, USA, 2013:221-234.

[10]Coifman B, McCord M, Mishalani R G, et al. Roadway traffic monitoring from an unmanned aerial vehicle[J].IEEProceedings—IntelligentTransportSystems, 2006, 153(1): 11. DOI:10.1049/ip-its:20055014.

[11]Cheng P, Zhou G, Zheng Z. Detecting and counting vehicles from small low-cost UAV images[C]//ASPRS2009AnnualConference. Baltimore, Maryland, 2009: 1-7.

[12]劉慧,李清泉,曾喆,等.利用低空視頻檢測道路車輛[J].武漢大學(xué)學(xué)報(信息科學(xué)版),2011,36(3):316-320. Liu Hui, Li Qingquan, Zeng Zhe, et al. Vehicle detection in low-altitude aircraft video[J].GeomaticsandInformationScienceofWuhanUniversity, 2011, 36(3): 316-320. (in Chinese)

[13]譚熊,余旭初,劉景正,等.基于無人機視頻的運動目標(biāo)快速跟蹤[J].測繪通報,2011(9):32-34,41. Tan Xiong, Yu Xuchu, Liu Jingzheng, et al. Object fast tracking based on unmanned aerial vehicle video[J].BulletinofSurveyingandMapping, 2011(9): 32-34,41.(in Chinese)

[14]張新.基于無人機視頻的交通參數(shù)提取方法及應(yīng)用[D].上海:同濟(jì)大學(xué)交通運輸工程學(xué)院,2014.

[15]Azevedo C L, Cardoso J L, Ben-Akiva M, et al. Automatic vehicle trajectory extraction by aerial remote sensing[J].Procedia-SocialandBehavioralSciences, 2014, 111: 849-858. DOI:10.1016/j.sbspro.2014.01.119.

[16]周雨陽,龔藝,姚琳,等.無人機廣域視頻的機動車交通參數(shù)計算及分析[J].交通運輸系統(tǒng)工程與信息,2015,15(6):67-73. Zhou Yuyang, Gong Yi, Yao Lin, et al. Calculation and analysis of the traffic parameters of vehicles based on the wide-area drone video[J].JournalofTransportationSystemsEngineeringandInformationTechnology, 2015, 15(6): 67-73. (in Chinese)

[17]Otsu N. A threshold selection method from gray-level histograms[J].IEEETransactionsonSystems,Man,andCybernetics, 1979, 9(1): 62-66. DOI:10.1109/tsmc.1979.4310076.

[18]Li Q Q, Zou Q, Liu X L. Pavement crack classification via spatial distribution features[J].EURASIPJournalonAdvancesinSignalProcessing, 2011, 2011: 649675. DOI:10.1155/2011/649675.

Automatic vehicle detection from UAV videos based on symmetrical frame difference and background block modeling

Peng Bo Cai Xiaoyu Zhang Youjie Li Shaobo

(College of Traffic and Transportation, Chongqing Jiaotong University, Chongqing 400074, China)

In order to recognize traffic flow information correctly and comprehensively from a regional perspective, aiming at UAV (unmanned aerial vehicle) videos, an automatic vehicle detection method is proposed based on symmetrical frame difference and background block modeling. First, 4×4 dimension reduction and grayscale processing were conducted on UAV video frames, and a ROI (region of interest) was marked manually, for the purpose of reducing the image scale and specifying the detection region. Secondly, moving objects in ROI were extracted by symmetrical frame difference, and thus the background image was obtained through background block modeling. Then, vehicles were preliminarily extracted using background subtraction. Finally, noises were eliminated using techniques such as morphological processing, and vehicle recognition results were obtained. Four evaluation indices, i.e., correct detection rate, repeated detection rate, missed detection rate and false detection rate, were put forward aiming at vehicle detection algorithms. Algorithm tests were conducted on 150 frames of an UAV video. Test results show that the proposed algorithm achieves high correct detection rate (averaging 92.29%), low missed detection rate (averaging 7.31%) and false detection rate (averaging 0.39%), while the repeated detection rate is 0.

intelligent transportation; vehicle detection; symmetrical frame difference; background modeling; unmanned aerial vehicle; region of interest

2016-11-11. 作者簡介: 彭博(1986—)，男，博士，講師；蔡曉禹(聯(lián)系人)，男，博士，教授，caixiaoyu@vip.163.com.

重慶市社會事業(yè)與民生保障科技創(chuàng)新專項資助項目(cstc2015shms-ztzx30002,cstc2015shms-ztzx0127)、重慶市教委科學(xué)研究資助項目(KJ1600513)、重慶交通大學(xué)科研啟動資助項目(15JDKJC-A002)、重慶市科委基礎(chǔ)科學(xué)與前沿技術(shù)研究資助項目(cstc2017jcyjAX0473).

彭博,蔡曉禹,張有節(jié),等.基于對稱幀差和分塊背景建模的無人機視頻車輛自動檢測[J].東南大學(xué)學(xué)報(自然科學(xué)版),2017,47(4):685-690.

10.3969/j.issn.1001-0505.2017.04.010.

U491.1

A

1001-0505(2017)04-0685-06