肖　梅，劉　鍇，顏建強，徐昆然，王　杏，郭　捷

(1.長安大學　a.汽車學院; b.地測學院; c.公路學院, 西安　710064；2.西安交通信息投資營運有限公司,西安　710061；3.陜西國防工業(yè)職業(yè)技術(shù)學院,西安　710300)

?

出租車異常視頻圖像信號檢測

肖梅1a，劉鍇1a，顏建強2，徐昆然1b，王杏1c，郭捷3

(1.長安大學a.汽車學院; b.地測學院; c.公路學院, 西安710064；2.西安交通信息投資營運有限公司,西安710061；3.陜西國防工業(yè)職業(yè)技術(shù)學院,西安710300)

摘要：為確保出租車攝像頭處于正常的拍攝狀態(tài)，提出了一種出租車異常視頻圖像信號檢測算法。先通過圖像幀的平均亮度值檢測拍攝環(huán)境光照；接著利用亮度密集度判定圖像幀亮度值是否過于集中；隨后，依據(jù)車頂偏移度和前擋風玻璃偏移度判定圖像幀是否為偏轉(zhuǎn)圖像信號。當圖像幀的拍攝環(huán)境光照正常、圖像幀亮度不密集、車頂和前擋風玻璃不偏移時，判定為正常圖像信號，反之為異常圖像信號。對某市出租車視頻圖像數(shù)據(jù)進行仿真驗證，試驗結(jié)果表明：出租車異常圖像信號所占比例較大，為71.1%，表明算法具有較強的工程應(yīng)用價值；異常信號檢測算法魯棒性好，檢測準確率達94%；算法運行速度快，在Matlab仿真環(huán)境下耗時0.34 s/幀。

關(guān)鍵詞：圖像信號檢測；圖像處理；出租車；監(jiān)管

1研究現(xiàn)狀

出租車是城市客運系統(tǒng)中不可缺少的客運方式，可根據(jù)乘客的個性需求提供靈活、方便的門對門運輸服務(wù)。城市出租車作為常規(guī)交通的重要補充，在方便群眾出行、擴大社會就業(yè)、樹立城市形象、促進城市經(jīng)濟發(fā)展等方面具有重要作用。通過對城市出租車現(xiàn)狀的調(diào)研，發(fā)現(xiàn)出租車行業(yè)存在的問題主要有運力難以確定[1]、服務(wù)質(zhì)量有待提高[2]、運輸組織化水平低[3]和管理部門監(jiān)管力度較弱[4]等。針對出租車行業(yè)的問題，Yang Renfa等[5]從微觀經(jīng)濟學理論出發(fā)，建立了城市出租車行業(yè)監(jiān)管體系的總體框架，提出了在出租車市場需求和交通供給、服務(wù)、運營以及車輛狀態(tài)等方面進行監(jiān)管的具體方法和手段。該監(jiān)管系統(tǒng)可為出租車市場的政府宏觀調(diào)控提供科學依據(jù)。

隨著傳感技術(shù)的快速發(fā)展，越來越多的學者嘗試將新技術(shù)應(yīng)用于出租車行業(yè)。目前，GPS技術(shù)已廣泛應(yīng)用于出租車行業(yè)。簡思思等[6]提出了以GPS-計價器聯(lián)機系統(tǒng)為技術(shù)支持的優(yōu)化方法，GPS調(diào)度中心綜合考慮各功能區(qū)對出租車的實時需求分布、實時路況以及城市出租車的動態(tài)分布，向出租車司機提供實時優(yōu)化調(diào)度建議。然而，駕駛員常常為了避免監(jiān)管而不使用計價器，導致獲取的用于優(yōu)化調(diào)度的需求量信息會產(chǎn)生錯誤的結(jié)果。Shuo Ma等[7]提出利用GPS/GIS技術(shù)實現(xiàn)出租車合乘的方案以提高出租車運力水平。該方案通過互聯(lián)網(wǎng)技術(shù)匹配到滿足共乘條件的乘客，并通知出租車司機在特定位置搭載預約乘客，可實現(xiàn)出租車資源的合理利用。Yang Tiemei等[8]搭建了基于GPS/GPRS的出租車輛監(jiān)控系統(tǒng)，該系統(tǒng)以C8051F040為核心處理芯片，利用GPS數(shù)據(jù)實現(xiàn)車輛定位，車輛和監(jiān)控中心的通信通過GPRS模塊完成，能實現(xiàn)出租車輛的定位和調(diào)度功能。Che Xiao Lin等[9]提出一種出租車輛空閑狀態(tài)監(jiān)控模型，結(jié)合有效的出租車GPS位置數(shù)據(jù)，可及時調(diào)度空閑的出租車以滿足乘客需求。通過GPS技術(shù)可實現(xiàn)出租車輛的定位和調(diào)度等管理，但無法對出租車的乘坐、打表等操作進行監(jiān)管。近年來，視頻數(shù)據(jù)由于具有豐富的顏色和紋理等信息，基于視頻的處理技術(shù)在工業(yè)中的應(yīng)用越來越廣泛[10]，在安全生產(chǎn)中扮演著重要角色[11]。Liu zhi等[10]設(shè)計了一套用于出租車安全監(jiān)控的CMOS圖像采集器，系統(tǒng)包括CMOS圖像采集器(OV7120)、大容量閃存ROM和1個微處理器(AT90S8515)，圖像數(shù)據(jù)通過并行端口輸出。文獻[12]設(shè)計了一套圖像輸出的硬件系統(tǒng)。文獻[13]通過在出租車上安裝車載監(jiān)控系統(tǒng)實現(xiàn)更強的監(jiān)管。目前，出租車視頻監(jiān)控系統(tǒng)只是通過人工對圖像進行檢測和識別等處理，還未實現(xiàn)圖像數(shù)據(jù)的自動檢測和識別。

通過在出租車內(nèi)安裝視頻監(jiān)控，實時獲取出租車內(nèi)的視頻圖像數(shù)據(jù)具有以下重要意義：實時采集出租車乘坐狀態(tài)、地理位置等運營數(shù)據(jù)，優(yōu)化出租車的運力和運輸組織；可全程監(jiān)管駕駛員的服務(wù)，一旦發(fā)生乘坐糾紛，可作為佐證數(shù)據(jù)；提高管理部門對出租車計費的監(jiān)管力度，進而提高出租車的服務(wù)水平?？梢?，出租車內(nèi)的視頻監(jiān)控對于規(guī)范出租車的運營有著重要的作用。在實際運營中，出租車經(jīng)營者或駕駛員為了規(guī)避監(jiān)管，常常關(guān)閉或擰轉(zhuǎn)攝像頭的拍攝角度，使得監(jiān)管攝像頭形同虛設(shè)。基于此，筆者所在團隊開發(fā)了一套出租車異常視頻圖像信號檢測算法，能自動檢測出異常的圖像數(shù)據(jù)，確保攝像頭處于正常的拍攝狀態(tài)。

2出租車異常視頻圖像信號檢測系統(tǒng)

出租車的異常視頻圖像信號主要包括兩類。第一類是錯誤圖像信號，指采集的圖像數(shù)據(jù)出現(xiàn)中斷、模糊、遮擋、反光等情況；第二類是偏轉(zhuǎn)圖像信號，當出租車司機人為擰轉(zhuǎn)攝像頭的拍攝角度時，依靠采集的圖像無法對出租車實現(xiàn)監(jiān)管。

實際中，環(huán)境光照、噪聲、移動載體和圖像壓縮等因素的影響增加了出租車異常視頻圖像信號檢測算法的處理難度。

1) 環(huán)境光照影響。室外光照的強/弱對圖片質(zhì)量有影響，當室外光線過強時，容易造成拍攝的圖像反光；當室外光線過暗時，區(qū)域塊對比度不明顯，很難挖掘有用的圖像信息。

2) 拍攝質(zhì)量較差。一方面，圖像采集設(shè)備安裝在移動載體上，車輛在行駛過程中，緊急駕駛行為(如急加速、急剎車和轉(zhuǎn)彎)和不平整道路均會引起車體晃動，使得采集的圖像出現(xiàn)運動模糊；另一方面，為便于存儲和傳輸，常將拍攝圖片進行壓縮處理，這也會造成圖片質(zhì)量的下降。

出租車異常視頻圖像信號檢測算法的思路是：首先，通過圖像幀的平均亮度值檢測畫面的光照，若平均亮度值過高或過低，則認為是錯誤圖像信號；其次，分析像素亮度的密集度，若像素亮度過分密集，很難提取足夠的有用信息，則認為是錯誤圖像信號；再次，自動提取車頂區(qū)域，基于車頂區(qū)域面積和位置信息，判定車頂區(qū)域是否偏移，若偏移則認為是偏轉(zhuǎn)圖像信號；最后，利用前擋風玻璃頂部的顏色和位置信息，判定前擋風玻璃是否偏移，若偏移則認為是偏轉(zhuǎn)圖像信號。異常視頻圖像信號檢測算法流程如圖1所示。算法步驟表述如下：

步驟1異常拍攝亮度檢測

令采集的第t幀灰度圖像為ft，其圖像大小為M×N。當采集的圖像亮度過亮或過暗時，難以進行圖像信息挖掘，則認為該圖像幀為異常圖像信號。

(1)

(2)

圖1　異常視頻圖像信號檢測算法流程

步驟2像素亮度的密集度檢測

當采集圖像像素的亮度分布較密集、灰度變化較平穩(wěn)時，認為其為異常圖像信號。本文提出了一種快速的像素密集度檢測方法，具體為：

首先，將0～255灰度級的圖像按照30個分類劃分為9個灰度段，即0～29，30～59，60～89，…210～239，240～255，統(tǒng)計落入每個灰度段的像素數(shù)和灰度均值。

其次，合并相近的灰度段。當相鄰灰度段灰度均值的差異小于30時，將其合并為一個灰度段，并重新計算新的灰度段的像素數(shù)和灰度均值，直到所有相近的灰度段合并完畢。

最后，統(tǒng)計像素亮度分布的灰度段數(shù)目。假定合并處理后得到q個灰度段，統(tǒng)計像素數(shù)大于T3·MN的灰度段個數(shù)。若灰度段數(shù)目小于T4，則認為像素亮度分布過于密集，判定為異常圖像，令fgt=0，算法結(jié)束；否則，令fgt=2。式中：T3為閾值，取值為0～1；T4為密集度閾值，取值通常為3。

步驟3車頂區(qū)域提取

正常拍攝的圖像，其車頂位于畫面中部偏上的位置，亮度較低。車頂提取過程包括3步：

1) 圖像分割。利用車頂?shù)牡土炼忍匦蕴崛≤図攨^(qū)域：

(3)

式中：mft為第t幀圖像的車頂初圖；p為圖像中的任一像素點；T5為車頂閾值，本文采取最大類間法自適應(yīng)地確定閾值。

2) 數(shù)學形態(tài)學處理

對車頂初圖mft進行數(shù)學形態(tài)學開運算及填補小孔洞操作，得到車頂次圖mbt。數(shù)學形態(tài)學開運算是指先腐蝕后膨脹運算，計算式為

(4)

式中：b為結(jié)構(gòu)元素，通常取5×5～15×15的正方形的結(jié)構(gòu)元素； ° 表示形態(tài)學閉運算符；mft°b表示mft被結(jié)構(gòu)算子b閉運算；Θ表示腐蝕運算；⊕表示膨脹運算。

3) 掃描去噪

先對車頂次圖mbt進行行掃描去噪，接著進行列掃描去噪，得到車頂圖mdt，具體表述為：首先，行掃描mbt的每一行，若連續(xù)長度小于圖像列10%，則認為是毛刺，直接將mdt的值置為0，否則令其值為mbt。

類似地，對mdt進行列掃描去噪。掃描mbt的每一列，若連續(xù)長度小于圖像行10%則認為是非車頂，直接將mdt中的值置為0，否則令值為mbt。

步驟4車頂偏移檢測

通常，標準車頂區(qū)位于拍攝畫面的中部略偏右位置，即畫面第(0.3～0.7)·M行，第(0.25～0.9)·N列的區(qū)域，可得標準車頂區(qū)的大小為nc，其計算式為

(5)

車頂偏移檢測包括2步：

第1步，統(tǒng)計mdt中各區(qū)域塊的像素數(shù)，提取面積大于0.5·nc且小于1.5·nc的區(qū)域塊。若沒有滿足要求的區(qū)域塊，則判定為異常圖像信號，令fgt=0，算法結(jié)束；否則，令fgt=2。轉(zhuǎn)入第2步；

第2步，將提取的mdt中的區(qū)域塊和標準車頂做對比分析，若落入標準車頂區(qū)的像素數(shù)大于T6·nc，則認為是異常圖像信號，令fgt=0，算法結(jié)束；否則，令fgt=1。式中，T6為閾值，取值為0～1。

步驟5前擋風玻璃頂部偏移檢測

拍攝的前擋風玻璃位于畫面頂部，即畫面第(1～0.3·M)行，第(0.25～0.9)·N列的區(qū)域。前擋風玻璃頂部反射的主要是天空區(qū)域，其亮度較高，利用該屬性判定前擋風玻璃是否偏移。具體操作為：統(tǒng)計前擋風玻璃區(qū)域中落入8和9灰度段的像素數(shù)目(灰度段數(shù)目統(tǒng)計見步驟2)，當像素數(shù)目大于擋風玻璃的80%時，認為前擋風玻璃未偏移，令fgt=1；否則認為前擋風玻璃偏移，此時fgt=0。

3仿真驗證

為驗證算法的有效性，對某市出租汽車2月、3月、8月和10月的21 768幀圖像數(shù)據(jù)進行仿真驗證。采集的圖像為RGB圖像，大小為768×1 024 像素，即M=768，N=1 024。仿真平臺為Matlab 9.0，試驗PC機配置為Intel CPU 2.4 GHz和2.0 GB RAM。算法涉及的參數(shù)選擇為：T1=40，T2=230，T3=0.1，T4=3，T6=0.75；b取9×9的正方形結(jié)構(gòu)元素。

為驗證算法的魯棒性，利用正確率來表征算法的檢測精度，正確率wr計算式如下：

(6)

式中：nr為被正確檢出的正常圖像信號的幀數(shù)；nw為被正確檢出的異常圖像信號的幀數(shù)；nt為測試的總圖像幀數(shù)。

人眼先對采集到的出租車圖像數(shù)據(jù)進行識別，異常的圖像信號占總測試圖片幀的比重較大，為71.1%。顯而易見，大部分采集設(shè)備無法獲取正常的圖像信號，因此對出租車異常視頻圖像信號進行實時檢測具有重要的工程現(xiàn)實意義。

通過對異常圖像信號進行檢測發(fā)現(xiàn)：算法的正確率可達94%，系統(tǒng)魯棒性能較好。在Matlab仿真環(huán)境下，對算法的運行速度進行測試，結(jié)果顯示平均每幀耗時0.34 s，可實現(xiàn)實時的異常圖像信號檢測。表1為人眼和本文方法識別結(jié)果分析。

表1　人眼和本文方法識別結(jié)果分析

注：異常率為異常圖像信號幀數(shù)和測試圖片的比值。

4結(jié)論

1) 通過對某市出租車圖像數(shù)據(jù)進行檢測，發(fā)現(xiàn)圖像異常率較高，為71.1%，說明算法具有較強的工程應(yīng)用價值。

2) 算法魯棒性好。通過對大量異常圖像信號進行檢測發(fā)現(xiàn)，提出的算法的正確率可達94%，檢測精度較高。

3) 在Matlab仿真環(huán)境下，對算法的運行速度進行測試，結(jié)果顯示平均每幀耗時0.34 s，表明算法運行速度較快，可應(yīng)用于實時異常圖像信號檢測系統(tǒng)。

參考文獻：

[1]劉新,賈松.城市出租車運力規(guī)模投放計算方法研究[J].公路與汽運，2012(4)：57-59.

[2]姚志剛.客運出租汽車服務(wù)質(zhì)量的重要度_績效分析[J].交通運輸系統(tǒng)工程與信息,2011,11(5)：181-186.

[3]陳時國.我國出租車行業(yè)存在的問題及其解決對策[J].湖南城市學院學報,2005，26(2)：61-63.

[4]曹其杰.我國出租車管理模式分析及改進[J].經(jīng)營管理者,2009，2009(12)：51-58.

[5]RENFA YANG， YANCHENG GONG.Supervision system of taxi trade based on government regulation[C]//proceedings of International Conference on Transportation Engineering 2007.Chengdu,China：American Society of Civil Engineers，2007.

[6]簡思思，張可可，李冰玉.基于 GPS 動態(tài)調(diào)度的出租車均衡布局優(yōu)化研究[J].科協(xié)論壇，2011(6):67-67.

[7]SHUO MA,YU ZHENG,OURI WOLFSON.Real-Time City-Scale Taxi Ridesharing[J].IEEE Transactions On Knowledge And Data Engineering,2015,27(7):1782-1795.

[8]TIEMEI YANG,WEI XIAO,JIANLING GUO.Design of taxi vehicle monitoring system based on GPS/GPRS[C]//Lecture Notes in Computer Science,3rd International Conference on Artificial Intelligence and Computational Intelligence.Heidelberg,Germany:Springer,2011:82-88.

[9]CHE XIAO LIN,WENG JIAN CHENG,QUAN YU,et al.A GPS data based monitor model of unoccupied taxis at transportation hubs[J].Applied Mechanics and Materials,2014:767-772.

[10]AI HONG，WANGJIAN，YANG YI.Video Monitoring System of Embedded Remote Based on ARM and Fast Motion Estimation Algorithm[C]//IMCCC 2011.Beijing:IEEE Computer Society，2011.

[11]YINPING JIANG，JIE XU，XIAODONG WU，et al.The research of based on ARM9 core units embedded video monitor system[C]//Electric Information and Control Engineering (ICEICE) 2011.Wuhan,China:IEEE Computer Society，2011.

[12]ZHI LIU.A safety monitoring system for taxi based on CMOS imager[Z].proceedings of SPIE-The International Society for Optical Engineering,2005:562-568.

(責任編輯楊黎麗)

Abnormal Video Frame Detection Method for Image Signal from Taxi

XIAO Mei1a, LIU Kai1a, YAN Jian-qiang2, XU Kun-ran1b, WANG Xing1c, GUO Jie3

(1.a.School of Automobile; b.School of Geology Engineering and Geomatics;c.School of Automabile Roads, Chang’an University, Xi’an 710064, China;2.Xi’an Communication Information Company Limited, Xi’an 710061, Shaanxi, China;3.Shaanxi Institute of Technology, Xi’an 710300, China)

Abstract:In order to make the camera of taxi in the right angle, a new abnormal video frame detection algorithm for taxi image signal was presented. Firstly, the shooting light was checked by mean intensity of image. Secondly, intensity concentration was used to calculate if the intensity distribution is in high density. Thirdly, the detected roof and windshield of taxi were filtered based on location filter operator. For correct image signal, the roof and windshield of taxi must be in the top and center of image, respectively. The normal image signal should meet the requirements of the suitable shooting light, extensive intensity distribution, the impartial roof and windshield. Over 20000 image frames of taixes in a city have been tested to verify our algorithm in matlab simulation platform. The test result shows that the amount of incorrect image in total data is very high and is 71.1%, which shows that this algorithm has great engineering vaule. The algorithm is robust, which the detection precision is 94%. The average running time of one frame in Matlab is fast and cost 0.34s every frame.

Key words:image signal detection; image processing; taxi; supervision

文章編號：1674-8425(2016)04-0079-05

中圖分類號：TN919.8

文獻標識碼：A

doi:10.3969/j.issn.1674-8425(z).2016.04.014

作者簡介：肖梅(1977—)，女，江西安福人，教授，博士，主要從事圖像處理、信息融合和智能交通系統(tǒng)研究。

基金項目：國家自然科學基金項目(61004087)；陜西省國際科技合作與交流計劃項目(2015KW-009)

收稿日期：2015-12-29

引用格式：肖梅，劉鍇，顏建強，等.出租車異常視頻圖像信號檢測[J].重慶理工大學學報(自然科學)，2016(4):79-83.

Citation format：XIAO Mei, LIU Kai,YAN Jian-qiang,et al.Abnormal Video Frame Detection Method for Image Signal from Taxi[J].Journal of Chongqing University of Technology(Natural Science)，2016(4):79-83.