向譚先,艾珂

(1．重慶數(shù)字城市科技有限公司,重慶 400020; 2．重慶市地理信息云服務企業(yè)工程技術研究中心,重慶 400020; 3．重慶市公安局交通巡邏警察總隊,重慶 400074)

警用勤務系統(tǒng)中海量GIS數(shù)據(jù)處理優(yōu)化與實踐

向譚先1,2?,艾珂3

(1．重慶數(shù)字城市科技有限公司,重慶 400020; 2．重慶市地理信息云服務企業(yè)工程技術研究中心,重慶 400020; 3．重慶市公安局交通巡邏警察總隊,重慶 400074)

隨著空間位置的警用勤務考核業(yè)務需求的深入應用,傳統(tǒng)的通過空間軌跡的歷史數(shù)據(jù)進行查詢、分析、統(tǒng)計已經(jīng)無法滿足當前的業(yè)務要求。傳統(tǒng)方案存在占用磁盤空間大、冗余數(shù)據(jù)多、查詢效率低等問題。故此,引入MapReduce大數(shù)據(jù)的處理辦法,針對需要勤務統(tǒng)計的內容、方式進行實時規(guī)約、映射,并存儲規(guī)約結果,再結合信度校驗機制,為勤務統(tǒng)計提供更直接準確的數(shù)據(jù)來源。新方法極大地提高了查詢效率,并使用合理的數(shù)據(jù)失效機制,減少了硬盤存儲空間的占用和數(shù)據(jù)冗余。

MapReduce模式;PGIS;信度校驗機制;勤務考核

1　引 言

隨著基于地理信息的警用業(yè)務需求的深入擴展,公安部從2003年起開始建設警用地理信息系統(tǒng)(Police Geographic Information System)。PGIS通過GPS定位技術,使相關單位可以對所有安裝有GPS終端設備的警車進行實時監(jiān)控管理,主要應用功能包括車輛顯示、車輛實時跟蹤、車輛查詢與定位、歷史軌跡查詢、車輛控制等;PGIS為各種警情統(tǒng)計、分析提供了依據(jù),從而為各種決策提供強有力的輔助支持。

在交巡警的業(yè)務需求中,需要對警員、警務車輛定位信息集成和上圖管理應用,實現(xiàn)勤務查看、動態(tài)定位預警、歷史軌跡分析、勤務車輛駐點安排及脫崗報警、勤務車輛流動巡邏跨界報警、勤務考核查詢統(tǒng)計等功能。PGIS提供的空間軌跡的歷史數(shù)據(jù),已經(jīng)無法滿足以上業(yè)務提出的查詢、分析、統(tǒng)計的實時性要求。

本文引入大數(shù)據(jù)的處理辦法MapReduce來對需要進行勤務統(tǒng)計的內容進行實時規(guī)約、映射。實時將規(guī)約結果存儲起來,統(tǒng)計時只需查詢事先已經(jīng)計算好的結果,而非計算車輛的歷史軌跡。在此基礎上使用信度值校驗機制解決GPS信號飄點的誤差,并使用數(shù)據(jù)失效機制來降低磁盤存儲的壓力,從而很好地滿足了勤務統(tǒng)計的實時性要求,同時減少了磁盤的負荷。

2　業(yè)務分析及優(yōu)化

2．1業(yè)務分析

按照重慶市公安局交通巡邏警察總隊移動警務管理業(yè)務部門的要求,需要開發(fā)警員和警車信息的上圖應用,實現(xiàn)勤務查看、動態(tài)定位預警、歷史軌跡分析、勤務考核查詢統(tǒng)計等功能。

勤務考核主要包含兩種業(yè)務數(shù)據(jù):警車GPS位置信息、勤務區(qū)域范圍信息。勤務區(qū)域分為警車駐點區(qū)域和警車巡邏區(qū)域,對應勤務區(qū)域的是駐點警車和巡邏警車。業(yè)務部門會考核在規(guī)定時間段內考核車輛是否在駐點區(qū)域之內以及在規(guī)定時段內考核車輛是否在執(zhí)行巡查任務等。

勤務考核部分著重關注下列幾種情況:警車在線情況統(tǒng)計、警車離線情況統(tǒng)計、駐點警車遲到情況統(tǒng)計、駐點警車跨界情況統(tǒng)計、巡邏警車長時間未移動情況統(tǒng)計、巡邏警車跨界情況統(tǒng)計。

2．2傳統(tǒng)解決方案

通過分析功能概況可以發(fā)現(xiàn),若要完成各種情況的勤務統(tǒng)計,至少需要幾個基礎條件,如圖1所示:

(1)警車GPS歷史信息表,用于存儲不同時態(tài)時的位置信息,各項統(tǒng)計都需要依賴此表。

(2)駐點區(qū)域表,用于存儲駐點區(qū)域的范圍及駐點時段等信息,警車駐點需要依賴此表。

(3)巡邏區(qū)域表,用于存儲巡邏區(qū)域的范圍及巡邏時段等信息,警車巡邏需要依賴此表。

(4)區(qū)域和警車信息的關聯(lián)表,用于存儲駐點及巡邏車輛所在的勤務考核區(qū)域。

其中,警車GPS歷史信息表受到一些因素的制約。首先,由于勤務統(tǒng)計時間跨度大(如:考核單位要統(tǒng)計某車去年的離線情況),所以需要保存所有的歷史軌跡信息。其次,由于警車的數(shù)量多、位置信息更新頻率高(如:警車位置信息2 s更新1次,每車每天需要存儲43 200條數(shù)據(jù),業(yè)務單位的400輛車每天將存儲1 728萬,一年則需要存儲63億條數(shù)據(jù)。結合第一點,如果要統(tǒng)計幾年前的數(shù)據(jù),則需要從數(shù)百億條數(shù)據(jù)中進行查詢處理。),所以數(shù)據(jù)庫查詢效率將會很低。隨著警車GPS歷史信息表的增大,還需要解決海量數(shù)據(jù)的故障遷移、查詢優(yōu)化、存儲等引申出來的若干問題。

圖1　傳統(tǒng)數(shù)據(jù)模型設計

2．3創(chuàng)新解決方案

在傳統(tǒng)解決方案中,問題聚焦在警車GPS歷史信息表中海量數(shù)據(jù)的存儲增長過快和查詢效率太低上面。按照上述設計思想,不僅不能刪除數(shù)據(jù)、查詢效率還會隨著存儲的GPS數(shù)據(jù)量增加而快速下降。在大數(shù)據(jù)處理時代的今天,有必要引入業(yè)界更有效率的解決方案來解決現(xiàn)有突出的問題。

(1)MapReduce模式

MapReduce是Google定義的一套并行程序設計模式(parallel programming paradigm),由兩名Google的研究員Jeffrey Dean和Sanjay Ghemawat在2004年時提出的,并廣泛應用在分布Grep、每臺機器的詞矢量、反向索引構建、Web連接圖反轉、Web訪問日志分析、分布排序、文檔聚類等應用中。MapReduce實現(xiàn)以后,它甚至被用來重新生成Google的整個索引,并取代老的Ad Hoc程序去更新索引。

MapReduce的設計思想是把耗時運算進行拆分和預處理,稱之為映射(Map),然后在需要使用時對預處理結果進行運算,稱為規(guī)約(Reduce)。而傳統(tǒng)的GPS歷史信息數(shù)據(jù)存儲量巨大,查詢效率低下,若在存儲GPS定位信息之前進行預判斷和預處理,將會減少數(shù)據(jù)的存儲量,提高系統(tǒng)的查詢效率。為了實現(xiàn)勤務統(tǒng)計信息的預處理,首先需要抽象(Abstract)待統(tǒng)計的對象(Object)及其行為(Behavior),然后根據(jù)設備實時的位置(GPS)信息進行運算和持久化。當用戶進行勤務統(tǒng)計和考核時,系統(tǒng)直接對預處理信息進行計算并返回結果。

分析2．1中勤務考核關注的內容可以抽象出:設備和位置、區(qū)域、時間幾類對象。然后把每次變化轉換成一種事件。事件類型有:0:在線;1:離線;2:未越界; 3:越界;4:運動;5:停留;6:區(qū)域暫停;7:區(qū)域無車輛; 8:非統(tǒng)計時段;

系統(tǒng)在后臺實時地對變化進行運算,并把相關結果進行持久化,形成勤務區(qū)域事件表,包括勤務區(qū)域、區(qū)域類型、車輛信息、事件信息、發(fā)生時間。實際的統(tǒng)計則是根據(jù)勤務區(qū)域事件表來得出結果,如圖2所示。

圖2　基于MapReduce處理的數(shù)據(jù)模型

在系統(tǒng)運行環(huán)境中,采用MapReduce預處理方法,平均每天每輛警車產(chǎn)生5條左右的事件數(shù)據(jù),相比每2 s存儲一次的每天43 200條數(shù)據(jù),數(shù)據(jù)對磁盤開銷大為減少,如表1所示。使用傳統(tǒng)的方法進行月度或者年度統(tǒng)計,需要從上億甚至更多條記錄中進行反復多次的查詢。而在新方法中只需要在10 w級別數(shù)據(jù)量中進行查詢和統(tǒng)計,效率大大提高。

數(shù)據(jù)產(chǎn)生情況對比　表1

(2)信度校驗機制

在GPS設備信息的實際應用過程中會出現(xiàn)位置偏移的情況,這主要是由于GPS衛(wèi)星信號受到干擾(隧道無信號、高樓遮擋等原因)。這些誤差會降低勤務考核的準確性,系統(tǒng)采用對每條GPS信號進行多次信度驗證的方法,只有通過信度檢驗的信號才被保留下來參與后續(xù)的運算。

信度值校驗機制解決GPS信號飄點的機制如下:根據(jù)車輛的歷史軌跡,可以得到車輛某兩個GPS信號采集的時間間隔2 s內的位移s1,s2,s3,s4…sn…,vni表示車輛的該時間段的平均移動速度,記某點的信度值是Fn,表示該點是飄點的可信度,由該點前后的5個位置來決定。+

式中fni表示的是第i個點的位移數(shù)據(jù)si對第n個點的位移數(shù)據(jù)sn可信度的影響:

當某點的信度值Fn≥80%時認為該點是飄點。系統(tǒng)自動將飄點數(shù)據(jù)刪除,用以提高統(tǒng)計的準確性。

3　結 語

文章首先提出在警用勤務應用中,按照傳統(tǒng)的設計模式來實現(xiàn)將會帶來的問題,然后引入大數(shù)據(jù)的處理辦法(MapReduce)作為解決方案,并使用信度校驗機制去除飄點數(shù)據(jù)。通過對數(shù)據(jù)進行預處理得到勤務考勤感興趣的結果,并將結果持久化用來支持實際的查詢或統(tǒng)計。此模式在一定程度上增加了系統(tǒng)的復雜程度,卻避免了GPS數(shù)據(jù)無限制的增長,提高了查詢效率,通過降低用戶操作的等待時間來提高用戶體驗。

[1] 蘇韋．基于MapReduce模式的時空數(shù)據(jù)組織和查詢方法研究[D]．桂林:桂林理工大學,2014．

[2] 屈芳,馬旭玲,羅林明．調查問卷的信度分析及其影響因素研究[J]．繼續(xù)教育,2015,29(1)．

[3] 李艷芳,王生．基于PGIS平臺的新型自動化勤務管理系統(tǒng)的設計與實現(xiàn)[J]．警察技術,2011(3)．

[4] 張翠峰,匡志威,陳麗瓊．地理空間信息數(shù)據(jù)在PGIS中的應用[J]．城市勘測,2012(5):25～27．

[5] 方吉祥．基于GIS的城市交通管理系統(tǒng)的研究[J]．大眾科技,2006:116～117．

[6] 殷磊．基于GPS車輛監(jiān)控調度系統(tǒng)研究與實現(xiàn)[D]．南京:南京理工大學,2011．

The Optimization and Implementation of Mass GIS Data’s Application in Police Service System

Xiang Tanxian1,2,Ai Ke3

(1．Chongqing Cybercity Sci-tech Co．,Ltd,Chongqing 400020,China; 2．Chongqing Enterprise Engineering Technology Research Center on Geographic Information Cloud Service,Chongqing 400020,China; 3．Chongqing Public Security Bureau police corps,Chongqing 400074,China)

With the utilization of the spatial position’s service examination needs,the traditional scheme by querying,analyzing and tabulating the historical data of space trajectory have been unable to meet current business requirements．There are some problems exist in traditional scheme:take up disk space,redundant data and low query efficiency,etc．Therefore,the introduction of MapReduce:large data processing scheme could have real-time specification and map for the content and method that need service statistics,and then store protocol result．At the same time,combining with reliability verification mechanism could provide more direct and accurate source of data for statistical service．The new scheme greatly improves the query efficiency,and uses reasonable data failure mechanism．Because of which can largely reduce the occupancy of hard disk storage space and data redundancy．

MapReduce pattern;PGIS;reliability verification mechanism;service examination

1672-8262(2016)01-65-03

P208．1

B

?2015—09—25

向譚先(1989—),男,助理工程師,主要從事軟件工程及3S技術應用研究。

重慶市科技人才培養(yǎng)計劃項目(cstc2013kjrc-tdsj40001);智慧重慶空間信息服務云計算平臺開發(fā)項目(cstc2014yykfB40004)。

本項目獲得2015年度測繪科技進步獎二等獎。