向譚先,艾珂

(1．重慶數(shù)字城市科技有限公司,重慶 400020; 2．重慶市地理信息云服務(wù)企業(yè)工程技術(shù)研究中心,重慶 400020; 3．重慶市公安局交通巡邏警察總隊,重慶 400074)

警用勤務(wù)系統(tǒng)中海量GIS數(shù)據(jù)處理優(yōu)化與實踐

向譚先1,2?,艾珂3

(1．重慶數(shù)字城市科技有限公司,重慶 400020; 2．重慶市地理信息云服務(wù)企業(yè)工程技術(shù)研究中心,重慶 400020; 3．重慶市公安局交通巡邏警察總隊,重慶 400074)

隨著空間位置的警用勤務(wù)考核業(yè)務(wù)需求的深入應(yīng)用,傳統(tǒng)的通過空間軌跡的歷史數(shù)據(jù)進行查詢、分析、統(tǒng)計已經(jīng)無法滿足當(dāng)前的業(yè)務(wù)要求。傳統(tǒng)方案存在占用磁盤空間大、冗余數(shù)據(jù)多、查詢效率低等問題。故此,引入MapReduce大數(shù)據(jù)的處理辦法,針對需要勤務(wù)統(tǒng)計的內(nèi)容、方式進行實時規(guī)約、映射,并存儲規(guī)約結(jié)果,再結(jié)合信度校驗機制,為勤務(wù)統(tǒng)計提供更直接準(zhǔn)確的數(shù)據(jù)來源。新方法極大地提高了查詢效率,并使用合理的數(shù)據(jù)失效機制,減少了硬盤存儲空間的占用和數(shù)據(jù)冗余。

MapReduce模式;PGIS;信度校驗機制;勤務(wù)考核

1　引 言

隨著基于地理信息的警用業(yè)務(wù)需求的深入擴展,公安部從2003年起開始建設(shè)警用地理信息系統(tǒng)(Police Geographic Information System)。PGIS通過GPS定位技術(shù),使相關(guān)單位可以對所有安裝有GPS終端設(shè)備的警車進行實時監(jiān)控管理,主要應(yīng)用功能包括車輛顯示、車輛實時跟蹤、車輛查詢與定位、歷史軌跡查詢、車輛控制等;PGIS為各種警情統(tǒng)計、分析提供了依據(jù),從而為各種決策提供強有力的輔助支持。

在交巡警的業(yè)務(wù)需求中,需要對警員、警務(wù)車輛定位信息集成和上圖管理應(yīng)用,實現(xiàn)勤務(wù)查看、動態(tài)定位預(yù)警、歷史軌跡分析、勤務(wù)車輛駐點安排及脫崗報警、勤務(wù)車輛流動巡邏跨界報警、勤務(wù)考核查詢統(tǒng)計等功能。PGIS提供的空間軌跡的歷史數(shù)據(jù),已經(jīng)無法滿足以上業(yè)務(wù)提出的查詢、分析、統(tǒng)計的實時性要求。

本文引入大數(shù)據(jù)的處理辦法MapReduce來對需要進行勤務(wù)統(tǒng)計的內(nèi)容進行實時規(guī)約、映射。實時將規(guī)約結(jié)果存儲起來,統(tǒng)計時只需查詢事先已經(jīng)計算好的結(jié)果,而非計算車輛的歷史軌跡。在此基礎(chǔ)上使用信度值校驗機制解決GPS信號飄點的誤差,并使用數(shù)據(jù)失效機制來降低磁盤存儲的壓力,從而很好地滿足了勤務(wù)統(tǒng)計的實時性要求,同時減少了磁盤的負荷。

2　業(yè)務(wù)分析及優(yōu)化

2．1業(yè)務(wù)分析

按照重慶市公安局交通巡邏警察總隊移動警務(wù)管理業(yè)務(wù)部門的要求,需要開發(fā)警員和警車信息的上圖應(yīng)用,實現(xiàn)勤務(wù)查看、動態(tài)定位預(yù)警、歷史軌跡分析、勤務(wù)考核查詢統(tǒng)計等功能。

勤務(wù)考核主要包含兩種業(yè)務(wù)數(shù)據(jù):警車GPS位置信息、勤務(wù)區(qū)域范圍信息。勤務(wù)區(qū)域分為警車駐點區(qū)域和警車巡邏區(qū)域,對應(yīng)勤務(wù)區(qū)域的是駐點警車和巡邏警車。業(yè)務(wù)部門會考核在規(guī)定時間段內(nèi)考核車輛是否在駐點區(qū)域之內(nèi)以及在規(guī)定時段內(nèi)考核車輛是否在執(zhí)行巡查任務(wù)等。

勤務(wù)考核部分著重關(guān)注下列幾種情況:警車在線情況統(tǒng)計、警車離線情況統(tǒng)計、駐點警車遲到情況統(tǒng)計、駐點警車跨界情況統(tǒng)計、巡邏警車長時間未移動情況統(tǒng)計、巡邏警車跨界情況統(tǒng)計。

2．2傳統(tǒng)解決方案

通過分析功能概況可以發(fā)現(xiàn),若要完成各種情況的勤務(wù)統(tǒng)計,至少需要幾個基礎(chǔ)條件,如圖1所示:

(1)警車GPS歷史信息表,用于存儲不同時態(tài)時的位置信息,各項統(tǒng)計都需要依賴此表。

(2)駐點區(qū)域表,用于存儲駐點區(qū)域的范圍及駐點時段等信息,警車駐點需要依賴此表。

(3)巡邏區(qū)域表,用于存儲巡邏區(qū)域的范圍及巡邏時段等信息,警車巡邏需要依賴此表。

(4)區(qū)域和警車信息的關(guān)聯(lián)表,用于存儲駐點及巡邏車輛所在的勤務(wù)考核區(qū)域。

其中,警車GPS歷史信息表受到一些因素的制約。首先,由于勤務(wù)統(tǒng)計時間跨度大(如:考核單位要統(tǒng)計某車去年的離線情況),所以需要保存所有的歷史軌跡信息。其次,由于警車的數(shù)量多、位置信息更新頻率高(如:警車位置信息2 s更新1次,每車每天需要存儲43 200條數(shù)據(jù),業(yè)務(wù)單位的400輛車每天將存儲1 728萬,一年則需要存儲63億條數(shù)據(jù)。結(jié)合第一點,如果要統(tǒng)計幾年前的數(shù)據(jù),則需要從數(shù)百億條數(shù)據(jù)中進行查詢處理。),所以數(shù)據(jù)庫查詢效率將會很低。隨著警車GPS歷史信息表的增大,還需要解決海量數(shù)據(jù)的故障遷移、查詢優(yōu)化、存儲等引申出來的若干問題。

圖1　傳統(tǒng)數(shù)據(jù)模型設(shè)計

2．3創(chuàng)新解決方案

在傳統(tǒng)解決方案中,問題聚焦在警車GPS歷史信息表中海量數(shù)據(jù)的存儲增長過快和查詢效率太低上面。按照上述設(shè)計思想,不僅不能刪除數(shù)據(jù)、查詢效率還會隨著存儲的GPS數(shù)據(jù)量增加而快速下降。在大數(shù)據(jù)處理時代的今天,有必要引入業(yè)界更有效率的解決方案來解決現(xiàn)有突出的問題。

(1)MapReduce模式

MapReduce是Google定義的一套并行程序設(shè)計模式(parallel programming paradigm),由兩名Google的研究員Jeffrey Dean和Sanjay Ghemawat在2004年時提出的,并廣泛應(yīng)用在分布Grep、每臺機器的詞矢量、反向索引構(gòu)建、Web連接圖反轉(zhuǎn)、Web訪問日志分析、分布排序、文檔聚類等應(yīng)用中。MapReduce實現(xiàn)以后,它甚至被用來重新生成Google的整個索引,并取代老的Ad Hoc程序去更新索引。

MapReduce的設(shè)計思想是把耗時運算進行拆分和預(yù)處理,稱之為映射(Map),然后在需要使用時對預(yù)處理結(jié)果進行運算,稱為規(guī)約(Reduce)。而傳統(tǒng)的GPS歷史信息數(shù)據(jù)存儲量巨大,查詢效率低下,若在存儲GPS定位信息之前進行預(yù)判斷和預(yù)處理,將會減少數(shù)據(jù)的存儲量,提高系統(tǒng)的查詢效率。為了實現(xiàn)勤務(wù)統(tǒng)計信息的預(yù)處理,首先需要抽象(Abstract)待統(tǒng)計的對象(Object)及其行為(Behavior),然后根據(jù)設(shè)備實時的位置(GPS)信息進行運算和持久化。當(dāng)用戶進行勤務(wù)統(tǒng)計和考核時,系統(tǒng)直接對預(yù)處理信息進行計算并返回結(jié)果。

分析2．1中勤務(wù)考核關(guān)注的內(nèi)容可以抽象出:設(shè)備和位置、區(qū)域、時間幾類對象。然后把每次變化轉(zhuǎn)換成一種事件。事件類型有:0:在線;1:離線;2:未越界; 3:越界;4:運動;5:停留;6:區(qū)域暫停;7:區(qū)域無車輛; 8:非統(tǒng)計時段;

系統(tǒng)在后臺實時地對變化進行運算,并把相關(guān)結(jié)果進行持久化,形成勤務(wù)區(qū)域事件表,包括勤務(wù)區(qū)域、區(qū)域類型、車輛信息、事件信息、發(fā)生時間。實際的統(tǒng)計則是根據(jù)勤務(wù)區(qū)域事件表來得出結(jié)果,如圖2所示。

圖2　基于MapReduce處理的數(shù)據(jù)模型

在系統(tǒng)運行環(huán)境中,采用MapReduce預(yù)處理方法,平均每天每輛警車產(chǎn)生5條左右的事件數(shù)據(jù),相比每2 s存儲一次的每天43 200條數(shù)據(jù),數(shù)據(jù)對磁盤開銷大為減少,如表1所示。使用傳統(tǒng)的方法進行月度或者年度統(tǒng)計,需要從上億甚至更多條記錄中進行反復(fù)多次的查詢。而在新方法中只需要在10 w級別數(shù)據(jù)量中進行查詢和統(tǒng)計,效率大大提高。

數(shù)據(jù)產(chǎn)生情況對比　表1

(2)信度校驗機制

在GPS設(shè)備信息的實際應(yīng)用過程中會出現(xiàn)位置偏移的情況,這主要是由于GPS衛(wèi)星信號受到干擾(隧道無信號、高樓遮擋等原因)。這些誤差會降低勤務(wù)考核的準(zhǔn)確性,系統(tǒng)采用對每條GPS信號進行多次信度驗證的方法,只有通過信度檢驗的信號才被保留下來參與后續(xù)的運算。

信度值校驗機制解決GPS信號飄點的機制如下:根據(jù)車輛的歷史軌跡,可以得到車輛某兩個GPS信號采集的時間間隔2 s內(nèi)的位移s1,s2,s3,s4…sn…,vni表示車輛的該時間段的平均移動速度,記某點的信度值是Fn,表示該點是飄點的可信度,由該點前后的5個位置來決定。+

式中fni表示的是第i個點的位移數(shù)據(jù)si對第n個點的位移數(shù)據(jù)sn可信度的影響:

當(dāng)某點的信度值Fn≥80%時認(rèn)為該點是飄點。系統(tǒng)自動將飄點數(shù)據(jù)刪除,用以提高統(tǒng)計的準(zhǔn)確性。

3　結(jié) 語

文章首先提出在警用勤務(wù)應(yīng)用中,按照傳統(tǒng)的設(shè)計模式來實現(xiàn)將會帶來的問題,然后引入大數(shù)據(jù)的處理辦法(MapReduce)作為解決方案,并使用信度校驗機制去除飄點數(shù)據(jù)。通過對數(shù)據(jù)進行預(yù)處理得到勤務(wù)考勤感興趣的結(jié)果,并將結(jié)果持久化用來支持實際的查詢或統(tǒng)計。此模式在一定程度上增加了系統(tǒng)的復(fù)雜程度,卻避免了GPS數(shù)據(jù)無限制的增長,提高了查詢效率,通過降低用戶操作的等待時間來提高用戶體驗。

[1] 蘇韋．基于MapReduce模式的時空數(shù)據(jù)組織和查詢方法研究[D]．桂林:桂林理工大學(xué),2014．

[2] 屈芳,馬旭玲,羅林明．調(diào)查問卷的信度分析及其影響因素研究[J]．繼續(xù)教育,2015,29(1)．

[3] 李艷芳,王生．基于PGIS平臺的新型自動化勤務(wù)管理系統(tǒng)的設(shè)計與實現(xiàn)[J]．警察技術(shù),2011(3)．

[4] 張翠峰,匡志威,陳麗瓊．地理空間信息數(shù)據(jù)在PGIS中的應(yīng)用[J]．城市勘測,2012(5):25～27．

[5] 方吉祥．基于GIS的城市交通管理系統(tǒng)的研究[J]．大眾科技,2006:116～117．

[6] 殷磊．基于GPS車輛監(jiān)控調(diào)度系統(tǒng)研究與實現(xiàn)[D]．南京:南京理工大學(xué),2011．

The Optimization and Implementation of Mass GIS Data’s Application in Police Service System

Xiang Tanxian1,2,Ai Ke3

(1．Chongqing Cybercity Sci-tech Co．,Ltd,Chongqing 400020,China; 2．Chongqing Enterprise Engineering Technology Research Center on Geographic Information Cloud Service,Chongqing 400020,China; 3．Chongqing Public Security Bureau police corps,Chongqing 400074,China)

With the utilization of the spatial position’s service examination needs,the traditional scheme by querying,analyzing and tabulating the historical data of space trajectory have been unable to meet current business requirements．There are some problems exist in traditional scheme:take up disk space,redundant data and low query efficiency,etc．Therefore,the introduction of MapReduce:large data processing scheme could have real-time specification and map for the content and method that need service statistics,and then store protocol result．At the same time,combining with reliability verification mechanism could provide more direct and accurate source of data for statistical service．The new scheme greatly improves the query efficiency,and uses reasonable data failure mechanism．Because of which can largely reduce the occupancy of hard disk storage space and data redundancy．

MapReduce pattern;PGIS;reliability verification mechanism;service examination

1672-8262(2016)01-65-03

P208．1

B

?2015—09—25

向譚先(1989—),男,助理工程師,主要從事軟件工程及3S技術(shù)應(yīng)用研究。

重慶市科技人才培養(yǎng)計劃項目(cstc2013kjrc-tdsj40001);智慧重慶空間信息服務(wù)云計算平臺開發(fā)項目(cstc2014yykfB40004)。

本項目獲得2015年度測繪科技進步獎二等獎。