向華(重慶數(shù)字城市科技有限公司,重慶 400020)
一種實(shí)時(shí)地理位置數(shù)據(jù)分析技術(shù)的探索與實(shí)現(xiàn)
向華?
(重慶數(shù)字城市科技有限公司,重慶 400020)
隨著近年來(lái)測(cè)繪地理信息應(yīng)用的拓展和深入,海量實(shí)時(shí)地理位置數(shù)據(jù)的處理需求日漸增多。本課題為解決重慶市公安局交通巡邏警察總隊(duì)警車(chē)GPS點(diǎn)位實(shí)時(shí)數(shù)據(jù)處理需求,提出了一種實(shí)時(shí)地理位置數(shù)據(jù)分析技術(shù)。通過(guò)引入地理圍欄、定義地理事件,利用Map-Reduce算法結(jié)合空間拓?fù)涮匦詫?duì)數(shù)據(jù)進(jìn)行處理,取得良好應(yīng)用效果,使警務(wù)數(shù)據(jù)統(tǒng)計(jì)處理效率得到較大幅度提升。
地理圍欄;地理事件;交通地理信息
隨著近年來(lái)測(cè)繪地理信息應(yīng)用的拓展和深入,對(duì)測(cè)繪獲得的地理位置數(shù)據(jù)實(shí)時(shí)性要求日益提升。在物聯(lián)網(wǎng)快速發(fā)展的條件下,各種地理位置數(shù)據(jù)通過(guò)測(cè)繪技術(shù)實(shí)時(shí)采集、依托計(jì)算機(jī)網(wǎng)絡(luò)進(jìn)行傳輸匯集,如涓涓細(xì)流匯入江河大海,形成海量的實(shí)時(shí)地理位置大數(shù)據(jù)。如何對(duì)其進(jìn)行處理和利用,成為測(cè)繪地理信息領(lǐng)域亟待解決的新課題。
交通管理警務(wù)工作中,就涉及大量的交通參與人行為數(shù)據(jù)和交通管理者行為數(shù)據(jù)。為了提升城市交通運(yùn)行管理的效率和質(zhì)量,重慶在全國(guó)率先推行全?。ㄖ陛犑校┙煌ň旌脱簿弦坏木瘎?wù)模式,成立的新警種簡(jiǎn)稱(chēng)交巡警。重慶交巡警剛一成立,即在主要城區(qū)建設(shè)了上百個(gè)街頭固定警務(wù)平臺(tái),開(kāi)展街頭治安防控工作。但是固定的交巡警平臺(tái)裝置不便移動(dòng),逐漸難以適應(yīng)警力靈活部署的要求,交巡警平臺(tái)從固定裝置向巡邏車(chē)輛轉(zhuǎn)變。隨著交巡警車(chē)輛工作模式的全面鋪開(kāi),指揮中心通過(guò)車(chē)載GPS回傳定位點(diǎn),對(duì)警車(chē)進(jìn)行定位、指揮調(diào)度。警車(chē)回傳的GPS定位數(shù)據(jù)平均一秒鐘約140個(gè)~180個(gè)點(diǎn),一天超過(guò)840余萬(wàn),一月數(shù)據(jù)超過(guò)2.5億,傳統(tǒng)的地理信息統(tǒng)計(jì)方法因處理超時(shí)而失效。因此為了解決統(tǒng)計(jì)管理問(wèn)題,引入地理圍欄、定義地理事件,利用Map-Reduce算法結(jié)合空間拓?fù)涮匦詫?duì)GPS地理位置大數(shù)據(jù)進(jìn)行處理,探索出一套處理海量實(shí)時(shí)地理位置數(shù)據(jù)的新興分析技術(shù)。
重慶市交巡警通過(guò)對(duì)警車(chē)GPS數(shù)據(jù)進(jìn)行匯總、統(tǒng)計(jì)和分析,著手解決如下幾方面問(wèn)題:
第一,是通過(guò)地理信息技術(shù)準(zhǔn)確表達(dá)和傳送警力部署和駐扎方案,能夠描述在指定的時(shí)間、將指定的警車(chē)和警力安排在某個(gè)街頭巡邏點(diǎn);經(jīng)過(guò)分發(fā)傳送到一線(xiàn)予以執(zhí)行,從而形成警力網(wǎng)絡(luò)。
第二,是指揮員及時(shí)發(fā)現(xiàn)警力異常狀態(tài)。在進(jìn)行了方案分發(fā)執(zhí)行后,針對(duì)駐扎和巡邏區(qū)域,能夠發(fā)現(xiàn)警力遲到、提前離開(kāi)、缺席等異常情況。
第三,是匯總一段時(shí)間內(nèi)警力駐扎和巡邏情況進(jìn)行統(tǒng)計(jì),以此開(kāi)展警務(wù)督導(dǎo)。需要高效、直觀(guān)、準(zhǔn)確地統(tǒng)計(jì)和反映出警力異常狀態(tài)匯總情況,成為警務(wù)督導(dǎo)依據(jù),提升效率。
為了解決第一個(gè)問(wèn)題,為后續(xù)的海量警車(chē)GPS實(shí)時(shí)地理信息數(shù)據(jù)分析提供基礎(chǔ)條件,引入地理圍欄(Geo Fencing)技術(shù)進(jìn)行探索并應(yīng)用。
定義具有時(shí)間和地理屬性的地理圍欄模型。通過(guò)對(duì)交巡警街頭駐扎、巡邏的工作方式進(jìn)行跟蹤學(xué)習(xí),掌握警力部署和指揮調(diào)度的一般方法。即在指定的時(shí)間段在指定的位置駐扎,或者在指定的時(shí)間端在指定的道路上巡邏。用文字指令不易表達(dá),口語(yǔ)說(shuō)明容易失真。在方案層層傳遞過(guò)程中易失真。將警力部署方案以閉合多邊形或者矩形圖元的方式,在電子地圖上繪制出警力駐扎或巡邏的地理范圍,并在范圍數(shù)據(jù)中記錄駐扎或巡邏的計(jì)劃時(shí)間段,形成的具有時(shí)空限制條件的邏輯圍欄。如圖1、圖2所示:
? 收稿日期:2015—11—03
作者簡(jiǎn)介:向華(1982—):男,工程師,碩士,主要從事GIS、GPS、RS開(kāi)發(fā)應(yīng)用等技術(shù)工作
基金項(xiàng)目:重慶市科技人才培養(yǎng)計(jì)劃(cstc2013kjrc-tdsj40001);智慧重慶空間信息服務(wù)云計(jì)算平臺(tái)開(kāi)發(fā)(cstc2014yykfB40004)
圖1 定義地理圍欄
圖2 地理圍欄屬性填充
將地理圍欄以任務(wù)形式指派給具體的警車(chē)。在目前的交巡警警力管理中,以警車(chē)作為一個(gè)警務(wù)小組的代指,根據(jù)不同的車(chē)型配備一定數(shù)量的民警。將警力資源和地理圍欄進(jìn)行關(guān)聯(lián)??蓽?zhǔn)確直觀(guān)地描述定時(shí)定地的警力部署要求。
通過(guò)公安計(jì)算機(jī)網(wǎng)絡(luò)安全傳遞警力部署方案。警力部署方案準(zhǔn)確可靠保密的傳送是一項(xiàng)具有重要意義的任務(wù),原來(lái)通過(guò)對(duì)講機(jī)呼喊的方式容易導(dǎo)致信息失真,也容易泄密透露警力位置(警用對(duì)講機(jī)頻道被人監(jiān)聽(tīng)等情況時(shí)有發(fā)生)。在本次研究中,找到通過(guò)地理圍欄數(shù)字化表達(dá)警力部署方案的方法,也研究出通過(guò)公安計(jì)算機(jī)網(wǎng)絡(luò)將部署方案進(jìn)行傳送的方法,以電子地圖的形式使PGIS平臺(tái)延伸到的用戶(hù)均可授權(quán)訪(fǎng)問(wèn)。
地理圍欄和傳統(tǒng)方式表達(dá)警力方案的區(qū)別。如表1所示:
各種警力方案表達(dá)模式比較 表1
為了表達(dá)警力異常,定義地理事件(Geo Event)。地理事件是近年來(lái)的一個(gè)新興的地理科學(xué)術(shù)語(yǔ),它發(fā)源于時(shí)下熱火朝天的移動(dòng)互聯(lián)網(wǎng)LBS、O2O領(lǐng)域,在這一領(lǐng)域中對(duì)用戶(hù)的位置變化予以邏輯行為的抽象定義。本課題引入地理事件的概念,用以表述一個(gè)圖元對(duì)象在電子地圖上移動(dòng)時(shí)與地理圍欄發(fā)生拓?fù)潢P(guān)系變化的情況。圖元對(duì)象進(jìn)入到地理圍欄內(nèi),觸發(fā)“進(jìn)入事件”;圖元對(duì)象從地理圍欄中移出,觸發(fā)“離開(kāi)事件”;圖元對(duì)象消失,觸發(fā)“消失事件”。一個(gè)地理事件被觸發(fā)后,即創(chuàng)建一個(gè)事件信標(biāo),在計(jì)算機(jī)系統(tǒng)中可在程序支持下激活一連串的軟件功能,包括地理事件的存儲(chǔ)、展現(xiàn)、處理和轉(zhuǎn)發(fā)。如圖3所示:
圖3 常見(jiàn)地理事件定義
在本課題中,地理事件與地理圍欄相輔相成,地理圍欄用以描述警力部署,地理事件則用來(lái)解析為警力的狀態(tài)。將警力GPS定位數(shù)據(jù)和地理圍欄空間數(shù)據(jù)進(jìn)行拓?fù)浞治?,把分析結(jié)果用地理事件來(lái)進(jìn)行表示,然后與地理圍欄的時(shí)段屬性進(jìn)行比對(duì),能夠高效地發(fā)現(xiàn)警力異常狀態(tài),包括遲到、脫崗、缺勤等等。
警車(chē)GPS定位數(shù)據(jù)一天超過(guò)840余萬(wàn)個(gè),一月數(shù)據(jù)超過(guò)2.5億個(gè)GPS點(diǎn),傳統(tǒng)的地理統(tǒng)計(jì)方法均超時(shí)失效。為此開(kāi)拓性地引入Map-Reduce方法對(duì)地理位置大數(shù)據(jù)進(jìn)行實(shí)時(shí)映射-規(guī)約處理。以GPS定位數(shù)據(jù)和地理圍欄等空間數(shù)據(jù)為依托,實(shí)時(shí)判讀是否觸發(fā)地理事件,將先存儲(chǔ)后統(tǒng)計(jì)GPS點(diǎn)位的傳統(tǒng)處理流程,映射-規(guī)約為地理事件的存儲(chǔ)和分析。該方法大幅度縮減了統(tǒng)計(jì)運(yùn)算的數(shù)據(jù)源規(guī)模,將花費(fèi)數(shù)小時(shí)的計(jì)算時(shí)間縮減到為以秒為單位計(jì)算的時(shí)間,效率提升數(shù)千倍;同時(shí)統(tǒng)計(jì)信息不失真,是地理信息化管理領(lǐng)域可推廣的新型技術(shù)方法。與傳統(tǒng)方法的對(duì)比如表2所示:
警力狀態(tài)的獲取形式比較 表2
警車(chē)上安裝的GPS設(shè)備通過(guò)移動(dòng)通訊網(wǎng)絡(luò)回傳定位點(diǎn),同時(shí)應(yīng)用多基站逐次逼近定位方法輔助提升定位經(jīng)度。進(jìn)行GPS大數(shù)據(jù)Map-Reduce映射-規(guī)約時(shí),根據(jù)GPS定位數(shù)據(jù)判定是否觸發(fā)地理事件。判定算法采用數(shù)據(jù)流處理方式,當(dāng)一個(gè)GPS定位點(diǎn)被作為處理對(duì)象傳入到處理機(jī)當(dāng)中時(shí),將根據(jù)其定位時(shí)間回溯同一車(chē)輛的前時(shí)序點(diǎn),形成該車(chē)輛的GPS移動(dòng)軌跡。然后將軌跡與該車(chē)輛部署時(shí)對(duì)應(yīng)的地理圍欄進(jìn)行匹配對(duì)比,判定觸發(fā)具體的地理事件。其算法概要邏輯如圖4所示:
圖4 MapReduce處理邏輯
編寫(xiě)的實(shí)時(shí)GPS點(diǎn)位處理程序部署在專(zhuān)用GPS數(shù)據(jù)解析服務(wù)器上,并且以多進(jìn)程(每個(gè)進(jìn)程下還有多線(xiàn)程)方式運(yùn)行,在并行計(jì)算算法的支持下充分利用了當(dāng)下多核處理器的性能。通過(guò)Windows服務(wù)管理器對(duì)各個(gè)進(jìn)程進(jìn)行控制,確保了對(duì)進(jìn)程狀態(tài)的監(jiān)控。
本方法涉及的軟件編碼完成上線(xiàn)后,與傳統(tǒng)的數(shù)據(jù)庫(kù)統(tǒng)計(jì)方法進(jìn)行了一次比較計(jì)算。通過(guò)一周的警務(wù)車(chē)輛運(yùn)行情況,統(tǒng)計(jì)出一周以來(lái)遲到的警務(wù)車(chē)輛。對(duì)比情況如表3所示:
通過(guò)表3對(duì)比可以發(fā)現(xiàn),雖然在實(shí)時(shí)處理地理事件時(shí)為服務(wù)器帶來(lái)少量的額外計(jì)算開(kāi)銷(xiāo),但與匯總統(tǒng)計(jì)相比,得到結(jié)果的計(jì)算效率有較大幅度提升。
數(shù)據(jù)處理效率對(duì)比 表3
目前地理事件的觸發(fā)以GPS定位數(shù)據(jù)的變化為觸發(fā)器,由于GPS定位點(diǎn)在實(shí)際使用過(guò)程中存在信號(hào)干擾、飄移、跳變等情況。為了使地理事件的判定更加準(zhǔn)確,引入信度變量來(lái)進(jìn)行事件驗(yàn)證。當(dāng)一個(gè)地理事件被觸發(fā)后,根據(jù)觸發(fā)該事件的GPS定位數(shù)據(jù)上的時(shí)間戳,統(tǒng)計(jì)后續(xù)一段時(shí)間內(nèi)收到的新GPS定位數(shù)據(jù),使用這些定位數(shù)據(jù)去驗(yàn)證之前的地理事件,每當(dāng)驗(yàn)證成功一次,信度變量增值,當(dāng)信度變量增值達(dá)到一定程度,即可確信該地理事件為真實(shí)可信的。
其算法流程如圖5所示:
圖5 信度變量計(jì)算處理流程圖
研發(fā)的地理位置數(shù)據(jù)分析技術(shù)在交通巡邏警務(wù)管理中持續(xù)產(chǎn)生作用,自從成果軟件2014年年末在重慶市交巡警總隊(duì)上線(xiàn)投入使用以來(lái),已平穩(wěn)運(yùn)行了約一年。在這一運(yùn)行周期中,對(duì)全市幾千輛警務(wù)車(chē)輛的GPS點(diǎn)位進(jìn)行分析和處理,每天處理數(shù)據(jù)量超過(guò)840萬(wàn)條。依托課題成果軟件系統(tǒng),重慶市交巡警對(duì)警力部署和調(diào)度的新管理模式得以推行和優(yōu)化,對(duì)提升街頭震懾力和巡邏覆蓋率作出了貢獻(xiàn),使街頭治安事件的發(fā)生率保持在較低水平。提升了交通擁堵的疏導(dǎo)效率,使警車(chē)的有效駐扎時(shí)間從原來(lái)的每車(chē)/月不足120 h,提升到每車(chē)/月不低于 200 h。
同時(shí)實(shí)時(shí)地理位置數(shù)據(jù)分析技術(shù)中涉及的地理圍欄、地理事件和Map-Reduce方法,在地理信息領(lǐng)域和互聯(lián)網(wǎng)搜索領(lǐng)域均為逐漸成熟的方法,但其交叉應(yīng)用卻較為罕見(jiàn)。本項(xiàng)目針對(duì)本方法的嘗試,是一種融合性創(chuàng)新,同時(shí)通過(guò)引入信度變量的計(jì)算提升了地理事件判定的準(zhǔn)確性,為后續(xù)開(kāi)展地理事件的進(jìn)一步應(yīng)用夯實(shí)了基礎(chǔ)。通過(guò)探索和實(shí)踐,我們認(rèn)為本方法不僅能應(yīng)用在交通警務(wù)管理中,還可以向其他需要實(shí)時(shí)處理海量GPS數(shù)據(jù)的行業(yè)推廣,如物流、安監(jiān)、高速公路管理等,具有良好的應(yīng)用價(jià)值。
[1]薛梅.基于空間建模的公共安全情報(bào)分析初探[J].測(cè)繪與空間地理信息,2011,3:113~115.
[2]朱圣,向煜,宋華平.警用地理信息柵格電子地圖制作研究[J].城市勘測(cè),2012,5:98~101.
[3]張建,呂楠,劉寓.PGIS空間數(shù)據(jù)實(shí)時(shí)同步技術(shù)研究.城市勘測(cè)[J].2013,1:48~50.
[4]向煜,唐德斌,易佳等.基于PGIS平臺(tái)的定點(diǎn)全景地圖建庫(kù)技術(shù)研究[J].城市勘測(cè),2013,2:13~16.
[5]郭會(huì),宋關(guān)福,馬柳青.地理編碼系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程,2009,35(1):250~252.
[6]李艷芳,王生.基于PGIS平臺(tái)的新型自動(dòng)化勤務(wù)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].警察技術(shù),2011(3):121~125.
Exploration and Implementation of a Real Time Location Data Analysis Technology
Xiang Hua
(Chongqing Cybercity Sci-tech Co.,Ltd,Chongqing 400020,China)
With the development of geographic information applications in recent years,the demand for real-time location data processing and analysis is increasing.In order to solve the problem of real-time data processing requirements of the GPS points of the police car in Chongqing,this paper presents a real-time location data analysis technique.The geographic fence and the definition of geographic events are introduced.The data are processed by Map-Reduce algorithm and the spatial topological characteristics are obtained.The efficiency of data processing is greatly improved.
geo-fencing;geo-event;traffic geographic information
1672-8262(2016)02-11-04中圖分類(lèi)號(hào):P208.1
A