戴亞麗

摘要：在移動(dòng)通信設(shè)備普及的時(shí)代，充分利用起每日產(chǎn)生的龐大電信數(shù)據(jù)，為區(qū)域管理分析領(lǐng)域提供便利非常有必要。本系統(tǒng)利用大數(shù)據(jù)技術(shù)，將信令數(shù)據(jù)中的位置信息及其他相關(guān)信息進(jìn)行獲取和分析，獲得區(qū)域內(nèi)人員信息。本文給出了比較完整的區(qū)域監(jiān)控和搜索的設(shè)計(jì)方案，并通過進(jìn)一步實(shí)現(xiàn)，證明了方案的可行性。

關(guān)鍵詞：大數(shù)據(jù)；信令；區(qū)域監(jiān)控

中圖分類號(hào)：TP311

文獻(xiàn)標(biāo)識(shí)碼：A

DOI：10.3969/j.issn.1003-6970.2015.09.020

0 引言

近年來，反恐維穩(wěn)的形勢(shì)日益嚴(yán)峻，對(duì)敏感區(qū)域的監(jiān)控和分析隨之變得越發(fā)重要。對(duì)于區(qū)域監(jiān)控，國(guó)內(nèi)應(yīng)用比較廣泛的是視頻監(jiān)控系統(tǒng)，即硬件視頻設(shè)備和軟件平臺(tái)相結(jié)合。但監(jiān)控區(qū)域受視頻監(jiān)控硬件設(shè)備限制，成本高，靈活度不高。

隨著智能手機(jī)的普遍應(yīng)用，“人手一機(jī)”已成為現(xiàn)實(shí)，隨著技術(shù)的進(jìn)步，如今電信運(yùn)營(yíng)商通過移動(dòng)終端采集的位置數(shù)據(jù)實(shí)時(shí)性得到增強(qiáng)。信令數(shù)據(jù)具有實(shí)時(shí)性強(qiáng)，范圍廣，成本較低的特點(diǎn)，因此通過運(yùn)營(yíng)商基站數(shù)據(jù)來監(jiān)控分析某一區(qū)域內(nèi)人員情況有較高的性價(jià)比。

在通信領(lǐng)域，早在2008年，中國(guó)移動(dòng)委托國(guó)家ITS中心組織并實(shí)施了的“基于手機(jī)位置采集實(shí)時(shí)交通信息科研項(xiàng)目”試驗(yàn)，作為相關(guān)領(lǐng)域的全國(guó)首次大范圍嘗試，此試驗(yàn)驗(yàn)證了基于手機(jī)位置切換采集實(shí)時(shí)信息的可行性。國(guó)內(nèi)也有相關(guān)研究工作，韓魯峰等。結(jié)合基站信息獲取“三角公式法”，研究并提出了一種消除位置偏移算法。任旭提出了一種使用A接口信令數(shù)據(jù)生成實(shí)時(shí)交通數(shù)據(jù)的方法。提出了一種使用現(xiàn)網(wǎng)移動(dòng)網(wǎng)絡(luò)信令數(shù)據(jù)源，實(shí)時(shí)的對(duì)城市白定義區(qū)域?qū)崿F(xiàn)人流量監(jiān)測(cè)的方法。通過調(diào)研可知，已有文獻(xiàn)多偏重于理論研究，有一些基于信令分析的系統(tǒng)應(yīng)用研究主要用于人流分析，人流管理等方向，功能局限于人數(shù)統(tǒng)計(jì)，消息推送等，未能將人流量與獲取區(qū)域內(nèi)人員具體信息相結(jié)合，功能較單一。隨著大數(shù)據(jù)技術(shù)的發(fā)展，將大數(shù)據(jù)技術(shù)應(yīng)用與這些統(tǒng)計(jì)方法相結(jié)合，進(jìn)行移動(dòng)信令的監(jiān)測(cè)統(tǒng)計(jì)，并建立起預(yù)警系統(tǒng)，還有較大的發(fā)展空間。

l 建設(shè)目標(biāo)

本論文旨在設(shè)計(jì)與實(shí)現(xiàn)一個(gè)以海量信令數(shù)據(jù)為數(shù)據(jù)源，基于大數(shù)據(jù)技術(shù)的人員信息監(jiān)控分析平臺(tái)，以實(shí)現(xiàn)任意時(shí)間，任意區(qū)域內(nèi)的人員信息的實(shí)時(shí)監(jiān)控，歷史監(jiān)控?cái)?shù)據(jù)查詢等功能。

相對(duì)于已存在的區(qū)域監(jiān)控類系統(tǒng)，本系統(tǒng)主要有以下優(yōu)勢(shì)：

1）任意區(qū)域的監(jiān)控及查詢?；谄占敖ㄔO(shè)的運(yùn)營(yíng)商基站，可任意設(shè)定監(jiān)控區(qū)域范圍，附加的成本較低。

2）數(shù)據(jù)精準(zhǔn)詳細(xì)。本系統(tǒng)采用的信令數(shù)據(jù)覆蓋人員范圍大，并且利用起電信數(shù)據(jù)中的人員信息，可為刑偵等合法領(lǐng)域提供有效的監(jiān)控信息。

2 關(guān)鍵問題

本論文的研究目標(biāo)是根據(jù)移動(dòng)信令數(shù)據(jù)實(shí)現(xiàn)對(duì)某一區(qū)域的監(jiān)控分析，通過解決移動(dòng)信令到位置信息的轉(zhuǎn)換、分析監(jiān)控區(qū)域?qū)?yīng)基站位置等關(guān)鍵問題，完成基于移動(dòng)信令的區(qū)域監(jiān)控大數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。

本論文所涉及的關(guān)鍵問題分析及解決方案如下：

2.1 信令數(shù)據(jù)源的獲取

本系統(tǒng)的數(shù)據(jù)來源是移動(dòng)信令數(shù)據(jù)，從何種信令流程中獲取到系統(tǒng)所需的包含位置信息的信令，成為本論文研究的首要關(guān)鍵問題。

GSM核心網(wǎng)的基站控制器（BSC）與移動(dòng)交換中心（MSC）之間的A接口主要負(fù)責(zé)傳遞呼叫處理、移動(dòng)性管理、基站管理、移動(dòng)臺(tái)管理等信息，并且A接口具有統(tǒng)一公開的標(biāo)準(zhǔn)，便于生產(chǎn)和組網(wǎng)，因此，本系統(tǒng)選擇獲取包含位置信息的A接口信令。

下面就GSM網(wǎng)和CDMA網(wǎng)分別描述能夠獲取到位置信息和號(hào)碼信息的信令流程

G網(wǎng)中A接口位置如圖1所示：

G網(wǎng)中位置更新流程包含了位置更新類型，IMSI，主叫CEELID，時(shí)間等消息，具體流程如圖2所示：

位置更新過程主要采集的消息如表1所示：

在A接口上加裝信息探測(cè)設(shè)備，即可獲取到包含位置信息的信令，并將數(shù)據(jù)用分隔符分割，以txt文件的形式實(shí)時(shí)傳輸?shù)较到y(tǒng)存儲(chǔ)單元。這種信息探測(cè)監(jiān)聽方式，是一種被動(dòng)的監(jiān)聽方式，附加成本小，不影響已有移動(dòng)通訊網(wǎng)絡(luò)的正常運(yùn)行，不會(huì)增加額外的網(wǎng)絡(luò)負(fù)荷。

2.2 對(duì)信令數(shù)據(jù)實(shí)時(shí)收集和分發(fā)

本系統(tǒng)希望能夠?qū)崟r(shí)的對(duì)區(qū)域內(nèi)人員情況進(jìn)行分析和監(jiān)控，故對(duì)數(shù)據(jù)的采集要求具有實(shí)時(shí)性。而且本系統(tǒng)要做到對(duì)歷史記錄的查詢，又需要對(duì)實(shí)時(shí)采集的數(shù)據(jù)進(jìn)行及時(shí)的存儲(chǔ)。如何實(shí)時(shí)的對(duì)數(shù)據(jù)源進(jìn)行采集分發(fā)是本系統(tǒng)的實(shí)現(xiàn)的基礎(chǔ)及關(guān)鍵問題之一，通過調(diào)研使用Flume軟件來可以對(duì)數(shù)據(jù)做到實(shí)時(shí)的收集和分發(fā)。Flume是實(shí)時(shí)流處理中常用的實(shí)時(shí)獲取數(shù)據(jù)的軟件，可以做到對(duì)數(shù)據(jù)的實(shí)時(shí)獲取，實(shí)時(shí)傳輸，通過配置不同的source可以對(duì)多源頭的數(shù)據(jù)進(jìn)行監(jiān)測(cè)，然后通過配置不同的sink將數(shù)據(jù)輸出到不同的位置，本系統(tǒng)通過配置source，實(shí)時(shí)監(jiān)測(cè)已配置文件夾下數(shù)據(jù)的變化，當(dāng)有新采集完成的信令文件時(shí)，便將該文件內(nèi)容讀出到系統(tǒng)的存儲(chǔ)系統(tǒng)和實(shí)時(shí)處理系統(tǒng)。

2.3 信令數(shù)據(jù)到區(qū)域內(nèi)人員信息的轉(zhuǎn)換

本系統(tǒng)是基于移動(dòng)信令的區(qū)域監(jiān)控分析系統(tǒng)，將移動(dòng)信令轉(zhuǎn)化為對(duì)應(yīng)區(qū)域內(nèi)的人員信息是至關(guān)重要的一步，移動(dòng)信令里面包含和位置信息相關(guān)的數(shù)據(jù)，如何通過建模將信令數(shù)據(jù)轉(zhuǎn)換為某一區(qū)域內(nèi)人員信息并進(jìn)行分析，是本系統(tǒng)的關(guān)鍵部分。

系統(tǒng)采用百度地圖API進(jìn)行操作，當(dāng)用戶選擇區(qū)域進(jìn)行實(shí)時(shí)監(jiān)控或是歷史查看時(shí)，前端獲取的數(shù)據(jù)是時(shí)間范圍、中心點(diǎn)經(jīng)緯度、區(qū)域半徑，如何將區(qū)域與滿足條件的CELLID進(jìn)行對(duì)應(yīng)成為系統(tǒng)的關(guān)鍵問題。為解決這一問題，系統(tǒng)采用的解決方案如下：

1、對(duì)于實(shí)時(shí)監(jiān)控，篩選需監(jiān)控的信令數(shù)據(jù)。根據(jù)每一條信令數(shù)據(jù)的CELLID等信息查找對(duì)應(yīng)經(jīng)緯度，再根據(jù)經(jīng)緯度判斷是否在監(jiān)控范圍內(nèi)，如果在則在前端進(jìn)行顯示。已知信令數(shù)據(jù)對(duì)應(yīng)經(jīng)緯度（al，bl），監(jiān)控區(qū)域中心經(jīng)緯度（a2，b2），通過地球半徑計(jì)算兩經(jīng)緯度點(diǎn)之間的弧度，即兩點(diǎn)間距離，d=R*arccos[cosbl*cosb2*cos（al-a2）+sinbl*sinb2]（注：R為地球半徑），并與設(shè)定監(jiān)控半徑i比較返回結(jié)果

2、對(duì)于區(qū)域搜索，根據(jù)區(qū)域中心點(diǎn)經(jīng)緯度和區(qū)域半徑搜索在區(qū)域內(nèi)的CELLID，并根據(jù)CELLID獲取Hbase數(shù)據(jù)庫(kù)內(nèi)的記錄的位置數(shù)據(jù)，從而在前端回顯相關(guān)信息。首先對(duì)基站信息表進(jìn)行篩選，篩選方法與實(shí)時(shí)監(jiān)控判斷方法相同。將滿足經(jīng)緯度在監(jiān)控范圍內(nèi)的CELLID進(jìn)行保存，通過Hbase API篩選滿足特定時(shí)間段內(nèi)，滿足這些CELLID的信令數(shù)據(jù)，通過劃定區(qū)域的中心點(diǎn)經(jīng)緯度及區(qū)域半徑，計(jì)算區(qū)域內(nèi)經(jīng)緯度范圍。

2.4 大數(shù)據(jù)量數(shù)據(jù)的實(shí)時(shí)處理

移動(dòng)信令數(shù)據(jù)量是很龐大的，對(duì)大數(shù)據(jù)量數(shù)據(jù)的處理很難做到實(shí)時(shí)性，這就需要通過合適的大數(shù)據(jù)技術(shù)框架來解決這兩個(gè)問題，使其既能處理大數(shù)據(jù)量，又能保證實(shí)時(shí)性，經(jīng)調(diào)查研究flume+kafka+storm的實(shí)時(shí)流處理框架可以很好的解決該系統(tǒng)中關(guān)鍵的兩個(gè)問題。

Flume是一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，可以定制各類型的數(shù)據(jù)發(fā)送方以收集數(shù)據(jù)。同時(shí)，F(xiàn)lume可對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并可將數(shù)據(jù)寫入各種數(shù)據(jù)接受方。在該系統(tǒng)中可以用flume監(jiān)測(cè)文件夾實(shí)時(shí)的將數(shù)據(jù)發(fā)送到kafka接收端；

Kafka是一個(gè)分布式的、分區(qū)的、多復(fù)本的日志提交服務(wù)，提供了一個(gè)消息系統(tǒng)的功能，主要用于處理活躍的流式數(shù)據(jù)。Kafka可以從tlume端接收實(shí)時(shí)傳輸過來的數(shù)據(jù)，然后將數(shù)據(jù)緩沖后，發(fā)送到storm端，進(jìn)行處理。

Storm是twitter開源的一個(gè)分布式的、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)，為分布式實(shí)時(shí)計(jì)算提供了一組通用原語(yǔ)，可被用于“流處理”之中，實(shí)時(shí)處理消息并更新數(shù)據(jù)庫(kù)。Storm也可被用于“連續(xù)計(jì)算”，對(duì)數(shù)據(jù)流做連續(xù)查詢，在計(jì)算時(shí)就將結(jié)果以流的形式輸出給用戶。用storm來實(shí)時(shí)對(duì)信令采集上來的數(shù)據(jù)進(jìn)行分析處理，既能對(duì)大數(shù)據(jù)量進(jìn)行處理，也可以保證實(shí)時(shí)性，是系統(tǒng)處理的核心部分。

最后，通過代理消息模擬器HttpServer實(shí)現(xiàn)消息的解析和傳遞，HttpServer保存Strom集群內(nèi)部與他的連接，并且對(duì)外提供Http消息的協(xié)議代理，這樣就可以將web發(fā)送過來的消息實(shí)時(shí)推送給Storm的所有集群，完成命令的實(shí)時(shí)處理及推送。

2.5 大量歷史信令數(shù)據(jù)查詢效率的保證

本系統(tǒng)希望能夠?qū)θ我鈪^(qū)域內(nèi)進(jìn)行某一時(shí)間范圍內(nèi)歷史人員信息的查詢，為刑偵等領(lǐng)域提供有效信息，故對(duì)大量歷史數(shù)據(jù)的查詢效率有很高要求和較大挑戰(zhàn)。如何將實(shí)時(shí)采集處理后的數(shù)據(jù)進(jìn)行存儲(chǔ)和查詢，是本系統(tǒng)的實(shí)現(xiàn)的基礎(chǔ)及關(guān)鍵問題之一，通過調(diào)研使用Hbase這一非關(guān)系型數(shù)據(jù)庫(kù)可以對(duì)大量數(shù)據(jù)做到存儲(chǔ)和較快查詢。HBase是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，通過設(shè)計(jì)合理的索引結(jié)構(gòu)，Hbase能夠比較輕松的解決海量數(shù)據(jù)問題。

3 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

3.1 系統(tǒng)結(jié)構(gòu)與功能設(shè)計(jì)

信令分析系統(tǒng)目的在于分析信令相關(guān)數(shù)據(jù)，目的在于找出信令消息中人員之間的關(guān)系，可以提供給相關(guān)部門或者人員進(jìn)行數(shù)據(jù)在處理和分析，可以用于刑偵等安全相關(guān)的領(lǐng)域。

系統(tǒng)的主要功能分析如圖5所示：

區(qū)域?qū)崟r(shí)監(jiān)控：主要是區(qū)域的監(jiān)控和告警功能。設(shè)定監(jiān)控的任務(wù)及任務(wù)下監(jiān)控的具體區(qū)域，并且設(shè)定刷新頻率，可獲取監(jiān)控任務(wù)區(qū)域內(nèi)人員的具體信息和人員的匯總信息；設(shè)定監(jiān)控任務(wù)區(qū)域內(nèi)的人流量限制閾值，實(shí)時(shí)統(tǒng)計(jì)人流量匯總，并與限值進(jìn)行比對(duì)，若超出設(shè)定范圍則進(jìn)行人流量超限告警。

區(qū)域歷史搜索：將區(qū)域?qū)崟r(shí)監(jiān)控獲取到的人員信息和告警記錄進(jìn)行存儲(chǔ)，可以獲取一定時(shí)間段范圍內(nèi)，某一區(qū)域內(nèi)的人員信息，以及某一時(shí)間范圍內(nèi)監(jiān)控任務(wù)下的告警記錄。

系統(tǒng)按邏輯功能劃分主要是四個(gè)部分：信令數(shù)據(jù)的獲取、數(shù)據(jù)ETL（Extract-Trans form-Load）、建模獲得區(qū)域內(nèi)人員信息、數(shù)據(jù)應(yīng)用，如圖6所示：

3.2 系統(tǒng)架構(gòu)設(shè)計(jì)

實(shí)現(xiàn)系統(tǒng)的信令數(shù)據(jù)的獲取、數(shù)據(jù)ETL、建模獲得區(qū)域內(nèi)人員信息、數(shù)據(jù)應(yīng)用這四部分功能邏輯，進(jìn)一步將系統(tǒng)架構(gòu)設(shè)計(jì)如圖7所示：

3.3 系統(tǒng)實(shí)現(xiàn)

系統(tǒng)數(shù)據(jù)采用Hbase和MySQL的非關(guān)系型數(shù)據(jù)庫(kù)和關(guān)系型數(shù)據(jù)庫(kù)的組合實(shí)現(xiàn)，充分利用起非關(guān)系型數(shù)據(jù)庫(kù)的查詢效率高和關(guān)系型數(shù)據(jù)庫(kù)的接口封裝完善，查詢條件支持多樣的特點(diǎn)。整體采用JavaWeb的技術(shù)架構(gòu)，后臺(tái)采用java實(shí)現(xiàn)具體業(yè)務(wù)邏輯，前臺(tái)采用jsp頁(yè)面展現(xiàn)。

3.3.1 區(qū)域?qū)崟r(shí)監(jiān)控的實(shí)現(xiàn)

實(shí)時(shí)監(jiān)控模塊目前實(shí)現(xiàn)的功能包括設(shè)定任務(wù)及每項(xiàng)任務(wù)下監(jiān)控的區(qū)域，設(shè)定監(jiān)控半徑后，通過地圖標(biāo)點(diǎn)來實(shí)現(xiàn)監(jiān)控區(qū)域的設(shè)置。在后臺(tái)通過經(jīng)緯度的篩選和對(duì)應(yīng)，實(shí)時(shí)篩選出監(jiān)控區(qū)域內(nèi)人員的位置信息和號(hào)碼信息。

3.3.2 區(qū)域歷史搜索功能的實(shí)現(xiàn)

區(qū)域歷史搜索功能模塊目前實(shí)現(xiàn)的功能包括根據(jù)時(shí)間范圍，設(shè)定搜索半徑后，在地圖上標(biāo)識(shí)要搜索的中心坐標(biāo)點(diǎn)，來實(shí)現(xiàn)某一區(qū)域的歷史搜索區(qū)域設(shè)置。在后臺(tái)通過經(jīng)緯度的篩選和對(duì)應(yīng)，篩選出搜索區(qū)域內(nèi)人員的位置信息和號(hào)碼信息。

4 結(jié)論

在移動(dòng)通信設(shè)備普及的時(shí)代，充分利用起每日產(chǎn)生的龐大電信數(shù)據(jù)，為區(qū)域管理分析領(lǐng)域提供便利非常有必要。本系統(tǒng)利用大數(shù)據(jù)技術(shù)，將信令數(shù)據(jù)中的位置信息及其他相關(guān)信息進(jìn)行利用，給出了比較完整的區(qū)域監(jiān)控和搜索的設(shè)計(jì)方案，并進(jìn)行了實(shí)現(xiàn)，證明了方案的可行性。下一步將對(duì)流量告警功能進(jìn)行進(jìn)一步的實(shí)現(xiàn)，增強(qiáng)系統(tǒng)的功能。