韓萍 王浩 方澄 牛勇鋼 賈云飛

摘? 要： 近年來很多室內(nèi)定位技術(shù)被提出，但是大多數(shù)技術(shù)都是重點(diǎn)研究怎樣提高定位精準(zhǔn)度，卻忽略了系統(tǒng)處理海量數(shù)據(jù)的穩(wěn)定性、實(shí)時(shí)性和高效性。特別是在機(jī)場高峰時(shí)段和大面積航班延誤情況下，大量旅客聚集在航站樓產(chǎn)生了海量WiFi數(shù)據(jù)，導(dǎo)致傳統(tǒng)的數(shù)據(jù)處理架構(gòu)出現(xiàn)處理數(shù)據(jù)不及時(shí)、統(tǒng)計(jì)實(shí)時(shí)性差、穩(wěn)定性差的問題。針對該問題設(shè)計(jì)一種高吞吐、低延遲的分布式實(shí)時(shí)數(shù)據(jù)處理架構(gòu)。該架構(gòu)使用消息中間件、實(shí)時(shí)流數(shù)據(jù)處理、內(nèi)存并行計(jì)算和分布式數(shù)據(jù)庫讀寫技術(shù)，實(shí)現(xiàn)了大客流環(huán)境下處理海量實(shí)時(shí)WiFi數(shù)據(jù)的分布式定位分析系統(tǒng)。通過使用模擬數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)進(jìn)行多組實(shí)驗(yàn)測試，驗(yàn)證了系統(tǒng)在保持定位算法準(zhǔn)確性的情況下，仍然具有穩(wěn)定、實(shí)時(shí)、高效的定位分析能力。

關(guān)鍵詞： 定位分析; WiFi數(shù)據(jù); 架構(gòu)構(gòu)建; 分布式處理; 系統(tǒng)測試; 性能比較

中圖分類號： TN919?34? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼： A? ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）04?0043?05

Design of real?time and efficient location analysis system based on WiFi data

HAN Ping1， WANG Hao[2]， FANG Cheng[1]， NIU Yonggang[1]， JIA Yunfei[1]

（1. School of Electronic Information and Automation， Civil Aviation University of China， Tianjin 300300， China;

2. School of Computer Science and Technology， Civil Aviation University of China， Tianjin 300300， China）

Abstract： In recent years， many indoor positioning technologies have been proposed， but most of them focus on how to improve positioning accuracy， while ignoring the stability， real?time performance and high efficiency of the system in processing massive data. Especially in the case of airport peak hours and large?scale flight delays， while a large number of passengers gather in the terminal， which makes a large amount of WiFi data generated， the traditional data processing architecture shall produce the problems of unresponsive data processing， poor statistical real?time performance and poor stability. Therefore， the distributed real?time data processing architecture with high throughput and low latency is designed to solve above problems. In the architecture， the message middleware， real?time streaming data processing， memory parallel computing and distributed database write?read technology are adopted to realize the distributed positioning analysis system for processing massive real?time WiFi data in the large passenger flow environment. The multi?group experimental test using simulation data and real?time data proves that the system has stable， real?time and efficient positioning analysis ability while still maintaining the accuracy of the positioning algorithm.

Keywords： positioning analysis; WiFi data; architecture building; distributed processing; system testing; performance comparison

0? 引? 言

我國民航事業(yè)正處于高速發(fā)展期，航空已然成為人們出行的重要選擇方式。隨著民航客流量的逐漸增加，不僅對機(jī)場的服務(wù)提出了新的要求，并且對機(jī)場的安全保障工作帶來了新的挑戰(zhàn)。在機(jī)場候機(jī)樓內(nèi)免費(fèi)WiFi是旅客使用率較高的一種通信方式，因此可以利用航站樓現(xiàn)有的免費(fèi)WiFi網(wǎng)絡(luò)開展定位業(yè)務(wù)和旅客密度分析等業(yè)務(wù)，為機(jī)場運(yùn)行與資源調(diào)度提供支持[1]。目前在室內(nèi)定位技術(shù)研究領(lǐng)域大多數(shù)研究都在提高定位算法的準(zhǔn)確性，卻忽略了系統(tǒng)處理數(shù)據(jù)的性能問題。例如在文獻(xiàn)[2]中，江聰世等人提出了一種客戶端?服務(wù)器端架構(gòu)的定位系統(tǒng)，通過手機(jī)采集定位數(shù)據(jù)后傳輸?shù)较到y(tǒng)服務(wù)器端進(jìn)行數(shù)據(jù)處理，將定位結(jié)果返回到手機(jī)端顯示。文獻(xiàn)[3]中，樂燕芬等人設(shè)計(jì)了基于Android平臺的室內(nèi)移動(dòng)目標(biāo)的實(shí)時(shí)定位系統(tǒng)，服務(wù)器端獲取無線傳感器網(wǎng)絡(luò)采集的定位數(shù)據(jù)發(fā)送給Android智能終端，智能終端利用位置指紋算法進(jìn)行處理，實(shí)時(shí)動(dòng)態(tài)顯示移動(dòng)目標(biāo)。在文獻(xiàn)[4]中，羅健宇等人設(shè)計(jì)了基于RSSI優(yōu)化模型的室內(nèi)定位系統(tǒng)，使用無線傳感器網(wǎng)絡(luò)采集定位數(shù)據(jù)后上傳到服務(wù)器，在服務(wù)器端使用濾波器進(jìn)行數(shù)據(jù)處理，最后使用加權(quán)質(zhì)心定位算法進(jìn)行定位計(jì)算。在機(jī)場航班大面積延誤和高峰時(shí)段航站樓高密度人流的環(huán)境下，由于數(shù)據(jù)產(chǎn)生快、實(shí)時(shí)性強(qiáng)、數(shù)據(jù)量大等特點(diǎn)，導(dǎo)致傳統(tǒng)的數(shù)據(jù)處理架構(gòu)無法滿足需求。因此，實(shí)現(xiàn)一個(gè)具有對實(shí)時(shí)數(shù)據(jù)進(jìn)行快速處理、高效存儲和及時(shí)服務(wù)能力的高性能系統(tǒng)尤為重要。

Hadoop作為一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，在架構(gòu)之上的生態(tài)系統(tǒng)給大數(shù)據(jù)的存儲、處理和分析做出了重要貢獻(xiàn)。但是隨著實(shí)時(shí)大數(shù)據(jù)應(yīng)用越來越多，Hadoop的MapReduce作為離線的高吞吐、低響應(yīng)框架已不能滿足數(shù)據(jù)實(shí)時(shí)處理的需求。因此為了滿足在高密度客流環(huán)境下對系統(tǒng)高吞吐和實(shí)時(shí)性的需求，本文給出一種基于WiFi數(shù)據(jù)的實(shí)時(shí)高效定位分析系統(tǒng)。在系統(tǒng)中將海量實(shí)時(shí)流數(shù)據(jù)處理和定位算法實(shí)現(xiàn)并行化，結(jié)合具有高密度讀寫能力的NoSQL數(shù)據(jù)庫，實(shí)現(xiàn)了一個(gè)具有穩(wěn)定性、實(shí)時(shí)性和高效性的分布式系統(tǒng)。

1? 系統(tǒng)體系架構(gòu)

基于海量WiFi數(shù)據(jù)的分布式定位分析系統(tǒng)架構(gòu)如圖1所示，主要包括3個(gè)層次：數(shù)據(jù)層、服務(wù)層和表現(xiàn)層。數(shù)據(jù)層通過部署WiFi探針設(shè)備，使用探針對WiFi數(shù)據(jù)進(jìn)行采集并且通過WiFi網(wǎng)絡(luò)將數(shù)據(jù)上傳到系統(tǒng)后端服務(wù)器。服務(wù)層運(yùn)行在分布式架構(gòu)之上，主要包括Kafka作為消息中間件接收和整理WiFi探針上傳的WiFi數(shù)據(jù)，Spark Streaming將Kafka的實(shí)時(shí)流數(shù)據(jù)進(jìn)行數(shù)據(jù)解析后存儲到HBase數(shù)據(jù)庫以及Spark進(jìn)行并行定位計(jì)算。表現(xiàn)層即用戶層，用戶通過軌跡檢索模塊和人員密度檢索模塊與高德地圖JS API結(jié)合實(shí)現(xiàn)系統(tǒng)的可視化呈現(xiàn)。

2? 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

2.1? WiFi定位數(shù)據(jù)采集與上傳

WiFi定位數(shù)據(jù)的采集功能通過部署WiFi探針實(shí)現(xiàn)。WiFi探針是基于WiFi探測技術(shù)，自動(dòng)識別已開啟WiFi的移動(dòng)設(shè)備（手機(jī)、平板、手提電腦等）并且獲取移動(dòng)設(shè)備的MAC（Medium/Media Access Control）層數(shù)據(jù)的一種硬件設(shè)備。

如圖2所示，在公共WiFi環(huán)境下，移動(dòng)設(shè)備的WiFi功能在開啟的狀態(tài)下會(huì)周期性地向四周發(fā)射掃描信號，因此WiFi探針就可以監(jiān)聽移動(dòng)設(shè)備發(fā)射的探測信號。WiFi探針探測到移動(dòng)設(shè)備的MAC層的信息，主要包括設(shè)備MAC地址、數(shù)據(jù)傳輸信道、數(shù)據(jù)幀類型、信號強(qiáng)度以及移動(dòng)設(shè)備所連接的熱點(diǎn)名稱。每個(gè)移動(dòng)上網(wǎng)設(shè)備的MAC地址都是全球唯一的，所以利用MAC的唯一性可以有效地作為旅客的唯一標(biāo)識。WiFi探針將探測到的數(shù)據(jù)按照數(shù)據(jù)上傳協(xié)議進(jìn)行數(shù)據(jù)包封裝，封裝后的數(shù)據(jù)包采用TCP的Socket方式上傳到后臺服務(wù)器。

2.2? 消息隊(duì)列中間件

消息中間件是分布式系統(tǒng)中必不可少的組件，面對流量高峰問題可以幫助系統(tǒng)進(jìn)行削峰降流和異步處理，并且可以降低系統(tǒng)架構(gòu)各層的耦合度來提高系統(tǒng)的健壯性。因此，消息中間件廣泛應(yīng)用于分布式系統(tǒng)中，目前主流的消息隊(duì)列中間件主要有：KafKa，RabbitMQ，RockertMQ。文獻(xiàn)[5?8]將Kafka分別應(yīng)用于航空維修大數(shù)據(jù)系統(tǒng)、電量采集系統(tǒng)、聯(lián)通實(shí)時(shí)賬單短信系統(tǒng)中，驗(yàn)證了Kafka作為消息中間件的可靠性。本文使用WiFi定位數(shù)據(jù)對三個(gè)中間件系統(tǒng)進(jìn)行性能實(shí)驗(yàn)對比，在測試過程中不斷增加數(shù)據(jù)發(fā)送端的壓力直到系統(tǒng)的吞吐量不再上升，但是處理時(shí)間不斷拉長，系統(tǒng)出現(xiàn)了性能瓶頸期，這時(shí)便得到了系統(tǒng)的最佳吞吐量。如圖3所示，Kafka吞吐量為5.24萬條性能高于RabbitMQ的4.35萬條和RocketMQ的2.12萬條，通過測試，表明Kafka更適合處理I/O高吞吐數(shù)據(jù)，因此本文將Kafka作為分布式系統(tǒng)的消息中間件組件。

2.3? 基于Spark Streaming的數(shù)據(jù)解析算法

Spark作為新一代大規(guī)模數(shù)據(jù)處理引擎，具有高效性、易用性、通用性和兼容性等特點(diǎn)[9]。Spark Streaming是運(yùn)行在Spark之上的流式計(jì)算框架[10]，工作原理如圖4所示。Spark Streaming從Kafka接收到WiFi數(shù)據(jù)之后，首先將數(shù)據(jù)流進(jìn)行切分成多個(gè)batch（分片），將多個(gè)batch高層抽象為DStream。每個(gè)Dstream代表了一系列連續(xù)的彈性分布數(shù)據(jù)集（Resilient Distributed Dataset， RDD），RDD是Spark中最重要的概念，在Spark中RDD是一個(gè)提供多種操作接口的數(shù)據(jù)集合。Spark Streaming將batch序列輸入到Spark Engine中，Spark Engine 將多個(gè)batch分派到Spark集群中的Worker節(jié)點(diǎn)進(jìn)行WiFi數(shù)據(jù)的解析工作，最終將數(shù)據(jù)解析的結(jié)果存儲到HBase數(shù)據(jù)庫。

本文的數(shù)據(jù)解析算法根據(jù)WiFi探針上傳數(shù)據(jù)時(shí)的數(shù)據(jù)協(xié)議將原始的WiFi數(shù)據(jù)進(jìn)行數(shù)據(jù)解析，原始的WiFi數(shù)據(jù)是以十六進(jìn)制字節(jié)數(shù)組進(jìn)行傳輸，數(shù)據(jù)格式如圖5所示。

數(shù)據(jù)解析算法是運(yùn)行在Spark Streaming框架之上的并行流式算法，如圖6所示。原始WiFi數(shù)據(jù)分配到不同的Worker計(jì)算節(jié)點(diǎn)之后，首先找到數(shù)據(jù)的同步字段，該同步字段表示數(shù)據(jù)幀的開始，找到同步字段后，根據(jù)CHK字段結(jié)合CTL，LENGTH，SN三個(gè)字段進(jìn)行CRC8校驗(yàn)，最后進(jìn)行數(shù)據(jù)完整性校驗(yàn)。通過三步檢驗(yàn)后將DATA字段根據(jù)數(shù)據(jù)協(xié)議進(jìn)行數(shù)據(jù)解碼，最終將解析后的數(shù)據(jù)添加到Put對象中進(jìn)行HBase數(shù)據(jù)存儲。

2.4? 基于Spark的三邊定位算法

使用Spark進(jìn)行數(shù)據(jù)計(jì)算時(shí)，數(shù)據(jù)處理算法的設(shè)計(jì)和程序編寫的最關(guān)鍵部分就是利用Spark豐富的操作函數(shù)對原始數(shù)據(jù)產(chǎn)生的RDD進(jìn)行多次變換，通過RDD轉(zhuǎn)換過程得到期望的計(jì)算結(jié)果。文獻(xiàn)[11?14]中將Spark分別應(yīng)用到智慧城市系統(tǒng)、空間大數(shù)據(jù)分析、油田應(yīng)用日志分析和推薦系統(tǒng)中，均驗(yàn)證了Spark作為大規(guī)模數(shù)據(jù)處理引擎的優(yōu)勢。本文提出的基于Spark的定位算法是將傳統(tǒng)的基于RSSI測距的室內(nèi)三邊定位算法[15]進(jìn)行重新編寫，使定位算法運(yùn)行于Spark框架之上，算法流程如圖7所示。

具體的算法步驟描述如下：

1） 創(chuàng)建彈性數(shù)據(jù)集RDD1，從數(shù)據(jù)庫中查出需要定位計(jì)算的數(shù)據(jù)并存入到彈性數(shù)據(jù)集RDD1中，其中每一條數(shù)據(jù)包括phoneMac（手機(jī)MAC地址）、 ScaMac（WiFi探針的MAC地址）、timeStamp（數(shù)據(jù)采集時(shí)的時(shí)間戳）、isCalculate（計(jì)算標(biāo)志位）。

由表1可知，本文提出的基于Spark的定位算法計(jì)算結(jié)果與傳統(tǒng)算法保持一致，證明了該算法在提高計(jì)算效率的同時(shí)并沒有影響算法的準(zhǔn)確性。

4? 結(jié)? 論

為了解決傳統(tǒng)架構(gòu)系統(tǒng)計(jì)算效率低、實(shí)時(shí)性差和穩(wěn)定性差的問題，本文結(jié)合Kafka，Spark，HBase等大數(shù)據(jù)組件，設(shè)計(jì)基于海量WiFi數(shù)據(jù)的分布式定位分析系統(tǒng)。通過多組實(shí)驗(yàn)測試，驗(yàn)證了該系統(tǒng)在保持定位準(zhǔn)確性的條件下，仍然具有穩(wěn)定、實(shí)時(shí)、高效的定位分析能力。下一步工作：研究定位算法提供更準(zhǔn)確的定位算法模型，豐富系統(tǒng)功能使系統(tǒng)進(jìn)一步完善。

參考文獻(xiàn)

[1] 張曉海，梁旭.WiFi定位技術(shù)在機(jī)場的應(yīng)用研究[J].綜合運(yùn)輸，2017，39（2）：84?86.

[2] 江聰世，劉佳興.一種基于智能手機(jī)的室內(nèi)地磁定位系統(tǒng)[J].全球定位系統(tǒng)，2018，43（5）：9?16.

[3] 樂燕芬，羅紅玉，趙妍，等.基于位置指紋的室內(nèi)移動(dòng)目標(biāo)定位系統(tǒng)[J].電子科技，2018，31（11）：42?46.

[4] 羅健宇，張衛(wèi)強(qiáng)，徐艇.基于RSSI優(yōu)化模型的室內(nèi)定位系統(tǒng)[J].無線通信技術(shù)，2018（3）：25?30.

[5] 徐海榮，陳閔葉，張興媛.基于Flume、Kafka、Storm、HDFS的航空維修大數(shù)據(jù)系統(tǒng)[J].上海工程技術(shù)大學(xué)學(xué)報(bào)，2015，29（4）：303?305.

[6] 金雙喜，李永，吳驊，等.基于Kafka消息隊(duì)列的新一代分布式電量采集方法研究[J].陜西電力，2018，46（2）：77?82.

[7] 楊潔.利用Kafka技術(shù)實(shí)現(xiàn)用戶實(shí)時(shí)賬單的短信提醒功能[J].數(shù)字通信世界，2017（11）：219?221.

[8] 王巖，王純.一種基于Kafka的可靠的Consumer的設(shè)計(jì)方案[J].軟件，2016，37（1）：61?66.

[9] 趙文芳，劉旭林.Spark Streaming框架下的氣象自動(dòng)站數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)[J].計(jì)算機(jī)應(yīng)用，2018，38（1）：38?43.

[10] ZAHARIA M， CHOWDHURY M， FRANKLIN M， et al. Spark： cluster computing with working sets [C]// Proceedings of 2nd USENIX Conference on Hot Topics in Cloud Computing. Boston： ACM， 2010： 10?16.

[11] 石磊.基于Spark技術(shù)在智慧城市系統(tǒng)中的應(yīng)用[J].電子技術(shù)與軟件工程，2018：58?59.

[12] 周堯，劉超，徐樹楠，等.基于Spark與MongoDB的地理空間大數(shù)據(jù)應(yīng)用分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].測繪與空間地理信息，2018，41（9）：71?74.

[13] 陳雷鳴，張偉光，李翛然，等.基于Spark的油田應(yīng)用日志行為分析系統(tǒng)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2018，27（9）：74?80.

[14] 張靚，肖俊東，趙開敏.基于Spark的艦船網(wǎng)絡(luò)數(shù)據(jù)解析存儲系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].艦船電子工程，2017（11）：98?101.

[15] YANG Z L. Study on indoor trilateration algorithm implementation based on positioning of RSSI [J]. Machine tool & hydraulics， 2018， 46（6）： 140?145.

[16] 房俊，李冬，郭會(huì)云，等.面向海量交通數(shù)據(jù)的HBase時(shí)空索引[J].計(jì)算機(jī)應(yīng)用，2017，37（2）：311?315.

[17] 吳仁彪，劉超，屈景怡.基于HBase和Hive的航班延誤平臺的存儲方法[J].計(jì)算機(jī)應(yīng)用，2018，38（5）：123?129.

[18] 張春風(fēng)，申飛，張俊，等.基于Storm的車聯(lián)網(wǎng)數(shù)據(jù)實(shí)時(shí)分析系統(tǒng)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2018，27（3）：44?50.

[19] ZHANG Chong， CHEN Xiaoying， FENG Xiaosheng， et al. Storing and querying semi?structured spatio?temporal data in HBase [C]// International Conference on Web?Age Information Management. Nanchang： Springer， 2016： 303?314.