上海市城鄉(xiāng)建設(shè)和交通發(fā)展研究院

0 引 言

大數(shù)據(jù)是信息化水平發(fā)展到一定階段的必然結(jié)果。隨著移動(dòng)互聯(lián)網(wǎng)和智能移動(dòng)終端的發(fā)展與普及，移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)是大數(shù)據(jù)的最主要的組成部分。移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)主要包含移動(dòng)智能終端的網(wǎng)絡(luò)信令、協(xié)議、流量等網(wǎng)絡(luò)信息；終端用戶(hù)的社交、導(dǎo)航、新聞、搜索等行為信息以及用戶(hù)的各類(lèi)注冊(cè)信息等。通過(guò)對(duì)這些信息的采集、提取、挖掘和分析，可以全面、清晰、準(zhǔn)確地勾繪出用戶(hù)特征，此類(lèi)用戶(hù)畫(huà)像信息已成功地應(yīng)用在精準(zhǔn)營(yíng)銷(xiāo)領(lǐng)域，體現(xiàn)出了“數(shù)據(jù)是資源”的經(jīng)濟(jì)學(xué)價(jià)值。在城市智能交通領(lǐng)域，移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)的挖掘應(yīng)用，可以極大地提高傳統(tǒng)傳感器交通采集的時(shí)空覆蓋范圍和頻度，減少傳統(tǒng)的交通調(diào)查抽樣數(shù)據(jù)的樣本數(shù)據(jù)自身的局限性。深入挖掘移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)對(duì)于交通規(guī)劃、交通管理、交通指揮以及交通運(yùn)營(yíng)意義重大。

1 移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)的主要特性

1.1 無(wú)時(shí)不在、無(wú)處不在，時(shí)空覆蓋面廣

現(xiàn)今，智能移動(dòng)終端如同我們的身體器官，與我們形影相隨，通過(guò)移動(dòng)終端，我們與社會(huì)保持著實(shí)時(shí)的聯(lián)系與溝通。在移動(dòng)互聯(lián)的技術(shù)大背景下，我們的一舉一動(dòng)，都被數(shù)字化地記錄下來(lái)。智能穿戴設(shè)備不但記錄著我們行為的外在數(shù)據(jù)，而且自動(dòng)實(shí)時(shí)記錄、監(jiān)測(cè)著我們生命體的運(yùn)行。毫不夸張地說(shuō)，移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)就如同“上帝之眼”，7×24不停地“關(guān)注”著每一個(gè)生命體。在交通領(lǐng)域，用移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)，可以獲取居民出行時(shí)間、出行距離、出行的OD等居民出行特征；利用如微信、QQ社交軟件，如高德、百度導(dǎo)航軟件，挖掘出人群的遷徙、分布和出行軌跡以及路況擁堵等信息。移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)廣泛的時(shí)空覆蓋特性，為智能交通發(fā)展帶來(lái)前所未有的改變。

1.2 多源、多維、海量、異構(gòu)，“流”數(shù)據(jù)在線(xiàn)處理難度較大

據(jù)統(tǒng)計(jì)，2003年以前人類(lèi)共創(chuàng)造了5艾字節(jié)（Exabytes）的數(shù)據(jù)，而今天創(chuàng)造如此大量的數(shù)據(jù)只需要兩天時(shí)間。美國(guó)網(wǎng)絡(luò)分析公司 StatCounter 報(bào)告顯示，2016年10 月份，全球網(wǎng)站來(lái)自移動(dòng)端（包括手機(jī)和平板）的訪(fǎng)問(wèn)量首次超過(guò)了桌面端（包括臺(tái)式機(jī)和筆記本）（見(jiàn)圖1）。移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)的時(shí)代來(lái)臨了！移動(dòng)互聯(lián)網(wǎng)用戶(hù)使用智能終端的行為特點(diǎn)的碎片化和多樣性，其所產(chǎn)生的數(shù)據(jù)也大多是非結(jié)構(gòu)性、異構(gòu)和海量的數(shù)據(jù)。與傳統(tǒng)的結(jié)構(gòu)化小數(shù)據(jù)相比，這種多源異構(gòu)、分布廣泛、動(dòng)態(tài)增長(zhǎng)的移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)對(duì)數(shù)據(jù)傳輸、處理和存儲(chǔ)提出了較高的要求難度，尤其是交通路況短時(shí)預(yù)測(cè)業(yè)務(wù)對(duì)大數(shù)據(jù)的要求更高，本文將在后面予以詳述。

2 移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)的架構(gòu)設(shè)計(jì)

傳統(tǒng)意義上的數(shù)據(jù)采集傳輸、存儲(chǔ)計(jì)算和處理分析主要針對(duì)結(jié)構(gòu)化數(shù)據(jù)展開(kāi)。對(duì)于移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)來(lái)說(shuō)，涉及的數(shù)據(jù)包括終端的加速度計(jì)、陀螺儀、指南針、GPS、無(wú)線(xiàn)信號(hào)（如GSM、WiFi）和藍(lán)牙等傳感器數(shù)據(jù)以及用戶(hù)的行為數(shù)據(jù)。在平臺(tái)架構(gòu)設(shè)計(jì)時(shí)，需要根據(jù)業(yè)務(wù)的需求和處理的時(shí)間將劃分為在線(xiàn)、近線(xiàn)和離線(xiàn)三種方式來(lái)處理。這其中，在線(xiàn)處理的處理時(shí)間通常在毫秒級(jí)，一般采用流處理方式；離線(xiàn)處理的處理時(shí)間通常以天為單位，一般采用批處理方式，這樣會(huì)最大程度地利用好輸入/輸出系統(tǒng)；近線(xiàn)處理對(duì)其處理模式?jīng)]有特別的要求，處理的時(shí)間一般在分鐘級(jí)或小時(shí)級(jí)，在實(shí)際情況中多采用此處理方式，可根據(jù)需求靈活選擇。

針對(duì)移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)特點(diǎn)，常用的移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)處理系統(tǒng)在交通行業(yè)的應(yīng)用平臺(tái)架構(gòu)如圖2所示。

該架構(gòu)中，數(shù)據(jù)儲(chǔ)存的數(shù)據(jù)形式可分為格式化數(shù)據(jù)、半格式化數(shù)據(jù)、文本數(shù)據(jù)。格式化數(shù)據(jù)采用成熟的關(guān)系型數(shù)據(jù)庫(kù)作為存儲(chǔ)解決方案，半格式化數(shù)據(jù)采用NoSQL數(shù)據(jù)庫(kù)來(lái)進(jìn)行存儲(chǔ)和管理，文本數(shù)據(jù)采用HDFS來(lái)進(jìn)行存儲(chǔ)，利用YRAN實(shí)現(xiàn)資源的調(diào)度和管理。根據(jù)數(shù)據(jù)使用場(chǎng)景，可分為實(shí)時(shí)數(shù)據(jù)和非實(shí)時(shí)數(shù)據(jù)，對(duì)于實(shí)時(shí)數(shù)據(jù)首先采用內(nèi)存數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)和管理，經(jīng)處理后再進(jìn)行持久化存儲(chǔ)。

2.1 數(shù)據(jù)源

多源的交通異構(gòu)數(shù)據(jù)源中，有車(chē)輛檢測(cè)器數(shù)據(jù)、GPS數(shù)據(jù)、收費(fèi)交易數(shù)據(jù)、交通卡數(shù)據(jù)和手機(jī)信令數(shù)據(jù)等結(jié)構(gòu)化數(shù)據(jù)，也有交通監(jiān)控視頻、交通事故報(bào)警信息、交通管制信息、互聯(lián)網(wǎng)社交文本數(shù)據(jù)等非結(jié)構(gòu)化數(shù)據(jù)以及來(lái)自氣象、水務(wù)和市政施工的半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)共同構(gòu)成了交通大數(shù)據(jù)資源。從數(shù)據(jù)量、數(shù)據(jù)流和數(shù)據(jù)處理難度看，視頻數(shù)據(jù)和移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)首屈一指。

圖1 桌面終端和智能移動(dòng)終端數(shù)量占比曲線(xiàn)圖（圖片來(lái)自：StatCounter）

圖2 移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)架構(gòu)通用架構(gòu)圖

2.2 數(shù)據(jù)傳輸、處理和存儲(chǔ)

數(shù)據(jù)傳輸、存儲(chǔ)和處理層是交通大數(shù)據(jù)處理體系的框架核心，Sqoop整合數(shù)據(jù)源數(shù)據(jù)，存儲(chǔ)于分布式數(shù)據(jù)庫(kù)HBase中，這里一般采用H D F S的H B a s e。MapReduce離線(xiàn)計(jì)算框架用作交通模型預(yù)測(cè)和交通規(guī)律挖掘，Storm實(shí)時(shí)計(jì)算框架用于實(shí)時(shí)處理大規(guī)模流數(shù)據(jù)，開(kāi)展短時(shí)交通預(yù)測(cè)。

2.3 數(shù)據(jù)挖掘分析與應(yīng)用

交通大數(shù)據(jù)的挖掘分析就是希望通過(guò)數(shù)據(jù)揭示交通特征與規(guī)律。可以包括居民出行行為、居民出行模式、居民職住分布以及交通自動(dòng)檢測(cè)、交通擁堵規(guī)律統(tǒng)計(jì)、交通短時(shí)預(yù)測(cè)報(bào)警以及交通政策評(píng)估等業(yè)務(wù)。

3 基于移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)的客流出行分析及應(yīng)用

在上述數(shù)據(jù)架構(gòu)設(shè)計(jì)的基礎(chǔ)上，利用移動(dòng)通信公司的手機(jī)信令數(shù)據(jù)、互聯(lián)網(wǎng)公司的社交數(shù)據(jù)和導(dǎo)航數(shù)據(jù)，搭建基于移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)的城市客流分析系統(tǒng)。其技術(shù)原理、關(guān)鍵技術(shù)和主要功能如下：

3.1 技術(shù)原理與技術(shù)路線(xiàn)

基于移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)的實(shí)時(shí)客流采集分析系統(tǒng)的技術(shù)思路是：

步驟1，在每個(gè)統(tǒng)計(jì)時(shí)刻，從手機(jī)通信運(yùn)營(yíng)商和互聯(lián)網(wǎng)服務(wù)企業(yè)的服務(wù)器實(shí)時(shí)獲取帶有脫敏加密手機(jī)用戶(hù)信息。信息主要包括時(shí)間序列、終端ID、智能終端的位置、智能終端的用戶(hù)使用信息。系統(tǒng)對(duì)每個(gè)終端ID進(jìn)行實(shí)時(shí)位置跟蹤和處理分析，判斷該終端ID是否在目標(biāo)區(qū)域，計(jì)算其進(jìn)入、離開(kāi)和停留在目標(biāo)區(qū)域的時(shí)間。

步驟2，計(jì)算當(dāng)前時(shí)刻、時(shí)段各個(gè)目標(biāo)區(qū)域內(nèi)的終端總量，根據(jù)終端樣本比例、人均隨身手機(jī)持有比例，放樣至總體人群，最后，得到當(dāng)前統(tǒng)計(jì)時(shí)刻各個(gè)空間區(qū)域內(nèi)的真實(shí)人口數(shù)量，即總體人口在整個(gè)目標(biāo)區(qū)域的分布和進(jìn)出信息。

步驟3，根據(jù)應(yīng)用需求，按照各種算法模型，動(dòng)態(tài)監(jiān)測(cè)目標(biāo)區(qū)域客流動(dòng)態(tài)、勾繪目標(biāo)區(qū)域客流的電子圖像。結(jié)合交通規(guī)劃、交通管理和客流組織、預(yù)警疏導(dǎo)對(duì)目標(biāo)區(qū)域的客流信息的要求，處理并展示應(yīng)用數(shù)據(jù)結(jié)果。

基于移動(dòng)通信信令數(shù)據(jù)的客流檢測(cè)技術(shù)路線(xiàn)見(jiàn)圖3。

3.2 關(guān)鍵技術(shù)

3.2.1 智能終端定位空間與基礎(chǔ)目標(biāo)空間之間的匹配、映射技術(shù)

首先需要根據(jù)終端數(shù)據(jù)的空間定位尺度，確定客流數(shù)據(jù)計(jì)算和存儲(chǔ)的最小空間范圍，確定基礎(chǔ)目標(biāo)空間作為客流數(shù)據(jù)空間統(tǒng)計(jì)的基本單元，如可以按照500 m×500 m的網(wǎng)格確定基礎(chǔ)目標(biāo)空間，然后將終端的位置信息映射到基礎(chǔ)目標(biāo)空間。將手機(jī)用戶(hù)所處的位置按照交通小區(qū)劃分。

3.2.2 動(dòng)態(tài)客流推算技術(shù)

針對(duì)橋隧、通道、軌交站點(diǎn)等斷面，根據(jù)移動(dòng)用戶(hù)經(jīng)過(guò)該斷面兩個(gè)交通分析區(qū)域的先后順序及時(shí)間間隔，判斷移動(dòng)用戶(hù)是否有跨越通道斷面的行為。通過(guò)斷面動(dòng)態(tài)客流推算模型，估算斷面客流量。

區(qū)域動(dòng)態(tài)客流推算：針對(duì)某一特定區(qū)域、客流集散中心、重要交通樞紐以及大型活動(dòng)場(chǎng)所，通過(guò)區(qū)域動(dòng)態(tài)客流推算模型，推算進(jìn)、出、逗留客流量，分析不同時(shí)間段該區(qū)域的客流集散規(guī)律。

3.2.3 客流計(jì)算多層擴(kuò)樣技術(shù)

通過(guò)實(shí)測(cè)或者人口普查數(shù)據(jù)，建立用多層擴(kuò)樣模型，將檢測(cè)到的終端用戶(hù)群體擴(kuò)樣至全體人群，并確保計(jì)算的客流準(zhǔn)確性。

3.2.4 海量數(shù)據(jù)并發(fā)處理技術(shù)

利用大數(shù)據(jù)理念與技術(shù)研究建立海量數(shù)據(jù)并發(fā)處理技術(shù)，確保系統(tǒng)從動(dòng)態(tài)信令數(shù)據(jù)到動(dòng)態(tài)客流分布的快速計(jì)算和快速響應(yīng)，保證輸出動(dòng)態(tài)數(shù)據(jù)的實(shí)時(shí)性和準(zhǔn)確性。采用先進(jìn)的分布計(jì)算集群技術(shù)，通過(guò)海量數(shù)據(jù)處理服務(wù)器提供多個(gè)實(shí)時(shí)通道和優(yōu)先級(jí)別，保證信息及時(shí)響應(yīng)；通過(guò)多級(jí)數(shù)據(jù)過(guò)濾、設(shè)置數(shù)據(jù)分組、小批量實(shí)時(shí)數(shù)據(jù)實(shí)時(shí)處理、并行計(jì)算與負(fù)載均衡等處理，保證海量數(shù)據(jù)的高效存儲(chǔ)和快速處理。

3.3 主要功能

3.3.1 客流動(dòng)態(tài)監(jiān)測(cè)與預(yù)警

基于移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)的上海市區(qū)域客流密度見(jiàn)圖4，基于移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)的上海國(guó)際度假區(qū)客流動(dòng)態(tài)檢測(cè)與預(yù)警見(jiàn)圖5。

3.3.2 客流遷徙方式、遷徙數(shù)量和遷出遷入地分析

通過(guò)移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)，對(duì)區(qū)域客流的遷徙及出行方式做出分析和統(tǒng)計(jì)。如2016年五一小長(zhǎng)假上?？土鞯倪w移數(shù)據(jù)見(jiàn)表1～表5。

圖3 基于移動(dòng)通信信令數(shù)據(jù)的客流檢測(cè)技術(shù)路線(xiàn)

圖4 基于移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)的上海市區(qū)域客流密度

圖5 基于移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)的上海國(guó)際度假區(qū)客流動(dòng)態(tài)檢測(cè)與預(yù)警

3.3.3 客流特征畫(huà)像

根據(jù)移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)的職住算法，上海國(guó)際度假區(qū)主題樂(lè)園游客總體特征如下：以上海本地游客為主，占據(jù)游客總量的80%以上，其次是北京游客占總量的4.13%，蘇州游客占2.55%。外地游客來(lái)源地比較分散，以周邊城市和北京、廣州為主。游客以男性游客為主，占所有游客的63%。從年齡分布來(lái)看，游客主要以青年為主，其中74.77%的游客屬于青年群體。

通過(guò)對(duì)來(lái)訪(fǎng)外地游客的當(dāng)晚居住地判斷，14.9%的游客住在3 km范圍內(nèi)的酒店，22.1%游客住在5 km范圍內(nèi)的酒店。從住宿情況來(lái)看，大部分游客選擇住在迪士尼園區(qū)里面的玩具總動(dòng)員酒店以及迪士尼樂(lè)園酒店等，3～5 km范圍內(nèi)游客主要住在上海紅錦國(guó)際酒店和上?？禈蛉f(wàn)信酒店公寓等。

以客流高峰日2017年2月3日（初七）為例，當(dāng)日客流在早8點(diǎn)至9點(diǎn)，客流攀升迅速，為入園客流高峰期，晚間閉園時(shí)段客流消散迅速（見(jiàn)圖6）；全天主要聚集地客流穩(wěn)定，主要集中在米奇大街、奇想花園、探險(xiǎn)島、寶藏灣、明日世界、夢(mèng)幻世界、玩具總動(dòng)園等區(qū)域；晚7點(diǎn)至8點(diǎn)，焰火表演期間客流迅速向主題樂(lè)園區(qū)域集中，出現(xiàn)當(dāng)日聚集峰值。

表1 2016年五一小長(zhǎng)假上海市客流遷徙量和三種交通方式占比

表2 2016年五一小長(zhǎng)假上海市客流遷入量和三種交通方式占比

表3 2016年五一小長(zhǎng)假上海市客流遷出量和三種交通方式占比

表4 2016年五一小長(zhǎng)假上海市客流遷入量和排名

表5 2016年五一小長(zhǎng)假上海市客流遷出量和排名

圖6 2017年2月3日（初七）客流曲線(xiàn)

4 結(jié)束語(yǔ)

客流信息是一切分析社會(huì)現(xiàn)象基礎(chǔ)。通過(guò)移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)，及時(shí)準(zhǔn)確全面地掌握客流，挖掘客流特征，對(duì)實(shí)現(xiàn)城市規(guī)劃科學(xué)性、城市管理精細(xì)化和城市運(yùn)行安全的基礎(chǔ)具有非常重要的意義。本文通過(guò)對(duì)基于移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)的城市客流檢測(cè)分析的探索研究，僅僅是客流數(shù)據(jù)應(yīng)用的起步，該項(xiàng)工作的拓展應(yīng)用任重道遠(yuǎn)。