劉敬民，郭長國，符興斌，趙文輝，宗建建

(中軟信息系統(tǒng)工程有限公司，北京 102209)

0 引言

城市是人類文明的重要組成部分，也是伴隨人類文明和進(jìn)步發(fā)展起來的[1]。城市在社會(huì)發(fā)展中扮演著重要的角色，承載了人類社會(huì)、經(jīng)濟(jì)、文化活動(dòng)的大部分職能。城市的發(fā)展經(jīng)歷了物理城市、數(shù)字城市和智慧城市三個(gè)主要階段[2]。物理城市是指客觀物理存在城市實(shí)體，“城”代表城市的邊界、面積、人口、地理位置；“市”代表人流、物流、經(jīng)濟(jì)流、信息流等經(jīng)濟(jì)社會(huì)活動(dòng)。數(shù)字城市是城市地理信息與其他城市信息相結(jié)合并存儲(chǔ)在計(jì)算機(jī)網(wǎng)絡(luò)上的、能供用戶訪問的一個(gè)將各個(gè)城市和城市外空間連接在一起的虛擬空間，數(shù)字城市實(shí)現(xiàn)了物理城市的數(shù)字化，可以虛擬地展現(xiàn)城市的全貌，實(shí)現(xiàn)輔助規(guī)劃、設(shè)計(jì)、城管、導(dǎo)航和決策等信息服務(wù)，但數(shù)字城市只是一個(gè)網(wǎng)絡(luò)空間，只能實(shí)現(xiàn)在網(wǎng)絡(luò)上查看信息。智慧城市是在數(shù)字城市建立的數(shù)字框架的基礎(chǔ)上通過物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)和人工智能將現(xiàn)實(shí)世界與數(shù)字世界有效融合，為經(jīng)濟(jì)發(fā)展、城市管理和公眾提供智能服務(wù)的虛擬現(xiàn)實(shí)空間，同數(shù)字城市相比，智慧城市是一個(gè)網(wǎng)絡(luò)物理空間，不僅可以在網(wǎng)絡(luò)上查看信息，還可以在網(wǎng)絡(luò)上執(zhí)行所需的操作。在第二屆數(shù)字中國建設(shè)峰會(huì)上，中國電子提出了“安全為先，需求牽引，迭代發(fā)展”的現(xiàn)代數(shù)字城市理念與建設(shè)思路，認(rèn)為數(shù)據(jù)是真正的基礎(chǔ)資源和創(chuàng)新引擎，城市現(xiàn)代化要守正創(chuàng)新，回歸“數(shù)字”本質(zhì)[3]。同智慧城市相比，現(xiàn)在數(shù)字城市是一個(gè)安全的網(wǎng)絡(luò)物理空間，可以安全地在網(wǎng)絡(luò)上查看信息和執(zhí)行所需的操作。數(shù)據(jù)就像現(xiàn)代數(shù)字城市的血液一樣，是城市信息交換的載體和信息流動(dòng)的動(dòng)能，因此，大數(shù)據(jù)技術(shù)是現(xiàn)代數(shù)字城市建設(shè)不可或缺的支撐，大數(shù)據(jù)中心作為數(shù)據(jù)存儲(chǔ)和處理的核心部位是現(xiàn)代數(shù)字城市建設(shè)必不可少的重要環(huán)節(jié)。當(dāng)前業(yè)界對(duì)智慧城市大數(shù)據(jù)中心的架構(gòu)進(jìn)行了探討和研究[4-5]，但尚未形成統(tǒng)一意見，本文參考已有研究，在對(duì)現(xiàn)代數(shù)字城市大數(shù)據(jù)中心的功能進(jìn)行分析和大數(shù)據(jù)參考架構(gòu)研究的基礎(chǔ)上，提出一種現(xiàn)代數(shù)字城市大數(shù)據(jù)中心的架構(gòu)。

1 現(xiàn)代數(shù)字城市大數(shù)據(jù)中心需求分析

1.1 現(xiàn)代數(shù)字城市模型

李德仁院士[6]提出智慧城市可以用ISGBP模型進(jìn)行描述，ISGBP模型由5個(gè)部分組成，分別是公共基礎(chǔ)設(shè)施(Infrastructure)、服務(wù)(Service)、政府(Government)、企業(yè)(Business)、公眾(Public)，結(jié)合現(xiàn)代數(shù)字城市“安全為先，需求牽引，迭代發(fā)展”理念，將公共基礎(chǔ)設(shè)施增強(qiáng)為安全基礎(chǔ)設(shè)施(Security Infrastructure)，這樣現(xiàn)代數(shù)字城市可用SISGBP模型表示，如圖1所示。

圖1 現(xiàn)代數(shù)字城市模型

SISGBP模型強(qiáng)調(diào)安全基礎(chǔ)設(shè)施、數(shù)據(jù)服務(wù)和智能服務(wù)的核心地位，安全可信的基礎(chǔ)設(shè)施是整個(gè)現(xiàn)代數(shù)字城市建設(shè)的內(nèi)核，為政務(wù)信息、行業(yè)數(shù)據(jù)和個(gè)人隱私安全提供本質(zhì)的安全保障；數(shù)據(jù)服務(wù)是建立在“安全內(nèi)核”之上城市的流動(dòng)的動(dòng)能；再之上是城市的功能服務(wù)和模型服務(wù)；政府、企業(yè)、公眾是城市的主體，他們?nèi)呤乾F(xiàn)代數(shù)字城市需求的提出者，是城市建設(shè)的牽引力，通過基于數(shù)據(jù)和信息交換的智能服務(wù)形成良好的互動(dòng)，達(dá)到和諧共處，從而降低行政成本，提高綜合效益?？梢钥闯鰯?shù)據(jù)是這個(gè)模型得以運(yùn)轉(zhuǎn)和流動(dòng)的動(dòng)能，因此大數(shù)據(jù)中心建設(shè)是現(xiàn)代數(shù)字城市建設(shè)的重要基礎(chǔ)環(huán)節(jié)。

1.2 現(xiàn)代數(shù)字城市大數(shù)據(jù)特征

現(xiàn)代數(shù)字城市除具有大數(shù)據(jù)4V(Volume、Variety、Velocity、Value)的典型特征外，還具有基礎(chǔ)設(shè)施安全性、需求牽引性等特征，整理歸納如下：

(1)數(shù)據(jù)量大(Volume)?，F(xiàn)代數(shù)字城市通過無所不在的物聯(lián)網(wǎng)將現(xiàn)實(shí)城市與數(shù)字城市連在一起，人們每分每秒以極速在網(wǎng)絡(luò)上交換思想、數(shù)據(jù)和信息?，F(xiàn)代城市每日產(chǎn)生超乎想象、數(shù)據(jù)量不斷擴(kuò)張的大數(shù)據(jù)，單個(gè)高清攝像頭每小時(shí)產(chǎn)生3.6 GB數(shù)據(jù)，全國攝像頭數(shù)目超過2 000萬個(gè)，數(shù)據(jù)量將達(dá)到PB到EB級(jí)；民航飛機(jī)裝有大量傳感器，每個(gè)引擎每飛行1小時(shí)產(chǎn)生20 TB數(shù)據(jù)；北京公交一卡通每天使用量達(dá)4千萬人次，地鐵1千萬人次，北京市交通調(diào)度中心每天的數(shù)據(jù)增量為30 GB，存儲(chǔ)量為20 TB；國家電網(wǎng)年均產(chǎn)生數(shù)據(jù)510 TB(不含視頻)，累計(jì)產(chǎn)生數(shù)據(jù)5 PB；單個(gè)病人的CT影像往往多達(dá)兩千幅，數(shù)據(jù)量已經(jīng)到了數(shù)十GB，如今大城市的醫(yī)院每天門診上萬人，全國每年門診更是達(dá)數(shù)十億人次，住院已經(jīng)達(dá)到兩億人次，按照醫(yī)療行業(yè)的相關(guān)規(guī)定，患者的數(shù)據(jù)通常需要保存50年以上，醫(yī)療大數(shù)據(jù)也將會(huì)達(dá)到EB級(jí)[7]。

(2)數(shù)據(jù)多樣性(Variety)?，F(xiàn)代數(shù)字城市數(shù)據(jù)來源包括城市的地理信息數(shù)據(jù)、政府的政務(wù)數(shù)據(jù)、各個(gè)企業(yè)和行業(yè)的行業(yè)數(shù)據(jù)、公眾的個(gè)人數(shù)據(jù)；各類信息的種類多，并以各種信息載體形式存在，數(shù)據(jù)類型不僅包括傳統(tǒng)的關(guān)系數(shù)據(jù)類型，也包括以網(wǎng)頁、視頻、音頻、e-mail、文檔等形式存在的未加工的、半結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)。

(3)處理高速性(Velocity)。城市的快節(jié)奏發(fā)展需要能夠高速處理數(shù)據(jù)，一是數(shù)據(jù)的獲取、存儲(chǔ)以及挖掘有效信息的速度需要快速完成，比如從海量的視頻數(shù)據(jù)中快速檢索出有用的信息；二是數(shù)據(jù)快速動(dòng)態(tài)變化形成流式數(shù)據(jù)，數(shù)據(jù)流動(dòng)的速度快到難以用傳統(tǒng)的系統(tǒng)去處理，比如社交數(shù)據(jù)，其實(shí)時(shí)動(dòng)態(tài)變化，如果超出時(shí)間限制，分析結(jié)果就不再具有價(jià)值。

(4)數(shù)據(jù)價(jià)值性(Value)，或者叫真實(shí)性(Veracity)。數(shù)據(jù)量呈指數(shù)增長的同時(shí)，隱藏在海量數(shù)據(jù)的有用信息卻沒有按相應(yīng)比例增長，反而使人們獲取有用信息的難度加大。以監(jiān)控視頻為例，連續(xù)長時(shí)間的監(jiān)控過程，使數(shù)據(jù)量很大，但可能有用的數(shù)據(jù)僅有一兩秒。

(5)基礎(chǔ)設(shè)施安全性(Infrastructure Security)。構(gòu)建現(xiàn)代數(shù)字城市大數(shù)據(jù)的基礎(chǔ)設(shè)施要為安全可控的基礎(chǔ)設(shè)施，以保證數(shù)據(jù)中心的核心安全可控。

(6)需求牽引(Needs Traction)。構(gòu)建現(xiàn)代數(shù)字城市大數(shù)據(jù)中心的架構(gòu)和技術(shù)路線選擇，要以政府、企業(yè)和公眾的現(xiàn)實(shí)和未來需求和需要為牽引，而不是以技術(shù)發(fā)展來驅(qū)動(dòng)。

1.3 現(xiàn)代數(shù)字城市大數(shù)據(jù)中心需求分析

分析現(xiàn)代數(shù)字城市SISGBP模型，可以看出政府部門、企事業(yè)單位和個(gè)人通過現(xiàn)代數(shù)字城市應(yīng)用系統(tǒng)獲取所需服務(wù)，大數(shù)據(jù)中心的主要功能是為現(xiàn)代數(shù)字城市應(yīng)用系統(tǒng)提供數(shù)據(jù)服務(wù)支撐。本文分析現(xiàn)代數(shù)字城市大數(shù)據(jù)中心相關(guān)角色和用例如圖2所示。

圖2 現(xiàn)代城市大數(shù)據(jù)中心角色及用例

政府部門通過政務(wù)信息系統(tǒng)，提供政務(wù)活動(dòng)與服務(wù)，對(duì)公眾服務(wù)與生產(chǎn)經(jīng)營活動(dòng)進(jìn)行監(jiān)督管理，并為大數(shù)據(jù)中心提供政務(wù)數(shù)據(jù)信息；企事業(yè)單位通過行業(yè)應(yīng)用系統(tǒng)，提供公共服務(wù)與生產(chǎn)經(jīng)營活動(dòng)，接受政府部門的政務(wù)活動(dòng)與服務(wù)，也可使用其他企事業(yè)單位提供的生產(chǎn)經(jīng)營服務(wù)，并為大數(shù)據(jù)中心提供行業(yè)數(shù)據(jù)；個(gè)人通過現(xiàn)代數(shù)字城市應(yīng)用系統(tǒng)和應(yīng)用終端使用公眾服務(wù)，接受政府部門的政務(wù)活動(dòng)與服務(wù)，產(chǎn)生的眾多數(shù)據(jù)也同時(shí)提供給大數(shù)據(jù)中心作為一類重要的數(shù)據(jù)源。

大數(shù)據(jù)中心主要功能需求包括：

(1)數(shù)據(jù)采集。能夠采集來自政府部門、企事業(yè)單位、個(gè)人及互聯(lián)網(wǎng)的文本、圖像、視頻等結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

(2)數(shù)據(jù)預(yù)處理。能夠?qū)Σ杉臄?shù)據(jù)進(jìn)行標(biāo)記、清洗、轉(zhuǎn)換。

(3)數(shù)據(jù)存儲(chǔ)。能夠存儲(chǔ)和管理各種結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

(4)數(shù)據(jù)分析。提供數(shù)據(jù)挖掘和分析能力，具有文本分析、圖像識(shí)別、語音識(shí)別和視頻分析等功能。

(5)數(shù)據(jù)可視化。提供根據(jù)不同數(shù)據(jù)類型特點(diǎn)的數(shù)據(jù)可視化能力。

(6)數(shù)據(jù)處理。具有批處理計(jì)算、流處理計(jì)算和圖計(jì)算等大規(guī)模數(shù)據(jù)處理能力。

大數(shù)據(jù)中心主要非功能需求包括：

(1)數(shù)據(jù)存儲(chǔ)能力。能夠存儲(chǔ)PB級(jí)以上的數(shù)據(jù)。

(2)數(shù)據(jù)處理能力。具有快速的秒級(jí)的實(shí)時(shí)處理能力和大規(guī)模TB級(jí)以上的批量數(shù)據(jù)處理能力。

(3)數(shù)據(jù)訪問能力。具有開放的對(duì)外提供數(shù)據(jù)訪問的接口供現(xiàn)代數(shù)字城市應(yīng)用系統(tǒng)使用。

(4)數(shù)據(jù)安全性。具有基礎(chǔ)設(shè)施核心安全可控性，具有保護(hù)數(shù)據(jù)安全和隱私的能力，使得數(shù)據(jù)能夠按權(quán)限訪問，長期存儲(chǔ)不丟失。

2 現(xiàn)代數(shù)字城市大數(shù)據(jù)中心架構(gòu)設(shè)計(jì)

2.1 通用大數(shù)據(jù)參考架構(gòu)

在大數(shù)據(jù)參考架構(gòu)方面，NIST(美國國家標(biāo)準(zhǔn)和技術(shù)研究所)提出了其大數(shù)據(jù)參考架構(gòu)NBDRA[8]，我國國家標(biāo)準(zhǔn)化管理委員會(huì)在國標(biāo)GB/T35589-2017[9]提出了大數(shù)據(jù)參考架構(gòu)，如圖3所示。

圖3 大數(shù)據(jù)參考架構(gòu)

該參考架構(gòu)提供了一個(gè)構(gòu)件層級(jí)的分類體系，用于描述大數(shù)據(jù)參考架構(gòu)中的邏輯構(gòu)件以及定義邏輯構(gòu)件的分類，邏輯構(gòu)件分為3個(gè)層級(jí)，從高到低依次為角色、活動(dòng)和組件。該架構(gòu)總體上可以概括為“一個(gè)概念體系，兩個(gè)價(jià)值維度”。“一個(gè)概念體系”是指它是一個(gè)通用的大數(shù)據(jù)系統(tǒng)概念模型，可以作為各種類型的大數(shù)據(jù)應(yīng)用系統(tǒng)架構(gòu)的通用技術(shù)參考框架。“兩個(gè)價(jià)值維度”分別為信息價(jià)值鏈(水平軸)和信息技術(shù)價(jià)值鏈(垂直軸)，信息價(jià)值鏈表示大數(shù)據(jù)的價(jià)值通過數(shù)據(jù)的收集、預(yù)處理、分析、可視化和訪問等活動(dòng)來實(shí)現(xiàn)，信息技術(shù)價(jià)值鏈表示大數(shù)據(jù)的價(jià)值通過為大數(shù)據(jù)應(yīng)用提供存放和運(yùn)行大數(shù)據(jù)的網(wǎng)絡(luò)、基礎(chǔ)設(shè)施、平臺(tái)、應(yīng)用工具以及其他服務(wù)來實(shí)現(xiàn)。

2.2 現(xiàn)代數(shù)字城市大數(shù)據(jù)中心架構(gòu)

參照大數(shù)據(jù)參考架構(gòu)，結(jié)合現(xiàn)代數(shù)字城市大數(shù)據(jù)中心功能需求，本文設(shè)計(jì)現(xiàn)代數(shù)字城市大數(shù)據(jù)中心分層架構(gòu)如圖4所示。該架構(gòu)從下到上分別為基礎(chǔ)設(shè)施層、數(shù)據(jù)存儲(chǔ)管理層、數(shù)據(jù)處理框架層、數(shù)據(jù)處理應(yīng)用層、數(shù)據(jù)接口層、數(shù)據(jù)感知層和現(xiàn)代數(shù)字城市應(yīng)用層，以及運(yùn)維管理分系統(tǒng)。其中，基礎(chǔ)設(shè)施層對(duì)應(yīng)于大數(shù)據(jù)參考架構(gòu)的基礎(chǔ)設(shè)施組件；數(shù)據(jù)存儲(chǔ)管理層對(duì)應(yīng)于大數(shù)據(jù)參考架構(gòu)的平臺(tái)組件；數(shù)據(jù)處理框架層對(duì)應(yīng)于大數(shù)據(jù)參考架構(gòu)的處理框架組件；數(shù)據(jù)處理應(yīng)用層對(duì)應(yīng)于大數(shù)據(jù)參考架構(gòu)的收集、預(yù)處理、分析、可視化組件；數(shù)據(jù)接口層對(duì)應(yīng)于大數(shù)據(jù)參考架構(gòu)的訪問組件；數(shù)據(jù)感知層對(duì)應(yīng)于大數(shù)據(jù)參考架構(gòu)的數(shù)據(jù)提供者；現(xiàn)代數(shù)字城市應(yīng)用層對(duì)應(yīng)于大數(shù)據(jù)參考架構(gòu)的數(shù)據(jù)消費(fèi)者；運(yùn)維管理分系統(tǒng)對(duì)應(yīng)于大數(shù)據(jù)參考架構(gòu)的安全和隱私、管理兩個(gè)角色。

圖4現(xiàn)代數(shù)字城市大數(shù)據(jù)中心架構(gòu)

2.3 架構(gòu)各層及分系統(tǒng)功能

現(xiàn)代數(shù)字城市大數(shù)據(jù)架構(gòu)各層和運(yùn)維管理分系統(tǒng)功能描述如下：

(1)基礎(chǔ)設(shè)施層?；诎踩煽氐幕A(chǔ)設(shè)施、云計(jì)算技術(shù)，采用物理資源與虛擬資源相結(jié)合的方法建立基礎(chǔ)設(shè)施，為大數(shù)據(jù)中心提供運(yùn)行所需核心安全的計(jì)算資源、存儲(chǔ)資源和網(wǎng)絡(luò)資源。

(2)數(shù)據(jù)存儲(chǔ)管理層。按照大數(shù)據(jù)中心所需的各種數(shù)據(jù)類型，提供分布式數(shù)據(jù)庫、分布式文件系統(tǒng)、內(nèi)存數(shù)據(jù)庫、列數(shù)據(jù)庫、圖數(shù)據(jù)庫等來存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，并提供數(shù)據(jù)的統(tǒng)一訪問功能。

(3)數(shù)據(jù)處理框架層。提供滿足需求的主流的批處理計(jì)算框架、流處理計(jì)算框架、圖計(jì)算框架，并為上層應(yīng)用提供統(tǒng)一的大規(guī)模計(jì)算資源的統(tǒng)一管理功能。

(4)數(shù)據(jù)處理應(yīng)用層。提供數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析挖掘、智能處理引擎和數(shù)據(jù)可視化等數(shù)據(jù)應(yīng)用工具。數(shù)據(jù)采集支持實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)、政務(wù)數(shù)據(jù)導(dǎo)入導(dǎo)出、行業(yè)數(shù)據(jù)接入、互聯(lián)網(wǎng)數(shù)據(jù)爬取和人工數(shù)據(jù)錄入等功能；數(shù)據(jù)預(yù)處理支持?jǐn)?shù)據(jù)標(biāo)記、數(shù)據(jù)分類、數(shù)據(jù)清洗、數(shù)據(jù)交換與融合、數(shù)據(jù)索引與存儲(chǔ)等功能；數(shù)據(jù)分析挖掘支持基于可擴(kuò)展的數(shù)據(jù)挖掘算法庫的數(shù)據(jù)挖掘與交互分析功能；智能處理引擎提供文本分析、圖像識(shí)別、語音識(shí)別、視頻分析和知識(shí)圖譜分析功能；數(shù)據(jù)可視化提供統(tǒng)計(jì)圖可視化、地圖可視化、網(wǎng)絡(luò)數(shù)據(jù)可視化、文本數(shù)據(jù)可視化和流數(shù)據(jù)可視化等功能。

(5)數(shù)據(jù)接口層。提供統(tǒng)一的訪問接口供各類現(xiàn)代數(shù)字城市應(yīng)用使用，各類現(xiàn)代數(shù)字城市應(yīng)用根據(jù)授予的權(quán)限獲取大數(shù)據(jù)中心提供的數(shù)據(jù)計(jì)算、數(shù)據(jù)分析和可視化服務(wù)；提供數(shù)據(jù)采集接口采集數(shù)據(jù)感知層各類數(shù)據(jù)提供者提供的數(shù)據(jù)。

(6)數(shù)據(jù)感知層。提供各類數(shù)據(jù)源的感知功能，感知數(shù)據(jù)類別包括RFID、條碼/二維碼、各類傳感器、生物識(shí)別、政務(wù)數(shù)據(jù)信息、行業(yè)數(shù)據(jù)信息和互聯(lián)網(wǎng)數(shù)據(jù)等。

(7)現(xiàn)代數(shù)字城市應(yīng)用層。提供各類現(xiàn)代數(shù)字城市應(yīng)用功能，按需可包括政務(wù)信息系統(tǒng)、公眾服務(wù)、應(yīng)急指揮、智能交通、智能醫(yī)療等。

(8)運(yùn)維管理分系統(tǒng)。提供全方位的資源分配、調(diào)度和安全管理功能，包括設(shè)備管理、流程監(jiān)控、資源規(guī)劃、資源調(diào)度、資源管理、資源部署和安全隱私管理等方面。

3 結(jié)論

數(shù)字城市的發(fā)展已進(jìn)入現(xiàn)代數(shù)字城市階段，大數(shù)據(jù)已成為現(xiàn)代數(shù)字城市建設(shè)和研究的熱點(diǎn)之一，分析和設(shè)計(jì)現(xiàn)代數(shù)字城市大數(shù)據(jù)中心功能和架構(gòu)將是現(xiàn)代數(shù)字城市大數(shù)據(jù)中心建設(shè)的首要任務(wù)。本文在分析現(xiàn)代數(shù)字城市模型和大數(shù)據(jù)特征的基礎(chǔ)上，整理歸納了現(xiàn)代數(shù)字城市大數(shù)據(jù)中心相關(guān)的角色和用例信息、功能和非功能需求，參考通用大數(shù)據(jù)參考架構(gòu)，提出了現(xiàn)代數(shù)字城市大數(shù)據(jù)中心架構(gòu)，描述了架構(gòu)各層的功能，可供現(xiàn)代數(shù)字城市大數(shù)據(jù)中心架構(gòu)設(shè)計(jì)參考。具體的現(xiàn)代數(shù)字城市大數(shù)據(jù)中心架構(gòu)設(shè)計(jì)還需要根據(jù)不同城市的特點(diǎn)和建設(shè)目標(biāo)，以及技術(shù)路線選擇進(jìn)行豐富和完善。