孫力

(蘭州商學(xué)院隴橋?qū)W院,甘肅蘭州 730101)

智慧城市建設(shè)中大數(shù)據(jù)及其構(gòu)建探討

孫力

(蘭州商學(xué)院隴橋?qū)W院,甘肅蘭州 730101)

本文首先分析了智慧城市及大數(shù)據(jù)的概念,對大數(shù)據(jù)助力智慧城市的作用進(jìn)行了分析了,同時(shí)分析了目前智慧城市建設(shè)中存在的困難,并提出了相應(yīng)的技術(shù)應(yīng)對措施。希望對智慧城市建設(shè)提供一定的有益參考和建議。

智慧城市 大數(shù)據(jù) 困難對策

1 智慧城市與大數(shù)據(jù)概述

1.1 智慧城市

智慧城市就是在城市各個(gè)領(lǐng)域的建設(shè)當(dāng)中引入信息技術(shù),主要為了達(dá)到知識創(chuàng)新的城市信息化高級形態(tài)。智慧城市主要依靠互聯(lián)網(wǎng)和云計(jì)算等新興信息技術(shù)其中包括大數(shù)據(jù)、社會(huì)交網(wǎng)絡(luò)、Fab Lab、Living Lab、綜合集成法等工具和方法的應(yīng)用,使其創(chuàng)造的環(huán)境有利于實(shí)現(xiàn)創(chuàng)新,有利于應(yīng)用感知、寬帶泛在的互聯(lián)、智能融合,有利于達(dá)到用戶創(chuàng)新、開放創(chuàng)新、大眾創(chuàng)新、協(xié)同創(chuàng)新為主要特點(diǎn)的不斷創(chuàng)新。再有,歐盟在評價(jià)智慧城市過程中主要應(yīng)用了六個(gè)指標(biāo),也就是智慧經(jīng)濟(jì)、智慧運(yùn)輸業(yè)、智慧環(huán)境、智慧居民、智慧生活和智慧管理。

1.2 大數(shù)據(jù)

大數(shù)據(jù)也叫巨量資料,指的是在規(guī)定時(shí)間內(nèi)不能利用常用軟件工具實(shí)現(xiàn)對內(nèi)容的抓取和管理、處理的數(shù)據(jù)集合。大數(shù)據(jù)主要存在四個(gè)特點(diǎn):數(shù)據(jù)數(shù)量巨大,能夠達(dá)到PB級以上;多種數(shù)據(jù)類型,包括文本、圖片、音頻、視頻等;具有較快速度,一般依據(jù)“一秒定律”,就能夠從不同種類的數(shù)據(jù)中得到有價(jià)值的信息;價(jià)值密度較低,在這些數(shù)量龐大的數(shù)據(jù)中,只有一少部分?jǐn)?shù)據(jù)有價(jià)值。

2 大數(shù)據(jù)助力智慧城市

2.1 為政府管理相關(guān)決策提供科學(xué)數(shù)據(jù)支持

應(yīng)用于城市規(guī)劃當(dāng)中,可以利用其對城市地理、氣象、經(jīng)濟(jì)、社會(huì)、文化、人口等信息的分析與研究,有助于制訂合理的決策,使城市管理更具科學(xué)性和超前性。

應(yīng)用于交通管理當(dāng)中,可以利用分析道路交通信息,解決道路交通當(dāng)中出現(xiàn)的擁堵現(xiàn)象,而且可以快速應(yīng)對各種突發(fā)情況,有利于保證城市交通的良性運(yùn)轉(zhuǎn)。在輿情監(jiān)控當(dāng)中,利用搜索網(wǎng)絡(luò)關(guān)鍵詞和分析語義智能,可以使輿情分析更加快速和全面,有利于增進(jìn)了解社情民意,提高公共服務(wù)能力,可以對網(wǎng)絡(luò)各種突發(fā)事件第一時(shí)間作出反應(yīng),有利于遏制違法犯罪。在安防系統(tǒng)中,利用分析大數(shù)據(jù),可以及時(shí)掌握發(fā)生的各種自然災(zāi)害,在最短時(shí)間內(nèi)處理險(xiǎn)情,及時(shí)作好安全防范工作。

2.2 為城市居民提供生活便利

還包括一些與民生有關(guān)的智慧應(yīng)用,它們分別是智慧交通、智慧醫(yī)療、智慧家居、智慧安防等,應(yīng)用這些智慧化措施,可以加大民眾生活空間,幫助以最快的速度進(jìn)入大數(shù)據(jù)智慧人生。這些舉措將有效改善傳統(tǒng)“簡單平面”的生活方式,利用大數(shù)據(jù)應(yīng)用服務(wù)可以得到更加廣泛的信息,可以改變當(dāng)前人們的生活方式。

2.3 提高企業(yè)核心競爭力

在大數(shù)據(jù)時(shí)代,企業(yè)可以收集和整理大量各種各樣的數(shù)據(jù),從而篩選出有價(jià)值的信息。在充分分析這些數(shù)據(jù)的基礎(chǔ)上,企業(yè)可以準(zhǔn)確預(yù)測市場需求情況,從而有利于作出決策。有數(shù)據(jù)顯示,美國公司內(nèi),如果數(shù)據(jù)智能化水平提高10%,那么產(chǎn)品和服務(wù)質(zhì)量就可以提高15%。

3 大數(shù)據(jù)技術(shù)在智慧城市中的應(yīng)用

3.1 大數(shù)據(jù)技術(shù)的運(yùn)用存在的困難

當(dāng)前,在應(yīng)用大數(shù)據(jù)技術(shù)方面依然存在一些問題還沒有解決,主要有下面四個(gè)方面的表現(xiàn):

(1)數(shù)據(jù)收集。針對自物聯(lián)網(wǎng)和機(jī)構(gòu)信息系統(tǒng)收集到的數(shù)據(jù)要加上時(shí)空標(biāo)志,保留真實(shí)有效的信息,最好能夠收集到異源或異構(gòu)的數(shù)據(jù),同時(shí)與歷史數(shù)據(jù)進(jìn)行對比,利用多種辦法驗(yàn)證數(shù)據(jù)的真實(shí)性與全面性。

(2)數(shù)據(jù)存儲(chǔ)。在數(shù)據(jù)存儲(chǔ)過程中要以低成本、低能耗、高可靠性為原則,一般情況下使用冗余配置和分布化、云計(jì)算技術(shù),存儲(chǔ)過程中要依據(jù)一定的規(guī)律對數(shù)據(jù)分類,在充分過濾和去重的前提下,縮減存儲(chǔ)數(shù)量,同時(shí)給每一類數(shù)據(jù)加上標(biāo)簽。

(3)數(shù)據(jù)處理。一些行業(yè)的數(shù)據(jù)高達(dá)幾百個(gè)參數(shù),非常復(fù)雜,不但數(shù)據(jù)樣本非常繁瑣,而且存在多源異構(gòu)、多實(shí)體、多空間的交互動(dòng)態(tài)性,不能應(yīng)用傳統(tǒng)辦法進(jìn)行度量,處理起來非常困難,因此在處理過程中要對高維圖像進(jìn)行降維然后再進(jìn)行度量,進(jìn)行語義分析時(shí)通過關(guān)聯(lián)上下文,自大量不斷發(fā)展的數(shù)據(jù)中提煉出綜合信息,從而得到可以理解的內(nèi)容。

(4)可視化方面。保證得到的結(jié)果通俗易懂,有利于觀察和應(yīng)用。當(dāng)前,雖然計(jì)算機(jī)智能化取得了較大進(jìn)步,但當(dāng)前還只能分析那些規(guī)模較小、有結(jié)構(gòu)或類結(jié)構(gòu)的數(shù)據(jù),不能深入分析深層次數(shù)據(jù),當(dāng)前應(yīng)用的數(shù)據(jù)挖掘算法不能在各個(gè)行業(yè)中通用。

3.2 技術(shù)應(yīng)用

(1)數(shù)據(jù)收集技術(shù)。智慧城市公共支撐平臺自行業(yè)系統(tǒng)和城市基礎(chǔ)庫中得到數(shù)據(jù)的方法是利用訪問數(shù)據(jù)庫和數(shù)據(jù)庫導(dǎo)入、中間件技術(shù)、接口調(diào)用、網(wǎng)絡(luò)爬蟲、內(nèi)容采編等。在訪問城市基礎(chǔ)庫的數(shù)據(jù)時(shí)可以應(yīng)用數(shù)據(jù)庫訪問和數(shù)據(jù)庫導(dǎo)入的作法。

利用原行業(yè)系統(tǒng)的業(yè)務(wù)處理模塊可以得到特定的接口,在提供智慧城市公共支撐平臺時(shí)可以把數(shù)據(jù)利用開放API的方式,主流開放接口主要有RestAPI和WebService,智慧城市公共支撐平臺和行業(yè)系統(tǒng)間在傳遞數(shù)據(jù)時(shí)可以利用消息中間件。利用消息中間件可以實(shí)現(xiàn)分布式環(huán)境下的可靠傳輸,對各種平臺和協(xié)議之間存在的特性進(jìn)行屏蔽,對點(diǎn)對點(diǎn)和訂閱/發(fā)布等機(jī)制完成傳輸數(shù)據(jù)。如果行業(yè)系統(tǒng)不能提供數(shù)據(jù)庫開放和接口調(diào)用,那么則需應(yīng)用內(nèi)容采編和網(wǎng)絡(luò)爬蟲的方法進(jìn)行數(shù)據(jù)收集。

(2)大數(shù)據(jù)存儲(chǔ)技術(shù)。在大數(shù)據(jù)時(shí)代,可以對更多的數(shù)據(jù)進(jìn)行研究和分析,有時(shí)還可以利用處理與某個(gè)特別現(xiàn)象相關(guān)的數(shù)據(jù)得到有價(jià)值信息,而不再應(yīng)用隨機(jī)采樣的作法。

智慧城市公共支撐平臺對采集到的各種數(shù)據(jù)要先進(jìn)行預(yù)處理,主要內(nèi)容有數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)規(guī)約等。多個(gè)委辦局都具備自己的信息系統(tǒng),對于企業(yè)當(dāng)中、個(gè)人信息如果出現(xiàn)數(shù)據(jù)冗余和數(shù)據(jù)不相同的現(xiàn)象,而且在數(shù)據(jù)處理中有時(shí)還需要對數(shù)據(jù)重新封裝。數(shù)據(jù)集中到智慧城市公共支撐平臺,就要首先預(yù)處理這部分?jǐn)?shù)據(jù),解決上面存在的問題。

對數(shù)據(jù)進(jìn)行預(yù)處理以后,智慧城市公共支撐平臺就要依據(jù)數(shù)據(jù)的不斷種類應(yīng)用不同的存儲(chǔ)辦法。離線處理數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)可以存儲(chǔ)在分布式關(guān)系型數(shù)據(jù)庫當(dāng)中,如Hbase;視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)和XML、HTML等半結(jié)構(gòu)化數(shù)據(jù)可存儲(chǔ)在分布式文件系統(tǒng)當(dāng)中。有的數(shù)據(jù)在使用時(shí)還需要進(jìn)一步處理,這時(shí)在保存時(shí)可以應(yīng)用內(nèi)存數(shù)據(jù)庫。

(3)大數(shù)據(jù)處理技術(shù)。利用智慧城市公共支撐平臺,數(shù)據(jù)處理服務(wù)對數(shù)據(jù)進(jìn)行分析和研究,得到有價(jià)值的信息,確定關(guān)系。概述部分講解的數(shù)據(jù)處理技術(shù)主要內(nèi)容有機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、處理復(fù)雜事件等。應(yīng)用傳統(tǒng)的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù),處理數(shù)量巨大、異構(gòu)的智慧城市數(shù)據(jù)時(shí)需要很長的時(shí)間,利用改進(jìn)分布式計(jì)算框架,有效加快了處理速度。依據(jù)數(shù)據(jù)處理過程中是否需要使用時(shí)再處理,可以應(yīng)用離線處理和在線處理。在處理應(yīng)急防災(zāi)類智慧城市應(yīng)用時(shí)要實(shí)時(shí)和在線處理,進(jìn)行數(shù)據(jù)處理要隨時(shí)掌握處理結(jié)果,有利于城市管理者進(jìn)行決策。

需要離線處理的數(shù)據(jù),一般情況下可以存儲(chǔ)在分布式數(shù)據(jù)庫和分布式文件系統(tǒng)當(dāng)中,在分析這些數(shù)據(jù)時(shí)可以應(yīng)用Hadoop等分布式計(jì)算框架,如ApacheMahout。有的數(shù)據(jù)需要在線隨時(shí)處理,如流式數(shù)據(jù),在進(jìn)行數(shù)據(jù)處理時(shí)明顯與離線數(shù)據(jù)處理方式不同。應(yīng)用多個(gè)傳感器依據(jù)小周期收集到的數(shù)據(jù)、多個(gè)報(bào)象頭收集到視頻數(shù)據(jù)等都是流式數(shù)據(jù)。處理流式數(shù)據(jù)與離線處理數(shù)據(jù)具有較大不同,主要要求處理速度要快,要及時(shí)處理得到的各種數(shù)據(jù)。不利于加快數(shù)據(jù)處理速度的因素主要包括數(shù)據(jù)的I/O慢和數(shù)據(jù)處理引擎的效率低。利用分布式數(shù)據(jù)庫和分布式文件系統(tǒng)有利于存儲(chǔ)更多的數(shù)據(jù),但存在的問題是I/O速度慢;利用內(nèi)存數(shù)據(jù)庫可以得到較快的存取速度,因此在應(yīng)用可以結(jié)合數(shù)據(jù)處理引擎,就能提高處理速度。復(fù)雜事件處理技術(shù)屬于一種數(shù)據(jù)處理引擎,可以采集各種來源不同的簡單事件或事件流,依據(jù)原來定義的事件模型,可以以最快的速度確定大量事件之間的關(guān)系或得到更有價(jià)值的事件,有利于城市作出正確決策。

(4)可視化。在發(fā)布數(shù)據(jù)處理結(jié)果時(shí)更為直觀和形象,有利于城市管理者、企業(yè)、市民作出正確決策。展示數(shù)據(jù)處理結(jié)果可以利用標(biāo)簽云、儀表板、歷史流、GIS地圖、熱度圖等辦法,也可以綜合其中的兩種、幾種做法,將其展現(xiàn)在城市管理者、企業(yè)、市民面前,主要采取的方法有Web門戶、移動(dòng)客戶端、信息發(fā)布屏等。

4 結(jié)語

總之,當(dāng)前要想使大數(shù)據(jù)技術(shù)在智慧城市中得到廣泛應(yīng)用,前提是首先得到政策和法律的支持。做到“數(shù)據(jù)的開放性”要有政策保障,要首先制訂標(biāo)準(zhǔn)接口和協(xié)議,“數(shù)據(jù)的安全性問題”對大數(shù)據(jù)的應(yīng)用具有重要影響,要求有關(guān)部門制訂規(guī)章制度切實(shí)保證城市信息的安全性。

[1]魚江海.智慧城市中大數(shù)據(jù)技術(shù)的應(yīng)用[J].中國科技信息,2014 (18).

[2]顧新建,代風(fēng)等.智慧制造與智慧城市的關(guān)系研究[J].計(jì)算機(jī)集成制造系統(tǒng),2013(5).

[3]李廣乾.加強(qiáng)我國智慧城市建設(shè)的頂層設(shè)計(jì)[J].高科技與產(chǎn)業(yè)化, 2013(6).

甘肅省科技廳蘭州新區(qū)建設(shè)與人口數(shù)量耦合發(fā)展研究,課題項(xiàng)目編號:2013GS08933。