李飛
摘要:新型智慧城市建設(shè)是貫徹落實習近平總書記系列重要講話精神,推動國家治理體系和治理能力現(xiàn)代化建設(shè)的重要舉措。新型智慧城市運行管理大數(shù)據(jù)平臺是由物聯(lián)港、大數(shù)據(jù)分析處理引擎、新型智慧城市模型所構(gòu)成的新型智慧城市信息整體框架,形成統(tǒng)一的數(shù)據(jù)匯集、統(tǒng)一的數(shù)據(jù)分析和統(tǒng)一的運行指揮,形成“傳感-傳輸-處理-應(yīng)用”閉環(huán)。該平臺的建立孤立的算法、技術(shù)和管理模式,系統(tǒng)性的解決新型智慧城市及大數(shù)據(jù)應(yīng)用的創(chuàng)新缺乏全局視野、難以獲得實際應(yīng)用等問題。
關(guān)鍵詞:新型智慧城市;模型;大數(shù)據(jù)
一、概述
新型智慧城市是以為民服務(wù)全程全時、城市治理高效有序、數(shù)據(jù)開放共融共享、經(jīng)濟發(fā)展綠色開源、網(wǎng)絡(luò)空間安全清朗為主要目標,通過體系規(guī)劃、信息主導(dǎo)、改革創(chuàng)新,推進新一代信息技術(shù)與城市現(xiàn)代化深度融合、迭代演進,提高城市發(fā)展的持續(xù)性、宜居性,實現(xiàn)國家與城市協(xié)調(diào)發(fā)展的新生態(tài)。
二、研究內(nèi)容
物聯(lián)港是實現(xiàn)物聯(lián)傳感網(wǎng)中海量設(shè)備接入,管理和控制設(shè)備,并將設(shè)備上傳的異構(gòu)信息轉(zhuǎn)換為便于系統(tǒng)處理的歸一化處理平臺。新型智慧城市運行管理大數(shù)據(jù)平臺中的物聯(lián)港構(gòu)筑在物聯(lián)網(wǎng)通用體系架構(gòu)之上,對下提供將包含各類接入設(shè)備在內(nèi)的物體進行服務(wù)封裝,對上提供便捷統(tǒng)一的開發(fā)接口為進一步的數(shù)據(jù)分析處理提供便利。得益于通用體系架構(gòu),異構(gòu)的物聯(lián)網(wǎng)設(shè)備和信息網(wǎng)絡(luò)終端能夠采用統(tǒng)一的方式進行描述、接入、標識與尋址、訪問調(diào)用和控制。通過物聯(lián)港的隔離,其上層系統(tǒng)僅需要根據(jù)需求和能力通過封裝成服務(wù)的接口訪問虛擬設(shè)備即可,實現(xiàn)了新型智慧城市信息系統(tǒng)的快速構(gòu)建,按需擴展和高度的互聯(lián)互通與信息共享。
大數(shù)據(jù)處理引擎實現(xiàn)對海量、異構(gòu)、準實時數(shù)據(jù)的處理,對數(shù)據(jù)的封裝、清洗、存儲、索引、檢索及高級運算操作,實現(xiàn)以合理數(shù)據(jù)結(jié)構(gòu)和存儲方式存檔數(shù)據(jù),并提供數(shù)據(jù)的查詢展示、統(tǒng)計分析、趨勢預(yù)測等服務(wù)。大數(shù)據(jù)引擎采用基于集合的非關(guān)系數(shù)據(jù)庫,以分布式文件系統(tǒng)和并行處理框架作為基礎(chǔ)支撐。引擎的主要功能分為內(nèi)部處理和外部處理。內(nèi)部處理通常是非關(guān)系數(shù)據(jù)庫本身提供或衍生出來的功能特性,具有實時性,能夠保證前端數(shù)據(jù)非阻塞式入庫而不會丟失,并確保對數(shù)據(jù)訪問請求的實時響應(yīng)。外部處理指獨立于非關(guān)系數(shù)據(jù)庫以外,通過定制化開發(fā)的模型及分析算法進行諸如社會動力學仿真、模糊條件搜索與特征匹配、間接經(jīng)濟效益核算等研究。不同的外部處理能力通過獨立的引擎實現(xiàn),通過通用接口掛載到數(shù)據(jù)庫上讀取原始數(shù)據(jù)并回寫計算結(jié)果。
新型智慧城市模型是城市運行管理體系的控制核心,與大數(shù)據(jù)引擎緊密配合,負責根據(jù)城市的總體狀態(tài),生成任務(wù)并動態(tài)分配各類資源以確保任務(wù)的總體優(yōu)化執(zhí)行,提供應(yīng)用程序接口支撐上層的各類應(yīng)用。當通過大數(shù)據(jù)分析識別城市狀態(tài)異?;虍a(chǎn)生突發(fā)事件,城市模型將自動生成一個任務(wù)并定義其基本屬性,同時根據(jù)預(yù)案開啟一個工作流程并分配一定的資源加以處理。系統(tǒng)將不斷更新任務(wù)屬性并確定其優(yōu)先級,動態(tài)調(diào)整投入資源,指揮并約束每個基本執(zhí)行單位的行為,并追蹤工作流程的進度。任務(wù)和工作流程信息都通過應(yīng)用程序接口提供給特定應(yīng)用展示給管理人員。當任務(wù)完成后,其本身及工作流程中各環(huán)節(jié)信息將提交大數(shù)據(jù)引擎存檔,進行過程重構(gòu)、推演分析與優(yōu)化,以對預(yù)案進行優(yōu)化。任務(wù)和工作流程亦可由人工指令開啟、干預(yù)及結(jié)束。
三、關(guān)鍵技術(shù)研究
(一)新型智慧城市模型
從邏輯數(shù)據(jù)、資源調(diào)配、應(yīng)用接口、安全管理的方面對城市運行管理過程進行建模,并在實際中驗證模型的準確性和通用性。該模型將指導(dǎo)新型智慧城市運行管理大數(shù)據(jù)中心的建設(shè)工作,并為其他智慧城市建設(shè)項目提供理論支持。新型智慧城市模型的主要功能在于從數(shù)據(jù)中分析出異常,并根據(jù)城市運行管理的規(guī)律,調(diào)配資源來處理異常;同時向上提供應(yīng)用接口,支撐上層應(yīng)用。除此之外,新型智慧城市模型還通過內(nèi)嵌的安全管理模塊,對城市管理數(shù)據(jù)和邏輯進行保護。
(二)新型智慧城市大數(shù)據(jù)處理引擎核心與擴展算法
新型智慧城市大數(shù)據(jù)處理引擎以非關(guān)系型數(shù)據(jù)庫及其支撐環(huán)境和部件為核心,可通過標準化接口掛載用于功能擴展的外部算法和模型。大數(shù)據(jù)處理引擎核心包括非關(guān)系型數(shù)據(jù)庫、分布式文件系統(tǒng)、分布式處理框架、數(shù)據(jù)基本處理工具及必要的中間件。項目選取合理的數(shù)據(jù)封裝格式,數(shù)據(jù)集合/圖的基本結(jié)構(gòu)及拓撲方式,定義數(shù)據(jù)篩選、索引方式及視圖服務(wù)使之滿足新型智慧城市各類上層應(yīng)用的需要并具有進一步擴展的潛力。大數(shù)據(jù)處理外部算法和模型用于從非關(guān)系型數(shù)據(jù)庫中提取各類數(shù)據(jù)進行深度檢索,并將結(jié)果回寫入數(shù)據(jù)庫。
(三)新型智慧城市運行管理大數(shù)據(jù)平臺框架
采用由大數(shù)據(jù)分析處理平臺和新型智慧城市模型組成的新型智慧城市控制與處理聚合(Control&Processing Unity)架構(gòu)來搭建新型智慧城市運行管理大數(shù)據(jù)平臺。大數(shù)據(jù)分析處理平臺實現(xiàn)數(shù)據(jù)處理、輸入、存儲、查詢、統(tǒng)計、分析、預(yù)測功能,提供洞察力;新型智慧城市模型負責處理城市管理邏輯、調(diào)配城市資源,提供執(zhí)行力。在城市運營大數(shù)據(jù)平臺中將兩者分開,有助于實現(xiàn)分系統(tǒng)任務(wù)的同質(zhì)化,提高系統(tǒng)運行效率,并平衡系統(tǒng)靈活性與魯棒性。
四、結(jié)論
該平臺將提供完整的新型智慧城市數(shù)據(jù)采集、處理、分析和應(yīng)用的系統(tǒng),提供高性能、易管理、完全自主可控的、具有自主知識產(chǎn)權(quán)的數(shù)據(jù)分析處理平臺軟件系統(tǒng),提供功能豐富、擴展性強、用戶友好的大數(shù)據(jù)接口,構(gòu)建活躍的大數(shù)據(jù)生態(tài)系統(tǒng)。具備高移植性,可將城市運行管理的大數(shù)據(jù)平臺,硬件系統(tǒng)和軟件系統(tǒng)中平臺性軟件部分可直接擴展至其他城市,應(yīng)用性軟件部分經(jīng)過適當?shù)男薷?,也可以?yīng)用到其他城市。endprint