劉翔
〔摘要〕面對城市危機事件的頻繁發(fā)生,結(jié)構(gòu)化研究資料匱乏等問題的日益突出。大數(shù)據(jù)技術(shù)的發(fā)展為城市公共危機案例庫系統(tǒng)的研究提供了新的機遇?;诖髷?shù)據(jù)技術(shù)的案例庫系統(tǒng)研究顯得十分重要。分析大數(shù)據(jù)的內(nèi)涵、思維模式及基于大數(shù)據(jù)技術(shù)的實體研究,構(gòu)建大數(shù)據(jù)視域下的城市公共危機案例庫系統(tǒng),包括功能設(shè)計、系統(tǒng)架構(gòu)、系統(tǒng)實現(xiàn)等。將大數(shù)據(jù)的關(guān)聯(lián)思維、總體思維、容錯思維、智能思維等引入到案例庫的構(gòu)建中,從技術(shù)實現(xiàn)和功能需求上為城市危機管理的減緩工作提供了一些新的思路,嘗試解決傳統(tǒng)案例處理模式無法實現(xiàn)的功能。
〔關(guān)鍵詞〕大數(shù)據(jù);城市公共危機;案例庫
DOI:10.3969/j.issn.1008-0821.2016.08.011
〔中圖分類號〕G203〔文獻標識碼〕A〔文章編號〕1008-0821(2016)08-0061-05
〔Abstract〕In the face of the city public crisis which occurs frequently,the problems of the shortage of structured research data are increasingly prominent.The development of big data provided new opportunities for the study of city crisis case base.This paper expounded the connotation and thought patterns of the big data and the factual research based on the big data technology,and the paper constructed the functional design,systems architecture and system implementation of city crisis case base based on the big data.The innovation of the paper was that relevant thinking,overall thinking,fault-tolerant thinking and intelligence thinking of big data was introduced into the construction of the case base,filling in the coordination work of the functions of the case base.
〔Key words〕big data;city public crisis;case base
城市公共危機管理問題的研究已經(jīng)進展多年,有關(guān)專家和學者在理論與實踐層面都進行了深入的研究。學者Birch和Guth把危機管理劃分為事前、事中、事后等3個階段,并且分別論述了3個階段危機管理的應(yīng)對策略[1]。Robert Heath提出了危機管理的4R模型,并將公共危機事件應(yīng)對過程分為減弱、就緒、響應(yīng)、恢復(fù)等4個階段,提出了不同階段的風險管理理論[2]。王傳清、畢強提出了政府危機信息管理聯(lián)動系統(tǒng)模型等[3]。
然而,人、機、物三元世界的高度融合引發(fā)了公共危機案例數(shù)據(jù)規(guī)模的爆炸式增長和數(shù)據(jù)模式的高度復(fù)雜化,世界已進入大數(shù)據(jù)時代[4-5]。僅僅依靠傳統(tǒng)案例處理模式、聯(lián)動處理模式等是無法完全支撐公共危機管理的問題的。由于大數(shù)據(jù)隱含著巨大的社會、經(jīng)濟、科研價值,已引起了各行各業(yè)的高度重視[6-7]。城市公共危機事件中多形態(tài)、多信源、高沖突的危機數(shù)據(jù)可能與大數(shù)據(jù)的特征相吻合,在構(gòu)建數(shù)據(jù)庫、系統(tǒng)模型等方面嘗試融入大數(shù)據(jù)的研究和應(yīng)用,可能會為城市公共危機案例庫的建設(shè)和應(yīng)用帶來更大的發(fā)展空間,為更好地解決城市公共危機的管理問題提供相關(guān)理論借鑒和經(jīng)驗嘗試。
1文獻綜述
通過文獻研究發(fā)現(xiàn),城市公共危機案例管理系統(tǒng)、平臺建設(shè)方面的研究尚比較弱,相關(guān)文獻也僅限于相關(guān)模型的構(gòu)建、數(shù)據(jù)挖掘模式的構(gòu)建、關(guān)鍵技術(shù)的支撐等。實體研究方面例如蘭州大學共危機信息管理研究團隊組織研發(fā)的《中國公共危機事件案例知識庫》[8],該系統(tǒng)收集了2007年以來我國發(fā)生的四級以上關(guān)于自然災(zāi)害、事故災(zāi)難、公共衛(wèi)生、社會安全以及網(wǎng)絡(luò)輿情的突發(fā)公共事件案例等。北京天演融智軟件公司研發(fā)的《中國危機事件與管理案例庫》[9],該系統(tǒng)為各類型組織提供一個學習型的集成化危機預(yù)警與輔助決策支持平臺。但是系統(tǒng)模式、功能模塊的構(gòu)建還需引入大數(shù)據(jù)思維。
大數(shù)據(jù)比較有代表性的定義是3V定義[10],即大數(shù)據(jù)的特點可以總結(jié)為3個V:規(guī)模性(Volume)、多樣性(Variety)和高速性(Velocity)。面向大數(shù)據(jù)的思維是多維的,研究者所關(guān)注的點不同,思維方式也不同,大數(shù)據(jù)思維主要有定量思維、總體思維、容錯思維、相關(guān)思維、智能思維、實驗思維等[11]。
大數(shù)據(jù)在城市應(yīng)用領(lǐng)域有著迅速的發(fā)展,目前基于大數(shù)據(jù)技術(shù)的城市研究機構(gòu)有:北京大學智慧城市研究與規(guī)劃中心,該中心致力于智慧城市理論研究與技術(shù)攻關(guān)、時空間行為大數(shù)據(jù)研究及智慧城市規(guī)劃管理應(yīng)用[12];龍瀛博士創(chuàng)建了北京城市實驗室BCL,BCL是致力于采用多學科結(jié)合的定量方法進行城市研究的非官方學術(shù)研究網(wǎng)絡(luò)[13];上海同濟城市規(guī)劃設(shè)計研究院成立了可持續(xù)智慧城市實驗室SU-SMART CITY LAB,SSCL是一個以集成數(shù)據(jù)與原創(chuàng)研究為依托的城市研究與規(guī)劃設(shè)計機構(gòu)[14];北京清華同衡城市規(guī)劃設(shè)計研究院成立了北京西城—清華同衡城市數(shù)據(jù)實驗室UDL等[15]。網(wǎng)站也開始重視大數(shù)據(jù)和城市應(yīng)用研究領(lǐng)域,例如城市數(shù)據(jù)派UDParty[16];城市規(guī)劃云平臺CITYIF等[17]。
目前在城市公共危機管理的研究中,大數(shù)據(jù)思維模式下的城市公共危機案例庫建設(shè)尚比較弱,在建設(shè)中引入大數(shù)據(jù)思維,構(gòu)建城市公共危機案例庫,嘗試突破傳統(tǒng)思維造成的信息壁壘,利用大數(shù)據(jù)所集成的數(shù)據(jù)挖掘、機器學習等前沿技術(shù),利用大數(shù)據(jù)定量分析、智能判斷等優(yōu)勢,實現(xiàn)對城市公共危機案例管理的智能化、大數(shù)據(jù)化等具有深刻的意義。
2城市公共危機案例庫功能設(shè)計
基于相關(guān)理論與實踐研究,依據(jù)相關(guān)案例庫的用戶需求,結(jié)合大數(shù)據(jù)技術(shù),構(gòu)建大數(shù)據(jù)視域下的城市公共危機案例庫系統(tǒng)。城市公共危機案例庫系統(tǒng)的總體框架由危機案例數(shù)據(jù)獲取模塊、危機案例大數(shù)據(jù)處理模塊、危機案例檢索與決策支持模塊3個功能模塊和案例庫、工具庫、規(guī)則庫等相關(guān)數(shù)據(jù)庫構(gòu)成。功能模塊和功能數(shù)據(jù)庫協(xié)同工作,實現(xiàn)危機案例庫系統(tǒng)的設(shè)計功能。系統(tǒng)的總體結(jié)構(gòu)框架如圖1所示。
21危機案例數(shù)據(jù)獲取模塊
城市危機案例信息采集是整個城市公共危機案例庫建設(shè)的基礎(chǔ),也是案例分析及大數(shù)據(jù)處理的前提和條件。傳統(tǒng)數(shù)據(jù)分析我們主要使用樣本分析法,這是在有限的技術(shù)條件下無法獲取全部數(shù)據(jù)的無奈選擇。舍恩伯格認為:“在大數(shù)據(jù)時代進行抽樣分析就像在汽車時代騎馬一樣?!盵18]為了實現(xiàn)大數(shù)據(jù)的總體數(shù)據(jù)思想,模塊中設(shè)置城市數(shù)據(jù)信息采集、危機案例數(shù)據(jù)采集、城市危機案例采集引擎等功能項,這一功能主要由人機交互共同實現(xiàn)。
城市是一個多因素、多層次、多功能的大系統(tǒng),案例庫中城市數(shù)據(jù)信息的采集不是簡單的信息任務(wù)上傳,采集的數(shù)據(jù)也不都是結(jié)構(gòu)化的數(shù)據(jù),很多數(shù)據(jù)信息是動態(tài)的、隱性的,分析城市危機案例,首先要把城市的全部基本數(shù)據(jù)信息進行采集存儲,這是研究城市公共危機案例的基礎(chǔ)。城市數(shù)據(jù)信息采集功能項需要在大數(shù)據(jù)的總體思維下把城市的基本數(shù)據(jù)信息進行全方位采集并存儲,這部分主要由人工采集存儲。
在現(xiàn)實社會中,危機一般是指對一個社會系統(tǒng)的基本價值和行為準則架構(gòu)產(chǎn)生嚴重威脅,并在時間壓力和不確定性極高的情況下必須作出關(guān)鍵決策的事件[19]。城市危機不但具有突發(fā)性、不可預(yù)測性、高度不確定性等危機的一般特性,而且還具有突發(fā)性與緊急性并存、公共性與災(zāi)難性并存、共振性與復(fù)雜性并存、不確定性與時間的有限性并存等特點[20]。危機案例數(shù)據(jù)采集功能項需要在大數(shù)據(jù)的總體思維下把城市公共危機事件數(shù)據(jù)進行全方位采集并存儲,重點解決半結(jié)構(gòu)化和非結(jié)構(gòu)化信息數(shù)據(jù)的采集,這部分主要由人工采集和計算機智能采集存儲。
由于大數(shù)據(jù)的量大,案例庫設(shè)置城市危機案例采集引擎。該采集引擎注重信息源及其內(nèi)容的全面性,數(shù)據(jù)來源包括各大網(wǎng)站、論壇、博客、微博等;采集的內(nèi)容包括文字、圖片、音頻、視頻等。采集引擎借鑒互聯(lián)網(wǎng)搜索引擎技術(shù),代替人工智能采集城市公共危機事件,重點采集半結(jié)構(gòu)化和非結(jié)構(gòu)化事件數(shù)據(jù)、隱性危機信息數(shù)據(jù)、價值密度低數(shù)據(jù)等,強調(diào)采集數(shù)據(jù)的完整性。
危機案例數(shù)據(jù)獲取模塊經(jīng)3個功能項獲取大量數(shù)據(jù)后,經(jīng)過數(shù)據(jù)集成形成最初的危機案例數(shù)據(jù)庫,該數(shù)據(jù)庫是大量數(shù)據(jù)的聚集地,沒有經(jīng)過系統(tǒng)處理和加工,交由危機案圖1城市公共危機案例庫系統(tǒng)結(jié)構(gòu)圖
例大數(shù)據(jù)處理模塊進行處理。
22危機案例大數(shù)據(jù)處理模塊
由于大數(shù)據(jù)時代數(shù)據(jù)處理發(fā)生了重大轉(zhuǎn)變,處理數(shù)據(jù)的流程也相應(yīng)發(fā)生了變化。大數(shù)據(jù)普遍適用的處理流程分為采集、導入和預(yù)處理、統(tǒng)計和分析、數(shù)據(jù)挖掘四部分。危機案例庫可以借鑒大數(shù)據(jù)處理數(shù)據(jù)的流程和大數(shù)據(jù)思維設(shè)置大數(shù)據(jù)處理模塊。
經(jīng)過危機案例數(shù)據(jù)獲取模塊集成的數(shù)據(jù)導入到分布式案例存儲集群,經(jīng)過專業(yè)化信息工具處理進行簡單的數(shù)據(jù)清洗和處理,分布式數(shù)據(jù)庫及計算集群對存儲于存儲集群的大數(shù)據(jù)進行數(shù)據(jù)分析和分類匯總等,形成具備一定功能形態(tài)的城市危機案例庫。例如把非城市公共危機范疇的數(shù)據(jù)進行篩除,對自然災(zāi)害危機、意外事故危機、公共衛(wèi)生危機、社會安全危機等案例進行分析和分類匯總等。
由于危機案例庫更多的要體現(xiàn)大數(shù)據(jù)思維,更重要的在功能上還要體現(xiàn)智能化,所以要進一步應(yīng)用大數(shù)據(jù)視域下的核心思想,引入大數(shù)據(jù)的關(guān)聯(lián)思維、容錯思維及智能思維對城市危機案例庫進行深層次地數(shù)據(jù)挖掘。與簡單的數(shù)據(jù)清洗和分析分類不同,數(shù)據(jù)挖掘在過程上具有發(fā)散性,主要是對數(shù)據(jù)進行各種算法的計算,為了更好地滿足高級別數(shù)據(jù)分析的需求。
221關(guān)聯(lián)數(shù)據(jù)挖掘
在小數(shù)據(jù)時代,人們常常關(guān)注城市公共危機案例的因果關(guān)系,試圖通過有限樣本案例來分析總結(jié)其中的內(nèi)在機理,但是這些有限的危機案例樣本數(shù)據(jù)不能很好地、全面地反映出案例之間的相關(guān)關(guān)系。在大數(shù)據(jù)時代,可以通過大數(shù)據(jù)技術(shù)挖掘危機案例之間的隱性關(guān)系,獲得更多隱性數(shù)據(jù)的顯性化,利用顯性化的數(shù)據(jù)信息可以幫助決策者進行數(shù)據(jù)獲取和數(shù)據(jù)預(yù)測,從而進行更加準確的決策推理。在大數(shù)據(jù)處理模塊引入關(guān)聯(lián)挖掘技術(shù),可以幫助案例庫用戶檢索案例、檢索決策、進行決策推理、向用戶推送信息等。
222容錯數(shù)據(jù)挖掘
由于小數(shù)據(jù)時代人們獲取的危機案例樣本量比較少,所以比較注重危機案例數(shù)據(jù)的結(jié)構(gòu)化和精確化。舍恩伯格指出:“只有5%的數(shù)據(jù)是結(jié)構(gòu)化且能適用于傳統(tǒng)數(shù)據(jù)庫的。如果不接受混亂,剩下95%的非結(jié)構(gòu)化數(shù)據(jù)都無法利用,只有接受不精確性,我們才能打開一扇從未涉足的世界的窗戶”[16]在大數(shù)據(jù)背景下,引入容錯思維,適當忽略一定層面上的精確性,接受一定程度的錯誤和混雜,可能在數(shù)據(jù)的宏觀層面獲得更多隱性數(shù)據(jù)的顯性化,幫助決策者進行數(shù)據(jù)獲取和數(shù)據(jù)預(yù)測等。在大數(shù)據(jù)處理模塊引入容錯挖掘技術(shù),可以幫助案例庫用戶進行決策推理、向用戶推送信息等。
223智能數(shù)據(jù)挖掘
大數(shù)據(jù)時代要求數(shù)據(jù)庫處理數(shù)據(jù)從線性等簡單的思維向智能思維轉(zhuǎn)化,這是大數(shù)據(jù)處理的顯著特征和核心內(nèi)容。在大數(shù)據(jù)背景下,引入智能思維,可以對城市公共危機案例數(shù)據(jù)進行邏輯分析、智能判斷、科學預(yù)測等。大數(shù)據(jù)處理模塊引入智能挖掘技術(shù),可以更好地支撐危機案例庫的數(shù)據(jù)處理功能,為各項功能的協(xié)調(diào)運行提供智能化支撐。
在關(guān)聯(lián)挖掘、容錯挖掘、智能挖掘等相關(guān)大數(shù)據(jù)處理技術(shù)的支撐下,對城市危機案例庫進行大數(shù)據(jù)處理形成城市危機智能案例庫。該庫可以有效支撐案例庫用戶的案例檢索、決策檢索、決策推理等功能。
23危機案例檢索與決策支持模塊
危機案例檢索與決策支持模塊主要實現(xiàn)用戶的檢索需求與決策推理需求。由城市危機智能案例庫中的案例數(shù)據(jù)庫、決策數(shù)據(jù)庫、決策推理模塊等構(gòu)成。數(shù)據(jù)庫和功能模塊協(xié)同工作,實現(xiàn)用戶檢索與決策推理的設(shè)計功能。由智能決策推理形成的新決策方案充實到?jīng)Q策數(shù)據(jù)庫中。用戶的檢索效果與決策推理效果反饋到案例庫的數(shù)據(jù)獲取模塊與大數(shù)據(jù)處理模塊。
3城市公共危機案例庫系統(tǒng)實現(xiàn)
基于城市公共危機案例庫的功能設(shè)計,結(jié)合大數(shù)據(jù)技術(shù),給出城市公共危機案例庫的系統(tǒng)實現(xiàn)。
31案例庫的系統(tǒng)架構(gòu)
在構(gòu)建城市公共危機案例庫系統(tǒng)功能等研究的基礎(chǔ)上,提出案例庫的系統(tǒng)架構(gòu),其核心部分如圖2所示。圖2城市危機案例庫的系統(tǒng)架構(gòu)圖
案例庫系統(tǒng)通過各種不同的連接器,實現(xiàn)對各類數(shù)據(jù)庫、系統(tǒng)、第三方應(yīng)用的數(shù)據(jù)進行數(shù)據(jù)采集;案例庫系統(tǒng)對采集的案例數(shù)據(jù)進行清洗、抽取、處理等操作,生成案例數(shù)據(jù)索引;案例庫系統(tǒng)是通過分布式系統(tǒng)建立數(shù)據(jù)倉庫,并利用大數(shù)據(jù)技術(shù)提供數(shù)據(jù)挖掘功能;數(shù)據(jù)服務(wù)層為其上的數(shù)據(jù)應(yīng)用層提供各類數(shù)據(jù)接口。用戶權(quán)限系統(tǒng)可以從數(shù)據(jù)的各個層面進行嵌入。
32案例庫系統(tǒng)的交互環(huán)境
在案例庫系統(tǒng)功能、系統(tǒng)架構(gòu)等研究的基礎(chǔ)上,構(gòu)建案例庫系統(tǒng)的交互環(huán)境案例庫交互環(huán)境中的案例檢索的部分功能實現(xiàn)如圖3所示。
在案例檢索交互界面中,設(shè)置快速檢索和高級檢索等功能。輸入關(guān)鍵詞進行檢索,在檢索界面的左側(cè),設(shè)置危機屬性、危機描述、利益相關(guān)、案例分析等功能鏈接。以“2015年8月12日天津大爆炸”為例,危機屬性包括天津爆炸的時間、地點、主要影響、危機領(lǐng)域、危機類型、所屬行業(yè)、危害程度等各項數(shù)據(jù);危機描述包括天津爆炸案例的前兆、緊急、持續(xù)、結(jié)果等階段的具體數(shù)據(jù)描述;利益相關(guān)主要是指危機利益相關(guān)者數(shù)據(jù)分析等;案例分析主要是對危機案例數(shù)據(jù)進行大數(shù)據(jù)處理后進行處理結(jié)果的展示,包括案例數(shù)據(jù)對比分析、案例數(shù)據(jù)統(tǒng)計分析、數(shù)據(jù)宏觀指導、數(shù)據(jù)智能判斷等,例如港口爆炸案例數(shù)據(jù)分析、圖3案例檢索交互測試界面
化學品爆炸案例數(shù)據(jù)分析、智能爆炸案例數(shù)據(jù)統(tǒng)計等。
4總結(jié)和展望
本研究依據(jù)案例庫設(shè)計的理論和實踐研究,結(jié)合大數(shù)據(jù)技術(shù),構(gòu)建了城市公共危機案例庫的功能結(jié)構(gòu)和系統(tǒng)實現(xiàn),在案例庫中嵌入了大數(shù)據(jù)思維,從技術(shù)實現(xiàn)和功能需求上為城市危機管理的減緩工作提供了一些新的思路。
但是系統(tǒng)實現(xiàn)方面還有很多挑戰(zhàn),例如如何在這些數(shù)據(jù)庫之間進行負載均衡、如何實現(xiàn)大數(shù)據(jù)的智能算法等問題是需要深入思考的,在后續(xù)研究中,需要進一步研究功能模塊的系統(tǒng)性、精確性、效用性等;工作流程的邏輯性、系統(tǒng)性、規(guī)則性等;案例庫系統(tǒng)實現(xiàn)的穩(wěn)定性、實用性、創(chuàng)新性等。
參考文獻
[1]張巖.非常規(guī)突發(fā)事件態(tài)勢演化和調(diào)控機制研究[D].合肥:中國科學技術(shù)大學,2011.
[2]Henth R.危機管理[M].王成,譯.北京:中信出版社,2004:18-21.
[3]王傳清,畢強.政府危機信息管理聯(lián)動系統(tǒng)模型構(gòu)建[J].圖書情報工作,2012,(9)31-36.
[4]李國杰.大數(shù)據(jù)研究的科學價值[J].中國計算機學會通訊,2012,8(9):8-15.
[5]James Manyika,Michael Chui,Brad Brown et al.Big Data:The Next Frontier for Innovation,Competition,and Productivity[Z].McKinsey Global Institute,2011.
[6]Divyakant Agrawal,Philip Bernstein,Elisa Bertino et al.Challenges and Opportunities with Big Data[EB/OL].Cyber Center Technical Reports,F(xiàn)ebruary,2012.http:∥docs.lib.purdue.edu/cctech/1.
[7]Pattern-Based Strategy:Getting Value from Big Data[Z].Gartner Group Press Release,2011.
[8]蘭州大學.中國公共危機事件案例知識庫[EB].http:∥ccm.lzu.edu.cn/.
[9]麥尼哲中國危機管理資源網(wǎng)[EB].http:∥www.crisismanagement.com.cn/index.aspx.
[10]Grobelnik,M..Big-data Computing:Creating Revolutionary Breakthroughs in Commerce,Science,and Society[R/OL].http:∥videolectures.net/eswc2012grobelnik-big-data/,2012-01-02.
[11]張義禎.大數(shù)據(jù)帶來的四種思維[N].學習時報,2015-01-26.
[12]北京大學城市與環(huán)境學院智慧城市研究與規(guī)劃中心[EB].http:∥www.smartcity.pku.edu.cn/intro/info-5000.shtml.
[13]Beijing City Lab[EB].http:∥www.beijingcitylab.com/.
[14]可持續(xù)智慧城市實驗室(SSCL)[EB].http:∥116.236.160.182:1310/SmartCity/SuSmart/lab/FirstPageCN.
[15]清華同衡城市數(shù)據(jù)實驗室UDL[EB].http:∥xc.urbandatalab.com/.
[16]城市數(shù)據(jù)派UDParty[EB].http:∥www.udparty.com/
[17]城市規(guī)劃云平臺[EB].http:∥www.cityif.com/.
[18]維克托·邁爾-舍恩伯格.大數(shù)據(jù)時代[M].杭州:浙江人民出版社,2013-01-01.
[19]Rosethal Uriel,Chares Michal T.,ed.Coping With Crises,the Management of Disasters,Riots and Terrorism[M].Springfield:Chares C Thomas,1898.
[20]趙妮婭,葉靜.建立健全預(yù)警和應(yīng)急機制:政府應(yīng)對突發(fā)事件的關(guān)鍵[J].甘肅行政學院學報,2004,(1):26-28.
(本文責任編輯:孫國雷)