陳 瓊,孫麗娟

（中電海康集團有限公司,浙江 杭州 311100）

0 引言

建設(shè)智慧城市的本質(zhì)是推動城市向更高層次的信息化發(fā)展,其最有效的推動力一定是無數(shù)的活躍個體。大量個體才能更好推動社會運行信息不斷創(chuàng)造性、深度地挖掘和應(yīng)用[1]。公共部門首先要做的是建設(shè)和維護好開放數(shù)據(jù)平臺。因此,數(shù)據(jù)共享和開放已經(jīng)成為一種必然的趨勢,特別是作為社會管理主體的政府公共部門,作為大量數(shù)據(jù)的擁有方和建設(shè)“陽光政府”的責(zé)任者,需要建設(shè)和維護好開放的智慧城市數(shù)據(jù)平臺。在智慧城市建設(shè)過程中,數(shù)據(jù)開放應(yīng)用是政府實現(xiàn)城市智慧化必須要深入研究和探索的領(lǐng)域,也是實現(xiàn)大數(shù)據(jù)真正服務(wù)于城市發(fā)展的必然方向。

本文設(shè)計實現(xiàn)了一種基于自動化發(fā)布技術(shù)的數(shù)據(jù)開放平臺,以期能夠較好地應(yīng)用于這一領(lǐng)域。本文將首先介紹數(shù)據(jù)開放的現(xiàn)狀及其技術(shù)發(fā)展趨勢,然后總結(jié)自動化發(fā)布技術(shù)的基本思想和關(guān)鍵技術(shù),最后基于自動化發(fā)布技術(shù)設(shè)計數(shù)據(jù)開放平臺的架構(gòu)和主要組件,并指出其應(yīng)用前景。

1 數(shù)據(jù)開放現(xiàn)狀及其技術(shù)發(fā)展趨勢

1.1 數(shù)據(jù)開放現(xiàn)狀

隨著新技術(shù)、標準、協(xié)議和應(yīng)用等不斷涌現(xiàn),全球互聯(lián)網(wǎng)發(fā)展面臨著機遇與挑戰(zhàn)并存的局面?！叭f維網(wǎng)之父”Tim Berners-Lee在展望未來互聯(lián)網(wǎng)時強調(diào)其三大主要特征為:數(shù)據(jù)整合、多樣的網(wǎng)絡(luò)和獨立的設(shè)備、無所不在的Web應(yīng)用[2]。其中“數(shù)據(jù)整合”（Data Integration）指的是在相應(yīng)的網(wǎng)絡(luò)標準格式（如Resource Description Framework,Web Ontology Language等）下實現(xiàn)整個Web的數(shù)據(jù)互聯(lián)互通和開放共享。

全面的數(shù)據(jù)整合和無所不在的Web應(yīng)用客觀上要求現(xiàn)有的互聯(lián)網(wǎng)不斷進行技術(shù)、理念的創(chuàng)新與突破[3]。在向第二代互聯(lián)網(wǎng)演進過程中,開放數(shù)據(jù)成為繼開源軟件、開放存取后的又一個研究熱點,也為當(dāng)前數(shù)字化網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)管理、信息組織的研究與實踐注入了新的活力。公眾的參與使用是政府開放數(shù)據(jù)的核心精神之一,政府開放數(shù)據(jù)即是希望通過公眾的集合專業(yè)素養(yǎng)與知識來協(xié)助政府解決公共事務(wù)問題,讓公眾可以借由政府開放數(shù)據(jù)來參與公共事務(wù),并期許能從政府資料再利用上創(chuàng)造出新的經(jīng)濟價值與創(chuàng)新運用[4]。開放數(shù)據(jù)是未來電子政務(wù)發(fā)展的必要條件,開放政府也是智慧政府的前提[5]。

在數(shù)據(jù)的共享和開放方面,以美國為代表的發(fā)達國家已經(jīng)走在了前面。例如,由美國聯(lián)邦CIO委員會開發(fā)、總務(wù)管理局主管的Data.Gov網(wǎng)站[6]。Data.Gov除了采用目錄（catalogs）方式組織政府?dāng)?shù)據(jù)和其他應(yīng)用型網(wǎng)絡(luò)工具,提供類目、機構(gòu)、關(guān)鍵詞等搜索途徑外,還定期審查數(shù)據(jù)以保證與W3C的“Web可訪問性倡議”（WAI）原則一致,并主動應(yīng)用最新技術(shù),例如計劃將超過64億條政府?dāng)?shù)據(jù)轉(zhuǎn)換成RDF格式、采用統(tǒng)一資源標識符（URI）更好地開發(fā)和擴展數(shù)據(jù),朝新一代的關(guān)聯(lián)數(shù)據(jù)混搭（mash ups）應(yīng)用目標邁進。Data.Gov是全球第一個國家政府層面的數(shù)據(jù)門戶網(wǎng)站,它極大地解決了以往分散在各個政府機構(gòu)網(wǎng)站的數(shù)據(jù)不兼容問題,是美國政府乃至全球范圍內(nèi)開放數(shù)據(jù)實踐的標志性成果。

在國內(nèi),具有數(shù)據(jù)共享和開放意識的地方政府已經(jīng)開始積極行動起來。2014年1月,廣州市政府首次提出要建立大數(shù)據(jù)局[7],統(tǒng)籌推進政府部門的信息采集、整理、共享和應(yīng)用,消除信息孤島,建立公共數(shù)據(jù)開放機制,除法律法規(guī)明確不宜公布的公共信息,一律及時向社會公開。到了最近幾年,很多地方政府都建立了數(shù)據(jù)開放平臺。當(dāng)前國內(nèi)政府的數(shù)據(jù)共享和開放主要體現(xiàn)為兩個方面:一是數(shù)據(jù)的共享和開放主要是對政府內(nèi)部各個部門之間的共享開放,政府各個部門之間通過傳統(tǒng)的點對點或者基于SOA架構(gòu),通過ESB的方式共享和交換數(shù)據(jù)；二是政府?dāng)?shù)據(jù)對公眾的開放,大多還是局限于以文檔的形式,供公眾下載閱讀。這種方式,公眾只能對政府擁有的數(shù)據(jù)進行閱讀和了解,但無法做到機器閱讀和自動化使用,以及真正為公眾和企業(yè)帶來社會或商業(yè)價值。

1.2 數(shù)據(jù)開放的技術(shù)發(fā)展趨勢

大數(shù)據(jù)時代的競爭,將是數(shù)據(jù)資產(chǎn)的競爭,數(shù)據(jù)開放是能夠真正利用大數(shù)據(jù)和挖掘大數(shù)據(jù)潛在價值的最好手段。由于大量的數(shù)據(jù)資產(chǎn)掌握在政府和公共部門手中,因此開放這些海量數(shù)據(jù)也是建立透明和開放政府的要求。國內(nèi)相關(guān)研究認為,我國政府?dāng)?shù)據(jù)治理方面的問題已經(jīng)阻礙了數(shù)據(jù)開放的發(fā)展,例如數(shù)據(jù)未被電子化、數(shù)據(jù)碎片化、數(shù)據(jù)標準化程度低、數(shù)據(jù)質(zhì)量參差不齊等[8]。

結(jié)合上述數(shù)據(jù)開放的發(fā)展現(xiàn)狀,并適應(yīng)具體的應(yīng)用場景要求,數(shù)據(jù)開放在技術(shù)實現(xiàn)上的趨勢如下:

第一,隨著社會信息化的深入,數(shù)據(jù)的積累越來越巨量,數(shù)據(jù)的格式也愈加復(fù)雜,數(shù)據(jù)開放服務(wù)的形式也日趨多樣。為適應(yīng)這種不斷變化的需求,需要有一種自動化的、可擴展的機制,使得數(shù)據(jù)開放服務(wù)的發(fā)布能夠快速和有效進行。

第二,在服務(wù)的自動化發(fā)布過程中,數(shù)據(jù)源通常是跨部門、跨地域和跨領(lǐng)域的,格式多樣,數(shù)據(jù)結(jié)構(gòu)不統(tǒng)一,并且存在不同類型的數(shù)據(jù)庫中。另外,數(shù)據(jù)的開放有很強的選擇性,有些數(shù)據(jù)可以開放,有些數(shù)據(jù)則不可以開放；同樣的數(shù)據(jù)表,也可能有些字段可以開放,有些字段不可以開放；或者有些數(shù)據(jù)需要通過一定的封裝、整合和計算,才能對外開放。這就需要有一種對數(shù)據(jù)源的統(tǒng)一描述語言,對異構(gòu)數(shù)據(jù)源進行抽象和描述。

2 服務(wù)的自動化發(fā)布技術(shù)

2.1 數(shù)據(jù)源的統(tǒng)一描述及其解析框架

為了實現(xiàn)服務(wù)自動化發(fā)布,需要對異構(gòu)數(shù)據(jù)源進行統(tǒng)一描述。數(shù)據(jù)開放平臺的數(shù)據(jù)源是通過一個可編輯的XML格式的文件統(tǒng)一描述的。這種統(tǒng)一描述的格式能夠靈活支持不同的數(shù)據(jù)源,并且具有良好的擴展性。它能夠支持對數(shù)據(jù)的投影、封裝、組合和計算,并可以靈活地描述不同的數(shù)據(jù)表或者同一表中的不同字段,也支持對跨表數(shù)據(jù)的計算。這種統(tǒng)一描述獨立于服務(wù)本身的數(shù)據(jù)結(jié)構(gòu),而只描述數(shù)據(jù)源本身,因此具有服務(wù)無關(guān)性。對數(shù)據(jù)庫類型支持的擴展和對服務(wù)格式類型支持的擴展是平行的,互相沒有影響。

解析框架負責(zé)解析該文件,并負責(zé)具體的數(shù)據(jù)抽取工作?？蚣苤С植煌臄?shù)據(jù)庫,并具有支持二次開發(fā)的可擴展能力,增加跨數(shù)據(jù)庫平臺適應(yīng)能力。

2.2 服務(wù)的自動化發(fā)布引擎

隨著數(shù)據(jù)的積累愈加巨量,數(shù)據(jù)的格式愈加復(fù)雜,對數(shù)據(jù)開放服務(wù)形式的要求也日趨多樣,服務(wù)的自動化發(fā)布技術(shù)可以使數(shù)據(jù)開放服務(wù)的分發(fā)和部署能夠快速和有效進行。自動化發(fā)布引擎可以將數(shù)據(jù)資源通過一鍵式的方式,零編碼實現(xiàn)對服務(wù)的自動化分發(fā)和部署,并為機器閱讀和調(diào)用。這種引擎能夠提供多種的服務(wù)綁定方式,比如可以綁定當(dāng)前主流的基于SOAP的Web服務(wù)和基于REST的Web服務(wù),并可以選擇同時綁定或者分別綁定不同的服務(wù)協(xié)議。引擎亦支持可擴展的開發(fā)接口,二次開發(fā)者可通過該接口實現(xiàn)各種服務(wù)形式的綁定,豐富平臺對外提供服務(wù)的能力。自動化發(fā)布的過程如圖1所示。

圖1 服務(wù)自動化發(fā)布過程Figure 1 Service automated publishing process

3 數(shù)據(jù)開放平臺的設(shè)計與實現(xiàn)

3.1 平臺整體架構(gòu)

本系統(tǒng)是基于服務(wù)自動化發(fā)布技術(shù)的數(shù)據(jù)開放平臺,其目的是為開放政府的公共數(shù)據(jù)提供平臺支持。該數(shù)據(jù)開放平臺也可以用作政府部門之間的數(shù)據(jù)共享和交換。

平臺的整體架構(gòu)如圖2所示。

圖2 數(shù)據(jù)開放平臺組件架構(gòu)Figure 2 Data open platform component architecture

3.2 平臺的主要組件及其功能

平臺的主要組件和功能包括:數(shù)據(jù)源的統(tǒng)一描述及其解析框架、服務(wù)的自動化發(fā)布以及服務(wù)的編排、安全、智能化管理和集群。

3.2.1 數(shù)據(jù)源的統(tǒng)一描述及其解析框架

數(shù)據(jù)源的統(tǒng)一描述是通過一個可編輯的XML格式文件表達的,該描述文件具有以下特征:

一是支持不同類型的數(shù)據(jù)庫,默認支持主流的Oracle和MySQL數(shù)據(jù)庫,并通過可擴展、自描述的語義結(jié)構(gòu),支持以后擴展到其他數(shù)據(jù)庫。

二是支持對數(shù)據(jù)的投影、封裝、組合和計算?？梢造`活地描述不同的數(shù)據(jù)表或者同一表中的不同字段。也支持對跨表數(shù)據(jù)的封裝、組合和計算。

另外,該描述文件獨立于開放服務(wù)的數(shù)據(jù)結(jié)構(gòu),而只描述數(shù)據(jù)源本身,因此具有服務(wù)無關(guān)性。平臺的數(shù)據(jù)源描述文件解析框架負責(zé)解析該文件,并負責(zé)具體的數(shù)據(jù)抽取工作。該框架具有支持二次開發(fā)的可擴展能力,可以靈活支持多種類型的數(shù)據(jù)庫。

3.2.2 服務(wù)的自動化發(fā)布

經(jīng)過解析框架抽取的數(shù)據(jù),可以通過發(fā)布引擎自動化發(fā)布服務(wù)。該引擎支持:

第一,零編碼實現(xiàn)對服務(wù)的自動化分發(fā)和部署,并且可以供機器閱讀和調(diào)用。

第二,多種服務(wù)發(fā)布格式。平臺默認基于SOAP的Web服務(wù)和基于REST的Web服務(wù)的自動化發(fā)布。所發(fā)布的Web服務(wù)的整體架構(gòu)如圖3所示。平臺所自動化發(fā)布的Web服務(wù)以HTTP/HTTPS為底層網(wǎng)絡(luò)傳輸協(xié)議,可以選擇同時自動綁定或者分別綁定SOAP和REST兩種不同的通信協(xié)議,并自動生成WSDL服務(wù)接口描述語言。以Web Service的形式作為服務(wù)接口可以實現(xiàn)跨平臺和跨語言的調(diào)用,并且可以很容易跨越防火墻,對于內(nèi)部和外部的數(shù)據(jù)服務(wù)調(diào)用都十分合適。

圖3 Web服務(wù)整體架構(gòu)和層次結(jié)構(gòu)Figure 3 Web service architecture and hierarchy

第三,可擴展的開發(fā)接口。二次開發(fā)者可通過該接口實現(xiàn)其他形式的自動化發(fā)布引擎,從而進一步豐富平臺的服務(wù)格式。

3.2.3 服務(wù)的編排

所謂服務(wù)編排是將一組現(xiàn)有的服務(wù)組合起來,從而定義一個新的Web服務(wù)。通過服務(wù)編排引擎,對平臺已經(jīng)發(fā)布的服務(wù),或者存在于平臺外部的服務(wù),可以進行服務(wù)的編排。服務(wù)編排在Web服務(wù)中的層次如圖3所示。該服務(wù)編排引擎:

第一,支持基于BPEL的編排。BPEL全稱為Business Process Execution Language,即業(yè)務(wù)流程執(zhí)行語言,是一種使用XML編寫的編程語言,用于自動化業(yè)務(wù)流程。引擎支持導(dǎo)入BEPL格式的XML文件,并根據(jù)該文件自動實現(xiàn)服務(wù)的編排。

第二,支持平臺內(nèi)部發(fā)布服務(wù)的編排,也支持外部發(fā)布服務(wù)的編排以及內(nèi)外部服務(wù)的組合編排。

第三,支持圖形化工具的編輯方式,并可以保存為標準BPEL格式的XML文件,從而可以導(dǎo)入到編排引擎。

3.2.4 服務(wù)的安全

平臺擁有完整的服務(wù)安全機制,從而保障數(shù)據(jù)開放服務(wù)的安全可靠。

第一,平臺支持安全的傳輸方式,可以通過基于TLS的傳輸層加密,也可以采用應(yīng)用層的簽名加密方式,保障數(shù)據(jù)傳輸?shù)臋C密性和完整性。

第二,統(tǒng)一的密鑰發(fā)布和管理機制。平臺采用基于AppKey/AppSecret的認證方法,并可以擴展為基于OAuth2.0標準協(xié)議的第三方用戶授權(quán)機制。

第三,支持基于角色的權(quán)限控制和基于資源的權(quán)限控制相結(jié)合的用戶授權(quán)方式?；诮巧臋?quán)限控制將用戶與權(quán)限解耦,而把權(quán)限與角色相關(guān)聯(lián),用戶通過成為適當(dāng)角色的成員而得到相應(yīng)的權(quán)限。由于角色很少發(fā)生變化且類型較少,極大地簡化了權(quán)限的管理。但基于角色的權(quán)限管理一般只針對操作權(quán)限,對數(shù)據(jù)資源（在本平臺即服務(wù)資源）的控制力度較弱,因此結(jié)合基于資源的權(quán)限控制,可簡單而有效地實現(xiàn)對服務(wù)細粒度的權(quán)限控制。

3.2.5 服務(wù)的智能化管理

數(shù)據(jù)的開放服務(wù)對平臺管理提出了更高要求,平臺的智能化管理組件支持:

第一,數(shù)據(jù)源統(tǒng)一描述文件的導(dǎo)入和服務(wù)的一鍵式自動化部署,服務(wù)編排文件的導(dǎo)入和部署。

第二,服務(wù)的流量控制管理?？蓪崿F(xiàn)在不同的服務(wù)上分別對用戶或角色的流量控制,包括分時段控制和總量的控制。

第三,服務(wù)的相關(guān)狀態(tài)信息展示。包括服務(wù)的屬性和方法描述、是否在線等以及QoS統(tǒng)計信息,如服務(wù)被調(diào)用、服務(wù)失敗情況等。

第四,服務(wù)質(zhì)量（QoS）的儀表盤。把系統(tǒng)數(shù)據(jù)分析和挖掘的結(jié)果以數(shù)據(jù)儀表盤形式進行形象展現(xiàn),并可通過動態(tài)交互的方式幫助管理員進行服務(wù)質(zhì)量分析。

3.2.6 服務(wù)集群

隨著開放數(shù)據(jù)量的增長和服務(wù)內(nèi)容的增多,對服務(wù)的調(diào)用會迅速增加,單臺服務(wù)器必然會難以滿足需求。同時,單臺服務(wù)器也存在單點故障問題,一旦服務(wù)器宕機就無法繼續(xù)提供服務(wù)。因此,平臺需要支持服務(wù)集群技術(shù),具體有如下特點。

第一,彈性處理能力和水平擴展。平臺具有水平擴展的能力,可以很好地支持服務(wù)的彈性和可伸縮性。在開始的時候只需一臺服務(wù)器,在負載增大的時候加入服務(wù)器硬件,通過簡單配置即可實現(xiàn)處理能力的擴展。

第二,路由和負載均衡。對多臺服務(wù)器來說,需要有前端路由功能和負載均衡的能力,以使得服務(wù)能夠動態(tài)和合理地分配到各個處理服務(wù)器上去。由于平臺是一種Web服務(wù)器應(yīng)用,因此可以采用多種成熟的路由解決方案及其熱備方案。

第三,高可用性。服務(wù)集群天然支持高可用性,集群中某臺處理服務(wù)器宕機后,路由服務(wù)器會實時監(jiān)測到該服務(wù)器異常并把服務(wù)請求分發(fā)到其他服務(wù)器,因此單臺或少數(shù)幾臺服務(wù)器的宕機不會導(dǎo)致服務(wù)中斷。

第四,會話的共享。平臺提供的服務(wù)本身一般是無狀態(tài)的,因此無需共享彼此的狀態(tài)。但對于平臺的自身信息,例如用戶的登錄會話信息等,仍然需要在集群間共享。集群可采用簡單的集中式會話共享方式,把會話信息存儲在一臺緩存服務(wù)器中,并使用熱備的方式防止該服務(wù)器宕機造成的單點故障。

3.3 系統(tǒng)部署結(jié)構(gòu)

數(shù)據(jù)開放服務(wù)系統(tǒng)的部署結(jié)構(gòu)如圖4所示,主要包括以下幾部分:數(shù)據(jù)源、管理服務(wù)器、門戶服務(wù)器、業(yè)務(wù)服務(wù)器集群和數(shù)據(jù)存儲。

圖4 數(shù)據(jù)開放服務(wù)系統(tǒng)部署結(jié)構(gòu)Figure 4 Data open service system deployment structure

第一,數(shù)據(jù)源支持多種類型的數(shù)據(jù)庫（Oracle、MySQL）,并擴展支持其他類型數(shù)據(jù)源,如文件、應(yīng)用系統(tǒng)等。

第二,管理服務(wù)器根據(jù)數(shù)據(jù)源描述文件將包含的數(shù)據(jù)服務(wù)自動轉(zhuǎn)化為Web服務(wù),部署到業(yè)務(wù)服務(wù)器集群中,并通過門戶服務(wù)器在前端統(tǒng)一展現(xiàn),供用戶瀏覽查詢。此外,管理服務(wù)器還負責(zé)服務(wù)管理、用戶管理、計費管理、監(jiān)控管理、集群的控制管理等工作。

第三,數(shù)據(jù)存儲用于保存平臺的相關(guān)數(shù)據(jù)（如服務(wù)監(jiān)控信息、系統(tǒng)狀態(tài)監(jiān)控信息、服務(wù)接口信息、用戶信息等）,不包括任何共享的業(yè)務(wù)數(shù)據(jù)內(nèi)容。

4 結(jié)語

在新一輪智慧城市建設(shè)的熱潮中,政府?dāng)?shù)據(jù)開放的重要性越來越凸顯。本文論述了基于服務(wù)自動化發(fā)布技術(shù)的數(shù)據(jù)開放平臺的 原理、架構(gòu)、主要組件和系統(tǒng)部署。該技術(shù)和平臺已在一些智慧城市項目中得到實際應(yīng)用。通過自動化發(fā)布技術(shù)便捷、安全和可控地開放政府?dāng)?shù)據(jù),能夠促進社會和公眾參與城市管理和對政府的監(jiān)督,提升公眾服務(wù)和社會管理效率,鼓勵社會創(chuàng)新和釋放商業(yè)機會,使政府、社會和公眾都能真正受惠于智慧城市的建設(shè)。