陳 瓊,孫麗娟

（中電海康集團有限公司,浙江 杭州 311100）

0 引言

建設智慧城市的本質(zhì)是推動城市向更高層次的信息化發(fā)展,其最有效的推動力一定是無數(shù)的活躍個體。大量個體才能更好推動社會運行信息不斷創(chuàng)造性、深度地挖掘和應用[1]。公共部門首先要做的是建設和維護好開放數(shù)據(jù)平臺。因此,數(shù)據(jù)共享和開放已經(jīng)成為一種必然的趨勢,特別是作為社會管理主體的政府公共部門,作為大量數(shù)據(jù)的擁有方和建設“陽光政府”的責任者,需要建設和維護好開放的智慧城市數(shù)據(jù)平臺。在智慧城市建設過程中,數(shù)據(jù)開放應用是政府實現(xiàn)城市智慧化必須要深入研究和探索的領域,也是實現(xiàn)大數(shù)據(jù)真正服務于城市發(fā)展的必然方向。

本文設計實現(xiàn)了一種基于自動化發(fā)布技術的數(shù)據(jù)開放平臺,以期能夠較好地應用于這一領域。本文將首先介紹數(shù)據(jù)開放的現(xiàn)狀及其技術發(fā)展趨勢,然后總結自動化發(fā)布技術的基本思想和關鍵技術,最后基于自動化發(fā)布技術設計數(shù)據(jù)開放平臺的架構和主要組件,并指出其應用前景。

1 數(shù)據(jù)開放現(xiàn)狀及其技術發(fā)展趨勢

1.1 數(shù)據(jù)開放現(xiàn)狀

隨著新技術、標準、協(xié)議和應用等不斷涌現(xiàn),全球互聯(lián)網(wǎng)發(fā)展面臨著機遇與挑戰(zhàn)并存的局面?！叭f維網(wǎng)之父”Tim Berners-Lee在展望未來互聯(lián)網(wǎng)時強調(diào)其三大主要特征為:數(shù)據(jù)整合、多樣的網(wǎng)絡和獨立的設備、無所不在的Web應用[2]。其中“數(shù)據(jù)整合”（Data Integration）指的是在相應的網(wǎng)絡標準格式（如Resource Description Framework,Web Ontology Language等）下實現(xiàn)整個Web的數(shù)據(jù)互聯(lián)互通和開放共享。

全面的數(shù)據(jù)整合和無所不在的Web應用客觀上要求現(xiàn)有的互聯(lián)網(wǎng)不斷進行技術、理念的創(chuàng)新與突破[3]。在向第二代互聯(lián)網(wǎng)演進過程中,開放數(shù)據(jù)成為繼開源軟件、開放存取后的又一個研究熱點,也為當前數(shù)字化網(wǎng)絡環(huán)境下的數(shù)據(jù)管理、信息組織的研究與實踐注入了新的活力。公眾的參與使用是政府開放數(shù)據(jù)的核心精神之一,政府開放數(shù)據(jù)即是希望通過公眾的集合專業(yè)素養(yǎng)與知識來協(xié)助政府解決公共事務問題,讓公眾可以借由政府開放數(shù)據(jù)來參與公共事務,并期許能從政府資料再利用上創(chuàng)造出新的經(jīng)濟價值與創(chuàng)新運用[4]。開放數(shù)據(jù)是未來電子政務發(fā)展的必要條件,開放政府也是智慧政府的前提[5]。

在數(shù)據(jù)的共享和開放方面,以美國為代表的發(fā)達國家已經(jīng)走在了前面。例如,由美國聯(lián)邦CIO委員會開發(fā)、總務管理局主管的Data.Gov網(wǎng)站[6]。Data.Gov除了采用目錄（catalogs）方式組織政府數(shù)據(jù)和其他應用型網(wǎng)絡工具,提供類目、機構、關鍵詞等搜索途徑外,還定期審查數(shù)據(jù)以保證與W3C的“Web可訪問性倡議”（WAI）原則一致,并主動應用最新技術,例如計劃將超過64億條政府數(shù)據(jù)轉(zhuǎn)換成RDF格式、采用統(tǒng)一資源標識符（URI）更好地開發(fā)和擴展數(shù)據(jù),朝新一代的關聯(lián)數(shù)據(jù)混搭（mash ups）應用目標邁進。Data.Gov是全球第一個國家政府層面的數(shù)據(jù)門戶網(wǎng)站,它極大地解決了以往分散在各個政府機構網(wǎng)站的數(shù)據(jù)不兼容問題,是美國政府乃至全球范圍內(nèi)開放數(shù)據(jù)實踐的標志性成果。

在國內(nèi),具有數(shù)據(jù)共享和開放意識的地方政府已經(jīng)開始積極行動起來。2014年1月,廣州市政府首次提出要建立大數(shù)據(jù)局[7],統(tǒng)籌推進政府部門的信息采集、整理、共享和應用,消除信息孤島,建立公共數(shù)據(jù)開放機制,除法律法規(guī)明確不宜公布的公共信息,一律及時向社會公開。到了最近幾年,很多地方政府都建立了數(shù)據(jù)開放平臺。當前國內(nèi)政府的數(shù)據(jù)共享和開放主要體現(xiàn)為兩個方面:一是數(shù)據(jù)的共享和開放主要是對政府內(nèi)部各個部門之間的共享開放,政府各個部門之間通過傳統(tǒng)的點對點或者基于SOA架構,通過ESB的方式共享和交換數(shù)據(jù)；二是政府數(shù)據(jù)對公眾的開放,大多還是局限于以文檔的形式,供公眾下載閱讀。這種方式,公眾只能對政府擁有的數(shù)據(jù)進行閱讀和了解,但無法做到機器閱讀和自動化使用,以及真正為公眾和企業(yè)帶來社會或商業(yè)價值。

1.2 數(shù)據(jù)開放的技術發(fā)展趨勢

大數(shù)據(jù)時代的競爭,將是數(shù)據(jù)資產(chǎn)的競爭,數(shù)據(jù)開放是能夠真正利用大數(shù)據(jù)和挖掘大數(shù)據(jù)潛在價值的最好手段。由于大量的數(shù)據(jù)資產(chǎn)掌握在政府和公共部門手中,因此開放這些海量數(shù)據(jù)也是建立透明和開放政府的要求。國內(nèi)相關研究認為,我國政府數(shù)據(jù)治理方面的問題已經(jīng)阻礙了數(shù)據(jù)開放的發(fā)展,例如數(shù)據(jù)未被電子化、數(shù)據(jù)碎片化、數(shù)據(jù)標準化程度低、數(shù)據(jù)質(zhì)量參差不齊等[8]。

結合上述數(shù)據(jù)開放的發(fā)展現(xiàn)狀,并適應具體的應用場景要求,數(shù)據(jù)開放在技術實現(xiàn)上的趨勢如下:

第一,隨著社會信息化的深入,數(shù)據(jù)的積累越來越巨量,數(shù)據(jù)的格式也愈加復雜,數(shù)據(jù)開放服務的形式也日趨多樣。為適應這種不斷變化的需求,需要有一種自動化的、可擴展的機制,使得數(shù)據(jù)開放服務的發(fā)布能夠快速和有效進行。

第二,在服務的自動化發(fā)布過程中,數(shù)據(jù)源通常是跨部門、跨地域和跨領域的,格式多樣,數(shù)據(jù)結構不統(tǒng)一,并且存在不同類型的數(shù)據(jù)庫中。另外,數(shù)據(jù)的開放有很強的選擇性,有些數(shù)據(jù)可以開放,有些數(shù)據(jù)則不可以開放；同樣的數(shù)據(jù)表,也可能有些字段可以開放,有些字段不可以開放；或者有些數(shù)據(jù)需要通過一定的封裝、整合和計算,才能對外開放。這就需要有一種對數(shù)據(jù)源的統(tǒng)一描述語言,對異構數(shù)據(jù)源進行抽象和描述。

2 服務的自動化發(fā)布技術

2.1 數(shù)據(jù)源的統(tǒng)一描述及其解析框架

為了實現(xiàn)服務自動化發(fā)布,需要對異構數(shù)據(jù)源進行統(tǒng)一描述。數(shù)據(jù)開放平臺的數(shù)據(jù)源是通過一個可編輯的XML格式的文件統(tǒng)一描述的。這種統(tǒng)一描述的格式能夠靈活支持不同的數(shù)據(jù)源,并且具有良好的擴展性。它能夠支持對數(shù)據(jù)的投影、封裝、組合和計算,并可以靈活地描述不同的數(shù)據(jù)表或者同一表中的不同字段,也支持對跨表數(shù)據(jù)的計算。這種統(tǒng)一描述獨立于服務本身的數(shù)據(jù)結構,而只描述數(shù)據(jù)源本身,因此具有服務無關性。對數(shù)據(jù)庫類型支持的擴展和對服務格式類型支持的擴展是平行的,互相沒有影響。

解析框架負責解析該文件,并負責具體的數(shù)據(jù)抽取工作?？蚣苤С植煌臄?shù)據(jù)庫,并具有支持二次開發(fā)的可擴展能力,增加跨數(shù)據(jù)庫平臺適應能力。

2.2 服務的自動化發(fā)布引擎

隨著數(shù)據(jù)的積累愈加巨量,數(shù)據(jù)的格式愈加復雜,對數(shù)據(jù)開放服務形式的要求也日趨多樣,服務的自動化發(fā)布技術可以使數(shù)據(jù)開放服務的分發(fā)和部署能夠快速和有效進行。自動化發(fā)布引擎可以將數(shù)據(jù)資源通過一鍵式的方式,零編碼實現(xiàn)對服務的自動化分發(fā)和部署,并為機器閱讀和調(diào)用。這種引擎能夠提供多種的服務綁定方式,比如可以綁定當前主流的基于SOAP的Web服務和基于REST的Web服務,并可以選擇同時綁定或者分別綁定不同的服務協(xié)議。引擎亦支持可擴展的開發(fā)接口,二次開發(fā)者可通過該接口實現(xiàn)各種服務形式的綁定,豐富平臺對外提供服務的能力。自動化發(fā)布的過程如圖1所示。

圖1 服務自動化發(fā)布過程Figure 1 Service automated publishing process

3 數(shù)據(jù)開放平臺的設計與實現(xiàn)

3.1 平臺整體架構

本系統(tǒng)是基于服務自動化發(fā)布技術的數(shù)據(jù)開放平臺,其目的是為開放政府的公共數(shù)據(jù)提供平臺支持。該數(shù)據(jù)開放平臺也可以用作政府部門之間的數(shù)據(jù)共享和交換。

平臺的整體架構如圖2所示。

圖2 數(shù)據(jù)開放平臺組件架構Figure 2 Data open platform component architecture

3.2 平臺的主要組件及其功能

平臺的主要組件和功能包括:數(shù)據(jù)源的統(tǒng)一描述及其解析框架、服務的自動化發(fā)布以及服務的編排、安全、智能化管理和集群。

3.2.1 數(shù)據(jù)源的統(tǒng)一描述及其解析框架

數(shù)據(jù)源的統(tǒng)一描述是通過一個可編輯的XML格式文件表達的,該描述文件具有以下特征:

一是支持不同類型的數(shù)據(jù)庫,默認支持主流的Oracle和MySQL數(shù)據(jù)庫,并通過可擴展、自描述的語義結構,支持以后擴展到其他數(shù)據(jù)庫。

二是支持對數(shù)據(jù)的投影、封裝、組合和計算?？梢造`活地描述不同的數(shù)據(jù)表或者同一表中的不同字段。也支持對跨表數(shù)據(jù)的封裝、組合和計算。

另外,該描述文件獨立于開放服務的數(shù)據(jù)結構,而只描述數(shù)據(jù)源本身,因此具有服務無關性。平臺的數(shù)據(jù)源描述文件解析框架負責解析該文件,并負責具體的數(shù)據(jù)抽取工作。該框架具有支持二次開發(fā)的可擴展能力,可以靈活支持多種類型的數(shù)據(jù)庫。

3.2.2 服務的自動化發(fā)布

經(jīng)過解析框架抽取的數(shù)據(jù),可以通過發(fā)布引擎自動化發(fā)布服務。該引擎支持:

第一,零編碼實現(xiàn)對服務的自動化分發(fā)和部署,并且可以供機器閱讀和調(diào)用。

第二,多種服務發(fā)布格式。平臺默認基于SOAP的Web服務和基于REST的Web服務的自動化發(fā)布。所發(fā)布的Web服務的整體架構如圖3所示。平臺所自動化發(fā)布的Web服務以HTTP/HTTPS為底層網(wǎng)絡傳輸協(xié)議,可以選擇同時自動綁定或者分別綁定SOAP和REST兩種不同的通信協(xié)議,并自動生成WSDL服務接口描述語言。以Web Service的形式作為服務接口可以實現(xiàn)跨平臺和跨語言的調(diào)用,并且可以很容易跨越防火墻,對于內(nèi)部和外部的數(shù)據(jù)服務調(diào)用都十分合適。

圖3 Web服務整體架構和層次結構Figure 3 Web service architecture and hierarchy

第三,可擴展的開發(fā)接口。二次開發(fā)者可通過該接口實現(xiàn)其他形式的自動化發(fā)布引擎,從而進一步豐富平臺的服務格式。

3.2.3 服務的編排

所謂服務編排是將一組現(xiàn)有的服務組合起來,從而定義一個新的Web服務。通過服務編排引擎,對平臺已經(jīng)發(fā)布的服務,或者存在于平臺外部的服務,可以進行服務的編排。服務編排在Web服務中的層次如圖3所示。該服務編排引擎:

第一,支持基于BPEL的編排。BPEL全稱為Business Process Execution Language,即業(yè)務流程執(zhí)行語言,是一種使用XML編寫的編程語言,用于自動化業(yè)務流程。引擎支持導入BEPL格式的XML文件,并根據(jù)該文件自動實現(xiàn)服務的編排。

第二,支持平臺內(nèi)部發(fā)布服務的編排,也支持外部發(fā)布服務的編排以及內(nèi)外部服務的組合編排。

第三,支持圖形化工具的編輯方式,并可以保存為標準BPEL格式的XML文件,從而可以導入到編排引擎。

3.2.4 服務的安全

平臺擁有完整的服務安全機制,從而保障數(shù)據(jù)開放服務的安全可靠。

第一,平臺支持安全的傳輸方式,可以通過基于TLS的傳輸層加密,也可以采用應用層的簽名加密方式,保障數(shù)據(jù)傳輸?shù)臋C密性和完整性。

第二,統(tǒng)一的密鑰發(fā)布和管理機制。平臺采用基于AppKey/AppSecret的認證方法,并可以擴展為基于OAuth2.0標準協(xié)議的第三方用戶授權機制。

第三,支持基于角色的權限控制和基于資源的權限控制相結合的用戶授權方式。基于角色的權限控制將用戶與權限解耦,而把權限與角色相關聯(lián),用戶通過成為適當角色的成員而得到相應的權限。由于角色很少發(fā)生變化且類型較少,極大地簡化了權限的管理。但基于角色的權限管理一般只針對操作權限,對數(shù)據(jù)資源（在本平臺即服務資源）的控制力度較弱,因此結合基于資源的權限控制,可簡單而有效地實現(xiàn)對服務細粒度的權限控制。

3.2.5 服務的智能化管理

數(shù)據(jù)的開放服務對平臺管理提出了更高要求,平臺的智能化管理組件支持:

第一,數(shù)據(jù)源統(tǒng)一描述文件的導入和服務的一鍵式自動化部署,服務編排文件的導入和部署。

第二,服務的流量控制管理?？蓪崿F(xiàn)在不同的服務上分別對用戶或角色的流量控制,包括分時段控制和總量的控制。

第三,服務的相關狀態(tài)信息展示。包括服務的屬性和方法描述、是否在線等以及QoS統(tǒng)計信息,如服務被調(diào)用、服務失敗情況等。

第四,服務質(zhì)量（QoS）的儀表盤。把系統(tǒng)數(shù)據(jù)分析和挖掘的結果以數(shù)據(jù)儀表盤形式進行形象展現(xiàn),并可通過動態(tài)交互的方式幫助管理員進行服務質(zhì)量分析。

3.2.6 服務集群

隨著開放數(shù)據(jù)量的增長和服務內(nèi)容的增多,對服務的調(diào)用會迅速增加,單臺服務器必然會難以滿足需求。同時,單臺服務器也存在單點故障問題,一旦服務器宕機就無法繼續(xù)提供服務。因此,平臺需要支持服務集群技術,具體有如下特點。

第一,彈性處理能力和水平擴展。平臺具有水平擴展的能力,可以很好地支持服務的彈性和可伸縮性。在開始的時候只需一臺服務器,在負載增大的時候加入服務器硬件,通過簡單配置即可實現(xiàn)處理能力的擴展。

第二,路由和負載均衡。對多臺服務器來說,需要有前端路由功能和負載均衡的能力,以使得服務能夠動態(tài)和合理地分配到各個處理服務器上去。由于平臺是一種Web服務器應用,因此可以采用多種成熟的路由解決方案及其熱備方案。

第三,高可用性。服務集群天然支持高可用性,集群中某臺處理服務器宕機后,路由服務器會實時監(jiān)測到該服務器異常并把服務請求分發(fā)到其他服務器,因此單臺或少數(shù)幾臺服務器的宕機不會導致服務中斷。

第四,會話的共享。平臺提供的服務本身一般是無狀態(tài)的,因此無需共享彼此的狀態(tài)。但對于平臺的自身信息,例如用戶的登錄會話信息等,仍然需要在集群間共享。集群可采用簡單的集中式會話共享方式,把會話信息存儲在一臺緩存服務器中,并使用熱備的方式防止該服務器宕機造成的單點故障。

3.3 系統(tǒng)部署結構

數(shù)據(jù)開放服務系統(tǒng)的部署結構如圖4所示,主要包括以下幾部分:數(shù)據(jù)源、管理服務器、門戶服務器、業(yè)務服務器集群和數(shù)據(jù)存儲。

圖4 數(shù)據(jù)開放服務系統(tǒng)部署結構Figure 4 Data open service system deployment structure

第一,數(shù)據(jù)源支持多種類型的數(shù)據(jù)庫（Oracle、MySQL）,并擴展支持其他類型數(shù)據(jù)源,如文件、應用系統(tǒng)等。

第二,管理服務器根據(jù)數(shù)據(jù)源描述文件將包含的數(shù)據(jù)服務自動轉(zhuǎn)化為Web服務,部署到業(yè)務服務器集群中,并通過門戶服務器在前端統(tǒng)一展現(xiàn),供用戶瀏覽查詢。此外,管理服務器還負責服務管理、用戶管理、計費管理、監(jiān)控管理、集群的控制管理等工作。

第三,數(shù)據(jù)存儲用于保存平臺的相關數(shù)據(jù)（如服務監(jiān)控信息、系統(tǒng)狀態(tài)監(jiān)控信息、服務接口信息、用戶信息等）,不包括任何共享的業(yè)務數(shù)據(jù)內(nèi)容。

4 結語

在新一輪智慧城市建設的熱潮中,政府數(shù)據(jù)開放的重要性越來越凸顯。本文論述了基于服務自動化發(fā)布技術的數(shù)據(jù)開放平臺的 原理、架構、主要組件和系統(tǒng)部署。該技術和平臺已在一些智慧城市項目中得到實際應用。通過自動化發(fā)布技術便捷、安全和可控地開放政府數(shù)據(jù),能夠促進社會和公眾參與城市管理和對政府的監(jiān)督,提升公眾服務和社會管理效率,鼓勵社會創(chuàng)新和釋放商業(yè)機會,使政府、社會和公眾都能真正受惠于智慧城市的建設。