朱 欣，項閃飛，蔣 亮

(1．蘇州市職業(yè)大學 信息中心，江蘇 蘇州 215104；2．江蘇銀狐信息技術有限公司 研發(fā)部，江蘇 蘇州 215021)

《教育信息化十年發(fā)展規(guī)劃(2011—2020年)》等文件的發(fā)布，推動著智慧化校園的發(fā)展。高校信息化的發(fā)展特點從強調業(yè)務流程向服務的信息化轉變，其中最重要的是向數(shù)據(jù)化的方向轉變[1]。數(shù)據(jù)運維管理作為數(shù)據(jù)支撐平臺和數(shù)據(jù)服務平臺的數(shù)據(jù)保障，起著重要的作用。目前，各高校的數(shù)據(jù)共享及交換平臺[2-4]主要采用ETL工具(Kettle、ODI等)和企業(yè)服務總線(enterprise service bus，ESB)兩種方式[5-6]進行數(shù)據(jù)交換。ETL工具，如Kettle、ODI只有日志管理，缺少可視化的Web監(jiān)控，不利于數(shù)據(jù)采集和交換且沒有注冊數(shù)據(jù)服務的功能。金蝶企業(yè)服務總線(apusic enterprise service bus，AESB)可以提供可視化的監(jiān)控界面，本研究基于AESB的數(shù)據(jù)運維管理平臺，在現(xiàn)有的AESB運行日志上進行二次開發(fā)，增加數(shù)據(jù)采集、數(shù)據(jù)服務等功能，構建新的數(shù)據(jù)運維管理平臺。

1 設計思路

2016年蘇州市職業(yè)大學改造了已有的以ODI為抽取工具的數(shù)據(jù)中心，建立了基于AESB的共享數(shù)據(jù)平臺[7]，該共享平臺支持廣泛的數(shù)據(jù)源，集成了學工系統(tǒng)、宿管系統(tǒng)、就業(yè)信息系統(tǒng)、教務系統(tǒng)、圖書系統(tǒng)、迎新系統(tǒng)、離校系統(tǒng)等全校多個業(yè)務系統(tǒng)。根據(jù)高校業(yè)務數(shù)據(jù)特點，該共享平臺將數(shù)據(jù)分成學生、教師兩個主題庫，以及科研、消費、上網(wǎng)等多個專題庫，在共享數(shù)據(jù)中心的基礎上，分別建立數(shù)據(jù)分析系統(tǒng)(消費分析系統(tǒng)和上網(wǎng)分析系統(tǒng))、數(shù)據(jù)服務系統(tǒng)、數(shù)據(jù)運維系統(tǒng)。ETL工具，如Kettle、ODI等缺少服務注冊的功能，不能進行服務調用日志的分析。以ETL工具為基礎的數(shù)據(jù)中心管理平臺缺少對數(shù)據(jù)服務日志的分析功能。本研究建立的數(shù)據(jù)運維管理系統(tǒng)，基于現(xiàn)有的AESB數(shù)據(jù)共享中心，面向信息中心管理員，用于數(shù)據(jù)交換，數(shù)據(jù)資源和服務資源的監(jiān)控，數(shù)據(jù)采集和加工的狀況統(tǒng)計，以及各類日志的分析等，降低了數(shù)據(jù)運維難度，提高了數(shù)據(jù)在信息化中的作用。

數(shù)據(jù)運維系統(tǒng)的建設目標如下：①對數(shù)據(jù)資源的抽取狀態(tài)、數(shù)據(jù)服務調用狀態(tài)進行監(jiān)控。②對平臺的資源進行實時監(jiān)控。③及時處理各類異常情況。④對監(jiān)控的全部事件進行梳理并形成各類日志，便于后期查找審計。⑤將監(jiān)控數(shù)據(jù)以各類圖表形式展現(xiàn)出來。

2 總體設計

2.1 ESB介紹

ESB是傳統(tǒng)中間件技術與XML、Web服務等技術結合的產(chǎn)物。ESB的主要功能包含協(xié)議轉換、消息傳遞、消息轉換和服務路由等。ESB一般用于內部業(yè)務系統(tǒng)較多的行業(yè)，具有低耦合、實時更新、為終端用戶提供Web服務的特點[7]。

AESB提供了一種開放的、基于標準的消息機制，通過簡單的標準適配器和接口，完成粗粒度服務和其他組件之間的互操作，能夠滿足大型異構企業(yè)環(huán)境的集成需求，可以在不改變現(xiàn)有基礎結構的情況下讓不同技術實現(xiàn)互操作。作為一個完整的企業(yè)服務總線產(chǎn)品，AESB具備連接、中介、架構、編排、設計以及監(jiān)控六方面的能力。AESB提供了界面化的設計工具和監(jiān)控平臺，以可視化的方式提供全過程的支持。

2.2 核心技術

運維管理平臺采用數(shù)據(jù)交換工具AESB V9．0，采集學校各個業(yè)務系統(tǒng)的業(yè)務數(shù)據(jù)，并對數(shù)據(jù)進行清洗加工、關聯(lián)整合、分區(qū)存儲，形成校級共享數(shù)據(jù)中心。相較于其他產(chǎn)品，AESB提供了全面詳細的日志信息，包括流程日志、數(shù)據(jù)傳輸統(tǒng)計日志、文件傳輸日志、操作日志等，能夠清晰完整地記錄系統(tǒng)的運行管理信息。

2.3 架構設計

運維管理系統(tǒng)主要是將采集加工的數(shù)據(jù)(學生、教師、教務、宿管等)、數(shù)據(jù)服務系統(tǒng)(將業(yè)務部門的數(shù)據(jù)需求封裝成服務接口，以服務目錄的形式提供)的調用情況和數(shù)據(jù)分析系統(tǒng)的調用情況，通過接口傳遞給運維管理系統(tǒng)。運維管理系統(tǒng)整體架構圖如圖1所示。

圖1 運維管理系統(tǒng)整體架構圖

3 功能設計

運維管理系統(tǒng)主要包括資源(數(shù)據(jù)和服務)動態(tài)監(jiān)控、流程監(jiān)控、日志(數(shù)據(jù)采集加工和服務調用)監(jiān)控、運維統(tǒng)計分析和常用配置(用戶角色配置)等。

3.1 服務運行監(jiān)控

數(shù)據(jù)服務資源和數(shù)據(jù)服務調用是數(shù)據(jù)運維管理平臺的特色。服務運行監(jiān)控是對數(shù)據(jù)服務過程進行全程監(jiān)控，包括服務源狀態(tài)、服務器運行狀態(tài)、數(shù)據(jù)服務調用過程等關鍵環(huán)節(jié)。運維管理平臺將內部 Java API 發(fā)布成 Web Service，并在資源交換共享平臺的服務注冊庫中注冊，將服務授權給數(shù)據(jù)服務系統(tǒng)使用。同時，數(shù)據(jù)服務系統(tǒng)可以根據(jù)自身的業(yè)務需求進行功能擴展。數(shù)據(jù)服務系統(tǒng)通過代理資源交換共享平臺相關功能及自身擴展功能實現(xiàn)服務的注冊、管理、監(jiān)控等。服務調用模塊架構如圖2所示。

運維管理平臺通過整合數(shù)據(jù)服務總線和統(tǒng)一數(shù)據(jù)交換模塊，提供服務和數(shù)據(jù)的全方位管理和監(jiān)控的統(tǒng)一UI展現(xiàn)，匯總各類資源(節(jié)點、適配器、流程、服務、數(shù)據(jù))的告警信息，使用Web Service方式調用接口，達到統(tǒng)一監(jiān)控和展現(xiàn)的目的，綜合評判各類資源形成的運維事件，實現(xiàn)事件流程的智能分析與事件全生命周期的管理。同時該平臺對產(chǎn)生的各類事件進行梳理，并形成完整的流程及記錄，為信息化管理人員提供有價值的、準確的可用性信息。

1)服務源監(jiān)控。 服務源包括應用共享數(shù)據(jù)庫運行狀態(tài)，系統(tǒng)通過一定的頻率去嘗試連接數(shù)據(jù)庫，如果連接正常，則數(shù)據(jù)庫在此段時間是正常運行的，否則連接異常。這里的關鍵是設定請求的頻率時間間隔不宜過大。

2)服務流程監(jiān)控。服務流程監(jiān)控是對服務目錄的所有服務狀態(tài)進行管理，一旦發(fā)現(xiàn)服務異常，監(jiān)控圖的服務流程狀態(tài)就出現(xiàn)異常標識，運維人員要及時干預，快速解決。

圖2 服務調用模塊架構

3.2 數(shù)據(jù)交換監(jiān)控

數(shù)據(jù)交換監(jiān)控主要是針對新建數(shù)據(jù)中心及各業(yè)務系統(tǒng)之間的數(shù)據(jù)交換過程進行全程監(jiān)控，包括數(shù)據(jù)源狀態(tài)監(jiān)控、流程運行狀態(tài)監(jiān)控、數(shù)據(jù)采集和加工過程監(jiān)控等。通過不同的顏色和標簽標識數(shù)據(jù)交換狀態(tài)，運維管理人員從全局的角度，清晰直觀地掌握整個平臺數(shù)據(jù)交換的狀況，并對各類異常信息進行處理， 保證平臺的健康運行。數(shù)據(jù)交換運行監(jiān)控圖如圖3所示。

1)數(shù)據(jù)源狀態(tài)監(jiān)控。數(shù)據(jù)源包括前置數(shù)據(jù)庫、接口服務和文件。對于前置數(shù)據(jù)庫，系統(tǒng)通過一定的頻率去嘗試連接數(shù)據(jù)庫，如果連接正常，則前置數(shù)據(jù)庫在此時間段是正常運行的，否則連接異常。這里的關鍵是設定請求的頻率時間間隔不宜過大。

2)流程運行狀態(tài)監(jiān)控。采集流程是通過AESB繪制的，數(shù)據(jù)存放在流程表里，系統(tǒng)讀取流程表，獲取流程的狀態(tài)，通過可視化的頁面進行直觀展示，并對正?；虍惓顟B(tài)加以區(qū)分，便于運維人員了解流程的狀態(tài)。

3)數(shù)據(jù)采集過程。數(shù)據(jù)采集過程的運行狀況主要是數(shù)據(jù)中心采集各業(yè)務系統(tǒng)數(shù)據(jù)源的錯誤數(shù)、更新數(shù)、新增數(shù)，并通過圖表的形式展示出來。

4)數(shù)據(jù)加工過程。 數(shù)據(jù)加工過程的運行狀況主要是數(shù)據(jù)中心緩沖庫到主題庫的情況，并將結果直觀地展示出來。

圖3 數(shù)據(jù)交換運行監(jiān)控圖

3.3 日志審計

日志審計統(tǒng)一管理數(shù)據(jù)支撐平臺的日志信息，包括數(shù)據(jù)采集日志、數(shù)據(jù)加工日志、服務調用日志和異常日志。

1)數(shù)據(jù)采集日志。數(shù)據(jù)采集日志主要是記錄數(shù)據(jù)采集過程中的正常日志，包括數(shù)據(jù)來源、數(shù)據(jù)源表、數(shù)據(jù)目標表、新增記錄數(shù)、更新記錄數(shù)、總數(shù)、成功總數(shù)、錯誤總數(shù)以及持續(xù)時間等。

2)數(shù)據(jù)加工日志。 數(shù)據(jù)加工日志主要是記錄數(shù)據(jù)加工過程的正常日志，包括核心庫采集加工日志、核心庫結構變更日志、字段來源日志等。

3)服務調用日志。服務調用日志主要是記錄數(shù)據(jù)服務系統(tǒng)中服務調用的數(shù)據(jù)，當數(shù)據(jù)服務被調用時，系統(tǒng)記錄服務調用的過程，主要包括服務編碼、服務名、服務提供者、服務消費者、調用時長、調用結果、調用流量等。

4)異常日志。系統(tǒng)同時會記錄各類異常日志，包括采集異常日志、文件導入異常日志等，便于運維人員查找問題。

3.4 系統(tǒng)設置

系統(tǒng)常用配置模塊提供系統(tǒng)常用的一些配置功能，包括用戶管理、角色管理、權限分配以及菜單管理。IT 管理者可以管理接入用戶的賬號，分配用戶的角色，并給予相應的菜單訪問權限。

4 結論

本研究主要從數(shù)據(jù)運維系統(tǒng)的建設方案以及數(shù)據(jù)運維管理系統(tǒng)的功能特點，來描述數(shù)據(jù)運維服務平臺的建設過程。基于蘇州市職業(yè)大學已有的數(shù)據(jù)中心建立運維管理平臺，該平臺具有可視化的監(jiān)控頁面，易于管理和操作。在信息化建設應用中，該平臺能夠較容易地發(fā)現(xiàn)數(shù)據(jù)抽取、數(shù)據(jù)集成、服務調用中的問題，同時為數(shù)據(jù)分析系統(tǒng)和數(shù)據(jù)服務系統(tǒng)提供了很好的技術支撐。此外，可以在系統(tǒng)中加入自定義數(shù)據(jù)脫敏規(guī)則、主數(shù)據(jù)平臺搜索引擎等功能，為后期搭建大數(shù)據(jù)集群監(jiān)控平臺提供支撐。