■ 成都 馮媚

編者按：隨著信息技術(shù)的發(fā)展，大數(shù)據(jù)時代的來臨，數(shù)據(jù)無論在工作還是在生活中發(fā)揮的作用越來越大。教育行業(yè)統(tǒng)計多年來積淀了大量的歷史數(shù)據(jù)，如何讓這些躺著的數(shù)據(jù)醒過來更好地為教育決策咨詢服務(wù)，筆者在工作中做出了嘗試。本文詳細地論述了筆者開發(fā)統(tǒng)計平臺，盤活歷史數(shù)據(jù)的案例，包括平臺開發(fā)工具的選擇，數(shù)據(jù)管理功能模塊設(shè)計，用戶權(quán)限設(shè)置等，供同行們參考。

作為教育部縱向組織管理的兩大統(tǒng)計，事業(yè)統(tǒng)計和經(jīng)費統(tǒng)計已有數(shù)十年的歷史。累計經(jīng)年的統(tǒng)計工作，積淀下大量珍貴的歷史數(shù)據(jù)，如實反映了國民教育變遷發(fā)展的歷史足跡。在教育事業(yè)發(fā)展和信息技術(shù)革新的雙重推動下，事業(yè)統(tǒng)計和經(jīng)費統(tǒng)計從報表設(shè)計到指標解釋、從采集軟件到存儲系統(tǒng)，都一直處于變化和發(fā)展狀態(tài)。雖然這是統(tǒng)計事業(yè)發(fā)展的必然，但卻給我們使用歷史數(shù)據(jù)卻帶來了諸多困難。

統(tǒng)計工作最終目的是提供數(shù)據(jù)服務(wù)，為教育監(jiān)管與宏觀決策做好全面、及時、準確的數(shù)據(jù)支撐。實際工作中教育統(tǒng)計部門經(jīng)常需要提供五年、十年甚至更長時期的歷史數(shù)據(jù)，如何快捷方便地查詢使用存儲在各種“古董級”軟件中的歷史數(shù)據(jù)，成為亟待解決的難題。

由于統(tǒng)計軟件更新?lián)Q代頻繁，且各版本之間不兼容，而通常我們使用的電腦僅能安裝最近幾年的統(tǒng)計軟件系統(tǒng)，久遠的歷史數(shù)據(jù)就無法通過統(tǒng)計系統(tǒng)查詢獲取，只能直接對數(shù)據(jù)庫操作。這需要統(tǒng)計人員必須既熟悉報表業(yè)務(wù)又熟悉各種數(shù)據(jù)庫語言，而且即便這樣，多年數(shù)據(jù)在短時間查詢處理，極易發(fā)生誤差。

隨著社會發(fā)展，各政府部門、學術(shù)機構(gòu)、公益組織乃至公民個人對教育官方的數(shù)據(jù)服務(wù)需求多年來呈直線上升趨勢，歷史數(shù)據(jù)應(yīng)用困難的問題日益突出。為此我們教育統(tǒng)計部門開始尋找一種統(tǒng)籌性解決辦法，以期徹底解決快速準確地處理歷史數(shù)據(jù)的問題。隨著計算機和互聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)據(jù)倉庫、算法電路、數(shù)據(jù)清洗、圖像識別、云計算、網(wǎng)頁加密等領(lǐng)域的新成果，使我們可以利用全新的軟件系統(tǒng)對海量的歷史數(shù)據(jù)進行統(tǒng)籌管理，實現(xiàn)自定義查詢，快捷準確地提取歷史數(shù)據(jù)。于是，我們對數(shù)據(jù)查詢平臺的建設(shè)需求方案進行了整體設(shè)計。

首先，統(tǒng)計平臺整體要求采用當今最流行網(wǎng)絡(luò)開發(fā)平臺工具J2EE（Java 2 Platform,Enterprise Editi on）開發(fā)。J2EE 界面風格新穎，BS 結(jié)構(gòu)，具有后臺管理、程序優(yōu)化、管理級別權(quán)限分配、訪問賬號分配等基本功能。軟件功能隨教育部口徑和數(shù)據(jù)結(jié)構(gòu)變化而變化，軟件易升級和修改。統(tǒng)計平臺使用范圍為三級，分別是市級教育行政部門、區(qū)縣級教育行政部門和全市各類學校(單位)。

平臺主要包含三項功能模塊

1.數(shù)據(jù)管理：對2003 年以來的歷史數(shù)據(jù)庫進行清洗調(diào)整,形成標準數(shù)據(jù)庫格式，供查詢系統(tǒng)調(diào)用：數(shù)據(jù)導入功能，能對未來數(shù)據(jù)進行標準化管理，實現(xiàn)各種查詢功能：有數(shù)據(jù)接口，能與市教育局其它數(shù)據(jù)庫對接。

2.數(shù)據(jù)查詢：經(jīng)清洗的數(shù)據(jù)庫，分事業(yè)統(tǒng)計、經(jīng)費統(tǒng)計報進行數(shù)據(jù)查詢。查詢功能包括基表查詢、綜表查詢、自定義查詢，重點實現(xiàn)跨年度同指標的歷史數(shù)據(jù)查詢。

3.用戶權(quán)限管理：按平臺操作管理權(quán)限分為超級用戶和普通用戶；按對數(shù)據(jù)訪問范圍分為市級、縣級和學校級用戶。

數(shù)據(jù)管理

具體來說，數(shù)據(jù)管理包括歷史數(shù)據(jù)庫清洗和數(shù)據(jù)常規(guī)管理維護。數(shù)據(jù)按重要性分類管理：系統(tǒng)所有數(shù)據(jù)均按標準格式儲存，分為三部分：基礎(chǔ)數(shù)據(jù)庫、工作數(shù)據(jù)庫、綜合查詢數(shù)據(jù)庫。其中基礎(chǔ)數(shù)據(jù)庫平時為只讀狀態(tài)（需文件簇級加密管理），只有超級用戶才能在輸入密碼后進行基礎(chǔ)數(shù)據(jù)庫的導入和維護；工作數(shù)據(jù)庫為平時接收或輸入的數(shù)據(jù)，可自由查詢和更改的臨時數(shù)據(jù)。超級用戶可以把工作數(shù)據(jù)庫中的部分或全部數(shù)據(jù)轉(zhuǎn)入基礎(chǔ)數(shù)據(jù)庫。綜合查詢數(shù)據(jù)庫是利用基礎(chǔ)數(shù)據(jù)庫和工作數(shù)據(jù)庫生產(chǎn)的各中間過程表為主，一旦生成可永久保存。

1.歷史數(shù)據(jù)庫清洗是將歷史數(shù)據(jù)按統(tǒng)一的數(shù)據(jù)庫格式進行梳理，清洗過程中每張基表增加2 個機動指標，便于單獨賦值，方便數(shù)據(jù)篩選。

具體為：

（1）將2003 年以來的全國教育事業(yè)統(tǒng)計系統(tǒng)和全國教育經(jīng)費統(tǒng)計系統(tǒng)的數(shù)據(jù)庫通過專業(yè)的數(shù)據(jù)清洗和整合工具，進行逐校的清理整合。該數(shù)據(jù)清洗與整合工具需支持Visual FoxPro、MS SQL Server、DB2、Oracle、MySQL等多種數(shù)據(jù)庫形式。

（2）整合過程中需堅持“求同存異”原則，必須忠實原始數(shù)據(jù)，保證不同年份的同一學校名稱一致，同一報表同一指標項名稱屬性一致，不同學校、不同指標項按一定規(guī)則賦名留存。通過整合清理，確保歷年歷項數(shù)據(jù)之間的聯(lián)系，妥善處理指標變更、學校合并拆分等數(shù)據(jù)異常情況，為跨年跨表的歷史數(shù)據(jù)查詢統(tǒng)計做基礎(chǔ)。

2.數(shù)據(jù)常規(guī)管理維護包括：

（1）能直接導入教育事業(yè)統(tǒng)計、經(jīng)費統(tǒng)計基表數(shù)據(jù)庫數(shù)據(jù)(Visual FoxPro 或者SQL 數(shù)據(jù)庫)，有基礎(chǔ)數(shù)據(jù)DBF 導出功能，并能將市本級、高新開發(fā)區(qū)等無單獨行政區(qū)劃的區(qū)域?qū)W校數(shù)據(jù)從總數(shù)據(jù)中分離,且此操作可逆；能讀入圖片格式報表，導入到數(shù)據(jù)庫管理；能讀入Excel表，并轉(zhuǎn)換成數(shù)據(jù)庫格式。

（2）數(shù)據(jù)管理與維護工具需要具備友好的用戶界面，流暢的用戶體驗，有新建不同格式數(shù)據(jù)庫表功能，使用超級用戶能對基礎(chǔ)數(shù)據(jù)進行修改。

查詢系統(tǒng)

1.查詢的數(shù)據(jù)源為歷史數(shù)據(jù)和未來數(shù)據(jù)

首次建設(shè)開發(fā)的數(shù)據(jù)包括教育事業(yè)統(tǒng)計數(shù)據(jù)、教育經(jīng)費統(tǒng)計數(shù)據(jù)等，事業(yè)統(tǒng)計包括普通中小學基礎(chǔ)教育報表、職業(yè)技術(shù)培訓和中等職業(yè)教育基礎(chǔ)報表，包含二維表約68 個（41+27），經(jīng)費統(tǒng)計基表12 個，每年包含的統(tǒng)計數(shù)據(jù)項近4 000 個。

2.查詢內(nèi)容

通過軟件實現(xiàn)基表查詢、綜表查詢、動態(tài)查詢，查詢界面采用單視窗多圖并列顯示，對各中間步驟生成的臨時查詢數(shù)據(jù)表以及最終生成的結(jié)果數(shù)據(jù)表，均可自由選定區(qū)域進行復制、公式計算、打印和Excel 導出等操作，并可根據(jù)多條件綜合分析需求生成各種分析圖表。

（1）基表查詢：按照教育部事業(yè)統(tǒng)計、經(jīng)費統(tǒng)計基表查詢功能設(shè)置，對基表的篩選條件進行擴充，除了“區(qū)縣名稱”“學校類別”“學校辦別”“城鄉(xiāng)類別”，增加“鄉(xiāng)鎮(zhèn)類別”，以及兩個機動指標。

（2）綜表查詢：參照教育部事業(yè)統(tǒng)計、經(jīng)費統(tǒng)計軟件的綜表表樣進行固定格式查詢,增加對綜表每個數(shù)據(jù)分區(qū)縣和分鄉(xiāng)鎮(zhèn)過錄查詢功能；自動生成我們每年固有的統(tǒng)計資料匯編數(shù)據(jù)信息表；自動生教育公網(wǎng)數(shù)據(jù)公報；自動生成報統(tǒng)計局固定格式報表；自動生成城鄉(xiāng)均衡、現(xiàn)代化監(jiān)測數(shù)據(jù)表等教育行政部門需要的固定格式數(shù)據(jù)表。

（3）動態(tài)查詢：分基表提數(shù)和綜表提數(shù)查詢。查詢界面能點擊選擇所有表樣，查詢數(shù)據(jù)值可以定位到任意報表的不同主欄和賓欄單元格。窗口可以同時打開三個以上表樣，以便選擇所要查詢的指標，選擇指標的同時確定篩選條件(能實現(xiàn)多個條件通過“或”、“與”、“不等于”、“大于”、“小于”等方式篩選查詢)，指標間可以進行公式定義，通過軟件自動生成查詢數(shù)據(jù)信息表（包含計數(shù)、求和等）。

查詢結(jié)果能以表格、圖形等多種形式展現(xiàn)。

權(quán)限設(shè)置

系統(tǒng)根據(jù)使用權(quán)限分為超級用戶和普通用戶，超級用戶能查詢管理系統(tǒng)，并對基礎(chǔ)數(shù)據(jù)進行修改；普通用戶只有查詢使用功能。

普通用戶分為學校級、區(qū)縣級、市級三級；系統(tǒng)權(quán)限由市級統(tǒng)一管理。市級管理員可對下級用戶的數(shù)據(jù)可視范圍和功能使用范圍做靈活配置。當前配置要求如下：

“查詢”模塊中學校級只能查詢本校數(shù)據(jù)，區(qū)縣級只能查詢管轄范圍學校數(shù)據(jù)及匯總數(shù)據(jù)，市級可以查詢所有數(shù)據(jù)。

平臺除了滿足各項查詢管理功能外，還需要具有

1.穩(wěn)定性:軟件平臺優(yōu)化，運行穩(wěn)定，遠程訪問客戶端兼容各種主流瀏覽器和操作系統(tǒng)，遠程訪問穩(wěn)定，不死機，能允許3 000 個用戶同時訪問服務(wù)器，并發(fā)6%。

2.保密性：系統(tǒng)對數(shù)據(jù)庫要有加密措施，確保數(shù)據(jù)在網(wǎng)絡(luò)上的安全。

3.操作方便：有簡單易懂的軟件使用說明書，軟件客戶端易安裝，兼容性強，系統(tǒng)操作界面友好，經(jīng)簡單培訓使用人員就能輕松上手。

歷史數(shù)據(jù)整合平臺在設(shè)計上幾近完美，但在具體建設(shè)過程中卻遇到很多困難。由于涉及到2 000 多所學校，十多年的基表數(shù)據(jù)，清洗起來異常困難，加上不少學校更名，逐一核對建立關(guān)聯(lián)，費時費力。為了方便開發(fā)，我們對清洗數(shù)據(jù)庫要求進行了簡化，由原來的全部統(tǒng)一改為分段統(tǒng)一，這樣避免了某些年份統(tǒng)計報表庫結(jié)構(gòu)變化大帶來的清洗困難。

實施過程中服務(wù)商在平臺開發(fā)中的難題及解決方法

1.數(shù)據(jù)清洗

數(shù)據(jù)庫包含Visual Fox Pro、SQL Server 多個版本，以及對應(yīng)的數(shù)據(jù)庫結(jié)構(gòu)，其指標名稱、指標屬性、指標增減，經(jīng)過十多年的歷史演變，變化比較多，這直接導致數(shù)據(jù)清洗整合難度大，服務(wù)商采用自身的核心技術(shù)產(chǎn)品DCI 進行數(shù)據(jù)清洗與整合工具，對各科目歷年數(shù)據(jù)進行清洗，努力提高清洗效率和準確性。

2.數(shù)據(jù)安全

在數(shù)據(jù)查詢需要做到靈活性、高效率和安全性兼顧，安全不僅僅要考慮數(shù)據(jù)查詢的過程安全也包括數(shù)據(jù)轉(zhuǎn)移的行為安全性，服務(wù)商參考數(shù)據(jù)鐵籠建設(shè)思路，對數(shù)據(jù)進行加密，在保證數(shù)據(jù)管理安全的情況下也監(jiān)管了數(shù)據(jù)訪問行為的安全，在數(shù)據(jù)流出數(shù)據(jù)中心遠程邊界時能確認是誰在操作相關(guān)數(shù)據(jù)，數(shù)據(jù)去向可追蹤。

3.查詢效率

因為數(shù)據(jù)牽涉的科目和年份維度較多，且系統(tǒng)要支持數(shù)據(jù)大容量、高并發(fā)，為保證數(shù)據(jù)查詢效率，康賽參考Oracle 分區(qū)技術(shù),改善查詢性能，對分區(qū)對象的查詢可以僅搜索自己關(guān)心的分區(qū)，提高檢索速度同時均衡I/O，可以把不同的分區(qū)映射到磁盤以平衡I/O，改善整個系統(tǒng)性能。

總結(jié)

平臺現(xiàn)已開發(fā)完成，設(shè)計的大部分功能都已實現(xiàn)，尤其是動態(tài)查詢功能，使我們快速準確查詢到幾年歷史數(shù)據(jù)成為現(xiàn)實，提高了統(tǒng)計服務(wù)效率。但要開發(fā)出盡善盡美的數(shù)據(jù)整合平臺不是一蹴而就的事，還需要在使用過程中不斷完善。如何建立教育基礎(chǔ)信息數(shù)據(jù)庫，使教育統(tǒng)計數(shù)據(jù)不再通過人工填報產(chǎn)生，而是隨著業(yè)務(wù)產(chǎn)生，這樣的數(shù)據(jù)將更加準確、更加及時，這是未來教育統(tǒng)計發(fā)展變革方向，也是我們教育統(tǒng)計行業(yè)奮斗的目標。