陳 波，張甬成，杜學(xué)清

（中國鐵路成都局集團有限公司車輛部.機輛檢測所 四川 成都 610081）

0 引言

在日常工作中，管理人員需要根據(jù)業(yè)務(wù)的變化收集各類管理數(shù)據(jù)，為決策分析提供強有力的數(shù)據(jù)支撐，因此提高數(shù)據(jù)的收集、統(tǒng)計質(zhì)量，以適應(yīng)日常管理工作的需要具有重要意義。 在數(shù)據(jù)收集時，廣泛使用Excel、WPS 等電子表格作為數(shù)據(jù)的收集處理工具，Excel、WPS 表格的一個突出特點是采用表格方式管理數(shù)據(jù)，所有的數(shù)據(jù)和信息都以工作表的二維表格形式管理，單元格中數(shù)據(jù)間的相互關(guān)系一目了然［1］。 盡管Excel 等表格跟關(guān)系數(shù)據(jù)庫的表一樣采用了二維表管理數(shù)據(jù)，也可以采用導(dǎo)入Excel 等表格數(shù)據(jù)到數(shù)據(jù)庫的方式，實現(xiàn)數(shù)據(jù)的管理［2-4］，但是在日常工作中仍有很多Excel 數(shù)據(jù)不能行列對應(yīng)地轉(zhuǎn)換成關(guān)系數(shù)據(jù)庫表數(shù)據(jù)，同時在Excel 等表格在收集、傳遞過程中，人工收集工作量大、收集流程、質(zhì)量難以管控，易造成數(shù)據(jù)的失真。

本文立足于日常管理中表格數(shù)據(jù)的收集，充分調(diào)研現(xiàn)有表格收集處理中的需求，設(shè)計一種基于在線表格的數(shù)據(jù)收集處理系統(tǒng)，集表格的自助創(chuàng)建、流轉(zhuǎn)、審核、匯總和數(shù)據(jù)入庫為一體，實現(xiàn)日常管理數(shù)據(jù)的收集，通過建立標(biāo)準(zhǔn)接口可為各類信息系統(tǒng)提供數(shù)據(jù)，用于數(shù)據(jù)的呈現(xiàn)和統(tǒng)計分析。

1 系統(tǒng)設(shè)計需求分析

在表格數(shù)據(jù)的收集工作中，由于收集表格的任務(wù)發(fā)起人不固定，管理需求變化頻繁，管理人員需要根據(jù)任務(wù)要求編制不同形式和內(nèi)容的電子表格，表格的內(nèi)容、形式呈現(xiàn)多樣性；由于很多收集的表格為管理層決策、統(tǒng)計所需的數(shù)據(jù)，需要單位、部門領(lǐng)導(dǎo)對填寫的數(shù)據(jù)內(nèi)容進行審核確認(rèn)，必要時還需加蓋公章；在表格的收集過程中，由于收集的單位、部門較多，需對下級單位上報的表格進行數(shù)據(jù)合并，包括行數(shù)據(jù)合并、列數(shù)據(jù)合并、部分?jǐn)?shù)據(jù)內(nèi)容合并等；同時，為更好地將數(shù)據(jù)用于統(tǒng)計分析，需要將收集到的結(jié)果數(shù)據(jù)存儲在數(shù)據(jù)庫中，并對外進行共享發(fā)布，便于外部系統(tǒng)綜合分析和數(shù)據(jù)流轉(zhuǎn)。

因此，本系統(tǒng)需要適應(yīng)管理人員的收集需求，實現(xiàn)收集表格的自助創(chuàng)建和自主設(shè)計；需要建立表格流轉(zhuǎn)控制，實現(xiàn)表格的流轉(zhuǎn)和審核；需要實現(xiàn)多表格的內(nèi)容和數(shù)據(jù)的自動匯總，減少管理人員匯總表格數(shù)據(jù)的工作量；需要建立表格數(shù)據(jù)入庫映射關(guān)系，對表格數(shù)據(jù)進行存儲并建立數(shù)據(jù)接口，實現(xiàn)對內(nèi)對外的數(shù)據(jù)共享。

2 系統(tǒng)總體架構(gòu)

本系統(tǒng)旨在為管理人員提供一個流程標(biāo)準(zhǔn)化、可視化、數(shù)據(jù)化的表格收集處理系統(tǒng)，其整體架構(gòu)包括展示層、應(yīng)用支撐層、業(yè)務(wù)處理層、數(shù)據(jù)資源層，如圖1 所示。

圖1 系統(tǒng)總體架構(gòu)圖

2.1 展示層

展示層按照前后端分離、數(shù)據(jù)展示與業(yè)務(wù)邏輯分離的原則，集成HTML、CSS、JavaScript、前端開源Luckysheet等，通過瀏覽器為用戶提供友好的操作界面和展現(xiàn)形式。

2.2 應(yīng)用支撐層

應(yīng)用支撐層采用Spring 框架，提供統(tǒng)一的界面風(fēng)格和菜單管理，采用主流的JSON 格式實現(xiàn)前端與后臺服務(wù)的數(shù)據(jù)交互［5］，對需要入庫的單元格數(shù)據(jù)進行抽取、校驗；對外通過API、Web Service 服務(wù)技術(shù)與外部系統(tǒng)實現(xiàn)數(shù)據(jù)的交互，在數(shù)據(jù)交互請求中，通過確定請求實體身份的行為識別用戶，控制用戶對資源的訪問［6］。

2.3 業(yè)務(wù)處理層

通過定義的表格基本信息、流轉(zhuǎn)控制信息、單元格映射關(guān)系、單元格驗證信息等配置信息，完成表格的自助創(chuàng)建、流轉(zhuǎn)、審核校驗和數(shù)據(jù)入庫。 通過外部接口定義配置，提供外部數(shù)據(jù)的訪問支撐和向外部系統(tǒng)提供數(shù)據(jù)。

2.4 數(shù)據(jù)資源層

將表格項目基本信息、編輯權(quán)限、單元格驗證配置、審核流程、單元格數(shù)據(jù)映射關(guān)系、單元格抽取內(nèi)容等結(jié)構(gòu)化數(shù)據(jù)，以及表格JSON 文件、流轉(zhuǎn)附件以及歸檔后的獨立網(wǎng)頁文件、表格數(shù)據(jù)截圖等非結(jié)構(gòu)化數(shù)據(jù)集中存儲；同時存儲來自外部系統(tǒng)的數(shù)據(jù)，為數(shù)據(jù)顯示、數(shù)據(jù)寫入表格提供數(shù)據(jù)來源。

3 系統(tǒng)主要功能及設(shè)計

本系統(tǒng)采用B/S 架構(gòu)模式，以Java 為主要開發(fā)語言，采用Spring 框架開發(fā)。 前端采用開源Luckysheet 在線電子表格，應(yīng)用JavaScript、CSS 等技術(shù)實現(xiàn)表格的在線編輯；后端使用Java 實現(xiàn)表格數(shù)據(jù)的抽取、組裝以及審核流程、編輯權(quán)限控制，并定時清理相關(guān)業(yè)務(wù)數(shù)據(jù)、過期日志數(shù)據(jù)以及過期的表格文件。 客戶端支持主流的瀏覽器訪問，如IE9.0 或以上版本、火狐、Chrome 等，首頁顯示當(dāng)前待辦的工作項目。 主要功能包括系統(tǒng)管理、接口管理、表格項目管理、表格流轉(zhuǎn)、數(shù)據(jù)表顯示等，通過對項目流程的菜單化，可以實現(xiàn)系統(tǒng)自身功能的延伸。

3.1 表格項目管理設(shè)計

根據(jù)管理需求將表格項目分為一次性工作和重復(fù)性工作。 一次性工作在數(shù)據(jù)收集完成后不能再創(chuàng)建新的工作流程，表格流轉(zhuǎn)完成后數(shù)據(jù)自動歸檔；重復(fù)性工作可以多次使用；一次性工作和重復(fù)性工作均能進行流程的控制和審核。 按照表格數(shù)據(jù)填寫樣式將表格分為行式、列式和卡片，卡片式表格可以作為數(shù)據(jù)錄入的表單；表格數(shù)據(jù)的合并方式，根據(jù)用戶的合并需求分為：行式合并、列式合并、合并成工作簿、合并單元格數(shù)據(jù)等方式［4］。 表格項目的設(shè)計內(nèi)容包括：表格樣式、流轉(zhuǎn)的流程、表格菜單顯示、修改權(quán)限、審核印章、單元格數(shù)據(jù)驗證、單元格編輯權(quán)限、允許編輯單位、查看單位、表格跳轉(zhuǎn)等配置項，設(shè)計表格時可以直接導(dǎo)入Excel 、WPS 等軟件建立的電子表格作為初始表格。 用戶需要將表格內(nèi)容存為數(shù)據(jù)表時，需在表格項目設(shè)計的同時使用數(shù)據(jù)表設(shè)計功能建立存儲表格數(shù)據(jù)對應(yīng)的數(shù)據(jù)表，并完成單元格與數(shù)據(jù)表字段的映射；需要反向顯示數(shù)據(jù)表內(nèi)容時，同樣需要建立數(shù)據(jù)表字段與表格單元格間的映射關(guān)系。

本系統(tǒng)前端表格采用開源Luckysheet 在線電子表格，其為國內(nèi)純JavaScript 編寫的、開源的純前端類Excel 在線表格，可以嵌入到任何前端項目或應(yīng)用程序中，無需使用Excel 或其他復(fù)雜的軟件進行數(shù)據(jù)處理。 為實現(xiàn)單元格與數(shù)據(jù)表的映射，本系統(tǒng)對Luckysheet 單元格類屬性進行擴展，增加了sig、tbn、fld 三個屬性實現(xiàn)自定義數(shù)據(jù)的存儲和數(shù)據(jù)關(guān)系的映射，sig 用于存儲簽名信息，tbn 存儲單元格對應(yīng)的數(shù)據(jù)表，fld 存儲單元格對應(yīng)的字段名，表格在增加行時，自動使用舊行單元格的擴展屬性填充新行單元格的擴展屬性，也可以通過復(fù)制、粘貼原有單元格的方式實現(xiàn)單元格擴展屬性的設(shè)置。

3.2 表格流轉(zhuǎn)設(shè)計

根據(jù)表格編輯、查看權(quán)限，顯示待處理的表格和可以處理的表格項目。 表格流轉(zhuǎn)中根據(jù)表格項目配置信息完成表格的自動流轉(zhuǎn)、數(shù)據(jù)審核和入庫，并對流轉(zhuǎn)過程、處理情況、處理意見進行記錄，在編輯頁面下方顯示流轉(zhuǎn)情況和待辦人員信息；表格編輯中根據(jù)預(yù)設(shè)的用戶權(quán)限對用戶編輯表格位置范圍進行限制；根據(jù)單元格驗證信息，自動對表格數(shù)據(jù)有效性和準(zhǔn)確性進行驗證；根據(jù)預(yù)設(shè)的單元格數(shù)據(jù)源選項，調(diào)用數(shù)據(jù)選擇框選擇數(shù)據(jù)或通過數(shù)據(jù)接口調(diào)取外部系統(tǒng)數(shù)據(jù)，寫入到指定的單個或多個單元格，實現(xiàn)數(shù)據(jù)的自動填充；基層單位、部門領(lǐng)導(dǎo)在審核過程中，根據(jù)項目的預(yù)設(shè)印章權(quán)限，加蓋預(yù)設(shè)樣式的印章，對本人加蓋的印章，可進行取消操作；表格編輯完成后根據(jù)表格及單元格配置信息，完成表格的流程跳轉(zhuǎn)、數(shù)據(jù)抽取入庫和新表格的生成，新表格按照預(yù)設(shè)的待辦單位、待辦人完成表格的分發(fā)和待辦事項信息生成，按照預(yù)設(shè)流程對已完成流轉(zhuǎn)的表格自動進行歸檔。 表格流轉(zhuǎn)處理流程如圖2 所示。

圖2 表格流轉(zhuǎn)處理流程

表格的流轉(zhuǎn)過程中，為保證數(shù)據(jù)的有效性，可以設(shè)置單元格數(shù)據(jù)的驗證關(guān)系，表格數(shù)據(jù)的驗證分為前端數(shù)據(jù)驗證和后端控制。 前端驗證包括數(shù)據(jù)驗證、跳轉(zhuǎn)驗證、結(jié)束流轉(zhuǎn)驗證。 用戶在前端點擊保存或結(jié)束審核后，前端按照預(yù)設(shè)的條件對數(shù)據(jù)單元格進行驗證，數(shù)據(jù)存在錯誤時顯示錯誤的單元格信息，所有單元格數(shù)據(jù)完全正確時，根據(jù)跳轉(zhuǎn)條件向后臺提供跳轉(zhuǎn)的流程ID，由后端服務(wù)對數(shù)據(jù)進行保存，并根據(jù)項目的執(zhí)行流程生成新的流程或結(jié)束文檔流轉(zhuǎn)。 沒有后續(xù)流程時，自動結(jié)束該項工作的流轉(zhuǎn)。

前端驗證：

Step1：結(jié)束Luckysheet 表格編輯狀態(tài)，從Luckysheet中取得表格單元格數(shù)據(jù)；

Step2：循環(huán)對需要檢測的單元格數(shù)據(jù)按條件進行驗證，如：等于、小于、大于、包含、不包含等條件。 需要進行流程跳轉(zhuǎn)檢查時，根據(jù)單元格數(shù)據(jù)判斷需要跳轉(zhuǎn)的流程ID；

Step3：循環(huán)終止。 檢查單元格數(shù)據(jù)存在錯誤時，向用戶顯示錯誤信息；跳轉(zhuǎn)檢測在結(jié)果全部正確時向后端發(fā)送跳轉(zhuǎn)的流程ID。

后端服務(wù)收到前端發(fā)回的跳轉(zhuǎn)ID 或用戶正常結(jié)束審核后，判斷后續(xù)跳轉(zhuǎn)的流程不唯一時向用戶顯示流程跳轉(zhuǎn)選擇框。 服務(wù)端根據(jù)用戶選擇的流程ID 或前端發(fā)回的唯一流程ID 生成相應(yīng)的流轉(zhuǎn)數(shù)據(jù)。

Step1：從Luckysheet 中取得表格數(shù)據(jù)，保存表格數(shù)據(jù)，保存表格網(wǎng)頁文件，保存表格截圖；

Step2：根據(jù)新流程ID 讀取新流程的配置數(shù)據(jù)；

Step3：生成新流程的工作信息，根據(jù)表格模板生成新表格文件，設(shè)置新流程的表格內(nèi)容默認(rèn)值；

Step4：新流程配置中存在指定辦理人時，生成指定辦理人的待辦信息；不存在指定辦理人但存在指定辦理單位時，生成指定辦理單位的待辦信息；同時設(shè)置了指定辦理人和辦理單位時，如果辦理單位有指定辦理人時只生成指定辦理人的待辦信息而不生成辦理單位的待辦信息；

Step5：新流程生成完成后，當(dāng)前用戶存在新流程的待辦時自動跳轉(zhuǎn)到新流程，沒有新流程的當(dāng)前項目待辦時退出當(dāng)前工作的顯示。

3.3 表格數(shù)據(jù)的抽取

在表格流轉(zhuǎn)過程中，用戶對表格編輯處理后，系統(tǒng)根據(jù)預(yù)設(shè)的單元格屬性，按照單元格位置將單元格數(shù)據(jù)抽取為二維數(shù)組，對于使用中用戶增加行或列造成的行數(shù)據(jù)不唯一時，根據(jù)單元格與表字段的映射關(guān)系補全新行的數(shù)據(jù)，將抽取完善后的數(shù)據(jù)以JSON 格式發(fā)回后端，后端將抽取的數(shù)據(jù)按行將數(shù)據(jù)保存在數(shù)據(jù)庫中。

3.4 工作數(shù)據(jù)展示

表格流轉(zhuǎn)中，用戶可以在待辦事項中查看當(dāng)前待辦的事項，根據(jù)表格的匯總處理需要，對待辦事項中的表格進行合并后再進行相應(yīng)的編輯處理；合并方式分為行合并、列合并以及單元格數(shù)據(jù)的合并；對于用戶本人結(jié)束的工作，可以取消結(jié)束狀態(tài)，返回重新處理；對于本人發(fā)起的工作，可以撤回、暫時掛起以及掛起后再恢復(fù)處理；對錯誤創(chuàng)建未經(jīng)審核的工作可以由發(fā)起人進行刪除處理。

數(shù)據(jù)內(nèi)容展示分為顯示表格存儲數(shù)據(jù)和顯示外部系統(tǒng)數(shù)據(jù)，展示數(shù)據(jù)可以根據(jù)預(yù)定義的查詢字段，進行數(shù)據(jù)分類查詢，同時可將查詢結(jié)果導(dǎo)出為常用的Excel 表格。表格數(shù)據(jù)通過單元格映射關(guān)系生成相應(yīng)的表格并通過顯示配置生成數(shù)據(jù)展示內(nèi)容，外部數(shù)據(jù)通過配置的外部接口獲取數(shù)據(jù)進行顯示。 同時，支持通過建立數(shù)據(jù)庫持久連接，通過定義的單元格與表字段映射關(guān)系顯示外部數(shù)據(jù)庫中的表或視圖數(shù)據(jù)。

3.5 接口管理

本系統(tǒng)由于需要向外部系統(tǒng)提供數(shù)據(jù)共享功能，采用Web 數(shù)據(jù)接口方式提供數(shù)據(jù)交互服務(wù)。 目前，主流Web數(shù)據(jù)交互方式主要有：XML 遠程過程調(diào)用（XML remote procedure call， XML-RPC ）、 表 述 性 狀 態(tài) 傳 遞（representational state transfer，REST）和簡單對象訪問協(xié)議（simple object access protocol，SOAP）。 這3 種交互方式中，現(xiàn)有框架XML-RPC 用得比較少，SOAP 在成熟度上和安全性上有一定的優(yōu)勢，REST 在開發(fā)效率和易用性上有優(yōu)勢；REST 模式的Web 服務(wù)與復(fù)雜的SOAP 和XML-RPC對比來講更加地簡潔，越來越多的Web 服務(wù)采用REST 風(fēng)格設(shè)計和實現(xiàn)數(shù)據(jù)交互服務(wù)。 基于REST 框架，通過標(biāo)準(zhǔn)RESTful 接口實現(xiàn)前后端開發(fā)的解耦，可以快速開發(fā)定制接口，實現(xiàn)系統(tǒng)的集成［7］。

本系統(tǒng)接口管理包括對外提供的接口管理和外部系統(tǒng)提供的接口管理。 對外接口管理提供了靈活的數(shù)據(jù)共享服務(wù)，可以定制接口的格式、接口內(nèi)容、提交方式，訪問地址限制和訪問授權(quán)；外部系統(tǒng)接口管理可以定義接口的格式、內(nèi)容、提交方式和授權(quán)碼。 本系統(tǒng)對外數(shù)據(jù)接口采用RESTful，由于RESTful 架構(gòu)風(fēng)格的系統(tǒng)是無狀態(tài)的，為確保數(shù)據(jù)安全，外部系統(tǒng)訪問需要進行認(rèn)證。 外部系統(tǒng)在調(diào)用接口的時候，首先通過注冊后的授權(quán)碼請求一個帶時間戳的臨時token，在后續(xù)的接口調(diào)用中使用這個臨時token 作為請求訪問的令牌，臨時token 到期前需要進行續(xù)期認(rèn)證。 對于沒有攜帶token 令牌的訪問，接口服務(wù)直接返回錯誤信息［8］。

3.6 數(shù)據(jù)庫設(shè)計

MySQL 是一款安全、跨平臺、高效，并與PHP、Java 等主流編程語言緊密結(jié)合的數(shù)據(jù)庫系統(tǒng)。 由于MySQL 所具有的開源、體積小、速度快、總體擁有成本低等特點，目前大多數(shù)的中小型網(wǎng)站都采用MySQL 作為后臺數(shù)據(jù)庫［9］。本系統(tǒng)采用MySQL 作為數(shù)據(jù)庫，用于存儲系統(tǒng)菜單、用戶信息、用戶權(quán)限信息、接口注冊信息以及表格項目基本信息、單元格映射關(guān)系、項目流轉(zhuǎn)控制等信息。 同時，為滿足用戶自建表格的數(shù)據(jù)存儲入庫，系統(tǒng)根據(jù)用戶設(shè)置的表格字段自動進行數(shù)據(jù)表的建表和修改操作，實現(xiàn)了表格內(nèi)容存儲數(shù)據(jù)表的自助創(chuàng)建。

4 系統(tǒng)應(yīng)用

本系統(tǒng)通過建立表格內(nèi)容、單元格與數(shù)據(jù)表字段映射、審核流程及流轉(zhuǎn)條件等數(shù)據(jù)配置，利用開源在線表格Luckysheet 作為編輯表單，可以快速地實現(xiàn)數(shù)據(jù)收集審核類項目的快速構(gòu)建。 基于該系統(tǒng)已實現(xiàn)了QC 小組活動記錄的立項、審核、審批管理（如圖3）；實現(xiàn)了施工作業(yè)派工單的流轉(zhuǎn)（如圖4）等新建、流轉(zhuǎn)、審核和派工數(shù)據(jù)入庫，達到了系統(tǒng)設(shè)計要求。

圖3 QC 小組活動記錄

圖4 施工作業(yè)派工單流轉(zhuǎn)

5 結(jié)語

針對表格數(shù)據(jù)的收集、傳遞過程中，人工收集工作量大，收集流程、質(zhì)量難以管控，易造成數(shù)據(jù)失真等問題。 本文設(shè)計實現(xiàn)了在線表格數(shù)據(jù)協(xié)同處理系統(tǒng)，實現(xiàn)了在線表格的自助創(chuàng)建、流轉(zhuǎn)、審核、數(shù)據(jù)匯總和表格數(shù)據(jù)內(nèi)容的入庫；通過標(biāo)準(zhǔn)接口為各類信息提供數(shù)據(jù)訪問，用于數(shù)據(jù)的呈現(xiàn)和統(tǒng)計分析；通過建立表格內(nèi)容數(shù)據(jù)、單元格與數(shù)據(jù)表字段映射數(shù)據(jù)、審核流程及流轉(zhuǎn)條件等數(shù)據(jù)配置，利用在線表格作為編輯表單，可以快速地實現(xiàn)數(shù)據(jù)收集審核類項目的構(gòu)建。