徐海峰，羅雨新

(中國(guó)鐵路成都局集團(tuán)有限公司成都電務(wù)維修段，成都 610057)

1 概述

大數(shù)據(jù)是具有更強(qiáng)決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率及多樣化信息資產(chǎn)，對(duì)巨量數(shù)據(jù)的存儲(chǔ)、專(zhuān)業(yè)化處理將極大程度的運(yùn)用低成本創(chuàng)造高價(jià)值，為用戶(hù)提供更精準(zhǔn)的服務(wù)。數(shù)據(jù)共享站主要用于中國(guó)鐵路成都局集團(tuán)有限公司電務(wù)系統(tǒng)（以下簡(jiǎn)稱(chēng)電務(wù)系統(tǒng)）所有段、科室、車(chē)間、工區(qū)資料的存儲(chǔ)共享管理，目前已經(jīng)在成都電務(wù)維修段（以下簡(jiǎn)稱(chēng)電務(wù)維修段）廣泛使用，每個(gè)段、科室、車(chē)間、工區(qū)都有一個(gè)共享資源空間，所有人員在其權(quán)限范圍內(nèi)可以對(duì)資料進(jìn)行上傳、下載、刪除、重命名、新建文件夾、關(guān)鍵字搜索等操作。本文通過(guò)與傳統(tǒng)文件傳輸協(xié)議（File Transfer Protocol，F(xiàn)TP）服務(wù)器對(duì)比體現(xiàn)大數(shù)據(jù)存儲(chǔ)的相對(duì)優(yōu)勢(shì)，提出建立數(shù)據(jù)共享站的方法、測(cè)試、驗(yàn)證，并對(duì)實(shí)際運(yùn)用過(guò)程中的時(shí)間成本和數(shù)據(jù)管理成本進(jìn)行探討。

2 大數(shù)據(jù)存儲(chǔ)與傳統(tǒng)FTP服務(wù)器的對(duì)比

拓?fù)浣Y(jié)構(gòu)：傳統(tǒng)FTP 服務(wù)器采用電腦終端作為服務(wù)器，在局域網(wǎng)內(nèi)直接通過(guò)普通線纜連接，組成普通C/S 架構(gòu)；大數(shù)據(jù)存儲(chǔ)采用專(zhuān)用服務(wù)器、防火墻搭建網(wǎng)絡(luò)，通過(guò)數(shù)據(jù)網(wǎng)實(shí)現(xiàn)近距離、遠(yuǎn)距離用戶(hù)訪問(wèn)和數(shù)據(jù)交換，如圖1 所示。

圖1 傳統(tǒng)FTP服務(wù)器和大數(shù)據(jù)存儲(chǔ)拓?fù)浣Y(jié)構(gòu)對(duì)比Fig.1 Comparison of topologies between traditional FTP server and big-data storage

權(quán)限管理：傳統(tǒng)FTP 服務(wù)器的權(quán)限統(tǒng)一由系統(tǒng)管理員賬號(hào)進(jìn)行設(shè)置，無(wú)法實(shí)現(xiàn)多樣化權(quán)限控制，無(wú)組織架構(gòu)進(jìn)行支撐；大數(shù)據(jù)存儲(chǔ)可通過(guò)組織架構(gòu)、角色對(duì)不同賬號(hào)進(jìn)行權(quán)限設(shè)置，實(shí)現(xiàn)多樣化權(quán)限服務(wù)，形成樹(shù)狀組織架構(gòu)且可實(shí)時(shí)更新，對(duì)不同賬號(hào)對(duì)應(yīng)的權(quán)限進(jìn)行支撐。

數(shù)據(jù)存儲(chǔ)：傳統(tǒng)FTP 服務(wù)器無(wú)特定存儲(chǔ)空間用來(lái)對(duì)歷史數(shù)據(jù)進(jìn)行保留，數(shù)據(jù)一旦刪除無(wú)法修復(fù)，數(shù)據(jù)上傳下載過(guò)程中一旦出現(xiàn)網(wǎng)絡(luò)中斷或硬件故障，正在上傳下載的文件也會(huì)丟失；大數(shù)據(jù)存儲(chǔ)有硬件支撐，可騰出特定硬盤(pán)空間對(duì)歷史數(shù)據(jù)進(jìn)行一定時(shí)間段的存儲(chǔ)。如果發(fā)生誤操作的情況，還可通過(guò)后臺(tái)進(jìn)入特定存儲(chǔ)空間進(jìn)行數(shù)據(jù)恢復(fù)，若出現(xiàn)網(wǎng)絡(luò)突然中斷或設(shè)備故障，磁盤(pán)陣列會(huì)對(duì)正在上傳下載的文件進(jìn)行暫時(shí)保留，在網(wǎng)絡(luò)恢復(fù)和硬件修復(fù)后，再對(duì)斷點(diǎn)續(xù)傳。

擴(kuò)展性：由于傳統(tǒng)FTP 服務(wù)器基本采用終端電腦作為服務(wù)器，內(nèi)存、CPU 等性能本身就很容易達(dá)到閾值。因此一旦接入終端過(guò)多，所傳內(nèi)容較大就可能無(wú)法承載、需要擴(kuò)容，其擴(kuò)容相對(duì)困難，需要疊加硬件；大數(shù)據(jù)存儲(chǔ)所使用的服務(wù)器性能高、內(nèi)存大、CPU 處理能力強(qiáng)，完全能滿(mǎn)足現(xiàn)有的內(nèi)部數(shù)據(jù)資料交換以及極大數(shù)據(jù)的上傳下載。若需擴(kuò)容，只需購(gòu)買(mǎi)磁盤(pán)陣列直接安裝到服務(wù)器磁盤(pán)陣列陣中，重啟即可，更為方便快捷。

傳統(tǒng)FTP 服務(wù)器和大數(shù)據(jù)存儲(chǔ)在訪問(wèn)進(jìn)程、動(dòng)態(tài)管理、保留歷史記錄、數(shù)據(jù)安全方面的區(qū)別如表1所示。

表1 傳統(tǒng)FTP服務(wù)器與大數(shù)據(jù)存儲(chǔ)部分功能對(duì)比Tab.1 Comparison of certain functions between traditional FTP server and big-data storage

管理模式：傳統(tǒng)FTP 服務(wù)器很難統(tǒng)一管理，大到跨廣域網(wǎng)搭建，小到局域網(wǎng)內(nèi)部搭建，只要熟悉FTP 搭建技術(shù)的人員，都可以任選一臺(tái)終端作為FTP 服務(wù)器，為其他普通用戶(hù)提供FTP 服務(wù)；大數(shù)據(jù)存儲(chǔ)采用網(wǎng)站式服務(wù)，使用唯一的服務(wù)器、防火墻，通過(guò)鐵路數(shù)據(jù)網(wǎng)為整個(gè)電務(wù)系統(tǒng)提供資源共享業(yè)務(wù)，無(wú)論身在何處，只要能接入鐵路辦公網(wǎng)，就可以訪問(wèn)網(wǎng)站進(jìn)行數(shù)據(jù)的在線瀏覽、上傳、下載。

系統(tǒng)搭建成本：傳統(tǒng)FTP 服務(wù)器近距離的環(huán)境可以利用現(xiàn)有終端、網(wǎng)線直接進(jìn)行搭建，遠(yuǎn)距離環(huán)境涉及到的設(shè)備線纜更為復(fù)雜，后期擴(kuò)容需增加設(shè)備線纜也更多，且需要大規(guī)模調(diào)整，近乎重新搭建；大數(shù)據(jù)存儲(chǔ)前期搭建更為復(fù)雜，不僅需要考慮局域網(wǎng)內(nèi)部的服務(wù)器、防火墻搭建，還需要考慮局域網(wǎng)環(huán)境接入到數(shù)據(jù)網(wǎng)的網(wǎng)絡(luò)配置，后期維護(hù)擴(kuò)容較簡(jiǎn)單，通過(guò)任一終端登錄超級(jí)賬戶(hù)進(jìn)入后臺(tái)即可管理。

3 數(shù)據(jù)共享站的實(shí)現(xiàn)

數(shù)據(jù)共享站采用經(jīng)典C/S 架構(gòu)進(jìn)行網(wǎng)絡(luò)部署，在Spring Framework 基礎(chǔ)上搭建的一個(gè)Java 平臺(tái)，以Spring MVC 為模型視圖控制器，MyBatis為數(shù)據(jù)訪問(wèn)層， Apache Shiro 為權(quán)限授權(quán)層，Ehcahe 對(duì)常用數(shù)據(jù)進(jìn)行緩存，Activit 為工作流引擎。采用SSM 開(kāi)發(fā)框架，提高了程序的規(guī)范性、可擴(kuò)展性、可維護(hù)性以及代碼的重用性。以下內(nèi)容詳細(xì)介紹了數(shù)據(jù)共享站的搭建以及測(cè)試和驗(yàn)證。

3.1 數(shù)據(jù)共享站的搭建

1) 數(shù)據(jù)共享站拓?fù)浣Y(jié)構(gòu)關(guān)系

數(shù)據(jù)共享站應(yīng)用服務(wù)器和防火墻架設(shè)在“電務(wù)維修段”段機(jī)關(guān)信息機(jī)房，通過(guò)樓層交換機(jī)接入數(shù)據(jù)網(wǎng)，使用辦公網(wǎng)的VPN 通道，用戶(hù)即可直接通過(guò)內(nèi)網(wǎng)終端進(jìn)行訪問(wèn)，網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 數(shù)據(jù)共享站網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of data-sharing station

異地電務(wù)部用戶(hù)、重慶工電段用戶(hù)、成都通信綜合車(chē)間用戶(hù)的數(shù)據(jù)訪問(wèn)流程是先被發(fā)送到離用戶(hù)最近的接入層AR 設(shè)備，查找應(yīng)用服務(wù)器所處位置，發(fā)現(xiàn)位于電務(wù)維修段，將數(shù)據(jù)包上傳到更高一級(jí)的DR 設(shè)備，再查找目的地，數(shù)據(jù)包再一次向上傳遞。然后通過(guò)核心路由器的轉(zhuǎn)發(fā)到達(dá)接入路由器AR1 處，防火墻進(jìn)行路由過(guò)濾等一系列安全操作后發(fā)送至應(yīng)用服務(wù)器，應(yīng)用服務(wù)器給出響應(yīng)，用戶(hù)成功進(jìn)行上傳、下載、刪除等操作；本地電務(wù)維修段用戶(hù)數(shù)據(jù)訪問(wèn)流程是直接發(fā)送到AR1 處，AR1 進(jìn)行局域網(wǎng)內(nèi)部數(shù)據(jù)轉(zhuǎn)發(fā)，無(wú)需再通過(guò)上層設(shè)備流轉(zhuǎn)。

2）角色權(quán)限管理

建立樹(shù)型邏輯結(jié)構(gòu)（包含電務(wù)部、各電務(wù)段、工電段、部門(mén)車(chē)間、工區(qū)四級(jí)），將相應(yīng)人員信息（姓名、所屬機(jī)構(gòu)）通過(guò)后臺(tái)進(jìn)行導(dǎo)入，形成基礎(chǔ)組織架構(gòu)。創(chuàng)建多種角色，為不同角色配置不同操作權(quán)限（在線瀏覽、（批量）刪除、批量下載、批量上傳）和訪問(wèn)范圍，如圖3 所示。

圖3 數(shù)據(jù)共享站用戶(hù)角色配置Fig.3 Configuration of user roles for data-sharing station

批量刪除、下載、上傳是高級(jí)權(quán)限賬號(hào)才可進(jìn)行的操作。因?yàn)榕坎僮魉加玫乃矔r(shí)帶寬較高，對(duì)數(shù)據(jù)庫(kù)數(shù)據(jù)的同時(shí)訪問(wèn)存在風(fēng)險(xiǎn)，耗費(fèi)設(shè)備和時(shí)間資源，所以應(yīng)盡量避免長(zhǎng)時(shí)間、多頻次的操作。

3）數(shù)據(jù)安全

防火墻使用網(wǎng)關(guān)專(zhuān)用硬件平臺(tái)，擁有詳細(xì)的安全趨勢(shì)和安全風(fēng)險(xiǎn)智能報(bào)表等日志表格，獨(dú)立的日志中心并支持外置數(shù)據(jù)中心。SSL VPN 和IPSec VPN 兩種VPN 極大程度的保障了數(shù)據(jù)傳輸過(guò)程中的完整性、有序性、機(jī)密性；NAT進(jìn)行地址轉(zhuǎn)換，對(duì)外隱藏私網(wǎng)地址，防止惡意攻擊；訪問(wèn)控制ACL 可以對(duì)特定路由進(jìn)行過(guò)濾，或僅讓特定路由通過(guò)，保障終端的相互訪問(wèn)；防分布式拒絕服務(wù)（Distributed Denial of Service，DDoS）攻擊功能有效防止大面積的服務(wù)癱瘓；用戶(hù)認(rèn)證通過(guò)AAA 技術(shù)對(duì)用戶(hù)名、密鑰進(jìn)行核驗(yàn)，安全的密碼由生成隨機(jī)的16 位salt 并經(jīng)過(guò)1 024 次 sha-1 hash，核驗(yàn)通過(guò)后才發(fā)行合格證，允許數(shù)據(jù)包的傳送。為避免用戶(hù)信息在接口調(diào)用過(guò)程中泄露、劫取、篡改，偽造等，要求所有調(diào)用服務(wù)接口的請(qǐng)求都需要對(duì)參數(shù)進(jìn)行加密，返回的響應(yīng)結(jié)果也將是加密的，需要調(diào)用方自行按照設(shè)定好的加密方式進(jìn)行反解驗(yàn)證，如圖4 所示。

圖4 安全加密算法相關(guān)代碼Fig.4 Codes of secure encrypted algorithms

權(quán)限管理中不同賬號(hào)擁有不同操作權(quán)限、訪問(wèn)范圍；批量刪除、下載、上傳是極高權(quán)限賬號(hào)才可進(jìn)行的操作；高級(jí)別擁有更多訪問(wèn)范圍，低級(jí)別擁有局限訪問(wèn)范圍，保證數(shù)據(jù)在共享的同時(shí)又避免資料泄露以及分級(jí)管理；應(yīng)用服務(wù)器支持持久內(nèi)存數(shù)據(jù)，斷電數(shù)據(jù)也不會(huì)丟失；磁盤(pán)的應(yīng)用服務(wù)數(shù)據(jù)備份均備份到從屬磁盤(pán)。以上操作使得數(shù)據(jù)更可靠、更安全。

4）服務(wù)器數(shù)據(jù)存儲(chǔ)與擴(kuò)展

數(shù)據(jù)存儲(chǔ)與擴(kuò)展主要依靠應(yīng)用服務(wù)器的支撐，應(yīng)用服務(wù)器技術(shù)指標(biāo)和具體要求如表2 所示。

表2 服務(wù)器配置與作用Tab.2 Server configuration and functions

3.2 測(cè)試與驗(yàn)證

針對(duì)數(shù)據(jù)共享站各功能的測(cè)試、驗(yàn)證，采用現(xiàn)場(chǎng)試點(diǎn)的方式進(jìn)行?，F(xiàn)場(chǎng)試點(diǎn)范圍涉及電務(wù)部、電務(wù)維修段、其他段、現(xiàn)場(chǎng)車(chē)間、工區(qū)，覆蓋面積達(dá)到兩萬(wàn)平方公里，試點(diǎn)時(shí)長(zhǎng)超兩個(gè)月，收集統(tǒng)計(jì)了業(yè)務(wù)所能提供的帶寬、速度、平均網(wǎng)絡(luò)流量和流量峰值等相關(guān)數(shù)據(jù)。

應(yīng)用服務(wù)器所提供的業(yè)務(wù)項(xiàng)包含信息瀏覽、審核、接口交互等，其帶寬的計(jì)算公式為：帶寬（Mbit/s）=點(diǎn)擊量×單次點(diǎn)擊占用帶寬+訪問(wèn)量× 單次訪問(wèn)占用帶寬，寬帶速度計(jì)算公式為：速度（kByte/s）=帶寬×1 024/8，流量計(jì)算公式為：流量（M）=帶寬×?xí)r間/8，具體統(tǒng)計(jì)數(shù)據(jù)如表3 所示。

表3 采集數(shù)據(jù)共享站應(yīng)用服務(wù)器的相關(guān)數(shù)據(jù)Tab.3 Data on application server of data-sharing station

創(chuàng)建四級(jí)賬號(hào)，按照前期設(shè)計(jì)配置不同角色，發(fā)送賬號(hào)到對(duì)應(yīng)電務(wù)部、各段、車(chē)間、工區(qū)，測(cè)試操作權(quán)限和訪問(wèn)范圍是否與設(shè)計(jì)一致，具體內(nèi)容如圖5所示。

圖5 數(shù)據(jù)共享站角色配置Fig.5 Configuration of user roles for data-sharing station (examples)

收集后臺(tái)歷史記錄，測(cè)算每一次操作所占用帶寬，某一時(shí)間段帶寬總量，極大文件上傳、下載所耗用的時(shí)間，以此判斷服務(wù)器承載能力，具體內(nèi)容如圖6 所示。

圖6 數(shù)據(jù)共享站后臺(tái)歷史記錄Fig.6 Background records of data-sharing station

4 應(yīng)用

4.1 數(shù)據(jù)管理成本

傳統(tǒng)FTP 服務(wù)器在電務(wù)維修段全段范圍內(nèi)共搭建10 處，全段范圍搭建1 處，部門(mén)內(nèi)部搭建3 處，現(xiàn)場(chǎng)車(chē)間搭建6 處，共使用10 臺(tái)服務(wù)器。形成10個(gè)互相無(wú)數(shù)據(jù)交換的局域網(wǎng)，且因?yàn)闊o(wú)防火墻等安全措施，數(shù)據(jù)存在遺失、泄露、病毒侵害風(fēng)險(xiǎn)，無(wú)法對(duì)所有數(shù)據(jù)進(jìn)行統(tǒng)一管理、統(tǒng)一規(guī)劃，且維護(hù)時(shí)需要到各服務(wù)器所在地進(jìn)行。

數(shù)據(jù)共享站僅在電務(wù)維修段搭建1 處，就可以實(shí)現(xiàn)整個(gè)電務(wù)系統(tǒng)的資源共享，采用唯一超級(jí)賬號(hào)進(jìn)行統(tǒng)一的權(quán)限修改、結(jié)構(gòu)調(diào)整、數(shù)據(jù)備份、修復(fù)、安全措施等，上到電務(wù)部、下到現(xiàn)場(chǎng)工區(qū)，都可進(jìn)行資料交換。維護(hù)工作通過(guò)兩種方式完成，方式一：在電務(wù)維修段段機(jī)關(guān)內(nèi)網(wǎng)終端進(jìn)行操作，方式二：遠(yuǎn)程登錄后進(jìn)行操作。但無(wú)論是哪一種方式都極大程度節(jié)約數(shù)據(jù)管理成本和人員維護(hù)成本。

4.2 時(shí)間管理成本

傳統(tǒng)FTP 服務(wù)器前期搭建成本相對(duì)較低，近距離的環(huán)境可以利用現(xiàn)有終端、網(wǎng)線直接進(jìn)行搭建，遠(yuǎn)距離的環(huán)境涉及到的設(shè)備線纜更為復(fù)雜，但后期擴(kuò)容需增加設(shè)備線纜更多，且需要大規(guī)模調(diào)整，近乎重新搭建，浪費(fèi)人力財(cái)力更多；數(shù)據(jù)共享站前期搭建成本相比較多，但一旦搭建完成，后期維護(hù)擴(kuò)容都極為便捷，其應(yīng)用服務(wù)器支持多個(gè)內(nèi)存插槽，便攜式插卡擴(kuò)容節(jié)約整個(gè)擴(kuò)容過(guò)程的時(shí)間，總體更節(jié)約成本。數(shù)據(jù)共享站和傳統(tǒng)FTP 服務(wù)器的上傳、下載文件的速率對(duì)比如表4 所示。

數(shù)據(jù)共享站的上傳、下載速率明顯高于傳統(tǒng)FTP 服務(wù)器，直觀體現(xiàn)在實(shí)際運(yùn)用中，數(shù)據(jù)共享站所節(jié)約的時(shí)間成本。

5 結(jié)語(yǔ)

數(shù)據(jù)共享站利用現(xiàn)有大數(shù)據(jù)、云計(jì)算技術(shù)，將對(duì)輸入后臺(tái)服務(wù)器的大量信息進(jìn)行分析，結(jié)合鐵路專(zhuān)網(wǎng)的廣覆蓋性、全程全網(wǎng)實(shí)現(xiàn)整個(gè)電務(wù)系統(tǒng)的資料交換儲(chǔ)存，利用高性能應(yīng)用服務(wù)器提供高速率短時(shí)間的數(shù)據(jù)上傳下載，企業(yè)級(jí)集成化防火墻兼具入侵檢測(cè)、漏洞掃描、防病毒、數(shù)據(jù)備份修復(fù)等功能，將眾多功能集成到一個(gè)硬件設(shè)備的方式不僅節(jié)約成本，而且能快速的對(duì)風(fēng)險(xiǎn)進(jìn)行防控和有效的處理，保障信息的安全性、保密性、完整性。大數(shù)據(jù)存儲(chǔ)技術(shù)在鐵路專(zhuān)網(wǎng)的應(yīng)用，將大幅提高工作效率、節(jié)省資料交換的時(shí)間，為日常工作帶來(lái)便利。