宋一凡，黃晏輝，劉賀文

（1.中國鐵路總公司資金清算中心 信息處，北京 100844；2.中國鐵道科學(xué)研究院 電子計算技術(shù)研究所，北京 100081）

客運清算存儲管理系統(tǒng)總體設(shè)計

宋一凡1，黃晏輝2，劉賀文2

（1.中國鐵路總公司資金清算中心 信息處，北京 100844；2.中國鐵道科學(xué)研究院 電子計算技術(shù)研究所，北京 100081）

為了解決鐵路旅客運輸清算系統(tǒng)海量數(shù)據(jù)與存儲空間不足之間的矛盾，本文緊密結(jié)合業(yè)務(wù)實際，立足全局，從系統(tǒng)化角度提出了一套完整的存儲管理系統(tǒng)方案，包括系統(tǒng)設(shè)計目標(biāo)，處理流程，架構(gòu)設(shè)計，系統(tǒng)實現(xiàn)，以及配套的管理規(guī)劃。實踐證明，客運清算存儲管理系統(tǒng)設(shè)計方案合理，運行高效，達(dá)到系統(tǒng)設(shè)計目標(biāo)，并為清算系統(tǒng)優(yōu)化創(chuàng)造了有利條件。

鐵路旅客運輸；清算系統(tǒng)；存儲管理

隨著鐵路旅客運輸業(yè)務(wù)的迅速發(fā)展，互聯(lián)網(wǎng)訂票和電子支付業(yè)務(wù)的不斷推進(jìn)，鐵路旅客運輸清算系統(tǒng)（以下簡稱客運清算系統(tǒng)）每日處理的原始客票存根數(shù)據(jù)量也呈大幅增長趨勢，截止目前，客運清算系統(tǒng)日均處理客票存根數(shù)據(jù)量約900萬條。根據(jù)工作要求，不同類別的清算業(yè)務(wù)數(shù)據(jù)，包括原始存根數(shù)據(jù)、清算中間結(jié)果數(shù)據(jù)、清算明細(xì)結(jié)果數(shù)據(jù)、清算字典數(shù)據(jù)都需要在線保留一定的歷史年限。原來客運清算系統(tǒng)規(guī)劃的存儲空間已不能滿足清算歷史數(shù)據(jù)在線時長要求，存儲空間現(xiàn)狀與系統(tǒng)安全生產(chǎn)的矛盾十分突出，按照歷史數(shù)據(jù)分析，客運清算系統(tǒng)存儲空間預(yù)計只能維持至2013年底。

客運清算系統(tǒng)是典型的數(shù)據(jù)倉庫型應(yīng)用，存儲有海量的歷史數(shù)據(jù)，這些歷史數(shù)據(jù)主要應(yīng)用于各類統(tǒng)計分析查詢，不能進(jìn)行增刪改操作。為保證客運清算系統(tǒng)平穩(wěn)運行，必須盡快研究客運清算存儲管理新思路，對數(shù)據(jù)的存儲方式和數(shù)據(jù)結(jié)構(gòu)進(jìn)行升級完善，實現(xiàn)存儲空間利用效率最大化，解決系統(tǒng)存儲供應(yīng)緊張的矛盾。

客運清算存儲管理系統(tǒng)（以下簡稱存儲系統(tǒng)或系統(tǒng)）的開發(fā)建設(shè)就是在上述背景之下于2013年8月啟動的，它是財會管理信息系統(tǒng)總公司硬件補(bǔ)強(qiáng)工作的重要組成部分。按照工作計劃，系統(tǒng)必須在2013年底前投產(chǎn)運行。

1 系統(tǒng)目標(biāo)

1.1 規(guī)避客運清算系統(tǒng)存儲空間不足風(fēng)險

通過存儲優(yōu)化管理可以減少歷史數(shù)據(jù)占用的存儲空間，提高單位存儲空間的利用率，有效規(guī)避客運清算系統(tǒng)存儲空間不足風(fēng)險。根據(jù)計算結(jié)果，在現(xiàn)有數(shù)據(jù)量下，6年內(nèi)不應(yīng)再出現(xiàn)客運清算系統(tǒng)存儲不足的問題。

1.2 降低系統(tǒng)在硬件存儲方面的投資成本

新的客運清算存儲管理的思路就是將數(shù)據(jù)庫數(shù)據(jù)轉(zhuǎn)存于外部存儲設(shè)備上，因此和磁盤陣列投資相比，外部存儲的成本非常低。

1.3 提高客運清算系統(tǒng)運行速度

不僅包括后臺日處理速度，而且包括前臺程序的響應(yīng)速度。當(dāng)前后臺日處理需要大約5個30 min，預(yù)計本系統(tǒng)實施后日處理速度提升20%，前臺主要業(yè)務(wù)報表響應(yīng)速度也能得到提升。

1.4 加強(qiáng)對歷史數(shù)據(jù)的管理力度

制定相關(guān)歷史數(shù)據(jù)管理制度，加強(qiáng)對清算歷史數(shù)據(jù)的管理，確保歷史數(shù)據(jù)的管理更加規(guī)范和靈活，以更好地適應(yīng)未來數(shù)據(jù)增長趨勢。對歷史數(shù)據(jù)分類別、分時間段精細(xì)化管理，同時建立多個外部離線備份點，形成多點備份模式，實現(xiàn)“同地異介質(zhì)存儲”，并進(jìn)一步實現(xiàn)“異地異介質(zhì)存儲”，有效規(guī)避存儲風(fēng)險。

1.5 方便歷史數(shù)據(jù)的查詢分析

通過對歷史數(shù)據(jù)的存儲進(jìn)行優(yōu)化，保證歷史數(shù)據(jù)隨時可查可用。同時根據(jù)存儲需求，只需要增加外部存儲設(shè)備，就可以方便地延長歷史數(shù)據(jù)的保存年限。

1.6 減少日常磁帶備份工作量

由于日常磁帶備份的數(shù)據(jù)中包含了許多歷史數(shù)據(jù)，而這部分歷史數(shù)據(jù)不能增刪改，不需要每次都進(jìn)行全備份。因此通過存儲優(yōu)化管理可以明顯減少目前客運清算系統(tǒng)數(shù)據(jù)庫每次的整庫全備份時間和系統(tǒng)I/O資源。

2 系統(tǒng)功能

系統(tǒng)采用模塊化設(shè)計，模塊開發(fā)遵循高內(nèi)聚、低耦合的原則，模塊間采用簡單的調(diào)用接口。本系統(tǒng)主要功能模塊如圖1所示。

2.1 系統(tǒng)運行監(jiān)控

圖1 系統(tǒng)功能模塊

系統(tǒng)存在多個模塊處理流程，在模塊內(nèi)部記錄詳細(xì)的模塊處理日志，模塊間記錄流程控制日志。運行日志要記錄成功標(biāo)志或錯誤原因。對數(shù)據(jù)集的操作記錄數(shù)據(jù)集存儲空間、操作結(jié)果和存儲狀態(tài)等信息。同時，實時收集系統(tǒng)空間使用情況，記錄到日志，對表空間資源進(jìn)行監(jiān)控。對系統(tǒng)運行狀態(tài)、運行結(jié)果和表空間資源進(jìn)行監(jiān)控，前臺有相關(guān)展示界面。當(dāng)異常情況發(fā)生時，可以通過監(jiān)控界面及時預(yù)警，找到錯誤原因。結(jié)果監(jiān)控包括對數(shù)據(jù)集存儲空間、操作結(jié)果和存儲狀態(tài)等信息的監(jiān)控。表空間資源監(jiān)控可以實時對各表空間在線狀態(tài)、各表空間存儲情況等進(jìn)行匯總查詢。

2.2 數(shù)據(jù)壓縮處理

根據(jù)不同的壓縮規(guī)則，對分區(qū)數(shù)據(jù)進(jìn)行壓縮處理，包括原始客票存根、中間過程數(shù)據(jù)和清算結(jié)果數(shù)據(jù)。原始客票存根包括售票存根、退票存根、廢票存根和改簽存根，采用原始存根列壓縮方式和數(shù)據(jù)庫段壓縮方式。中間過程數(shù)據(jù)采用匯總壓縮方式和數(shù)據(jù)庫段壓縮方式。壓縮后的原始客票存根和中間過程數(shù)據(jù)存放到相同的壓縮表空間。清算結(jié)果數(shù)據(jù)只采用數(shù)據(jù)庫段壓縮方式，壓縮后的清算結(jié)果數(shù)據(jù)存放到單獨的壓縮表空間，與壓縮客票存根和壓縮中間數(shù)據(jù)分開存儲。

2.3 歷史數(shù)據(jù)轉(zhuǎn)存

將壓縮后數(shù)據(jù)表中的歷史數(shù)據(jù)和當(dāng)前數(shù)據(jù)分開存儲，歷史數(shù)據(jù)轉(zhuǎn)存到專門的歷史表中，使二者相對隔離，減小當(dāng)前分區(qū)數(shù)據(jù)表的規(guī)模，提高系統(tǒng)處理速度。歷史數(shù)據(jù)按數(shù)據(jù)類別分開存儲，主要分為兩大類：清算過程數(shù)據(jù)以及清算結(jié)果數(shù)據(jù)。兩類數(shù)據(jù)按照分區(qū)規(guī)劃，分別存儲在不同的表空間。

2.4 歷史數(shù)據(jù)恢復(fù)

當(dāng)需要用到已轉(zhuǎn)存的歷史數(shù)據(jù)時，將已轉(zhuǎn)存到歷史表中的數(shù)據(jù)（還未進(jìn)行離線存儲處理的前提下）通過一定方式合并恢復(fù)到原壓縮數(shù)據(jù)表，與當(dāng)前數(shù)據(jù)合并存儲。將歷史數(shù)據(jù)合并恢復(fù)到原壓縮數(shù)據(jù)表后，歷史數(shù)據(jù)表中的相關(guān)數(shù)據(jù)也就不存在。合并恢復(fù)后的壓縮表可以同時提供當(dāng)前數(shù)據(jù)和歷史數(shù)據(jù)。

2.5 表空間離線管理

根據(jù)系統(tǒng)空間使用情況，在空間資源緊張時，將歷史表空間進(jìn)行離線操作，并將離線后的表空間數(shù)據(jù)文件轉(zhuǎn)出存儲到外部存儲設(shè)備，為提高離線數(shù)據(jù)文件的外部存儲安全性，實行多點備份的方式，同時將離線數(shù)據(jù)文件保存到多個外部存儲設(shè)備，并按照嚴(yán)格的管理辦法保障數(shù)據(jù)安全。離線存儲后，數(shù)據(jù)庫服務(wù)器上相關(guān)離線表空間的數(shù)據(jù)文件即可刪除，以釋放空間。在進(jìn)行歷史表空間離線管理的時候，可以根據(jù)數(shù)據(jù)類型，實現(xiàn)差異化管理，即可以先對清算過程數(shù)據(jù)歷史表空間進(jìn)行離線，后對清算結(jié)果數(shù)據(jù)歷史表空間進(jìn)行離線。

2.6 表空間在線管理

當(dāng)需要使用已經(jīng)離線存儲的歷史數(shù)據(jù)時，通過FTP的方式，將離線存儲的歷史表空間數(shù)據(jù)文件放回數(shù)據(jù)庫服務(wù)器上的數(shù)據(jù)文件存儲目錄，然后將表空間恢復(fù)為在線狀態(tài)，這樣離線的歷史數(shù)據(jù)就可以提供正常的查詢。對于清算結(jié)果歷史數(shù)據(jù)，從離線狀態(tài)恢復(fù)為在線狀態(tài)后，還可以進(jìn)一步執(zhí)行“歷史數(shù)據(jù)恢復(fù)”操作，將歷史數(shù)據(jù)合并恢復(fù)到清算結(jié)果表，以提供前臺報表的即時查詢。

2.7 過期數(shù)據(jù)清理

根據(jù)清算辦法要求，定期將超過存儲期限的數(shù)據(jù)進(jìn)行滾動清理。不同的清算數(shù)據(jù)有不同的保存年限，清理數(shù)據(jù)時要明細(xì)到各數(shù)據(jù)表，按照分區(qū)的大小進(jìn)行刪除操作。滾動刪除歷史數(shù)據(jù)如果已經(jīng)離線，則需要先恢復(fù)為在線狀態(tài)，再執(zhí)行數(shù)據(jù)刪除，最后刪除外部存儲設(shè)備中保存的相關(guān)離線數(shù)據(jù)文件。

3 系統(tǒng)運行模式

（1）本系統(tǒng)采用人工處理和程序化處理相結(jié)合的方式，由具有專業(yè)技能的后臺維護(hù)人員操作。

（2）人工手動處理的部分包括新數(shù)據(jù)表結(jié)構(gòu)的建立，新表空間的建立，原表空間的空間回收，表空間只讀模式、讀寫模式、離線模式、在線模式的切換操作，離線表空間數(shù)據(jù)文件的外部備份等操作。其中，人工處理所需的腳本能夠半自動或自動地生成。

（3）后臺程序處理的部分包括各種類別歷史數(shù)據(jù)的壓縮處理，壓縮數(shù)據(jù)索引重建處理，表中分區(qū)數(shù)據(jù)獨立存儲處理，獨立存儲數(shù)據(jù)合并存儲處理，系統(tǒng)運行全過程日志記錄、數(shù)據(jù)監(jiān)控核對日志的生成等。后臺程序采用存儲過程開發(fā)實現(xiàn)，采用模塊化、參數(shù)化運行，支持中斷續(xù)處理。

（4）前臺監(jiān)控界面包括監(jiān)控系統(tǒng)運行狀態(tài)，監(jiān)控系統(tǒng)處理結(jié)果，系統(tǒng)存儲空間占用情況監(jiān)控等。

（5）系統(tǒng)支持單個功能模塊處理方式，也支持流程一體化處理方式，模塊間功能互斥，采用日志控制。維護(hù)人員根據(jù)系統(tǒng)不同需求，可以單獨執(zhí)行某個或多個功能模塊程序。

4 系統(tǒng)處理流程

系統(tǒng)處理流程如圖2所示。

圖2 系統(tǒng)處理流程

4.1 數(shù)據(jù)壓縮處理

將清算數(shù)據(jù)根據(jù)數(shù)據(jù)類型按照不同的壓縮規(guī)則進(jìn)行壓縮處理，壓縮后的數(shù)據(jù)存儲在新的壓縮表空間，并根據(jù)數(shù)據(jù)類別采用分開存儲方式。

4.2 歷史數(shù)據(jù)轉(zhuǎn)存處理

將壓縮后的數(shù)據(jù)轉(zhuǎn)存到新建的歷史數(shù)據(jù)表中，同時從原壓縮數(shù)據(jù)表中刪除，這部分歷史數(shù)據(jù)就與當(dāng)前數(shù)據(jù)分不同表存儲。

4.3 恢復(fù)歷史數(shù)據(jù)

對已經(jīng)執(zhí)行轉(zhuǎn)存操作的歷史數(shù)據(jù)，將其從歷史數(shù)據(jù)表中再次移動到當(dāng)前數(shù)據(jù)表，實現(xiàn)歷史數(shù)據(jù)與當(dāng)前數(shù)據(jù)同一個表存儲。數(shù)據(jù)的轉(zhuǎn)存與恢復(fù)操作可以隨時切換。

4.4 歷史數(shù)據(jù)離線處理

對已經(jīng)執(zhí)行歷史數(shù)據(jù)轉(zhuǎn)存操作的數(shù)據(jù)，將相應(yīng)數(shù)據(jù)文件分?jǐn)?shù)據(jù)類型按不同順序進(jìn)行離線，然后將離線后的數(shù)據(jù)文件轉(zhuǎn)儲到外部存儲設(shè)備。

4.5 歷史數(shù)據(jù)在線處理

對已執(zhí)行離線處理操作的歷史數(shù)據(jù)，將其從外部存儲設(shè)備放回到數(shù)據(jù)庫服務(wù)器原數(shù)據(jù)文件存儲位置，并執(zhí)行在線操作，實現(xiàn)這部分?jǐn)?shù)據(jù)的在線存儲。歷史數(shù)據(jù)的在線存儲與離線存儲操作可以隨時切換。

4.6 過期數(shù)據(jù)刪除

將過期的數(shù)據(jù)從數(shù)據(jù)庫中徹底刪除，并刪除外部存儲設(shè)備中相應(yīng)的數(shù)據(jù)文件。

5 系統(tǒng)實現(xiàn)

客運存儲管理系統(tǒng)作為客運清算系統(tǒng)的一個輔助管理系統(tǒng)，是基于既有的網(wǎng)絡(luò)結(jié)構(gòu)和系統(tǒng)架構(gòu)，以C/S模式實現(xiàn)的：采用.net技術(shù)實現(xiàn)簡潔、方便、明晰的人機(jī)交互界面；以數(shù)據(jù)庫存儲過程方式，融合ORACLE數(shù)據(jù)庫操作和管理技術(shù)，對數(shù)據(jù)壓縮、管理、校驗等處理進(jìn)行封裝和固化。

為確保數(shù)據(jù)安全和可用，在系統(tǒng)整個處理過程中，每一步處理都是在經(jīng)過多個角度比對和核準(zhǔn)，確認(rèn)數(shù)據(jù)無誤后，以事務(wù)的方式提交。系統(tǒng)輔以權(quán)限分配、控制日志等途徑，進(jìn)一步確保存儲管理工作的安全性、嚴(yán)謹(jǐn)性和可控性。此外，處理過程中，系統(tǒng)自動生成詳實的處理日志，以備相關(guān)人員查閱和使用。

6 系統(tǒng)管理辦法

客運清算存儲數(shù)據(jù)分為在線存儲數(shù)據(jù)和離線存儲數(shù)據(jù)，在線存儲數(shù)據(jù)包括在線日常工作數(shù)據(jù)和在線歷史存儲數(shù)據(jù)；離線存儲數(shù)據(jù)分為離線日常存儲數(shù)據(jù)和離線歷史存儲數(shù)據(jù)；在線日常工作數(shù)據(jù)、在線歷史存儲數(shù)據(jù)和離線日常存儲數(shù)據(jù)均納入清算數(shù)據(jù)庫日常管理范疇；離線歷史存儲數(shù)據(jù)（簡稱“離線歷史數(shù)據(jù)”）的管理按照財會檔案管理要求，通過本系統(tǒng)開展。因此，必須制定具體的系統(tǒng)應(yīng)用管理辦法，以規(guī)范和控制客運清算存儲管理系統(tǒng)應(yīng)用過程中涉及到的各個環(huán)節(jié)，確保客運清算存儲數(shù)據(jù)在其整個生命周期內(nèi)的安全性、完整性、保密性及可用性，進(jìn)一步提高客運清算系統(tǒng)維護(hù)工作質(zhì)量。

6.1 適用范圍

本辦法適用于圍繞客運清算存儲系統(tǒng)開展的全部工作，客運清算系統(tǒng)的管理部門和具體維護(hù)單位按照本辦法執(zhí)行。

6.2 工作職責(zé)

明確客運清算存儲系統(tǒng)應(yīng)用管理工作應(yīng)遵循的原則，細(xì)化系統(tǒng)應(yīng)用管理單位和具體維護(hù)單位的工作職責(zé)。

6.3 應(yīng)用管理內(nèi)容

客運清算存儲系統(tǒng)應(yīng)用管理工作內(nèi)容包括：數(shù)據(jù)壓縮、數(shù)據(jù)離線、數(shù)據(jù)在線、數(shù)據(jù)恢復(fù)等方面。需要明確每個工作內(nèi)容的具體流程，標(biāo)準(zhǔn)化作業(yè)程序，確保工作的閉環(huán)管理。

6.4 離線歷史數(shù)據(jù)管理

按照財會檔案管理的規(guī)定，必須規(guī)范離線歷史數(shù)據(jù)文件命名規(guī)則、存放介質(zhì)、保管條件；明確移動介質(zhì)的啟封、使用和封存流程；觸發(fā)離線歷史數(shù)據(jù)重置的條件；說明離線歷史數(shù)據(jù)銷毀的依據(jù)。

6.5 其他

包括安全保密管理的規(guī)定和要求，以及系統(tǒng)應(yīng)用考核等方面。

7 結(jié)束語

該系統(tǒng)由中國鐵路總公司資金清算中心和中國鐵道科學(xué)研究院電子計算技術(shù)研究所聯(lián)合研制開發(fā)，已于2013年底投產(chǎn)運行。截止目前，系統(tǒng)運行效果良好，客運清算數(shù)據(jù)整體壓縮率達(dá)到85%，有效緩解了客運清算存儲矛盾，證明了系統(tǒng)設(shè)計思路清晰，數(shù)據(jù)壓縮方案合理，設(shè)計功能實用，達(dá)到系統(tǒng)設(shè)計目標(biāo)。

在本系統(tǒng)項目實施和推進(jìn)的基礎(chǔ)上，經(jīng)過充分分析和整理，可以為客運清算系統(tǒng)進(jìn)一步大規(guī)模優(yōu)化升級、以及新的系統(tǒng)構(gòu)建提供實踐經(jīng)驗和基礎(chǔ)。

責(zé)任編輯 楊利明

General design of Clearing Storage Management System for railway passenger transport

SONG Yifan1，HUANG Yanhui2，LIU Hewen2
( 1. Information Department, Capital Settlement Center of China Railway, Beijing 100844, China;2.Institute of Computing Technologies, China Academy of Railway Sciences, Beijing 100081, China )

In order to solve the contradiction between the storage space and mass data of Clearing Shortage System for the railway passenger transport, this paper combined with the actual business, based on the overall situation, proposed a complete set of Storage Management System from the point of system, including system design, process flow, architecture design, system implementation，and supporting management planning.Proved by practice, the result indicated that the System was reasonable, ef fi cient, reached to the design target,and proved favorable conditions in system optimization.

railway passenger transport; Clearing System; storage management

U293.2∶TP39

A

1005-8451（2014）05-0028-04

2014-01-05

宋一凡，高級工程師；黃晏輝，工程師。