許永宏

(中鐵第四勘察設(shè)計(jì)院集團(tuán)有限公司信息中心，武漢　430063)

差量傳輸在鐵路設(shè)計(jì)過(guò)程管理中的應(yīng)用研究

許永宏

(中鐵第四勘察設(shè)計(jì)院集團(tuán)有限公司信息中心，武漢430063)

【摘要】文章對(duì)鐵路設(shè)計(jì)過(guò)程管理系統(tǒng)中文件的集中管理問(wèn)題進(jìn)行了分析，針對(duì)鐵路設(shè)計(jì)過(guò)程管理中圖形文件頻繁傳輸影響效率的困難，提出了一種根據(jù)鐵路設(shè)計(jì)圖紙文件動(dòng)態(tài)比較、自動(dòng)存儲(chǔ)文件差異、差量傳輸?shù)募泄芾矸桨?，探討了其技術(shù)實(shí)現(xiàn)方法，經(jīng)實(shí)踐證明該方案是可行與有效的。

【關(guān)鍵詞】鐵路勘測(cè)設(shè)計(jì)；過(guò)程管理；差量傳輸

【DOI】 10.16670/j.cnki.cn11-5823/tu.2016.03.21

1引言

鐵路設(shè)計(jì)的成果是各個(gè)設(shè)計(jì)文檔及電子文件，鐵路設(shè)計(jì)過(guò)程管理的一個(gè)重要任務(wù)是管理設(shè)計(jì)過(guò)程中文檔及其不同版本，以電子化方式在各組織人員之間流轉(zhuǎn)。對(duì)設(shè)計(jì)企業(yè)來(lái)說(shuō)，這些中間成果及最終成果的文件極為重要。長(zhǎng)期以來(lái)，鐵路設(shè)計(jì)院對(duì)這些文件的集中管理存在著一些困難：(1)數(shù)據(jù)量很大。鐵路設(shè)計(jì)的專(zhuān)業(yè)多、圖紙多，一個(gè)項(xiàng)目電子文件總量很大。(2)上傳時(shí)間較長(zhǎng)。由于不少單個(gè)電子文件較大，導(dǎo)致上傳服務(wù)器時(shí)間較長(zhǎng)。(3)頻繁上傳下載。作為設(shè)計(jì)文件，在整個(gè)設(shè)計(jì)流程中，由于外部因素經(jīng)常出現(xiàn)變化，經(jīng)過(guò)各級(jí)審查，經(jīng)常出現(xiàn)反復(fù)修改，導(dǎo)致反復(fù)上傳下載的情況。

本文提出了在鐵路設(shè)計(jì)過(guò)程管理系統(tǒng)中針對(duì)鐵路設(shè)計(jì)圖形文件特點(diǎn)，應(yīng)用差量傳輸電子文件的方案，以解決上述存在的問(wèn)題。

2差量傳輸?shù)募軜?gòu)和技術(shù)方法

2.1整體方案與架構(gòu)

由于鐵路設(shè)計(jì)過(guò)程中經(jīng)常性的文件修改，不少文件還附帶地圖數(shù)據(jù)，如果每次都整個(gè)文件上傳，存儲(chǔ)空間需求大，時(shí)間消耗非常多。差量傳輸是指每次上傳僅傳輸上一次上傳之后發(fā)生改變的數(shù)據(jù)。這樣傳輸?shù)臄?shù)據(jù)量明顯減少，所需時(shí)間短，對(duì)計(jì)算機(jī)以及集中存儲(chǔ)的存儲(chǔ)設(shè)備資源消耗也相對(duì)較小。對(duì)于解決提高鐵路設(shè)計(jì)過(guò)程中的電子文件上傳、流轉(zhuǎn)和歸檔的效率有著很大的價(jià)值。

在鐵路過(guò)程管理中應(yīng)用差量傳輸?shù)姆桨讣軜?gòu)如圖1。

圖1　差量傳輸應(yīng)用方案架構(gòu)

整個(gè)方案主要由鐵路設(shè)計(jì)CAD端程序、傳輸管理器程序、服務(wù)器程序組成。當(dāng)鐵路設(shè)計(jì)軟件CAD端發(fā)起保存至服務(wù)器的請(qǐng)求后，將請(qǐng)求和相應(yīng)的文件信息發(fā)給本地的傳輸管理器程序，本地的傳輸管理器程序?qū)⑿畔⒈４嬖诒镜財(cái)?shù)據(jù)庫(kù)中，根據(jù)文件信息和歷史信息將文件劃分成塊之后，計(jì)算文件差異，將差異數(shù)據(jù)提交給服務(wù)器，并保存相關(guān)信息。傳輸管理器程序啟動(dòng)時(shí)會(huì)檢查本地?cái)?shù)據(jù)庫(kù)，將未完成的任務(wù)放入任務(wù)隊(duì)列，繼續(xù)執(zhí)行完文件的差量傳輸。

鐵路設(shè)計(jì)軟件CAD端和WEB端均可能請(qǐng)求下載文件的最新或指定版本。鐵路設(shè)計(jì)CAD端的請(qǐng)求將發(fā)給傳輸管理器程序，計(jì)算文件的差異后，將獲取的完整文件塊合并傳輸成文件放置在本地。WEB端則根據(jù)服務(wù)器端的信息，在服務(wù)器下載文件流的過(guò)程中直接合并傳輸完整文件塊，下載到客戶(hù)端。

2.2動(dòng)態(tài)計(jì)算文件差異的方法

差量傳輸?shù)暮诵氖怯?jì)算文件修改之后與原文件之間的差異，比較數(shù)據(jù)增量的算法可以用完全文件檢測(cè)技術(shù)、RSYNC算法、CDC算法、定長(zhǎng)分塊算法[1，2]，傳統(tǒng)的RSYNC[3]算法是Linux 下端對(duì)端的單向增量同步算法，但是其單向同步的算法在雙工的傳輸環(huán)境下，并不能夠完全適用[4]。RSYNC算法或CDC算法多用于數(shù)據(jù)備份，主要用于計(jì)算備份文件與原版本的差異，算法較復(fù)雜，分塊大小是變化的，但可以找出尤其是中間插入少數(shù)數(shù)據(jù)的最小變化量，采用滑動(dòng)窗口的方式，按照單字節(jié)或固定長(zhǎng)字節(jié)，反復(fù)計(jì)算校驗(yàn)值或RAbin指紋，查找相同部分。但是兩個(gè)算法也有缺點(diǎn)，對(duì)于變化差異很大的文件，RSYNC算法效率很低。對(duì)于CDC算法，數(shù)據(jù)塊大小的確定比較困難，粒度太細(xì)則開(kāi)銷(xiāo)太大，粒度過(guò)粗則效果不佳。

與備份文件不同，在鐵路設(shè)計(jì)過(guò)程管理系統(tǒng)中，作為生產(chǎn)的設(shè)計(jì)人員，把客戶(hù)端文件保存到服務(wù)器上，或是恢復(fù)、獲取指定版本的設(shè)計(jì)文件，雙向傳輸頻繁，且很快就要看成果，為避免影響生產(chǎn)效率，算法的性能更加重要。鐵路設(shè)計(jì)人員常用的CAD軟件，經(jīng)測(cè)試，與文本型文檔不同，修改變動(dòng)的部分多在文件后部，而且目前服務(wù)器端的存儲(chǔ)系統(tǒng)可以自動(dòng)數(shù)據(jù)去重。而且，有時(shí)還需要很多擴(kuò)展應(yīng)用如對(duì)每個(gè)分塊加密，考慮到效率的重要性，因而在鐵路過(guò)程管理系統(tǒng)的方案中采用了簡(jiǎn)單、性能高的定長(zhǎng)分塊算法，以提高客戶(hù)端快速響應(yīng)的用戶(hù)體驗(yàn)。如圖2。

圖2　定長(zhǎng)分塊方法

定長(zhǎng)分塊只是針對(duì)每個(gè)文件按照固定的大小對(duì)文件劃分，最后一個(gè)文件塊大小也并不等于固定值，而且每個(gè)文件的固定大小值也并非相等。因而是根據(jù)文件類(lèi)型和初始大小，動(dòng)態(tài)確定一個(gè)分割文件塊大小，將文件按照該大小將文件分成許多文件塊，每個(gè)文件塊可生成校驗(yàn)碼。每次計(jì)算文件差異時(shí)比較各文件塊校驗(yàn)碼即可快速比較出發(fā)生變化的文件塊。

鐵路設(shè)計(jì)院常規(guī)的設(shè)計(jì)文件并不很大，但也有文件很大的情況，如果文件塊大小比較小，在通常傳輸?shù)囊粋€(gè)緩沖區(qū)大小內(nèi)，建議直接上傳該文件塊即可。如果確定的文件塊仍然很大，可將新變化的文件塊與歷史文件塊做異或操作，相同部分為“0”，相同部分較多，會(huì)產(chǎn)生大量的“0”，通過(guò)簡(jiǎn)單地編碼壓縮“0”后生成這類(lèi)較大文件塊的文件差異，上傳該文件塊差異。針對(duì)整個(gè)文件設(shè)計(jì)一個(gè)索引表，描述該文件最新版本的所有文件塊信息，便于快速存取文件。

2.3差量傳輸?shù)募夹g(shù)實(shí)現(xiàn)要點(diǎn)

差量傳輸方案針對(duì)的是鐵路設(shè)計(jì)過(guò)程中頻繁存取的文件，減少傳輸量，提高系統(tǒng)性能，其主要功能是通過(guò)動(dòng)態(tài)比較、文件差異，動(dòng)態(tài)合并等技術(shù)，完成文件上傳和文件下載。

(1)文件差量上傳

圖3　差量上傳方法

如上圖左邊是一個(gè)大小為8，875，712 字節(jié)(8.46M)，占用空間為8，876，032 字節(jié)的TEST.DWG文件的二進(jìn)制字節(jié)流圖例。在設(shè)計(jì)人員修改以后，可能變成了中間的模樣，傳輸管理器將其中存在的差異取出來(lái)以后，將新的差異文件(圖中右邊)上傳到服務(wù)器進(jìn)行保存，并將其對(duì)應(yīng)關(guān)系存儲(chǔ)到服務(wù)器數(shù)據(jù)庫(kù)中。

(2)文件下載的差量合并處理。

如圖4在需要下載時(shí)，首先獲取該文件的各個(gè)字節(jié)流具體位置信息，然后根據(jù)文件信息取得對(duì)應(yīng)文件的具體位置對(duì)應(yīng)長(zhǎng)度的字節(jié)流數(shù)據(jù)，拼接到新的文件字節(jié)流中，然后將該字節(jié)流寫(xiě)到本地新建DWG文件中。

圖4　差量合并下載方法

3結(jié)束語(yǔ)

如圖5，該研究成果已應(yīng)用于中鐵第四勘察設(shè)計(jì)院集團(tuán)有限公司生產(chǎn)設(shè)計(jì)過(guò)程管理系統(tǒng)中，在鐵路設(shè)計(jì)過(guò)程管理系統(tǒng)中實(shí)現(xiàn)設(shè)計(jì)文件的差量傳輸，帶來(lái)了一些程序上的復(fù)雜性，服務(wù)器上存儲(chǔ)的文件不再完整，需要較繁瑣的分拆、合并算法，應(yīng)對(duì)各種文件應(yīng)用的處理，但對(duì)于鐵路大型設(shè)計(jì)院設(shè)計(jì)過(guò)程中大量的文件處理，通過(guò)傳輸量的減小，提高處理速度，節(jié)省存儲(chǔ)空間，差異傳輸?shù)男Ч敲黠@的。

圖5　鐵路過(guò)程管理系統(tǒng)傳輸管理界面

參考文獻(xiàn)

[1]呂瀛，劉杰，馬志柔，葉丹.一種云存儲(chǔ)服務(wù)客戶(hù)端增量同步算法.計(jì)算機(jī)系統(tǒng)應(yīng)用，2014，23(10)：152-157.

[2]敖莉，舒繼武，李明強(qiáng).重復(fù)數(shù)據(jù)刪除技術(shù).軟件學(xué)報(bào)，2010，21(5)：916-929.

[3]Tridgell A，Mackerras P.The Rsync algorithm.Tech.Rep.TR-CS-96-05，Australian National University，1997.

[4]Rasch D，Burns RC.In-place Rsync：File synchronization for mobile and wireless devices.USENIX Annual Technical Conference，F(xiàn)REENIX Track.2003.91-100.

Research and Application of Differential Archiving in Design Process Management System of Railway

Xu Yonghong

(InformationCenteroftheChinaRailwaySiyuanSurveyandDesignGroupCo.，Ltd.，Wuhan430063，China)

Abstract:This article analyzes the problems of centralized management of the design process files in the design process management system of railway.To avoid the influences of frequent graphic files transmission on efficiency in the management process of railway design，this article provides a solution for the centralized management of railway design drawings by dynamic comparison，automatic differential archiving and transmission.It explores the implementation method，which is proven feasible by practices.

Key Words：Design of Railway Exploration；Process Management；Differential Archive Transmission

【作者簡(jiǎn)介】許永宏(1970-)，男，碩士，高級(jí)工程師。研究方向?yàn)楣芾硇畔⑾到y(tǒng)、計(jì)算機(jī)輔助設(shè)計(jì)。

【中圖分類(lèi)號(hào)】

【文獻(xiàn)標(biāo)識(shí)碼】A

【文章編號(hào)】1674-7461(2016)03-0113-03