卞曉豐

（國家氣象信息中心 北京 100081）

0 前言

日常的信息系統(tǒng)應(yīng)用背后，實(shí)際就是數(shù)據(jù)的生產(chǎn)、傳遞和使用的過程，數(shù)據(jù)已經(jīng)成為系統(tǒng)建設(shè)的重要組成部分和信息化過程中的重要資源。全局范圍來看，應(yīng)用系統(tǒng)不再只是關(guān)注內(nèi)部數(shù)據(jù)，而是開始著眼于部門之間的大量數(shù)據(jù)交換和共享?，F(xiàn)實(shí)情況是部門間信息系統(tǒng)相互獨(dú)立，體系結(jié)構(gòu)、生產(chǎn)廠商、架構(gòu)設(shè)計(jì)等都可能存在著差異，而且難以統(tǒng)一。各信息系統(tǒng)上不同計(jì)算模型導(dǎo)致各自的數(shù)據(jù)和文件也存在著差異，這給數(shù)據(jù)交換和共享帶來了很大的困難。

為了保證數(shù)據(jù)安全準(zhǔn)確的到達(dá)，最簡單的方式是搭建專線進(jìn)行點(diǎn)對點(diǎn)的數(shù)據(jù)傳輸。但是，當(dāng)多個系統(tǒng)之間要進(jìn)行數(shù)據(jù)交換，如果任意兩個系統(tǒng)之間都是點(diǎn)對點(diǎn)的數(shù)據(jù)傳輸話，雖然簡單方便，但成本和效率都難以得到保證。同時，在面對異常龐大的數(shù)據(jù)資源時，隨著數(shù)據(jù)規(guī)模的不斷擴(kuò)大，特別是大規(guī)模小文件的數(shù)據(jù)應(yīng)用，對數(shù)據(jù)傳輸?shù)囊笥惺窍喈?dāng)高的。傳統(tǒng)的數(shù)據(jù)傳輸和管理方法已接近其能力極限，甚至已經(jīng)不能滿足需求。因此，迫切需要引進(jìn)先進(jìn)的技術(shù)和方法，將數(shù)據(jù)傳輸需要從簡單靜態(tài)管理向智能動態(tài)管理轉(zhuǎn)變。采用LDM（Local Data Manager）[1]進(jìn)行數(shù)據(jù)傳輸，通過一系列的配置項(xiàng)設(shè)定，可以解決復(fù)雜情況下的數(shù)據(jù)采集、獲取、管理及分發(fā)等方面的問題，從而較好地實(shí)現(xiàn)系統(tǒng)之間的數(shù)據(jù)傳輸。

1 LDM架構(gòu)

本質(zhì)上，LDM是一種點(diǎn)對點(diǎn)的傳輸軟件。產(chǎn)品隊(duì)列是LDM的核心，服務(wù)進(jìn)程是每個LDM部署的總體控制和調(diào)度的核心。當(dāng)與其他LDM部署之間進(jìn)行通信時，通過LDM的事件觸發(fā)機(jī)制來控制本地文件的傳輸和存儲的操作。底層的遠(yuǎn)程過程調(diào)用機(jī)制決定了各LDM部署之間是一種服務(wù)器/客戶端結(jié)構(gòu)。不同的是，LDM既可以是服務(wù)器端，也可以同時是客戶端。數(shù)據(jù)發(fā)送和接收的功能分別通過服務(wù)進(jìn)程的子進(jìn)程實(shí)現(xiàn)（圖1）。一般來說，數(shù)據(jù)發(fā)送進(jìn)程將數(shù)據(jù)從產(chǎn)品隊(duì)列中讀出，然后將數(shù)據(jù)或者元數(shù)據(jù)傳給下游系統(tǒng)。

2 LDM的產(chǎn)品隊(duì)列

產(chǎn)品隊(duì)列是LDM的核心，以文件形式存在，用于傳輸數(shù)據(jù)緩存的特殊存儲。從上游接收到的數(shù)據(jù)、推送和處理的數(shù)據(jù)、發(fā)往下游的數(shù)據(jù)都將在這暫時存放。在進(jìn)入傳輸通道之前，數(shù)據(jù)會被LDM包裝成為數(shù)據(jù)產(chǎn)品插入產(chǎn)品隊(duì)列。數(shù)據(jù)產(chǎn)品增加了數(shù)據(jù)的產(chǎn)品標(biāo)識符、數(shù)據(jù)的來源類型、用于MD5校驗(yàn)的16位數(shù)字簽名、數(shù)據(jù)的進(jìn)入產(chǎn)品隊(duì)列時間戳等附加信息。其中，對于數(shù)據(jù)產(chǎn)品的管理而言，最重要的信息就是數(shù)據(jù)進(jìn)入產(chǎn)品隊(duì)列的時間戳，當(dāng)空間不足時，時間戳最久的數(shù)據(jù)就會被刪除。數(shù)字簽名用于保證數(shù)據(jù)的安全性和唯一性，產(chǎn)品隊(duì)列會記錄下所管理的數(shù)據(jù)產(chǎn)品的16位數(shù)字簽名，當(dāng)數(shù)據(jù)進(jìn)入產(chǎn)品隊(duì)列的時候，它的數(shù)字簽名將會與已在隊(duì)列中的數(shù)據(jù)產(chǎn)品的簽名比對。如果相同，數(shù)據(jù)就被拋棄；否則，就插入到產(chǎn)品隊(duì)列中。

圖1 LDM服務(wù)器組成結(jié)構(gòu)

為了實(shí)現(xiàn)數(shù)據(jù)產(chǎn)品的存儲，產(chǎn)品隊(duì)列被劃分成若干塊來使用，共分為三種：在用、空閑、未用。一個穩(wěn)定的產(chǎn)品隊(duì)列中有大量的在用塊，少量的空閑塊，而未用塊的數(shù)量可多可少。為新的數(shù)據(jù)產(chǎn)品分配空間時，如果空閑塊中有大小合適的，將多余的空間切割掉后使用；否則，釋放時間戳最久的數(shù)據(jù)產(chǎn)品，直到有合適大小的塊為止。空閑塊重新進(jìn)入分配列表時，總是看是否可以和鄰近的區(qū)域合并。這種管理機(jī)制包含了申請、分配和回收，使產(chǎn)品隊(duì)列能夠被高效地使用。

為了方便塊的管理，其組織結(jié)構(gòu)采用是一種叫做跳表[2]的數(shù)據(jù)結(jié)構(gòu)。跳表是一種基于概率的平衡樹的替代實(shí)現(xiàn)方法，無論數(shù)據(jù)以什么順序輸入，即使是完全遞增，它也可以保持很高的查找效率而不需要任何重構(gòu)，而且跳表的實(shí)現(xiàn)也比平衡二叉樹簡單。

3 LDM的事件驅(qū)動傳輸機(jī)制

遠(yuǎn)程過程調(diào)用是一種通過網(wǎng)絡(luò)從遠(yuǎn)程計(jì)算機(jī)程序上請求服務(wù)，而不需要了解底層網(wǎng)絡(luò)技術(shù)的協(xié)議。遠(yuǎn)程過程調(diào)用假定某傳輸協(xié)議（如TCP，UDP）存在，通信程序之間使用該傳輸協(xié)議交換信息數(shù)據(jù)。遠(yuǎn)程過程調(diào)用使得網(wǎng)絡(luò)分布式程序的開發(fā)更加容易，LDM的通信方式就是以此為基礎(chǔ)，實(shí)現(xiàn)了系統(tǒng)之間的控制信息的傳遞。

一個遠(yuǎn)程過程是有三個要素來唯一確定的：程序號、版本號和過程號。程序號是用來區(qū)別一組相關(guān)的并且具有唯一過程號的遠(yuǎn)程過程。一個程序可以有一個或幾個不同的版本，而每個版本的程序都包含一系列能被遠(yuǎn)程調(diào)用的過程，通過版本的引入，使得不同版本下的遠(yuǎn)程過程調(diào)用能同時提供服務(wù)。每個版本都包含有許多可供遠(yuǎn)程調(diào)用的過程，每個過程則有其唯一標(biāo)示的過程號。LDM的程序號為300029，使用388端口。

LDM中定義的常用的遠(yuǎn)程過程調(diào)用消息有：

（1）FEEDME：下游LDM向上游LDM請求數(shù)據(jù)產(chǎn)品時發(fā)送，消息中包含最大HEREIS大小的信息。

（2）NOTIFYME：下游LDM向上游LDM請求數(shù)據(jù)產(chǎn)品元數(shù)據(jù)時發(fā)送 。

（3）NOTIFICATION：上游LDM回應(yīng)NOTIFYME消息，向下游LDM發(fā)送數(shù)據(jù)產(chǎn)品元數(shù)據(jù)時用。

（4）HEREIS：上游LDM回應(yīng)FEEDME消息，向下游LDM發(fā)送數(shù)據(jù)產(chǎn)品時用。

（5）COMINGSOON：由上游LDM向它的下游LDM發(fā)送。當(dāng)數(shù)據(jù)產(chǎn)品大小大于最大HEREIS大小時，詢問下游LDM是否接收相應(yīng)的數(shù)據(jù)，如果是，則發(fā)出后續(xù)的BLKDATA消息 。

（6）BLKDATA：由上游LDM向下游LDM發(fā)送，傳送之前元數(shù)據(jù)已經(jīng)包含COMINGSOON消息中的數(shù)據(jù)產(chǎn)品。

（7）HIYA：由上游LDM向下游LDM發(fā)送。指定數(shù)據(jù)產(chǎn)品選擇規(guī)范。

（8）IS_ALIVE：由下游LDM向上游LDM發(fā)送。下游LDM在60秒未接收到任何消息時發(fā)送，確認(rèn)上游LDM是否還存活。

當(dāng)數(shù)據(jù)進(jìn)入LDM之后，并不是直接發(fā)往接收方，而是通過一系列的遠(yuǎn)程過程調(diào)用控制信息的交換，根據(jù)數(shù)據(jù)的來源類型判斷數(shù)據(jù)的流向。這增加了安全性，減少了傳輸過程中的數(shù)據(jù)管理，高效地實(shí)現(xiàn)了數(shù)據(jù)產(chǎn)品的傳送。另外，和傳統(tǒng)的FTP傳輸方式不同，LDM之間的連接不采用用戶名和密碼方式。通常是由下游發(fā)起申請，得到上游LDM的同意之后，兩者之間才能夠進(jìn)行數(shù)據(jù)傳輸。除此之外，無需繁瑣的人工操作，通過一系列的配置項(xiàng)，LDM就能夠?qū)?shù)據(jù)種類、數(shù)據(jù)的發(fā)送和接收進(jìn)行細(xì)粒度的定制。

通過對上下游關(guān)系以及數(shù)據(jù)特征的配置，LDM不僅能夠處理不同來源的數(shù)據(jù)，還可以讓使用者根據(jù)自己的需求選擇的接收的數(shù)據(jù)。通過鎖機(jī)制來實(shí)現(xiàn)對產(chǎn)品隊(duì)列的競爭訪問，支持多個進(jìn)程對同一個數(shù)據(jù)產(chǎn)品的讀操作，LDM支持多數(shù)據(jù)流傳輸?shù)幕A(chǔ)正在于此。在跨越多個不同的系統(tǒng)或網(wǎng)絡(luò)進(jìn)行多點(diǎn)數(shù)據(jù)交換傳輸中， LDM可以通過配置實(shí)現(xiàn)一對多，或多點(diǎn)連續(xù)中繼等數(shù)據(jù)分發(fā)。另外，LDM還支持集群方式部署，通過負(fù)載均衡避免數(shù)據(jù)接收超出單臺服務(wù)器能力的情況的出現(xiàn)。

4 總結(jié)

隨著數(shù)據(jù)的重要性不斷提高，安全的數(shù)據(jù)交換和共享已經(jīng)成為信息系統(tǒng)建設(shè)中不可忽視的內(nèi)容。與FTP等傳統(tǒng)的傳輸方式不同，LDM是一款可為應(yīng)用定制的數(shù)據(jù)傳輸軟件，經(jīng)過多年發(fā)展已經(jīng)比較成熟了。通過上下游之間的相互認(rèn)證以及事件觸發(fā)機(jī)制，LDM可以在復(fù)雜的網(wǎng)絡(luò)環(huán)境下實(shí)現(xiàn)安全的數(shù)據(jù)傳輸；在跨越多個不同的系統(tǒng)或網(wǎng)絡(luò)進(jìn)行多點(diǎn)數(shù)據(jù)交換傳輸時，LDM可以通過不同的配置實(shí)現(xiàn)一對多，或多點(diǎn)連續(xù)中繼等數(shù)據(jù)分發(fā)。LDM以并發(fā)多數(shù)據(jù)流的方式傳輸數(shù)據(jù)，尤其在交換大量小文件的情況下，為數(shù)據(jù)傳輸提供較高性能。通過數(shù)字簽名校驗(yàn)，LDM不僅保證傳輸數(shù)據(jù)的安全，而且解決了數(shù)據(jù)正確性的問題。

[1] Unidata，Local Data Manager.[EB/OL]. http://www.unidata.ucar.edu/software/ldm/.

[2] Pugh W.Skip lists: a probabilistic alternative to balanced trees[J].Communications of the ACM, 1990, 33（6）: 668-676.