李林陽(yáng)，呂志平，陳正生，樊黎暉

（1.信息工程大學(xué) 地理空間信息學(xué)院，鄭州 450052；2.成都測(cè)繪信息中心，成都 610000）

1 引言

20世紀(jì)80年代，加拿大首先提出 “主動(dòng)控制系統(tǒng)”概念，并于1995年建成了第一個(gè)全球定位系統(tǒng)（global positioning system，GPS）連續(xù)運(yùn)行參考站網(wǎng)（continuous operating reference station system，CORS）。隨著差分技術(shù)、網(wǎng)絡(luò)實(shí)時(shí)動(dòng)態(tài)差分法（real－time kinematic，RTK）技術(shù)的出現(xiàn)與逐步普及以及計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)通信技術(shù)的飛速發(fā)展，CORS得到了不斷發(fā)展和壯大，世界上很多國(guó)家紛紛建成了國(guó)家級(jí)、區(qū)域級(jí)、城市級(jí)的CORS［1－4］。面對(duì)規(guī)模龐大的 CORS站網(wǎng)及其連續(xù)觀測(cè)，如何對(duì)CORS數(shù)據(jù)進(jìn)行高效地存儲(chǔ)、組織、管理與發(fā)布，提高處理和分發(fā)的效率，緩解海量數(shù)據(jù)與有限的計(jì)算、存儲(chǔ)能力的矛盾 成為一個(gè)迫切需要解決的問(wèn)題。

目前已建成的CORS數(shù)據(jù)管理系統(tǒng)大部分基于FTP文件格式存儲(chǔ)原始數(shù)據(jù)，如國(guó)際全球衛(wèi)星導(dǎo)航系統(tǒng)國(guó)際服務(wù)協(xié)會(huì)（international global navigation satellite system service，IGS）和中國(guó)大陸構(gòu)造環(huán)境監(jiān)測(cè)網(wǎng)絡(luò)簡(jiǎn)稱陸態(tài)網(wǎng)（crustal movement observation network of China，CMONOC），用戶通過(guò)FTP下載數(shù)據(jù)產(chǎn)品。這種管理模式技術(shù)成熟，但存在如下缺點(diǎn)：結(jié)構(gòu)簡(jiǎn)單，缺乏統(tǒng)一管理機(jī)制；信息安全性、完整性低，不具備并發(fā)控制與故障恢復(fù)的功能；實(shí)時(shí)性差，用戶不能實(shí)時(shí)地獲取數(shù)據(jù)。

2006年投入使用的北京全球定位綜合應(yīng)用服務(wù)系統(tǒng)（BGIAS）采用基于關(guān)系數(shù)據(jù)庫(kù)技術(shù)的實(shí)時(shí)數(shù)據(jù)存儲(chǔ)與應(yīng)用服務(wù)方案［6］。文獻(xiàn) ［7］在關(guān)系數(shù)據(jù)庫(kù)的基礎(chǔ)上，提出適用于實(shí)時(shí)服務(wù)的數(shù)據(jù)預(yù)處理結(jié)合Huffman編碼的壓縮方法和事后數(shù)據(jù)服務(wù)的Huffman和LZ77編碼結(jié)合的壓縮方法，實(shí)現(xiàn)了CORS數(shù)據(jù)的無(wú)損壓縮。該方式組織靈活，檢索管理方便；但其對(duì)服務(wù)器性能要求高，隨數(shù)據(jù)量的增加檢索速度降低，并發(fā)共享和抗災(zāi)容錯(cuò)能力較差。

綜上所述，以上三種存儲(chǔ)模型均采用集中式存儲(chǔ)，隨著CORS數(shù)據(jù)的幾何倍數(shù)增長(zhǎng)［1］以及單個(gè)節(jié)點(diǎn)硬件設(shè)備的限制［8］，這些方式在管理海量數(shù)據(jù)（Tbit甚至Pbit級(jí)）方面存在諸多限制［9］，集中存儲(chǔ)策略已不能滿足大規(guī)模存儲(chǔ)應(yīng)用的需要。大型CORS網(wǎng)具有基站數(shù)量多、觀測(cè)數(shù)據(jù)多、數(shù)據(jù)共享關(guān)系復(fù)雜的特點(diǎn)，基站與各數(shù)據(jù)中心相連，各數(shù)據(jù)中心又可互相通信，其本身就是一個(gè)天然的分布式系統(tǒng)［10］。本文對(duì)CORS站網(wǎng)的數(shù)據(jù)量進(jìn)行了分析，指出了集中式數(shù)據(jù)存儲(chǔ)管理海量CORS數(shù)據(jù)的問(wèn)題；研究了CORS數(shù)據(jù)云存儲(chǔ)模型，提出了CORS數(shù)據(jù)云存儲(chǔ)集群、組織和訪問(wèn)架構(gòu)；基于分布式數(shù)據(jù)處理平臺(tái)Hadoop，采用多臺(tái)存儲(chǔ)節(jié)點(diǎn)分擔(dān)存儲(chǔ)負(fù)荷，突破了CORS數(shù)據(jù)集中存儲(chǔ)方式不易擴(kuò)展、可靠性差等缺點(diǎn)，具有管理方便、組織靈活、高抗災(zāi)容錯(cuò)性、高擴(kuò)展性、高數(shù)據(jù)讀取性能，支持大吞吐量數(shù)據(jù)的并發(fā)訪問(wèn)，適于海量CORS數(shù)據(jù)的高性能應(yīng)用。

2 CORS數(shù)據(jù)量分析

CORS站每天主要采集的數(shù)據(jù)類型有三種：觀測(cè)數(shù)據(jù)文件、導(dǎo)航星歷文件和氣象文件。觀測(cè)數(shù)據(jù)文件主要包括低采樣率（15s30s 和高采樣率（1s）的數(shù)據(jù)。1s采樣率的數(shù)據(jù)量較大，受限于數(shù)據(jù)中心的存儲(chǔ)空間，一般存儲(chǔ)時(shí)間短，目前只存儲(chǔ)1a或2a，15s或30s采樣率數(shù)據(jù)永久存儲(chǔ)；星歷文件一般為幾十kbit，個(gè)別包含了格洛納斯衛(wèi)星導(dǎo)航系統(tǒng)（global navigation satellite system，GLONASS）星歷的文件較大，達(dá)到幾百kbit；氣象文件一般也為幾十kbit。CORS數(shù)據(jù)量估算如表1。

表1 一個(gè)CORS站的數(shù)據(jù)量估算（僅觀測(cè)GPS衛(wèi)星）

圖1 SOPAC的數(shù)據(jù)量統(tǒng)計(jì)

以IGS站為例，截止至2014年4月，全球共有495個(gè)IGS站，假定每個(gè)站點(diǎn)采集了高采樣率的數(shù)據(jù)，每站每年共接收7～14Gbit的衛(wèi)星數(shù)據(jù)，全網(wǎng)每年共產(chǎn)生3.4～6.8Tbit的數(shù)據(jù)量，再加上數(shù)據(jù)分析中心發(fā)布及提供的各項(xiàng)產(chǎn)品和服務(wù)，數(shù)據(jù)存儲(chǔ)服務(wù)器需要管理海量的數(shù)據(jù)和產(chǎn)品。斯克里普斯軌道和常駐陣列中心（scripps orbit and permanent array center，SOPAC）作為IGS數(shù)據(jù)操作中心之一，自1996年以來(lái)其存儲(chǔ)和管理的數(shù)據(jù)量如圖1所示。已建成的陸態(tài)網(wǎng)由260個(gè)連續(xù)觀測(cè)和2 000個(gè)不定期觀測(cè)站點(diǎn)構(gòu)成，單站單天30s采樣率的數(shù)據(jù)文件（d文件）大約為600kbit，2013全年30s采樣率的數(shù)據(jù)達(dá)到48Gbit。BGIAS每天觀測(cè)產(chǎn)生的數(shù)據(jù)量約為600Mbit，全年約為214Gbit。

隨著GPS現(xiàn)代化進(jìn)程加快、GLONASS系統(tǒng)恢復(fù)使用、伽利略衛(wèi)星導(dǎo)航系統(tǒng)（Galileo navigation satellite system，Galileo）和我國(guó)北斗衛(wèi)星導(dǎo)航系統(tǒng)（BeiDou navigation satellite systemBDS的投入使用，各個(gè)衛(wèi)星系統(tǒng)之間穩(wěn)步實(shí)現(xiàn)的兼容互操作為用戶提供了大量可用衛(wèi)星數(shù)，CORS站觀測(cè)數(shù)據(jù)量的大小將成倍增加。目前部分IGS站和全部陸態(tài)網(wǎng)參考站采集了GLONASS數(shù)據(jù)，每天接收的數(shù)據(jù)量至少增加了一倍。

面對(duì)海量CORS數(shù)據(jù)及發(fā)布的產(chǎn)品，集中式CORS數(shù)據(jù)存儲(chǔ)策略采用 “存儲(chǔ)服務(wù)器＋獨(dú)立磁盤冗余陣列（redundant array of independent disk，RAID）”的方式管理CORS數(shù)據(jù)和產(chǎn)品，受單節(jié)點(diǎn)服務(wù)器性能和網(wǎng)絡(luò)帶寬的限制，中心節(jié)點(diǎn)成為系統(tǒng)的瓶頸，系統(tǒng)的擴(kuò)展性、可靠性和抗災(zāi)容錯(cuò)性能不足，存在用戶訪問(wèn)延遲大、數(shù)據(jù)下載速率慢等問(wèn)題。

3 CORS數(shù)據(jù)云存儲(chǔ)模型架構(gòu)設(shè)計(jì)

3.1 CORS數(shù)據(jù)云存儲(chǔ)的定義及平臺(tái)架構(gòu)

CORS數(shù)據(jù)云存儲(chǔ)是指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將CORS系統(tǒng)中大量不同類型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作，共同對(duì)外提供CORS數(shù)據(jù)存儲(chǔ)、產(chǎn)品服務(wù)和用戶訪問(wèn)的系統(tǒng)。

CORS數(shù)據(jù)云儲(chǔ)存平臺(tái)架構(gòu)可以劃分為：CORS數(shù)據(jù)存儲(chǔ)層、系統(tǒng)基礎(chǔ)管理層、CORS應(yīng)用接口層、CORS用戶訪問(wèn)層，如圖2所示。

圖2 CORS數(shù)據(jù)云存儲(chǔ)平臺(tái)架構(gòu)

CORS數(shù)據(jù)存儲(chǔ)層是云存儲(chǔ)最基礎(chǔ)的部分。存儲(chǔ)設(shè)備為每個(gè)數(shù)據(jù)中心的硬件設(shè)備，每個(gè)數(shù)據(jù)中心構(gòu)成獨(dú)立的云存儲(chǔ)集群，分布在不同的地域，集群之間通過(guò)互聯(lián)網(wǎng)連接，進(jìn)行數(shù)據(jù)交換。統(tǒng)一的存儲(chǔ)設(shè)備管理層通過(guò)存儲(chǔ)虛擬化和集群管理技術(shù)，對(duì)存儲(chǔ)硬件資源進(jìn)行抽象化表現(xiàn)，實(shí)現(xiàn)數(shù)據(jù)和存儲(chǔ)設(shè)備的統(tǒng)一管理［［11－13］。

系統(tǒng)基礎(chǔ)管理層是云存儲(chǔ)最核心、最難實(shí)現(xiàn)的部分。通過(guò)集群系統(tǒng)、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù)，實(shí)現(xiàn)云存儲(chǔ)設(shè)備之間的協(xié)同工作，提供同一種服務(wù)和更強(qiáng)的數(shù)據(jù)訪問(wèn)性能［14］；內(nèi)容分發(fā)系統(tǒng)保證CORS數(shù)據(jù)不會(huì)被未授權(quán)的用戶所訪問(wèn)［15］；通過(guò)數(shù)據(jù)備份、加密、容災(zāi)技術(shù)可以提高CORS數(shù)據(jù)的可靠性。

CORS應(yīng)用接口層是云存儲(chǔ)最靈活多變的部分，它面向用戶的各種需求。根據(jù)CORS的建設(shè)、維護(hù)和升級(jí)及各類用戶的需求，開發(fā)不同的應(yīng)用服務(wù)類型，提供不同的應(yīng)用程序編程接口（application programming interface，API）及應(yīng)用軟件，采用不同的CORS數(shù)據(jù)傳輸協(xié)議。例如在差分?jǐn)?shù)據(jù)傳輸中，可采用國(guó)際海運(yùn)事業(yè)無(wú)線電技術(shù)委員會(huì)（radio technical commission for maritime services，RTCM）數(shù)據(jù)傳輸協(xié)議［16］（networked transport of RTCM via internet protocol，NTRIP）。

CORS用戶訪問(wèn)層包括各類通過(guò)授權(quán)的用戶，通過(guò)標(biāo)準(zhǔn)的公用接口接入CORS數(shù)據(jù)云存儲(chǔ)系統(tǒng)，進(jìn)行實(shí)時(shí)差分定位，下載數(shù)據(jù)和產(chǎn)品等，享受云存儲(chǔ)提供的服務(wù)。

3.2 CORS數(shù)據(jù)云存儲(chǔ)集群架構(gòu)

在云存儲(chǔ)和計(jì)算方面，Hadoop是一個(gè)可以對(duì)海量數(shù)據(jù)進(jìn)行分布式處理的軟件框架［17－18］，具有可靠、高效、可擴(kuò)展這三大特性，加上Hadoop開源免費(fèi)的特性，Hadoop技術(shù)迅猛發(fā)展。Hadoop采用主／從（Master／Slave）架構(gòu)，其重要組成部分是分布式文件系統(tǒng)（hadoop distributed file system，HDFS），一個(gè)HDFS由一個(gè)NameNode、一個(gè)Secondary NameNode和若干個(gè)DataNode這三個(gè)守護(hù)進(jìn)程組成。

基于HDFS的運(yùn)行體系，設(shè)計(jì)了CORS云存儲(chǔ)集群體系架構(gòu)，將一個(gè)CORS數(shù)據(jù)中心定義為一個(gè)集群，若有多個(gè)數(shù)據(jù)中心則建設(shè)多個(gè)集群。體系架構(gòu)如圖3所示。

1）數(shù)據(jù)中心的NameNode節(jié)點(diǎn)負(fù)責(zé)管理該數(shù)據(jù)中心的DataNode節(jié)點(diǎn)，并以 “文件路徑／CORS數(shù)據(jù)塊集合”的形式記錄集群內(nèi)CORS數(shù)據(jù)的存儲(chǔ)位置；

2）Secondary NameNode節(jié)點(diǎn)是輔助Name－Node節(jié)點(diǎn)，運(yùn)行在數(shù)據(jù)中心的一臺(tái)計(jì)算機(jī)上，與NameNode節(jié)點(diǎn)保持通信，按照一定時(shí)間間隔保持CORS云存儲(chǔ)集群元數(shù)據(jù)的快照，以備NameNode節(jié)點(diǎn)發(fā)生故障時(shí)進(jìn)行CORS數(shù)據(jù)恢復(fù)。

3）數(shù)據(jù)中心的其它硬件設(shè)備為DataNode節(jié)點(diǎn)，在本地文件系統(tǒng)中以數(shù)據(jù)塊的形式存儲(chǔ)CORS數(shù)據(jù)產(chǎn)品，響應(yīng)用戶對(duì)CORS數(shù)據(jù)塊和元數(shù)據(jù)的請(qǐng)求，周期性地向NameNode報(bào)告所存儲(chǔ)的CORS數(shù)據(jù)塊信息。

相比傳統(tǒng)的集中式CORS數(shù)據(jù)存儲(chǔ)，圖3所示的CORS數(shù)據(jù)云存儲(chǔ)架構(gòu)具有以下技術(shù)特點(diǎn)：

1）數(shù)據(jù)存儲(chǔ)在各數(shù)據(jù)中心的硬件設(shè)備中，各數(shù)據(jù)中心之間相互通信、獨(dú)立運(yùn)行、互相兼容，任何存儲(chǔ)單元均可作為存儲(chǔ)節(jié)點(diǎn)加入到CORS集群，大大提高了集群存儲(chǔ)和計(jì)算容量的擴(kuò)展性。

2）CORS數(shù)據(jù)流入、流出DataNode節(jié)點(diǎn)，對(duì)數(shù)據(jù)中心的服務(wù)器要求較低，不會(huì)成為系統(tǒng)的瓶頸。

3）采用機(jī)架感知［19］（rack awareness）的策略，NameNode節(jié)點(diǎn)可以確定每個(gè)DataNode節(jié)點(diǎn)所屬的機(jī)架ID，改進(jìn)了數(shù)據(jù)的可用性、可靠性和網(wǎng)絡(luò)帶寬的利用率；

4）集群?jiǎn)?dòng)時(shí)，自動(dòng)進(jìn)入安全模式，計(jì)算CORS數(shù)據(jù)塊數(shù)量、集群內(nèi)的可用節(jié)點(diǎn)數(shù)、可用存儲(chǔ)空間等，保證了CORS數(shù)據(jù)的完整性和可靠性。

5）集群運(yùn)行時(shí)，通過(guò)DataNode節(jié)點(diǎn)的塊報(bào)告（block report）和心跳檢測(cè)（heartbeat）機(jī)制，數(shù)據(jù)中心NameNode節(jié)點(diǎn)監(jiān)控各DataNode節(jié)點(diǎn)的運(yùn)行狀態(tài)、磁盤利用率、網(wǎng)絡(luò)帶寬等，均衡集群中各個(gè)計(jì)算機(jī)的存儲(chǔ)負(fù)載，優(yōu)化集群的運(yùn)行。

圖3 數(shù)據(jù)中心CORS數(shù)據(jù)云存儲(chǔ)邏輯框架

6）Secondary NameNode保持對(duì)CORS數(shù)據(jù)系統(tǒng)元數(shù)據(jù)的快照，在NameNode節(jié)點(diǎn)發(fā)生故障時(shí)進(jìn)行數(shù)據(jù)恢復(fù)，提高了系統(tǒng)的健壯性。

3.3 CORS數(shù)據(jù)云存儲(chǔ)組織架構(gòu)

數(shù)據(jù)中心發(fā)布的產(chǎn)品，建立products存儲(chǔ)目錄，再依據(jù)產(chǎn)品種類，如軌道和鐘差（預(yù)報(bào)、快速、精密）、對(duì)流層天頂延遲、電離層格網(wǎng)圖、地球自轉(zhuǎn)參數(shù)、參考站坐標(biāo)及速率等，分別建立子目錄。由于發(fā)布的產(chǎn)品種類較多、類型各異，各產(chǎn)品大小不一，最小的只有幾kbit，最大的達(dá)到數(shù)Gbit。Hadoop在存儲(chǔ)大文件方面，采取數(shù)據(jù)塊存儲(chǔ)的方式，將每個(gè)大文件分成若干個(gè)數(shù)據(jù)塊，存儲(chǔ)在不同的DataNode節(jié)點(diǎn)，數(shù)據(jù)塊的尺寸可以調(diào)整為默認(rèn)值128Mbit（Hadoop 2.0的默認(rèn)值）的整數(shù)倍；在小文件存儲(chǔ)方面，可以使用Archive工具、CombineFileInputFormat類、SequenceFile格式，分別將許多小文件歸為一個(gè)HAR文件、將多個(gè)文件打包到一個(gè)分片、利用key－value合并文件，降低了集群的存儲(chǔ)容量開銷和總數(shù)據(jù)中心的內(nèi)存開銷。

CORS站實(shí)時(shí)采集高采樣率數(shù)據(jù)文件，實(shí)時(shí)傳輸?shù)綌?shù)據(jù)中心，進(jìn)行質(zhì)量檢核并轉(zhuǎn)換為RINEX格式，數(shù)據(jù)中心的DataNode節(jié)點(diǎn)執(zhí)行數(shù)據(jù)寫入集群操作，即可實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)共享；CORS數(shù)據(jù)寫入的過(guò)程是即時(shí)、動(dòng)態(tài)的，滿足網(wǎng)絡(luò)RTK等實(shí)時(shí)定位技術(shù)的需求，同時(shí)實(shí)現(xiàn)了CORS數(shù)據(jù)的完全備份。CORS觀測(cè)數(shù)據(jù)的存儲(chǔ)目錄按年積日進(jìn)行排列，建立與觀測(cè)日期對(duì)應(yīng)的文件夾，存放觀測(cè)當(dāng)天所有CORS站的觀測(cè)數(shù)據(jù)。

當(dāng)數(shù)據(jù)副本數(shù)（dfs.replication）為3h（可設(shè)置為更大參數(shù)），部署策略是將第一個(gè)副本存放在本節(jié)點(diǎn)，第二個(gè)副本放在同一機(jī)架的另一個(gè)Data－Node節(jié)點(diǎn)，最后一個(gè)副本放在另一個(gè)機(jī)架的DataNode節(jié)點(diǎn)。數(shù)據(jù)文件1的3個(gè)副本的存放位置如上圖3所示。通過(guò)副本存放策略，集群具備了抗災(zāi)性和容錯(cuò)性；機(jī)架的錯(cuò)誤遠(yuǎn)比DataNode節(jié)點(diǎn)的錯(cuò)誤少，這個(gè)策略可以防止數(shù)據(jù)中心內(nèi)的整個(gè)機(jī)架因故障失效時(shí)，不會(huì)影響到CORS數(shù)據(jù)和產(chǎn)品的可靠、可用性。

利用Hadoop的分布式數(shù)據(jù)處理模塊MapReduce，可生成采樣率是1s整數(shù)倍的觀測(cè)數(shù)據(jù)文件。因此在年積日的目錄下，可建立1s、15s、30s采樣率的文件夾，授權(quán)用戶可以下載指定采樣率和指定時(shí)間段的觀測(cè)數(shù)據(jù)文件。生成30s采樣率數(shù)據(jù)文件的流程如下圖4，分為輸入分片（input splitmapreduce和輸出（output 四個(gè)步驟。分片是將RINEX觀測(cè)文件按照測(cè)站名和觀測(cè)日期劃分為數(shù)據(jù)塊；map函數(shù)對(duì)每一分片的數(shù)據(jù)逐行進(jìn)行過(guò)濾，轉(zhuǎn)換為由文件頭信息和觀測(cè)歷元的數(shù)據(jù)組成的鍵／值對(duì)；reduce函數(shù)根據(jù)指定的采樣率和采樣時(shí)間，變更文件頭信息，提取觀測(cè)歷元，排序后生成新的觀測(cè)數(shù)據(jù)文件。多個(gè)節(jié)點(diǎn)的map和reduce共同完成整個(gè)CORS網(wǎng)觀測(cè)數(shù)據(jù)的處理。

圖4 30s采樣率文件生成流程

3.4 CORS數(shù)據(jù)云存儲(chǔ)訪問(wèn)架構(gòu)

基于Hadoop的CORS數(shù)據(jù)云存儲(chǔ)技術(shù)為用戶提供了便捷的共享機(jī)制，通過(guò)訪問(wèn)NameNode節(jié)點(diǎn)的50070端口進(jìn)入分布式文件系統(tǒng)，可以查看集群的存儲(chǔ)容量、集群內(nèi)可用和失效節(jié)點(diǎn)數(shù)、集群運(yùn)行日志、集群配置和部署情況、CORS數(shù)據(jù)和產(chǎn)品總量、CORS數(shù)據(jù)文件位置等，在被授權(quán)之后，用戶可以下載CORS數(shù)據(jù)和產(chǎn)品，下載時(shí)通過(guò)檢驗(yàn)文件創(chuàng)建時(shí)的校驗(yàn)和提高了數(shù)據(jù)傳輸?shù)耐暾院涂煽啃浴?/p>

由于CORS數(shù)據(jù)分布地存儲(chǔ)在各個(gè)DataNode節(jié)點(diǎn)，Hadoop實(shí)現(xiàn)了樹形的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)［20］，通過(guò)網(wǎng)絡(luò)節(jié)點(diǎn)的規(guī)劃?rùn)C(jī)制，NameNode節(jié)點(diǎn)會(huì)根據(jù)存儲(chǔ)節(jié)點(diǎn)與用戶之間的 “距離”和網(wǎng)絡(luò)帶寬對(duì)多個(gè)DataNode進(jìn)行排序后返回給用戶，以便從最快的存儲(chǔ)節(jié)點(diǎn)讀取數(shù)據(jù)，減少CORS數(shù)據(jù)的傳輸時(shí)間。

為了支持在線用戶同時(shí)進(jìn)行的大吞吐量數(shù)據(jù)的并發(fā)訪問(wèn)（滿足較多網(wǎng)絡(luò)RTK用戶實(shí)時(shí)需求和支持大量用戶的并發(fā)數(shù)據(jù)下載），采用了支持并發(fā)常用的多服務(wù)隊(duì)列機(jī)制，包括：

1）NameNode服務(wù)隊(duì)列。用戶接受差分定位服務(wù)和下載CORS數(shù)據(jù)產(chǎn)品時(shí)，需要從NameNode節(jié)點(diǎn)獲取文件的元數(shù)據(jù)，根據(jù)系統(tǒng)訪問(wèn)量合理設(shè)置dfs.namenode.handler.count參數(shù)控制的線程數(shù)量，來(lái)響應(yīng)大量用戶的并發(fā)訪問(wèn)請(qǐng)求。

2）DataNode服務(wù)隊(duì)列。用戶在線服務(wù)以及數(shù)據(jù)的讀取均發(fā)生在各數(shù)據(jù)中心的DataNode節(jié)點(diǎn)，可以啟動(dòng)dfs.datanode.handler.count參數(shù)控制的線程數(shù)量，應(yīng)對(duì)CORS數(shù)據(jù)塊讀取操作。

3）用戶請(qǐng)求隊(duì)列等待。從1）和2）看，NameNode和DataNode都采用了服務(wù)隊(duì)列機(jī)制處理并發(fā)請(qǐng)求，當(dāng)用戶并發(fā)請(qǐng)求數(shù)超過(guò)總線程數(shù)時(shí)，請(qǐng)求會(huì)在隊(duì)列中等待。

通過(guò)合理配置以上3個(gè)服務(wù)隊(duì)列的數(shù)量，會(huì)有效提高CORS數(shù)據(jù)云存儲(chǔ)集群的服務(wù)效率。

4 實(shí)驗(yàn)分析

實(shí)驗(yàn)環(huán)境：虛擬機(jī)選擇VMware Workstation10.0.1build－1379776，操作系統(tǒng)選擇Ubuntu 13.10。實(shí)驗(yàn)搭建了Hadoop完全分布式集群，由一臺(tái)NameNode（同時(shí)作為Secondary NameNode）和三臺(tái)DataNode節(jié)點(diǎn)組成，IP地址設(shè)置如下：NameNode：192.168.100.129，DataNode1： 192.168.100.130，DataNode2： 192.168.100.131，DataNode3：192.168.100.141。以陸態(tài)網(wǎng)2013年的觀測(cè)數(shù)據(jù)為例，通過(guò)HDFS API建立了存儲(chǔ)目錄，將全年的觀測(cè)數(shù)據(jù)寫入到集群中。集群搭建情況如圖5所示。

圖5 實(shí)驗(yàn)搭建的云存儲(chǔ)集群

4.1 集群可靠安全性

在啟動(dòng)集群，首先啟動(dòng)NameNode節(jié)點(diǎn)，不啟動(dòng)任何DataNode節(jié)點(diǎn)，通過(guò)http訪問(wèn)192.168.100.129的50070端口，看到live node數(shù)為0，集群一開始會(huì)自動(dòng)進(jìn)入安全模式。

隨著DataNode節(jié)點(diǎn)的啟動(dòng)，當(dāng)NameNode監(jiān)測(cè)到足夠數(shù)量的數(shù)據(jù)塊，集群才會(huì)退出安全模式；本實(shí)驗(yàn)中三臺(tái)DataNode節(jié)點(diǎn)啟動(dòng)后，才退出安全模式。集群運(yùn)行過(guò)程中，每隔1h，DataNode都會(huì)向NameNode發(fā)送一個(gè)心跳報(bào)告和塊報(bào)告（對(duì)應(yīng)日志文件），包含了全部DataNode磁盤中所有CORS數(shù)據(jù)塊的信息，NameNode可以跟蹤監(jiān)測(cè)數(shù)據(jù)塊的變化。

4.2 集群抗災(zāi)容錯(cuò)性

為了測(cè)試在存儲(chǔ)節(jié)點(diǎn)失效的時(shí)，CORS數(shù)據(jù)的完整性，在設(shè)置副本數(shù)為2的前提下，關(guān)閉某一存儲(chǔ)節(jié)點(diǎn)。如圖6的最下端所示，中國(guó)周邊IGS站.txt存儲(chǔ)在DataNode1和DataNode2節(jié)點(diǎn)。將DataNode2節(jié)點(diǎn)關(guān)閉，如圖7所示，中國(guó)周邊IGS站.txt存儲(chǔ)在DataNode1和DataNode3節(jié)點(diǎn)中。在關(guān)閉DataNode2節(jié)點(diǎn)的整個(gè)過(guò)程中，集群正常運(yùn)行，并未受到DataNode2節(jié)點(diǎn)失效的影響。

圖6 DataNode2節(jié)點(diǎn)關(guān)閉前文件存儲(chǔ)位置

圖7 DataNode2節(jié)點(diǎn)關(guān)閉后文件存儲(chǔ)位置

4.3 集群擴(kuò)展性

隨CORS數(shù)據(jù)量的增長(zhǎng)，需要對(duì)集群的存儲(chǔ)容量和計(jì)算能力進(jìn)行擴(kuò)充，如圖8所示，只需四個(gè)步驟即可實(shí)現(xiàn)集群擴(kuò)容。

圖8 集群擴(kuò)容示意圖

同時(shí)，Ambari作為Hadoop的集群部署與監(jiān)控集成工具，最多可在1h內(nèi)安裝1 000個(gè)節(jié)點(diǎn)的存儲(chǔ)集群，全部操作采用界面呈現(xiàn)的形式，易于操作，可迅速實(shí)現(xiàn)展集群的擴(kuò)展。

4.4 下載速率

將陸態(tài)網(wǎng)2013年前8d的觀測(cè)數(shù)據(jù)文件（d文件）合并，壓縮后大小約為1Gbit，前16d約為2Gbit，前32d約為4Gbit。分別測(cè)試了云存儲(chǔ)集群的下載時(shí)間和VSFTP（Ubuntu系統(tǒng)下的FTP軟件）的下載時(shí)間，下載時(shí)間取五次下載的平均值，如下圖9所示，橫軸為數(shù)據(jù)文件大小，縱軸為下載時(shí)間。

圖9 FTP和HDFS的下載時(shí)間比對(duì)

從上圖可以看出，較FTP下載方式，采用支持并發(fā)常用的多服務(wù)隊(duì)列機(jī)制的云存儲(chǔ)下載機(jī)制更快，更節(jié)約時(shí)間。

隨CORS數(shù)據(jù)集群規(guī)模的擴(kuò)大，當(dāng)存在大量用戶進(jìn)行并發(fā)訪問(wèn)請(qǐng)求時(shí)，由于云存儲(chǔ)突破了單節(jié)點(diǎn)訪問(wèn)下載的限制，可以實(shí)現(xiàn)網(wǎng)絡(luò)帶寬的最優(yōu)化利用，從而用戶的訪問(wèn)延遲更小，可從最快的存儲(chǔ)節(jié)點(diǎn)獲取CORS數(shù)據(jù)和產(chǎn)品。

5 結(jié)束語(yǔ)

隨著國(guó)家、區(qū)域、行業(yè)型CORS的建成及連續(xù)觀測(cè)，CORS數(shù)據(jù)規(guī)模迅速增長(zhǎng)，本文對(duì)CORS站網(wǎng)的數(shù)據(jù)量進(jìn)行了分析，針對(duì)當(dāng)前CORS數(shù)據(jù)管理系統(tǒng)普遍采用的集中管理策略，指出了其存在的問(wèn)題；提出了CORS數(shù)據(jù)云存儲(chǔ)，設(shè)計(jì)了CORS數(shù)據(jù)云存儲(chǔ)集群、組織和訪問(wèn)架構(gòu)；可將已建成的各個(gè)參考站、數(shù)據(jù)中心納入到云存儲(chǔ)集群中。在虛擬機(jī)環(huán)境下搭建了Hadoop集群，分析了CORS數(shù)據(jù)云存儲(chǔ)的可靠性、抗災(zāi)容錯(cuò)性、擴(kuò)展性和下載速率。CORS數(shù)據(jù)云存儲(chǔ)突破了傳統(tǒng)集中式數(shù)據(jù)存儲(chǔ)技術(shù)的局限，可提高CORS數(shù)據(jù)產(chǎn)品組織、管理和發(fā)布的效率和可靠性。云存儲(chǔ)為CORS數(shù)據(jù)分布式計(jì)算提供了源數(shù)據(jù)基礎(chǔ)和保障，為用戶在線解算提供了基礎(chǔ)平臺(tái)。

［1］ 黃俊華，陳文森.連續(xù)運(yùn)行衛(wèi)星定位綜合服務(wù)系統(tǒng)建設(shè)與應(yīng)用［M］.北京：科學(xué)出版社，2009：51－85.

［2］ 劉經(jīng)南，劉暉.建立我國(guó)衛(wèi)星定位連續(xù)運(yùn)行參考站網(wǎng)的若干思考［J］.武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2003，28（特刊）：27－31.

［3］ 陳俊勇.構(gòu)建全球?qū)Ш叫l(wèi)星中國(guó)國(guó)家級(jí)連續(xù)運(yùn)行站網(wǎng)［J］.測(cè)繪通報(bào)，2009（9）：6－8.

［4］ 陳俊勇，張鵬，武軍酈，等.關(guān)于在中國(guó)構(gòu)建全球?qū)Ш叫l(wèi)星國(guó)家級(jí)連續(xù)運(yùn)行站系統(tǒng)的思考［J］.測(cè)繪學(xué)報(bào)，2007，36（4）：16－19.

［5］ 崔陽(yáng)，呂志平，陳正生.Web Services分布式計(jì)算在大規(guī)模網(wǎng)平差中的應(yīng)用［J］.大地測(cè)量與地球動(dòng)力學(xué)，2013，33（2）：136－139.

［6］ 譚志彬，戴連君，過(guò)靜珺，等.GPS連續(xù)運(yùn)行參考站網(wǎng)數(shù)據(jù)存儲(chǔ)［J］.測(cè)繪通報(bào)，2003（11）：8－10.

［7］ 徐冬晨.基于CORS系統(tǒng)的數(shù)據(jù)存儲(chǔ)的研究［D］.南京：東南大學(xué)，2010：5－6.

［8］ 崔陽(yáng)，呂志平，陳正生，等.多核環(huán)境下的 GNSS網(wǎng)平差數(shù)據(jù)并行處理研究［J］.測(cè)繪學(xué)報(bào)，2013，42（5）：661－667.

［9］ 岳利群.基于分布式存儲(chǔ)的虛擬地理環(huán)境關(guān)鍵技術(shù)研究［D］.鄭州：解放軍信息工程大學(xué)，2011：106－112.

［10］ 呂志平，陳正生，崔陽(yáng).大型CORS網(wǎng)基線向量的分布式處理［J］.測(cè)繪科學(xué)技術(shù)學(xué)報(bào)，2013，30（4）：109－114.

［11］ 劉琨，李愛(ài)菊，董龍江.基于 Hadoop的云存儲(chǔ)的研究及實(shí)現(xiàn)［J］.微計(jì)算機(jī)信息，2011，27（7）：228－229.

［12］ 張龍立.云存儲(chǔ)技術(shù)探討［J］.電信科學(xué)，2010（增刊）：77－80.

［13］ 周可，王樺，李春花.云存儲(chǔ)技術(shù)及其應(yīng)用［J］.中興通訊技術(shù)，2010，16（4）：29－32.

［14］ 晏強(qiáng)，張曉峰，丁蕊.云存儲(chǔ)技術(shù)研究［J］.計(jì)算機(jī)信息技術(shù)，2011（12）：26－28.

［15］ 唐箭.云存儲(chǔ)系統(tǒng)的分析與應(yīng)用研究［J］.電腦知識(shí)與技術(shù)，2009，5（20）：13－14.

［16］ 祁芳，林鴻.Ntrip協(xié)議在 CORS系統(tǒng)中的應(yīng)用［J］.城市測(cè)繪，2008（1）：85－88.

［17］ DEAN J，GHEMAWAT S.Mapreduce：Simplified Data Processing on Large Clusters［EB／OL］.［2014－02－18］.http：／／static.googleusercontent.com／media／research.google.com／zh－CN／／archive／mapreduce－osdi04.pdf.

［18］ GHEMAWAT S，GOBIOFF H，LEUNG S T.The Google File System［EB／OL］.［2014－02－18］.http：／／static.googleusercontent.com／media／research.google.com／zh－CN／／archive／mapreduce－osdi04.pdf.

［19］ 劉敏，麥耀峰，李冀蕾.Hadoop技術(shù)內(nèi)幕［M］.北京：人民郵電出版社，2013：19－28.

［20］ 徐文強(qiáng).基于HDFS的云存儲(chǔ)系統(tǒng)研究－分布式架構(gòu)REPERA設(shè)計(jì)與實(shí)現(xiàn)［D］.上海：上海交通大學(xué)，2011：13－17.