楊國(guó)慶,岳東杰,陳浩,尹斌權(quán)

(河海大學(xué) 地球科學(xué)與工程學(xué)院,江蘇 南京 211100)

基于Hadoop的GNSS網(wǎng)基線向量的分布式處理

楊國(guó)慶,岳東杰,陳浩,尹斌權(quán)

(河海大學(xué) 地球科學(xué)與工程學(xué)院,江蘇 南京 211100)

對(duì)于海量的GNSS觀測(cè)數(shù)據(jù),常規(guī)的集中式數(shù)據(jù)處理方法面臨著計(jì)算效率低的問(wèn)題,利用Hadoop平臺(tái)技術(shù)分布式解算基線的方法可以有效地解決這一問(wèn)題。通過(guò)劃分子網(wǎng),調(diào)用GAMIT軟件并行解算基線,63個(gè)IGS站計(jì)算結(jié)果表明,3個(gè)計(jì)算節(jié)點(diǎn)的加速比達(dá)到了6.67,平差得到的坐標(biāo)點(diǎn)精度在毫米量級(jí)。

Hadoop;分布式計(jì)算;基線解算;全球衛(wèi)星導(dǎo)航系統(tǒng)

0 引 言

隨著越來(lái)越多的連續(xù)運(yùn)行基準(zhǔn)站(CORS)的建立,全球衛(wèi)星導(dǎo)航系統(tǒng)GNSS(Global Navigation Satellite System)觀測(cè)的數(shù)據(jù)量越來(lái)越大,這對(duì)數(shù)據(jù)的存儲(chǔ)以及計(jì)算帶來(lái)了很大的挑戰(zhàn)。近年來(lái),網(wǎng)絡(luò)技術(shù)也在不斷的發(fā)展進(jìn)步,網(wǎng)格計(jì)算、云計(jì)算等分布式計(jì)算在海量數(shù)據(jù)的存儲(chǔ)、檢索以及計(jì)算中得到了廣泛的應(yīng)用[1]。如今Hadoop被一些大型互聯(lián)網(wǎng)公司應(yīng)用,比如Google、雅虎等,這些企業(yè)利用Hadoop開(kāi)發(fā)了開(kāi)源的大數(shù)據(jù)管理系統(tǒng),展現(xiàn)了Hadoop在處理大數(shù)據(jù)時(shí)的巨大潛力,很多企業(yè)決定引入Hadoop解決面臨的大數(shù)據(jù)難題[2]。本文將Hadoop平臺(tái)技術(shù)引入到GNSS網(wǎng)的基線解算當(dāng)中,對(duì)預(yù)處理后的觀測(cè)文件進(jìn)行分布式存儲(chǔ)與計(jì)算,通過(guò)算例驗(yàn)證了利用子網(wǎng)劃分策略和Hadoop技術(shù)分布式解算GNSS網(wǎng)基線向量的效率。

1 Hadoop平臺(tái)技術(shù)

Hadoop作為一個(gè)大數(shù)據(jù)的分布式處理平臺(tái),其特點(diǎn)是非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、聚集、提取和過(guò)濾[3]。Hadoop平臺(tái)提供了一組穩(wěn)定可靠的接口以及數(shù)據(jù)服務(wù),實(shí)現(xiàn)了MapReduce算法,能夠把文本分成許多個(gè)可以重復(fù)執(zhí)行的小單元。Hadoop平臺(tái)可以利用分布式處理系統(tǒng)進(jìn)行數(shù)據(jù)的存儲(chǔ),并且可以保持對(duì)數(shù)據(jù)擁有很高的吞吐率,同時(shí)該平臺(tái)還可以自動(dòng)地處理失敗節(jié)點(diǎn)[4]。

Hadoop最核心的模塊為用來(lái)存儲(chǔ)節(jié)點(diǎn)文件的分布式文件系統(tǒng)HDFS(Hadoop Distributed File System)和用來(lái)計(jì)算大規(guī)模數(shù)據(jù)集群的MapReduce。HDFS能夠以較高的傳輸率對(duì)大量的數(shù)據(jù)進(jìn)行訪問(wèn),并且能夠以流的方式對(duì)文本數(shù)據(jù)進(jìn)行訪問(wèn);MapReduce可以分解數(shù)據(jù),在數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)上對(duì)大量數(shù)據(jù)進(jìn)行分析處理。

本文利用HDFS技術(shù)對(duì)預(yù)處理后GNSS觀測(cè)數(shù)據(jù)進(jìn)行分布式存儲(chǔ)和傳輸。HDFS集群包含了一個(gè)Namenode和多個(gè)Datanode[5]。NameNode負(fù)責(zé)管理整個(gè)文件系統(tǒng)的元數(shù)據(jù),維護(hù)文件系統(tǒng)的目錄樹(shù),包括每個(gè)測(cè)站的名稱(chēng),對(duì)應(yīng)的觀測(cè)文件的存儲(chǔ)位置。DataNode 負(fù)責(zé)管理觀測(cè)文件數(shù)據(jù)塊,一個(gè)觀測(cè)文件會(huì)按照固定的大小(Blocksize一般為128 M)切成若干塊后分布式存儲(chǔ)在若干臺(tái)Datanode上,每一個(gè)文件塊可以有多個(gè)副本(默認(rèn)為3個(gè)),并存放在不同的Datanode上。通過(guò)自己開(kāi)發(fā)的客戶端向HDFS中寫(xiě)入或者讀取觀測(cè)數(shù)據(jù)文件。Datanode會(huì)定期向Namenode匯報(bào)自身所保存的文件Block信息,而Namenode則會(huì)負(fù)責(zé)保持文件的副本數(shù)量。HDFS的內(nèi)部工作機(jī)制對(duì)客戶端保持透明,客戶端請(qǐng)求訪問(wèn)HDFS都是通過(guò)向Namenode申請(qǐng)來(lái)進(jìn)行。圖1是基于HDFS的觀測(cè)數(shù)據(jù)分布式文件系統(tǒng)體系結(jié)構(gòu)圖。

圖1 基于HDFS的觀測(cè)數(shù)據(jù)分布式文件系統(tǒng)結(jié)構(gòu)

MapReduce是一個(gè)分布式運(yùn)算程序的編程框架,是用戶開(kāi)發(fā)“基于Hadoop的數(shù)據(jù)分析應(yīng)用”的核心框架。MapReduce核心功能是將用戶編寫(xiě)的業(yè)務(wù)邏輯代碼和自帶默認(rèn)組件整合成一個(gè)完整的分布式運(yùn)算程序,并發(fā)運(yùn)行在一個(gè)Hadoop集群上。一個(gè)完整的MapReduce程序在分布式運(yùn)行時(shí)有三類(lèi)實(shí)例進(jìn)程:MRAppMaster負(fù)責(zé)整個(gè)程序的過(guò)程調(diào)度及狀態(tài)協(xié)調(diào);MapTask負(fù)責(zé)map階段的整個(gè)數(shù)據(jù)處理流程;ReduceTask負(fù)責(zé)reduce階段的整個(gè)數(shù)據(jù)處理流程。本文在map函數(shù)中通過(guò)調(diào)用GAMIT軟件的批處理命令對(duì)基線進(jìn)行解算。

2 基于Hadoop平臺(tái)的基線解算過(guò)程

在進(jìn)行Hadoop集群使用的時(shí)候,必須在獨(dú)立節(jié)點(diǎn)以及數(shù)據(jù)“可分”的情況下才能夠利用其進(jìn)行

數(shù)據(jù)的處理[6]。針對(duì)GNSS大網(wǎng),可以使用劃分子網(wǎng)再綜合處理的方法,能夠提高計(jì)算效率,其處理時(shí)間優(yōu)于整體解算,并且解算精度也與直接整體解算在一個(gè)量級(jí)上,可以滿足大規(guī)模GNSS基準(zhǔn)站網(wǎng)數(shù)據(jù)處理的要求[7]。本文在使用2個(gè)和3個(gè)計(jì)算節(jié)點(diǎn)的時(shí)候采取了劃分子網(wǎng)的策略,各個(gè)子網(wǎng)間有4個(gè)重復(fù)的站點(diǎn),以便后續(xù)對(duì)平差后的坐標(biāo)結(jié)果進(jìn)行檢驗(yàn)。

根據(jù)劃分的子網(wǎng)建立多個(gè)索引文件,文件名為子網(wǎng)編號(hào),文件內(nèi)容為測(cè)站點(diǎn)名,各個(gè)點(diǎn)名空格隔開(kāi),方便map函數(shù)對(duì)文件內(nèi)容進(jìn)行操作;利用自己編寫(xiě)的客戶端代碼上傳預(yù)處理后的觀測(cè)文件、精密星歷文件、廣播星歷文件和索引文件至HDFS集群。在map函數(shù)中,通過(guò)本地文件系統(tǒng)的應(yīng)用程序編程接口(API),在本地建立GAMIT軟件運(yùn)行需要的工程文件目錄;map函數(shù)經(jīng)解析索引文件得到該子網(wǎng)的所有測(cè)站名,利用HDFS的API從分布式文件系統(tǒng)中拷貝相應(yīng)的觀測(cè)文件、星歷文件至本地建立的相應(yīng)的工程文件夾中;map函數(shù)通過(guò)執(zhí)行相應(yīng)的Linux命令進(jìn)入到工程文件中,調(diào)用sh-setup腳本鏈接外部tables表文件,調(diào)用sh-gamit批處理命令進(jìn)行基線解算。處理過(guò)程中,一個(gè)索引文件對(duì)應(yīng)一個(gè)子網(wǎng),Hadoop對(duì)每一個(gè)索引文件操作時(shí)都會(huì)分配一個(gè)Maptask,一個(gè)子網(wǎng)正好匹配了一個(gè)Maptask對(duì)其進(jìn)行處理。以上過(guò)程如圖2所示。

圖2 基于Hadoop平臺(tái)技術(shù)的基線解算流程

3 計(jì)算實(shí)例及分析

采用亞洲以及周邊地區(qū)63個(gè)IGS連續(xù)運(yùn)行跟蹤站2013年第133天的30 s采樣間隔的預(yù)處理后的觀測(cè)資料,O文件的數(shù)據(jù)量約為252 Mb,站點(diǎn)分布如圖3所示。

圖3 實(shí)驗(yàn)相關(guān)IGS站點(diǎn)分布圖

在VMware Workstation Pro上搭建多臺(tái)虛擬機(jī)建立實(shí)驗(yàn)環(huán)境,虛擬機(jī)內(nèi)存1 Gb,物理核1核,操作系統(tǒng)為CentOS6.7,各節(jié)點(diǎn)計(jì)算環(huán)境基于Hadoop2.6.1,相關(guān)的基線解算采用GAMIT10.6版本。采用Master-Slave集成模式進(jìn)行架構(gòu),如圖4所示。

圖4 基于Hadoop的分布式計(jì)算架構(gòu)

采用劃分子網(wǎng)的分布式計(jì)算策略,單節(jié)點(diǎn)對(duì)整網(wǎng)進(jìn)行基線解算,2個(gè)節(jié)點(diǎn)劃分為2個(gè)子網(wǎng),3個(gè)節(jié)點(diǎn)則劃分為3個(gè)子網(wǎng),各個(gè)子網(wǎng)間有4個(gè)重合站點(diǎn),基線解算時(shí)間取3次結(jié)果的平均值。不同數(shù)量子網(wǎng)個(gè)數(shù)和計(jì)算節(jié)點(diǎn)數(shù)下的解算時(shí)間如表1所示。

表1 不同節(jié)點(diǎn)數(shù)和子網(wǎng)個(gè)數(shù)解算時(shí)間對(duì)比

從表1可以看出,隨著子網(wǎng)個(gè)數(shù)和計(jì)算節(jié)點(diǎn)數(shù)的增加,解算速度顯著加快,3個(gè)節(jié)點(diǎn)處理3個(gè)子網(wǎng)比單機(jī)集中處理整網(wǎng)的加速比提高了6.67倍。

Hadoop能夠把相當(dāng)一部分大型計(jì)算任務(wù)拆成若干小任務(wù)在很多并行的服務(wù)器上運(yùn)算,但是并沒(méi)有完全解決計(jì)算瓶頸的問(wèn)題。一般想象中,增加10倍的處理器并行運(yùn)算,就可以同樣成倍地節(jié)省時(shí)間,但是在工程上這是做不到的。利用Hadoop對(duì)各個(gè)子網(wǎng)進(jìn)行基線解算的過(guò)程中,最終的計(jì)算速度取決于最后解算完成的子任務(wù)。因此,并行計(jì)算的時(shí)間是遠(yuǎn)遠(yuǎn)做不到和服務(wù)器數(shù)量成反比。事實(shí)上,使用的處理器越多,并行計(jì)算的效率越低[8]。所以在實(shí)際的工程當(dāng)中,合理地分配計(jì)算資源才能使效率最大化。

解算完成后,從生成的sh_gamit_133.summary文件中查看標(biāo)準(zhǔn)化均方根殘差(NRMS)以及解算總結(jié),一般說(shuō)來(lái),NRMS值越小,基線估算精度越高;反之精度越低[9]。NRMS是衡量基線解算質(zhì)量的最重要指標(biāo),一般為0.25左右,原則上應(yīng)小于0.3[10]。本實(shí)驗(yàn)得到的NRMS都小于0.2,因此解算結(jié)果滿足精度要求。

最后再對(duì)結(jié)果進(jìn)行GLOBK平差,在globk_comb.org文件中查看平差結(jié)果,各個(gè)子網(wǎng)間重復(fù)基準(zhǔn)站的坐標(biāo)差如圖5所示。

從圖中可以看出,子網(wǎng)間重復(fù)站點(diǎn)坐標(biāo)較差都在1 cm以內(nèi),解算結(jié)果相差較小,精度符合要求。

圖5 各個(gè)子網(wǎng)重復(fù)站點(diǎn)坐標(biāo)較差統(tǒng)計(jì)圖

4 結(jié)束語(yǔ)

隨著CORS站的不斷建成,其連續(xù)觀測(cè)產(chǎn)生的數(shù)據(jù)量越來(lái)越大,這對(duì)海量觀測(cè)數(shù)據(jù)的存儲(chǔ)和快速計(jì)算帶來(lái)了挑戰(zhàn)。本文利用了Hadoop平臺(tái)技術(shù)和子網(wǎng)劃分策略對(duì)GNSS基線向量網(wǎng)進(jìn)行分布式解算,大大提高了計(jì)算的效率,主要結(jié)果如下:

1) 利用Hadoop平臺(tái)技術(shù)的MapReduce算法,一個(gè)計(jì)算節(jié)點(diǎn)可以分配多個(gè)MapTask并行處理多個(gè)子網(wǎng)的觀測(cè)數(shù)據(jù),有效地分配了計(jì)算資源,實(shí)現(xiàn)了GNSS基線向量網(wǎng)的分布式解算。

2) 采用劃分子網(wǎng)的策略,在實(shí)際工作中效率得到了提高,處理時(shí)間相對(duì)縮減,其解算精度也在毫米量級(jí)。子網(wǎng)劃分策略同時(shí)也滿足了Hadoop技術(shù)數(shù)據(jù)“可分性”的需求,讓Hadoop技術(shù)更好地運(yùn)用在GNSS網(wǎng)的基線解算當(dāng)中。

3) 利用已有的軟件進(jìn)行數(shù)據(jù)處理,一方面減少了軟件開(kāi)發(fā)的成本,另一方面還能夠保證計(jì)算結(jié)果的質(zhì)量要求。

[1] 李志才,張鵬,孫占義,等. 大規(guī)模GNSS基準(zhǔn)站網(wǎng)快速同步處理方法研究[J]. 測(cè)繪通報(bào),2017(2):65-69.

[2] 樂(lè)天. Hadoop:打開(kāi)大數(shù)據(jù)之門(mén)的金鑰匙[N]. 計(jì)算機(jī)世界,2012-02-27(030).

[3] 王凱,曹建成,王乃生,等. Hadoop支持下的地理信息大數(shù)據(jù)處理技術(shù)初探[J]. 測(cè)繪通報(bào),2015(10):114-117.

[4] 戴中華,盛鴻彬,王麗莉. 基于Hadoop平臺(tái)的大數(shù)據(jù)分析與處理[J]. 通訊世界,2015(6):59-60.

[5] 呂志平,陳正生,崔陽(yáng),等. 大型CORS網(wǎng)基線向量的分布式處理[J]. 測(cè)繪科學(xué)技術(shù)學(xué)報(bào),2013(4):433-438.

[6] 任仁. Hadoop在大數(shù)據(jù)處理中的應(yīng)用優(yōu)勢(shì)分析[J]. 電子技術(shù)與軟件工程,2014(15):194.

[7] 姜衛(wèi)平,趙倩,劉鴻飛,等. 子網(wǎng)劃分在大規(guī)模GNSS基準(zhǔn)站網(wǎng)數(shù)據(jù)處理中的應(yīng)用[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2011(4):389-391,505.

[8] 吳軍. 智能時(shí)代:大數(shù)據(jù)與智能革命重新定義未來(lái)[M]. 北京:中信出版社,2016.

[9] 陳正生,呂志平,崔陽(yáng),等. 大規(guī)模GNSS數(shù)據(jù)的分布式處理與實(shí)現(xiàn)[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2015(3):384-389.

[10] 趙建三,楊創(chuàng),聞德保. 利用GAMIT進(jìn)行高精度GPS基線解算的方法及精度分析[J]. 測(cè)繪通報(bào),2011(8):5-8,35.

DistributedProcessingofGNSSNetwork’sBaselineVectorsBasedonHadoop

YANGGuoqing,YUEDongjie,CHENHao,YINBinquan

(CollegeofEarthScienceandEngineering,HohaiUniversity,Nanjing211100,China)

For the massive data of GNSS observation, the method of conventional centralized data processing is facing the problem of low computational efficiency, distributed to process the baseline by using the technology of Hadoop platform, which can solve this problem effectively. By dividing the subnet, calling the GAMIT software to process the baseline in parallel, the result of 63 IGS stations shows that the acceleration ratio of the three compute nodes is 6.67, and the accuracy of the coordinate points is in the order of millimeters.

Hadoop; distributed computing; baseline solution; GNSS

10.13442/j.gnss.1008-9268.2017.04.012

P228.4

A

1008-9268(2017)04-0066-04

2017-05-27

聯(lián)系人: 楊國(guó)慶E-mail: gqyang@hhu.edu.cn

楊國(guó)慶(1994-)，男，江西贛州人，碩士研究生，研究方向?yàn)闇y(cè)量數(shù)據(jù)處理理論與方法。

岳東杰(1966-)，女，山東梁山人，教授，主要研究方向?yàn)榻鷾y(cè)量數(shù)據(jù)處理。

陳浩(1993-)，男，江蘇鹽城人，碩士研究生，研究方向?yàn)闇y(cè)量數(shù)據(jù)處理理論與方法。

尹斌權(quán)(1994-),男，江蘇徐州人，碩士研究生，研究方向?yàn)闇y(cè)量數(shù)據(jù)處理理論與方法。