周彬翀 羅劍 陳增琦 王正猛 郭松杰

摘要：近幾年的海洋測繪數(shù)據(jù)日益增多，其多樣性、異質(zhì)性、復(fù)雜性等特性決定了傳統(tǒng)的數(shù)據(jù)收集、存儲(chǔ)和處理技術(shù)已經(jīng)跟不上日益增長的需求;通過大數(shù)據(jù)框架處理技術(shù)（Hadoop），可以成功解決這些海量海洋測繪數(shù)據(jù)問題，這項(xiàng)技術(shù)使我們能夠收集海洋測繪數(shù)據(jù)，獲取必要的有用信息。

關(guān)鍵詞：海洋測繪;Hadoop;數(shù)據(jù)分析;存儲(chǔ)

1大數(shù)據(jù)技術(shù)

在高性能計(jì)算機(jī)和互聯(lián)網(wǎng)資源技術(shù)飛速發(fā)展的大環(huán)境背景下，大規(guī)模信息技術(shù)被廣泛應(yīng)用于社會(huì)的各個(gè)領(lǐng)域。在當(dāng)前條件下，這種大規(guī)模信息技術(shù)得到了廣泛的應(yīng)用，如Hadoop和Hbase，Hive等技術(shù)。其中，Hadoop是一個(gè)分布式計(jì)算平臺(tái)，包括HDFS文件系統(tǒng)和MapReduce計(jì)算系統(tǒng)，運(yùn)用最為廣泛。作為一種分布式的文件管理與儲(chǔ)存系統(tǒng)，HDFS（hadop文檔系統(tǒng)）非常易于擴(kuò)展。它也可以存儲(chǔ)在不同節(jié)點(diǎn)上。HDFS的目的是存儲(chǔ)海量數(shù)據(jù)，從而更好地處理萬億字節(jié)甚至更高級(jí)別的數(shù)據(jù)。MapReduce也是Hadoop的主要部分，它是一種并行計(jì)算模型，可以使用大量的計(jì)算能力來解決復(fù)雜的技術(shù)問題。

2海洋測繪和特點(diǎn)與分析

2.1海洋測繪的基本特征

在土地測繪過程中，測點(diǎn)的三維坐標(biāo)需要不同的手段和方法。換言之，在海圖繪制中建立相應(yīng)的控制點(diǎn)通常并不容易。在這一階段，應(yīng)盡可能選擇適當(dāng)?shù)膷u嶼作為控制點(diǎn)，或在海床和洋底上大間隔設(shè)置相應(yīng)的控制點(diǎn)，海洋測量比地面測量有更多的大地測量距離。常規(guī)地面測量之間的距離不超過5公里，普通海洋之間的距離通常為50公里～500公里，有的甚至超過100公里。

與陸地測繪相比，海洋測繪的環(huán)境處于動(dòng)態(tài)變化過程中，這就需要相關(guān)測量人員在觀測進(jìn)行連續(xù)測繪，與陸地觀測相比，海圖精度較低。海洋測繪圖具有觀測點(diǎn)距離較遠(yuǎn)的特點(diǎn)，在測量過程中選擇的傳播信號(hào)可能會(huì)有一些差異，與陸地相比，海上測量通常使用低頻電磁波，但其傳播不能簡單均勻，因此，信號(hào)源只能選擇海水中的聲波。

2.2海洋測繪數(shù)據(jù)的特點(diǎn)分析

通過對(duì)大量海洋測繪數(shù)據(jù)的整理和分析，可以發(fā)現(xiàn)海洋測繪數(shù)據(jù)具有以下幾個(gè)特點(diǎn)：

（1）數(shù)據(jù)量大。收集的海洋調(diào)查數(shù)據(jù)包括工作人員在海洋和地址等各個(gè)方面的辛勤工作，在繪制海洋圖的過程中，需要有廣泛的監(jiān)測區(qū)域和復(fù)雜的海洋數(shù)據(jù)結(jié)構(gòu)，這些數(shù)據(jù)收集在處于不同的監(jiān)測點(diǎn)，存在于各種動(dòng)態(tài)過程中，這增加了繪圖過程中的數(shù)據(jù)量，如果僅使用計(jì)算機(jī)主板的存儲(chǔ)方式就無法滿足大量數(shù)據(jù)在存儲(chǔ)方面的要求。

（2）海洋測繪數(shù)據(jù)的結(jié)構(gòu)和格式存在一定的差異。海圖數(shù)據(jù)存在多樣性，如海底地形數(shù)據(jù)和沿海地區(qū)的遙感數(shù)據(jù)、海岸線測量數(shù)據(jù)等，海圖繪制時(shí)需要使用大量的監(jiān)測點(diǎn)、不同的記錄格式以及相應(yīng)的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)變化，這導(dǎo)致大量海圖數(shù)據(jù)未按照約定的數(shù)據(jù)結(jié)構(gòu)標(biāo)準(zhǔn)進(jìn)行保存。

在收集的大量圖表數(shù)據(jù)中通常包含地址信息，因此，必須特別注意數(shù)據(jù)的收集和存儲(chǔ)。利用相關(guān)技術(shù)提高數(shù)據(jù)存儲(chǔ)和處理效率，不同于以往的統(tǒng)一海圖，目前，海上測量、海岸線遙感數(shù)據(jù)和海岸線測量數(shù)據(jù)將采集包括海底地形數(shù)據(jù)在內(nèi)的各種制圖數(shù)據(jù)。不同類型的數(shù)據(jù)通常具有不同的數(shù)據(jù)特征。在處理這些數(shù)據(jù)時(shí)，我們必須充分考慮數(shù)據(jù)之間的差異。

3海洋測繪數(shù)據(jù)的存儲(chǔ)與分析

3.1海洋測繪數(shù)據(jù)分析

中國擁有廣闊的海洋空間和多樣的海洋生產(chǎn)資料和生活資料，在繪制海洋資源圖時(shí)，我們可以得到溫度、鹽度和海水深度的多種繁雜的信息，不同的數(shù)據(jù)類型具有不同的特征。在存儲(chǔ)和處理繪制數(shù)據(jù)時(shí)，必須充分考慮不同數(shù)據(jù)類型的處置要求和信息的存儲(chǔ)方式，不僅包括溫度、鹽度和深度的水文信息，還包括地址信息、生物和航空遙感數(shù)據(jù)。這些不同類型的數(shù)據(jù)具有不同的特性，因此在整理歸類及保存它們時(shí)，必須考慮這些數(shù)據(jù)的處理要求和存儲(chǔ)格式。

對(duì)海洋調(diào)查數(shù)據(jù)的分析表明，海洋調(diào)查數(shù)據(jù)具有以下特點(diǎn)：（1）數(shù)據(jù)量大;海洋測繪中觀測點(diǎn)多，數(shù)據(jù)結(jié)構(gòu)復(fù)雜，動(dòng)態(tài)性強(qiáng)，決定了這將產(chǎn)生大量的地圖數(shù)據(jù)。僅使用本地存儲(chǔ)庫很難滿足存儲(chǔ)大量數(shù)據(jù)的需要（2）數(shù)據(jù)格式和結(jié)構(gòu)存在差異。不同地形數(shù)據(jù)記錄格式和存儲(chǔ)結(jié)構(gòu)的差異導(dǎo)致缺乏統(tǒng)一標(biāo)準(zhǔn)的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)。已經(jīng)收集到的海量海洋測繪數(shù)據(jù)包含了海洋、地址、水文等多方面工作人員的辛勞汗水，所以在收集到的數(shù)據(jù)的積累、存儲(chǔ)等方面需要慎重考慮，需要結(jié)合海洋測繪數(shù)據(jù)的特點(diǎn)提高存儲(chǔ)和處理的高效性和安全性。

3.2測繪數(shù)據(jù)的保存

收集的海洋測繪數(shù)據(jù)將持續(xù)傳輸?shù)较鄳?yīng)的本地存儲(chǔ)位置，并以固定的時(shí)間間隔傳輸?shù)紿DFS文件系統(tǒng)。所有測繪地形點(diǎn)都會(huì)以client的形式將地圖數(shù)據(jù)下載到HDFS。成功下載數(shù)據(jù)的組織結(jié)構(gòu)是透明的，即HDFS分布式文件系統(tǒng)對(duì)應(yīng)于本地存儲(chǔ)，映射數(shù)據(jù)將在本地存儲(chǔ)，然后以固定的時(shí)間間隔加載到HDFS中。對(duì)于繪圖過程中設(shè)置的不同繪圖點(diǎn)，采集的圖表數(shù)據(jù)可以以統(tǒng)一格式傳輸?shù)紿DFS文件系統(tǒng)，并成功加載到HDFS文件系統(tǒng)。它一般以HDFS文件系統(tǒng)為基礎(chǔ)，并在其上與本地存儲(chǔ)系統(tǒng)相匹配，收集的圖表數(shù)據(jù)將永久、定期地傳輸?shù)较到y(tǒng)的HDFS文件系統(tǒng)。對(duì)于繪圖過程中設(shè)置的不同繪圖點(diǎn)，采集的海圖數(shù)據(jù)可以統(tǒng)一格式傳輸?shù)紿DFS文件系統(tǒng)，并可以成功加載到HDFS文件系統(tǒng)中，此過程通常是在透明組織的基礎(chǔ)上運(yùn)行，即HDFS文件系統(tǒng)將匹配本地存儲(chǔ)系統(tǒng)，用戶不會(huì)知道具體的存儲(chǔ)位置，即數(shù)據(jù)是本地存儲(chǔ)還是顯示在HDFS文件系統(tǒng)中。

總結(jié)

由于我國海洋面積巨大，海洋測繪過程中存在著各種復(fù)雜的數(shù)據(jù)，隨著計(jì)算機(jī)信息技術(shù)和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，海洋數(shù)據(jù)的存儲(chǔ)也備受關(guān)注，大規(guī)模信息技術(shù)廣泛應(yīng)用于社會(huì)各個(gè)領(lǐng)域，顯示出強(qiáng)大的數(shù)據(jù)處理能力。本文介紹了大數(shù)據(jù)處理技術(shù)在海洋測繪中的應(yīng)用，分析了常規(guī)數(shù)據(jù)的收集和處理方法。其中Hadop技術(shù)應(yīng)用最為廣泛。用戶可以對(duì)采集到的海圖數(shù)據(jù)進(jìn)行存儲(chǔ)和處理，顯示了海洋測繪數(shù)據(jù)處理的顯著優(yōu)勢?？紤]到海洋測繪數(shù)據(jù)的復(fù)雜性和異質(zhì)性，本研究采用了廣泛的數(shù)據(jù)處理方法，其特點(diǎn)是數(shù)字?jǐn)?shù)據(jù)的并行存儲(chǔ)和分發(fā)，它可以幫助用戶在解決海洋調(diào)查數(shù)據(jù)的問題中達(dá)到預(yù)期目的，為海洋資源的開發(fā)提供有限的支撐與支持。

參考文獻(xiàn)

[1]袁延藝，金際航，李海濱."基于Hadoop的海洋環(huán)境信息分布式架構(gòu)設(shè)計(jì)."海洋測繪v.39;No.191.06（2019）：82-85.