亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于Elasticsearch和FastDFS衛(wèi)星數(shù)據(jù)生命周期管理系統(tǒng)的研究與設(shè)計

        2021-01-14 03:31:30姜青濤梅丹
        科學(xué)與信息化 2020年36期
        關(guān)鍵詞:數(shù)據(jù)量校驗(yàn)生命周期

        姜青濤 梅丹

        北京道達(dá)天際科技有限公司 北京 100089

        1 背景及意義

        近些年來隨著各類衛(wèi)星持續(xù)發(fā)射并投入使用,衛(wèi)星數(shù)據(jù)信源、衛(wèi)星載荷類型、衛(wèi)星數(shù)據(jù)產(chǎn)品種類不斷增加,由此產(chǎn)生了巨量的衛(wèi)星遙感數(shù)據(jù)。以高分衛(wèi)星數(shù)據(jù)為例目前高分一號、高分三號、高分四號、高分六號已形成了可見光、微波遙感、立體測繪、高光譜等載荷;分辨率范圍也覆蓋了幾十米、幾米到亞米級;數(shù)據(jù)存儲量每日接收量的單位從GB上升到TB,各級數(shù)據(jù)產(chǎn)品年產(chǎn)生量已達(dá)PB級,由此給數(shù)據(jù)管理帶來的挑戰(zhàn)日趨嚴(yán)重。如何建立一套兼顧高可靠性存儲和便捷地檢索,如何建立數(shù)據(jù)的全生命周期管理模式,如何方便擴(kuò)展后續(xù)衛(wèi)星信源擴(kuò)展以滿足后續(xù)衛(wèi)星數(shù)據(jù)的不斷接入,在大數(shù)據(jù)技術(shù)背景下建立一套開放式的衛(wèi)星數(shù)據(jù)全生命周期管理體系已迫在眉睫。

        2 相關(guān)技術(shù)研究

        傳統(tǒng)衛(wèi)星數(shù)據(jù)管理模式,主要依托目錄固定分類對各類衛(wèi)星數(shù)據(jù)進(jìn)行組織,這樣的方式問題在于:第一,固化的數(shù)據(jù)目錄劃分和分類對數(shù)據(jù)多條件檢索和查詢要求不易實(shí)現(xiàn);第二,受物理存儲單元的限制,小碎文件的存儲依然占用同等存儲空間導(dǎo)致存儲空間利用率低;第三,存放在文件服務(wù)器或者NAS[1]存儲的數(shù)據(jù)能夠通過外部訪問致使數(shù)據(jù)安全性不高。利用Elasticsearch、FastDFS等大數(shù)據(jù)技術(shù)可解決傳統(tǒng)存儲和管理方式的不足。

        2.1 Elasticsearch技術(shù)

        Elasticsearch是一種分布式海量數(shù)據(jù)檢索與分析技術(shù)[2],其底層基于Lucene實(shí)現(xiàn),支持的數(shù)據(jù)高達(dá)PB級別,其倒排索引的算法效率更優(yōu)于傳統(tǒng)數(shù)據(jù)庫(如:Mysql)的B+Tree算法,能極大提高查詢檢索的效率,對于大數(shù)據(jù)量的衛(wèi)星數(shù)據(jù)的查詢能實(shí)現(xiàn)近實(shí)時性響應(yīng)速度。

        在Mysql數(shù)據(jù)庫和Elasticsearch中存儲一千萬條記錄,做增加、刪除、修改、查詢的性能測試,其中傳統(tǒng)數(shù)據(jù)庫是針對主鍵做的增刪改查操作,測試結(jié)果如下表所示:

        表1 Elasticsearch與傳統(tǒng)數(shù)據(jù)庫對比

        由上表可以看出,Elasticsearch在大數(shù)據(jù)量下的增加、刪除、修改雖然不如傳統(tǒng)數(shù)據(jù)庫,但查詢性能遠(yuǎn)遠(yuǎn)優(yōu)于傳統(tǒng)數(shù)據(jù)庫,為此使用Elasticsearch作為搜索引擎會極大的提升系統(tǒng)的效率,并且減少對傳統(tǒng)數(shù)據(jù)庫的壓力。

        2.2 FastDFS技術(shù)

        FastDFS[3]是以C語言開發(fā)的一項(xiàng)開源輕量級分布式文件系統(tǒng),它主要功能包括:文件存儲、文件同步和文件訪問以及高容量和負(fù)載均衡。主要解決大數(shù)據(jù)量的存儲問題,能夠方便地提供在線訪問數(shù)據(jù)的功能。隨著衛(wèi)星數(shù)據(jù)的增多,對文件服務(wù)器的存儲空間提出很大需求,F(xiàn)astDFS能夠方便地進(jìn)行空間的擴(kuò)容,通過增加Storage的數(shù)量或增加Group的方式,并修改Traker的配置可達(dá)到文件服務(wù)器的擴(kuò)容的目的。

        為了保障系統(tǒng)的安全性存儲,F(xiàn)astDFS可以設(shè)計成為安全可靠的系統(tǒng),首先FastDFS本身通過加密將存儲在其中的文件名進(jìn)行加密,為了實(shí)現(xiàn)FastDFS中的文件無法通過Url的方式不安全進(jìn)行訪問,可以通過網(wǎng)關(guān)對其進(jìn)行統(tǒng)一管理,保證數(shù)據(jù)安全性。

        2.3 FastDFS與Elasticsearch結(jié)合

        使用FastDFS與Elasticsearch的結(jié)合思路解決了大數(shù)據(jù)下的存儲與檢索問題,使用Elasticsearch來存儲管理在FastDFS數(shù)據(jù)的索引,管理衛(wèi)星的元數(shù)據(jù)以及數(shù)據(jù)源信息,并對數(shù)據(jù)進(jìn)行分級存儲,即使在PB級數(shù)據(jù)的存儲下,系統(tǒng)也能達(dá)到毫秒級別的響應(yīng)速度。

        實(shí)現(xiàn)數(shù)據(jù)的全生命周期的管理,需要在數(shù)據(jù)進(jìn)行入庫前選擇數(shù)據(jù)的在線時長,一旦數(shù)據(jù)的生命周期達(dá)到設(shè)置值,系統(tǒng)將通過定時機(jī)制對該數(shù)據(jù)刪除,減少磁盤空間的占用。Elasticsearch在此期間對數(shù)據(jù)進(jìn)行全生命周期的管理,對數(shù)據(jù)進(jìn)行關(guān)鍵詞檢索、區(qū)間檢索、空間地理位置檢索以及基礎(chǔ)元數(shù)據(jù)信息檢索。而FastDFS提供存儲數(shù)據(jù)實(shí)體的功能,如需對檢索結(jié)果數(shù)據(jù)下載或在線瀏覽可以通過Elasticsearch中索引到數(shù)據(jù)存儲在磁盤中的位置。

        3 系統(tǒng)設(shè)計及實(shí)現(xiàn)

        3.1 系統(tǒng)設(shè)計

        (1)數(shù)據(jù)組織模型

        將各類衛(wèi)星數(shù)據(jù)以驅(qū)動化校驗(yàn)的方式來達(dá)到數(shù)據(jù)的標(biāo)準(zhǔn)化,校驗(yàn)完成后形成待歸檔數(shù)據(jù)。衛(wèi)星數(shù)據(jù)一般分為原始數(shù)據(jù)及產(chǎn)品數(shù)據(jù),需要根據(jù)不同的驅(qū)動來進(jìn)行校驗(yàn)、管理。

        (2)數(shù)據(jù)存儲模型

        數(shù)據(jù)存儲模型基于Elasticsearch和FastDFS,使用FastDFS實(shí)現(xiàn)數(shù)據(jù)本身的存儲,Elasticsearch存儲對應(yīng)數(shù)據(jù)的相關(guān)元數(shù)據(jù)信息以及數(shù)據(jù)存儲在FastDFS中的索引信息,實(shí)現(xiàn)存儲與索引分離的方式,分類存儲分類檢索,極大地結(jié)合衛(wèi)星數(shù)據(jù)的特點(diǎn):數(shù)據(jù)量大、元數(shù)據(jù)信息量大,不僅能存儲數(shù)據(jù),更能精確快速地檢索數(shù)據(jù)。

        (3)數(shù)據(jù)管理模型

        衛(wèi)星數(shù)據(jù)量大,類型多,這也對分類存儲和數(shù)據(jù)的生命周期提出要求,分類存儲可以通過數(shù)據(jù)驅(qū)動的方式來提取數(shù)據(jù)的元數(shù)據(jù)信息,形成數(shù)據(jù)集的概念,生成一類數(shù)據(jù)的特有字段信息,這樣方便、清晰、明了,數(shù)據(jù)整潔是實(shí)現(xiàn)管理的重要目的;其次管理數(shù)據(jù)的生命周期也是必要的,隨著衛(wèi)星數(shù)據(jù)的日益的存儲,會產(chǎn)生很多歷史無用的冗余數(shù)據(jù),對于無效數(shù)據(jù)的定期刪除會極大地減少磁盤空間的占用,節(jié)省寶貴的空間資源。在對數(shù)據(jù)進(jìn)行歸檔時就應(yīng)該適當(dāng)設(shè)置好數(shù)據(jù)的存活周期,到期后系統(tǒng)能自動對此類數(shù)據(jù)進(jìn)行刪除,減少人工處理,況且在如此龐大的數(shù)據(jù)兩下,依靠人工判別數(shù)據(jù)進(jìn)行刪除本身就是一項(xiàng)不易的工作。設(shè)置數(shù)據(jù)生命周期基本流程如下:

        圖1 設(shè)置數(shù)據(jù)生命周期流程圖

        3.2 實(shí)現(xiàn)

        使用Elasticsearch與FastDFS結(jié)合的方式能夠?qū)崿F(xiàn)存儲與索引分離,將數(shù)據(jù)存儲在FastDFS中,將索引以及衛(wèi)星數(shù)據(jù)的元數(shù)據(jù)信息存儲在Elasticsearch中,用戶根據(jù)數(shù)據(jù)類型選擇數(shù)據(jù)驅(qū)動,后續(xù)即便是有新的衛(wèi)星數(shù)據(jù)接入,只需要根據(jù)數(shù)據(jù)類型新增驅(qū)動即可,能夠方便實(shí)現(xiàn)數(shù)據(jù)的開放式拓展,實(shí)現(xiàn)系統(tǒng)與數(shù)據(jù)之間的快速適配。

        用戶在選擇文件路徑進(jìn)行上傳時,必須要選擇文件在系統(tǒng)中的存活周期,隨著系統(tǒng)的使用會產(chǎn)生很多歷史的垃圾冗余數(shù)據(jù),對此類數(shù)據(jù)會占用大量的磁盤空間,同時對Elasticsearch的檢索性能造成一定的影響,對于此類數(shù)據(jù)需要設(shè)置定期刪除策略,第一、系統(tǒng)定時隨機(jī)對數(shù)據(jù)進(jìn)行檢索,判斷如果數(shù)據(jù)的存活周期小于30天則將此類數(shù)據(jù)存儲在Redis中,定期對其進(jìn)行刪除;第二、系統(tǒng)在做檢索操作時對數(shù)據(jù)進(jìn)行生命周期判斷,如果在生命周期內(nèi),直接將數(shù)據(jù)以及索引刪除,不返回任何結(jié)果,否則返回查詢的數(shù)據(jù)。

        系統(tǒng)實(shí)現(xiàn)時序圖如下:

        圖2 系統(tǒng)時序圖

        數(shù)據(jù)驅(qū)動是為不同數(shù)據(jù)提供校驗(yàn)規(guī)范化處理的需要,衛(wèi)星數(shù)據(jù)種類繁多,格式也不盡相同甚至有些數(shù)據(jù)差別很大,為了方便各類數(shù)據(jù)的接入,提高系統(tǒng)的適配性,需要將衛(wèi)星數(shù)據(jù)以驅(qū)動的方式進(jìn)行校驗(yàn)以及提取元數(shù)據(jù)信息,一類數(shù)據(jù)對應(yīng)一個數(shù)據(jù)驅(qū)動,數(shù)據(jù)驅(qū)動只需要定制對一類數(shù)據(jù)進(jìn)行校驗(yàn)提取即可,所以后續(xù)衛(wèi)星的接入只需要新增數(shù)據(jù)驅(qū)動即可。

        根據(jù)數(shù)據(jù)驅(qū)動可以校驗(yàn)數(shù)據(jù)并提取數(shù)據(jù)的元數(shù)據(jù)信息,并將提取出的元數(shù)據(jù)信息存入到Elasticsearch中,待文件上傳成功存儲到FastDFS中后將文件存儲位置一并存儲在Elasticsearch,不管是檢索數(shù)據(jù)信息還是對數(shù)據(jù)進(jìn)行下載查看都可以對數(shù)據(jù)進(jìn)行還原。

        選擇數(shù)據(jù)的生命周期后上傳,上傳成功后返回Id信息,系統(tǒng)會根據(jù)策略進(jìn)行生命周期的管理。

        查詢檢索,根據(jù)數(shù)據(jù)關(guān)鍵詞在Elasticsearch中進(jìn)行數(shù)據(jù)的查詢檢索,在大數(shù)據(jù)量下系統(tǒng)的查詢檢索能夠達(dá)到毫秒級別。

        3.3 驗(yàn)證對比

        對比將數(shù)據(jù)存儲到磁盤進(jìn)行分目錄式的管理,采用FastDFS與Elasticsearch結(jié)合的方式,大大提升了系統(tǒng)的效率以及安全性。FastDFS的文件可以通過網(wǎng)關(guān)進(jìn)行統(tǒng)一配置,實(shí)現(xiàn)文件訪問的安全性。如下圖所示,對于傳統(tǒng)文件目錄的訪問方式的耗時相當(dāng)于系統(tǒng)設(shè)計優(yōu)化后的上千倍。

        圖3 系統(tǒng)優(yōu)化前后對比圖

        4 結(jié)束語

        管理大數(shù)據(jù)量的衛(wèi)星數(shù)據(jù)需要提供安全可靠的系統(tǒng)來對數(shù)據(jù)進(jìn)行維護(hù),在提升系統(tǒng)速度的同時更應(yīng)該考慮數(shù)據(jù)的安全性,使用Elasticsearch與FastDFS的結(jié)合能夠滿足要求。首先相比于文件目錄式的管理方式,使用驅(qū)動檢驗(yàn)管理數(shù)據(jù),精確對衛(wèi)星數(shù)據(jù)的查詢檢索的速度相比于優(yōu)化前提升了上千倍,同時避免了直接訪問文件的不安全因素。其次對數(shù)據(jù)設(shè)置在線生命周期,減少系統(tǒng)的垃圾數(shù)據(jù)冗余,節(jié)省磁盤存儲空間,同時隨著系統(tǒng)的使用時間越久,對此類數(shù)據(jù)的刪除能夠?qū)ο到y(tǒng)進(jìn)行優(yōu)化,因?yàn)閷o用數(shù)據(jù)的檢索也會消耗系統(tǒng)性能,減低系統(tǒng)的檢索效率。將Elasticsearch與FastDFS結(jié)合對數(shù)據(jù)進(jìn)行全生命周期管理能夠以靈活、高效、安全、穩(wěn)定的方式解決大量衛(wèi)星數(shù)據(jù)的存儲管理問題。

        猜你喜歡
        數(shù)據(jù)量校驗(yàn)生命周期
        動物的生命周期
        全生命周期下呼吸機(jī)質(zhì)量控制
        基于大數(shù)據(jù)量的初至層析成像算法優(yōu)化
        計算Lyapunov指數(shù)的模糊C均值聚類小數(shù)據(jù)量法
        高刷新率不容易顯示器需求與接口標(biāo)準(zhǔn)帶寬
        寬帶信號采集與大數(shù)據(jù)量傳輸系統(tǒng)設(shè)計與研究
        電子制作(2019年13期)2020-01-14 03:15:18
        從生命周期視角看并購保險
        中國外匯(2019年13期)2019-10-10 03:37:46
        民用飛機(jī)全生命周期KPI的研究與應(yīng)用
        爐溫均勻性校驗(yàn)在鑄鍛企業(yè)的應(yīng)用
        大型電動機(jī)高阻抗差動保護(hù)穩(wěn)定校驗(yàn)研究
        電測與儀表(2015年1期)2015-04-09 12:03:02
        欧美三级超在线视频| 蜜臀av在线播放一区二区三区| 把女邻居弄到潮喷的性经历| 国产精品-区区久久久狼| 日韩人妻无码精品二专区| 特级国产一区二区三区| 亚洲av成人片无码网站| 亚洲色偷拍区另类无码专区| 欧美精品高清在线xxxx| 一区二区三区国产精品麻豆| 日韩精品无码一区二区| 欧美情侣性视频| 日本一区二区三本视频在线观看 | 永久免费看免费无码视频 | 久久精品人搡人妻人少妇| 国产亚洲欧美精品久久久| 澳门毛片精品一区二区三区| 国产精品很黄很色很爽的网站| 中文字幕亚洲熟女av| 99久久国产综合精品五月天| 精品国产免费久久久久久| 女同另类一区二区三区| 久久久久亚洲av无码专区首| 欧美v亚洲v日韩v最新在线| 少妇熟女淫荡丰满| 男女做羞羞事的视频网站| 久久久久久亚洲av无码蜜芽| 国产乱淫视频| 99国语激情对白在线观看| 日本精品久久久久中文字幕| 97久久精品人人做人人爽| 亚洲国产精品日韩专区av| 麻豆视频在线播放观看| 国产顶级熟妇高潮xxxxx| 91视频爱爱| 成人自拍偷拍视频在线观看 | 亚洲国产成人久久精品美女av| 国产亚洲精品第一综合另类| 国产人碰人摸人爱视频| 亚洲人成伊人成综合网中文 | 中国老熟女重囗味hdxx|