亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于消息調(diào)度機制的地質(zhì)服務(wù)體系構(gòu)建及應(yīng)用實踐

        2019-03-29 11:17:20張學(xué)利馬娜楊燕宋敦江汪健平劉國趙永明
        自然資源遙感 2019年1期
        關(guān)鍵詞:隊列服務(wù)體系消息

        張學(xué)利, 馬娜, 楊燕, 宋敦江, 汪健平, 劉國, 趙永明

        (1.有色金屬華東地質(zhì)勘查局,南京 210007; 2.中國地質(zhì)調(diào)查局發(fā)展研究中心,北京 100037; 3.中國科學(xué)院科技戰(zhàn)略咨詢研究院,北京 100037; 4.山東省海洋資源與環(huán)境研究院,煙臺 264006; 5.中國地質(zhì)圖書館,北京 100083)

        0 引言

        在地質(zhì)信息化web服務(wù)共享中,基于OGC的地質(zhì)數(shù)據(jù)共享取得了長足的進(jìn)步,形成了比較完善的系統(tǒng),滿足了地質(zhì)數(shù)據(jù)共享服務(wù)[5-8],但是基于OGC WPS服務(wù)難以滿足地質(zhì)算法的共享。這是由地質(zhì)數(shù)據(jù)處理服務(wù)的下述特點所決定的: ①地質(zhì)數(shù)據(jù)類型多樣,包括地質(zhì)、物化探、油氣、鉆孔、測井等數(shù)據(jù),數(shù)據(jù)處理體量比較大; ②不同的地質(zhì)數(shù)據(jù)種類對應(yīng)的地質(zhì)處理算法復(fù)雜多樣; ③數(shù)據(jù)處理耗時嚴(yán)重,執(zhí)行處理時間與等待時間較長。在提供地質(zhì)處理web服務(wù)的時候,遵循WPS服務(wù)的時候重新開發(fā)難度相當(dāng)大、開發(fā)周期也比較長,這就帶來了地質(zhì)算法重新開發(fā)周期長與互聯(lián)網(wǎng)要求地質(zhì)服務(wù)快速共享之間的矛盾。因此如何能夠重用地質(zhì)算法庫或應(yīng)用軟件,快速構(gòu)建滿足大數(shù)據(jù)支撐的web共享服務(wù)系統(tǒng),是一個迫切需要解決的問題[9-12]。

        針對地質(zhì)數(shù)據(jù)處理服務(wù)共享中遇到的實際情況,結(jié)合消息調(diào)度概念及應(yīng)用模式,本文提出了基于消息調(diào)度機制的地質(zhì)數(shù)據(jù)處理服務(wù)共享機制。消息調(diào)度,又稱消息隊列調(diào)度,它屬于系統(tǒng)中間件部分,是分布式系統(tǒng)中重要的組件。其工作原理是通過消息來協(xié)調(diào)系統(tǒng)中各個組件或模塊之間的應(yīng)用。主要解決應(yīng)用耦合、異步消息、流量削鋒等問題,實現(xiàn)高性能、高可用、可伸縮和最終一致性架構(gòu),是大型分布式系統(tǒng)不可缺少的中間件。在國土資源服務(wù)行業(yè),采用消息調(diào)度機制并不常見。該機制可將已開發(fā)的地質(zhì)算法庫和地質(zhì)應(yīng)用軟件擴展消息接口支持,不改變已有算法或應(yīng)用系統(tǒng)的架構(gòu)或代碼,在滿足互聯(lián)網(wǎng)上的地質(zhì)數(shù)據(jù)處理服務(wù)請求的同時,最大程度地復(fù)用這些地質(zhì)算法庫或地質(zhì)數(shù)據(jù)處理應(yīng)用軟件,由此提高開發(fā)效率。同時,采用消息調(diào)度機制,還可以根據(jù)互聯(lián)網(wǎng)請求數(shù)據(jù)的并發(fā)數(shù)或上傳數(shù)據(jù)的大小,來動態(tài)選擇支撐算法處理服務(wù)器的處理能力,保證不會因為處理算法數(shù)據(jù)過大而造成服務(wù)器崩潰。

        本文設(shè)計了基于發(fā)布/訂閱消息服務(wù)模式的地質(zhì)服務(wù)體系架構(gòu),介紹了地質(zhì)消息體的結(jié)構(gòu)、地質(zhì)消息模型、地質(zhì)服務(wù)分類、地質(zhì)算法服務(wù)封裝等關(guān)鍵技術(shù),并以流程化地質(zhì)在線處理服務(wù)為例,展示了消息調(diào)度機制在地質(zhì)服務(wù)體系中的應(yīng)用。實踐證明,消息調(diào)度機制可以滿足地質(zhì)服務(wù)的快速開發(fā),能更好地滿足互聯(lián)網(wǎng)、大數(shù)據(jù)的應(yīng)用需求。

        1 地質(zhì)服務(wù)體系設(shè)計

        1.1 架構(gòu)設(shè)計

        消息隊列一般包括單向調(diào)用模式、回調(diào)模式、輪詢模式和發(fā)布/訂閱模式4種模式(圖1)[13],每個模式包含消息隊列、發(fā)送者和接收者3個角色。

        新型地質(zhì)服務(wù)體系在架構(gòu)設(shè)計時,考慮了以下幾個方面的情況: ①對已有算法庫或應(yīng)用軟件進(jìn)行復(fù)用,這是系統(tǒng)架構(gòu)設(shè)計的第一原則,否則系統(tǒng)就需要進(jìn)行大規(guī)模的算法重新編碼,增大研發(fā)周期和造成已有研發(fā)系統(tǒng)的浪費; ②算法庫在重新封裝后,不但能夠保證本系統(tǒng)的使用,還要保證第三方系統(tǒng)能夠調(diào)用這些算法庫; ③算法服務(wù)和網(wǎng)站之間保持松耦合關(guān)系,網(wǎng)站變更不影響算法庫服務(wù)的繼續(xù)服務(wù)。綜合考慮以上架構(gòu)設(shè)計原則,基于發(fā)布/訂閱模式的消息調(diào)度模式,構(gòu)建了地質(zhì)服務(wù)體系。其架構(gòu)主要由4個主體部分構(gòu)成(圖2)。

        圖1 消息隊列模式圖Fig.1 Message queue invoke pattern

        圖2 地質(zhì)服務(wù)體系架構(gòu)Fig.2 Architecture of geology service

        1)系統(tǒng)平臺。主要是網(wǎng)站的設(shè)計與開發(fā),提供地質(zhì)算法服務(wù)界面,獲取地質(zhì)處理需要的參數(shù)項。觸發(fā)執(zhí)行操作,發(fā)送處理消息,并將地質(zhì)算法庫處理后的成果數(shù)據(jù)進(jìn)行可視化。

        2)消息隊列傳遞。主要是包含地質(zhì)處理相關(guān)參數(shù)和數(shù)據(jù)的消息傳遞,參數(shù)包括消息隊列的名稱、地質(zhì)算法處理需要的參數(shù)項、數(shù)據(jù)的存儲地址等。

        3)消息調(diào)度處理服務(wù)器。主要承載消息體的周轉(zhuǎn),消息體的異常處理和消息的負(fù)載均衡,會根據(jù)消息隊列執(zhí)行的頻度做分布式調(diào)度。

        4)地質(zhì)算法庫。是地質(zhì)處理和地質(zhì)應(yīng)用軟件處理模塊。接收消息調(diào)度服務(wù)器傳遞來的消息,進(jìn)行地質(zhì)運算,生成成果數(shù)據(jù),同時將地質(zhì)結(jié)果數(shù)據(jù)以O(shè)GC WMS或切片地圖web服務(wù)的方式發(fā)布[5-8],對外提供數(shù)據(jù)訪問接口,供系統(tǒng)平臺調(diào)用。

        ①Puschmann T.,Alt R.,“Sharing Economy”,Business& Information Systems Engineering,2016,58(1).

        1.2 地質(zhì)消息體結(jié)構(gòu)及處理服務(wù)模式設(shè)計

        地質(zhì)消息體結(jié)構(gòu)是整個消息調(diào)度服務(wù)體系的基礎(chǔ),消息體的設(shè)計關(guān)系到系統(tǒng)架構(gòu)的各個環(huán)節(jié)。消息結(jié)構(gòu)粒度的設(shè)計,是消息體設(shè)計成敗的關(guān)鍵。若消息體粒度太粗,后臺算法庫變成一個統(tǒng)一整體模塊,難以區(qū)分消息請求; 而消息體粒度太細(xì),就會出現(xiàn)一個算法對應(yīng)一個消息隊列和一個處理節(jié)點的情況,形成龐大的算法處理節(jié)點。綜合考慮系統(tǒng)中服務(wù)的處理類型和實踐需求,本文設(shè)計了一個合適的消息體結(jié)構(gòu),其包含的參數(shù)如表1所示。

        表1 地質(zhì)消息體參數(shù)Tab.1 Parameter of geological message body

        首先,將地質(zhì)算法庫注冊到消息調(diào)度服務(wù)體系中,包括算法庫的名稱、算法隊列的名稱,算法的發(fā)布者、算法處理描述等信息,形成消息隊列服務(wù)庫,方便服務(wù)的查詢與瀏覽; 其次,在系統(tǒng)平臺,用戶需要填寫地質(zhì)處理需要的參數(shù),包括選擇數(shù)據(jù)項、算法參數(shù)項、請求方式等參數(shù),執(zhí)行處理服務(wù)請求,生成地質(zhì)處理消息隊列和消息體,發(fā)布消息隊列; 再次,地質(zhì)算法庫從消息隊列服務(wù)庫中訂閱符合自己處理要求的消息隊列,當(dāng)監(jiān)聽到來自于消息調(diào)度服務(wù)器發(fā)送的消息處理后,接收消息體,然后將消息內(nèi)容解析,傳遞給地質(zhì)處理內(nèi)部模塊,生成處理結(jié)果,并調(diào)用地質(zhì)空間數(shù)據(jù)服務(wù)模塊,生成符合OGC規(guī)范的WMS和網(wǎng)絡(luò)要素服務(wù)(web feature service,WFS)等數(shù)據(jù)服務(wù)接口,并把接口信息推送給系統(tǒng)平臺; 最后,系統(tǒng)平臺接收到算法庫模塊推送的數(shù)據(jù)顯示接口,由WMS和WFS接口進(jìn)行解析與展示,將處理結(jié)果通過瀏覽器展示給用戶。

        1.3 地質(zhì)處理算法分類設(shè)計

        在消息調(diào)度的地質(zhì)服務(wù)體系下,對已有的地質(zhì)處理算法庫和應(yīng)用軟件功能進(jìn)行了分類梳理,按照基礎(chǔ)算法處理、空間數(shù)據(jù)處理和業(yè)務(wù)處理方式分為統(tǒng)計分析、地質(zhì)專題圖、地質(zhì)處理和空間分析4大類,每個大類分為若干個模塊。具體分類如圖3。

        圖3 地質(zhì)處理算法分類設(shè)計圖Fig.3 Classification design of geological processing algorithm

        2 系統(tǒng)的實現(xiàn)

        基于消息調(diào)度機制地質(zhì)服務(wù)體系平臺的研發(fā),主要包括網(wǎng)站的開發(fā)、消息調(diào)度服務(wù)器構(gòu)建、地質(zhì)算法服務(wù)接口的封裝和WebGIS體系的構(gòu)建。其中消息調(diào)度服務(wù)器構(gòu)建和地質(zhì)算法庫接口的封裝是系統(tǒng)的開發(fā)核心。

        2.1 軟件環(huán)境的搭建

        網(wǎng)站采用Play框架開發(fā),使用Java開發(fā)語言,主要用于前臺請求頁面的設(shè)計和處理服務(wù)應(yīng)用程序編程接口的調(diào)用; 地質(zhì)算法服務(wù)的封裝是原有系統(tǒng)基礎(chǔ)上消息接口的封裝,一般是將C# .Net代碼封裝成控制臺程序; web服務(wù)器、負(fù)載均衡服務(wù)器、消息調(diào)度服務(wù)器等統(tǒng)一部署于Docker環(huán)境下[13-15],平臺開發(fā)工具如表2所示。

        表2 平臺開發(fā)工具列表Tab.2 Platform development tools

        2.2 地質(zhì)算法服務(wù)的封裝

        對已有地質(zhì)算法庫或地質(zhì)處理應(yīng)用服務(wù),按照消息調(diào)度機制的服務(wù)體系進(jìn)行封裝,主要分為3個步驟: 首先,將已有地質(zhì)算法庫或地質(zhì)處理應(yīng)用進(jìn)行拆分,將界面操作邏輯與核心算法庫進(jìn)行剝離,明確核心算法庫的輸入數(shù)據(jù)類型、輸出數(shù)據(jù)類型、算法包依賴環(huán)境、算法解決的地質(zhì)問題等,形成標(biāo)準(zhǔn)算法庫,一般是動態(tài)鏈接插件庫; 然后,梳理標(biāo)準(zhǔn)算法庫,根據(jù)算法功能進(jìn)行分類,同時根據(jù)分類設(shè)計出對應(yīng)的消息體名稱和隊列名稱,形成支持消息調(diào)度機制的算法功能庫; 最后,對照網(wǎng)站提供的功能和地質(zhì)消息體結(jié)構(gòu),開發(fā)控制臺程序,調(diào)用算法功能庫,對網(wǎng)站傳遞過來的請求和地質(zhì)消息體結(jié)構(gòu)執(zhí)行相關(guān)處理計算,生成處理結(jié)果,并自動發(fā)布成地質(zhì)空間數(shù)據(jù)處理服務(wù)。

        算法庫封裝完畢之后,系統(tǒng)開發(fā)者不需要關(guān)心后臺算法的開發(fā),只需要提供算法需要的數(shù)據(jù),在使用已有算法的同時,大大地提高了地質(zhì)處理服務(wù)系統(tǒng)的研發(fā)效率。

        2.3 地質(zhì)數(shù)據(jù)共享服務(wù)的發(fā)布

        地質(zhì)數(shù)據(jù)共享服務(wù)的發(fā)布,主要是應(yīng)用ArcGIS Server作為WebGIS服務(wù)器提供地質(zhì)處理結(jié)果數(shù)據(jù)的可視化服務(wù)。首先,當(dāng)算法庫執(zhí)行完地質(zhì)處理后,會生成地質(zhì)空間成果數(shù)據(jù); 然后,ArcGIS Server服務(wù)器監(jiān)聽到數(shù)據(jù)變更,會自動執(zhí)行空間數(shù)據(jù)發(fā)布服務(wù),將地質(zhì)數(shù)據(jù)發(fā)布成符合OGC規(guī)范的WMS服務(wù),同時將WMS地址推送到網(wǎng)站前臺; 而前臺拿到WMS地址解析WMS服務(wù)地址,最后將地質(zhì)運算結(jié)果顯示到瀏覽器前臺,給用戶展示地質(zhì)算法結(jié)果。

        2.4 地質(zhì)消息處理流程

        地質(zhì)消息處理流程(圖4),首先是瀏覽器提供地質(zhì)在線處理算法頁面,用戶在頁面上選擇設(shè)計地質(zhì)算法方法、上傳相應(yīng)數(shù)據(jù)、設(shè)置算法需要的相關(guān)參數(shù),然后點擊處理請求; 在用戶通過瀏覽器界面點擊處理請求的同時,觸發(fā)消息隊列處理服務(wù),對應(yīng)算法處理的消息隊列,根據(jù)用戶注冊的參數(shù)和上傳的數(shù)據(jù)生成地質(zhì)處理消息體,消息調(diào)度服務(wù)器根據(jù)消息隊列名稱和請求數(shù)據(jù)大小,動態(tài)分配地質(zhì)處理算法節(jié)點; 地質(zhì)處理算法節(jié)點在監(jiān)聽到消息處理請求時,解析消息數(shù)據(jù)成算法需要的數(shù)據(jù)格式,并將數(shù)據(jù)傳遞給算法處理插件,執(zhí)行地質(zhì)運算,生成運算結(jié)果數(shù)據(jù),同時呼叫WebGIS在線服務(wù)發(fā)布程序,將地質(zhì)運算生成的結(jié)果數(shù)據(jù)發(fā)布成OGC WMS服務(wù),通過消息推送服務(wù)器,并將WMS地址推送給瀏覽器前臺,瀏覽器前臺解析WMS地址,將地質(zhì)處理結(jié)果展示到瀏覽器界面中。

        圖4 地質(zhì)消息處理流程Fig.4 Flow of geological message in system

        3 應(yīng)用實例分析

        在應(yīng)用實踐中,以基于消息調(diào)度機制的地質(zhì)服務(wù)體系為支撐,面向互聯(lián)網(wǎng)應(yīng)用,構(gòu)建了一個基于瀏覽器的流程化地質(zhì)在線處理原型系統(tǒng)(圖5),按照地質(zhì)算法分類,將各個算法列表展示在右側(cè)功能菜單,用戶通過拖拽的形式,將功能拖拽到中間流程設(shè)計面板,并按照觸角類型,將同類型的輸入與輸出連接起來,形成面向地質(zhì)處理流程。圖5是以土壤地球化學(xué)處理為示例,將元素采集點數(shù)據(jù)以Excel上傳,通過插值算法、等值線、等值面算法形成空間數(shù)據(jù)成果,得到單元素地球化學(xué)異常圖或多元素異常圖服務(wù),形成元素異常圖服務(wù),并在流程執(zhí)行結(jié)果中展示。其中,在流程中對數(shù)據(jù)進(jìn)行的預(yù)處理,如回歸分析、統(tǒng)計分析等同步以圖表或文字的形式展示在結(jié)果應(yīng)用頁面中(圖6)。

        圖5流程化在線處理系統(tǒng)設(shè)計界面

        Fig.5Designinterfaceofon-lineprocessingsystem

        圖6 流程在線處理結(jié)果界面Fig.6 Result interface of on-line processing system

        4 結(jié)論

        1)依托于消息調(diào)度機制這一新技術(shù),提出了一種新型的地質(zhì)數(shù)據(jù)處理服務(wù)共享架構(gòu),對該架構(gòu)下地質(zhì)消息體的結(jié)構(gòu)、服務(wù)模式進(jìn)行了設(shè)計,并對地質(zhì)處理算法的流程進(jìn)行了分類設(shè)計,并初步實現(xiàn)了該模式的應(yīng)用系統(tǒng)。

        2)與當(dāng)今主流基于OGC標(biāo)準(zhǔn)服務(wù)共享處理算法相比,本文著重從地質(zhì)處理算法復(fù)用性來搭建應(yīng)用服務(wù)體系,優(yōu)點是已有的系統(tǒng)或代碼幾乎不需要作任何更改就能集成到平臺中,同時對處理算法生成的數(shù)據(jù),繼續(xù)遵循OGC標(biāo)準(zhǔn)提供了可視化服務(wù),適應(yīng)了互聯(lián)網(wǎng)系統(tǒng)快速開發(fā)的特點,滿足了互聯(lián)網(wǎng)、大數(shù)據(jù)的應(yīng)用需求。

        3)下一步研究,系統(tǒng)將注重解決應(yīng)用服務(wù)的云上管理,將地質(zhì)處理算法庫等共享服務(wù)移植到云環(huán)境中,提供更大范圍的應(yīng)用實踐。

        猜你喜歡
        隊列服務(wù)體系消息
        智慧出行,智繪未來——新一代出行服務(wù)體系構(gòu)建與實踐探討
        隊列里的小秘密
        基于多隊列切換的SDN擁塞控制*
        軟件(2020年3期)2020-04-20 00:58:44
        一張圖看5G消息
        “三效合一”構(gòu)建現(xiàn)代農(nóng)業(yè)服務(wù)體系
        建好公共法律服務(wù)體系“最后一公里”
        在隊列里
        豐田加速駛?cè)胱詣玉{駛隊列
        初具規(guī)模的健康管理服務(wù)體系
        消息
        91精品国产91久久久无码色戒 | 国产免费一区二区三区三| 久久久精品人妻一区二区三区妖精| 精品一区二区三区免费视频| 丰满人妻被中出中文字幕| 欧美乱人伦中文字幕在线不卡| 91久久国产精品综合| 久久久久av综合网成人| 天天影视性色香欲综合网| 99国产小视频| 日韩精品一级在线视频| 音影先锋中文字幕在线| 全球中文成人在线| 欧美色色视频| 国产免费一区二区三区在线视频| 欧美日韩在线视频| 国产精品嫩草影院av| 欧美色资源| 久久一区二区视频在线观看| 色一情一乱一伦麻豆| 高潮毛片无遮挡高清免费| 亚洲AV日韩AV高潮喷潮无码| 久久一区二区三区老熟女| 欧美成免费a级毛片| 国产特级全黄一级毛片不卡| 亚洲精品中文字幕乱码人妻| 国产一区二区三区中文在线| 又粗又硬又黄又爽的免费视频| 三级国产女主播在线观看| av在线一区二区三区不卡| 亚洲日韩激情无码一区| 亚洲国产成人精品女人久久久| 国产高潮精品一区二区三区av| 亚洲日本精品国产一区二区三区 | 人妻av无码系列一区二区三区| 亚洲色偷偷综合亚洲AVYP| 亚洲综合中文日韩字幕| 男女猛烈xx00免费视频试看| 人妻无码一区二区| 一区二区三区日本久久| 内射干少妇亚洲69xxx|