黃東海
(廣州科測(cè)空間信息技術(shù)有限公司,廣東 廣州 510630)
隨著網(wǎng)絡(luò)數(shù)據(jù)庫的建設(shè),結(jié)合云平臺(tái)和大數(shù)據(jù)信息處理方法,構(gòu)建網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫,可實(shí)現(xiàn)網(wǎng)絡(luò)大數(shù)據(jù)的優(yōu)化存儲(chǔ)設(shè)計(jì)。在進(jìn)行網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫建設(shè)中,需要通過關(guān)系數(shù)據(jù)庫構(gòu)造的方法,進(jìn)行數(shù)據(jù)圖模型特征分析,在底層數(shù)據(jù)庫中采用語義特征分析,結(jié)合節(jié)點(diǎn)優(yōu)化部署控制和查詢語言(如SQL、Xpath、Xquery、SPARQL等)的優(yōu)化設(shè)計(jì),實(shí)現(xiàn)數(shù)據(jù)庫建設(shè),研究網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫方法,在提高數(shù)據(jù)存儲(chǔ)和管理能力方面具有重要意義[1]。
網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫建設(shè)的研究是建立在對(duì)網(wǎng)絡(luò)信息技術(shù)處理和數(shù)據(jù)庫的索引路徑設(shè)計(jì)基礎(chǔ)上,結(jié)合數(shù)據(jù)庫的檢索和查詢算法,通過數(shù)據(jù)圖進(jìn)行數(shù)據(jù)庫結(jié)構(gòu)體系設(shè)計(jì),采用B/S(Browser/Server)結(jié)構(gòu)即瀏覽器和服務(wù)器結(jié)構(gòu)的設(shè)計(jì),構(gòu)建網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的輸出終端,通過網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫融合,實(shí)現(xiàn)數(shù)據(jù)庫設(shè)計(jì)[2]。文獻(xiàn)[3]中提出基于統(tǒng)一模型和語言的知識(shí)圖譜數(shù)據(jù)庫管理系統(tǒng),針對(duì)資源描述框架圖(resource description framework,RDF)和屬性圖的不同數(shù)據(jù)管理方法,采用知識(shí)圖譜數(shù)據(jù)存儲(chǔ)和查詢負(fù)載調(diào)度,實(shí)現(xiàn)數(shù)據(jù)庫建設(shè),但用該方法進(jìn)行數(shù)據(jù)庫建設(shè)的效率不高。文獻(xiàn)[4]中建立云環(huán)境下基于SLA的優(yōu)化資源分配方法,實(shí)現(xiàn)數(shù)據(jù)庫設(shè)計(jì)和優(yōu)化訪問,利用了SLA中的計(jì)算力、網(wǎng)絡(luò)帶寬、數(shù)據(jù)存儲(chǔ)的屬性優(yōu)勢(shì),結(jié)合粒子群調(diào)度,實(shí)現(xiàn)數(shù)據(jù)庫建設(shè)和資源分配,但該方法的虛擬資源開銷較大。針對(duì)上述問題,本文提出基于三層架構(gòu)的網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫建設(shè)方法。首先采用MySQL、PostgreSQL數(shù)據(jù)庫底層存儲(chǔ)方法,構(gòu)建樹形結(jié)構(gòu)模型并將數(shù)據(jù)發(fā)送至Sink節(jié)點(diǎn),然后在動(dòng)態(tài)資源分布結(jié)構(gòu)體系下,通過模糊聚類實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的數(shù)據(jù)分類檢索和數(shù)據(jù)庫設(shè)計(jì),最后進(jìn)行實(shí)驗(yàn)測(cè)試分析,展示了本文方法在提高網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫存儲(chǔ)和調(diào)度能力方面的優(yōu)越性能。
在業(yè)務(wù)系統(tǒng)數(shù)據(jù)訪問中,應(yīng)用三層架構(gòu)思想,有助于進(jìn)一步提升系統(tǒng)可用性以及可維護(hù)性。三層架構(gòu)思想在應(yīng)用中的系統(tǒng)設(shè)計(jì)包括面向過程、面向?qū)ο蟆⒚嫦蚪M件等三種模式,其中最為重要的便是面向組件模式,其主要特點(diǎn)為系統(tǒng)耦合度低、開發(fā)效率高、維護(hù)成本低、成本投資不高,且復(fù)用性強(qiáng),后期便于維護(hù),面向組件已經(jīng)成為軟件系統(tǒng)設(shè)計(jì)和開發(fā)的主要模式。該模式在規(guī)模較大且設(shè)計(jì)較復(fù)雜的軟件系統(tǒng)設(shè)計(jì)中,可以將其分解成若干個(gè)單元組件,并對(duì)各個(gè)組件進(jìn)行單獨(dú)設(shè)計(jì),且對(duì)其分開編碼,最后對(duì)各個(gè)組件進(jìn)行組裝,完成整個(gè)系統(tǒng)的設(shè)計(jì)及開發(fā)。由此便于實(shí)現(xiàn)系統(tǒng)后期的升級(jí)與維護(hù),同時(shí)降低了開發(fā)難度。接下來針對(duì)三層架構(gòu)網(wǎng)絡(luò)信息數(shù)據(jù)庫總體架構(gòu)進(jìn)行展開分析,并完成相應(yīng)模型體系建構(gòu),以此完成相應(yīng)的數(shù)據(jù)庫建設(shè)。
為了實(shí)現(xiàn)網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫建設(shè),構(gòu)建網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的總體結(jié)構(gòu)模型。首先利用VLB(VESA Local Bus)總線設(shè)計(jì)方法建立網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的總線結(jié)構(gòu)模型,再采用TCP(Transmission Control Protocol)控制協(xié)議,進(jìn)行網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的程序加載控制。然后在網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的底層端,通過數(shù)據(jù)層整合與分配數(shù)據(jù)中心的有限資源,在ANSI-SQL標(biāo)準(zhǔn)協(xié)議下,使客戶端通過DSG(Direct Serialization Graph)圖實(shí)現(xiàn)網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的資源配置。接著根據(jù)數(shù)據(jù)庫支持資源描述框架RDF[5],在知識(shí)圖譜數(shù)據(jù)庫管理系統(tǒng)——KGDB(knowledge graph database)中,采用屬性圖和實(shí)體圖模型設(shè)計(jì)的方法,構(gòu)建數(shù)據(jù)庫的知識(shí)圖譜存儲(chǔ)模型,并將唯一標(biāo)識(shí)ID(主鍵)和實(shí)體所擁有的屬性property作為索引對(duì)象,采用MySQL、PostgreSQL數(shù)據(jù)庫底層存儲(chǔ)方法,依據(jù)實(shí)體和關(guān)系的類型,構(gòu)建事務(wù)標(biāo)識(shí)符(TID)標(biāo)注元組模型。最后采用數(shù)據(jù)層、網(wǎng)絡(luò)層和應(yīng)用層的三層架構(gòu)體系,將數(shù)據(jù)庫的平臺(tái)建設(shè)分為用戶域、服務(wù)域、管理域、通信域和對(duì)象域,并構(gòu)建無類型的實(shí)體參數(shù)集,依據(jù)RDF數(shù)據(jù)語義信息,進(jìn)行基于關(guān)系模型的多模型圖數(shù)據(jù)庫構(gòu)造,結(jié)構(gòu)模型如圖1所示。
圖1 網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的結(jié)構(gòu)模型
上圖中利用JSON鍵值建立網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的查詢終端,且為了節(jié)省存儲(chǔ)空間,采用標(biāo)簽節(jié)點(diǎn)分類的方法,進(jìn)行網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的實(shí)體集分類;基于關(guān)系的屬性圖存儲(chǔ)方法,得到唯一標(biāo)識(shí)ID(主鍵)和實(shí)體模型,并采用擴(kuò)展的SQL和Gremlin查詢方案,進(jìn)行數(shù)據(jù)庫的屬性圖模型構(gòu)造。接下來基于RDF圖和屬性圖的定義,得到網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫屬性列表,如表1所示。
表1 網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫屬性列表
在面向服務(wù)的體系架構(gòu)(service-oriented architecture,SOA)下建立網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫。首先通過移動(dòng)終端融合控制,在總線架構(gòu)下實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的體系平臺(tái)建設(shè);然后采集運(yùn)維體系建設(shè)方案,通過讀寫類操作,在不同的網(wǎng)絡(luò)平臺(tái)下,構(gòu)建網(wǎng)絡(luò)傳輸層;接著網(wǎng)絡(luò)架構(gòu)采用物聯(lián)網(wǎng)、互聯(lián)網(wǎng)和無線傳感器網(wǎng)絡(luò)建立網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的XML、Web中間件;最后采用上位機(jī)傳輸控制技術(shù),基于微服務(wù)的構(gòu)架體系,建立網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的XML總線控制模型,完成數(shù)據(jù)庫建設(shè)三層架構(gòu)體系的構(gòu)建,如圖2所示。
在此基礎(chǔ)上,結(jié)合表1所示的網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫屬性列表分布,建立網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的架構(gòu)模型,并結(jié)合多節(jié)點(diǎn)通信技術(shù),構(gòu)建在統(tǒng)一存儲(chǔ)方案下的實(shí)體集,然后采用實(shí)體的類型化參數(shù)標(biāo)識(shí)的方法,得到數(shù)據(jù)庫的屬性圖G=(V,E,η,src,tgt,λ,γ)。其中:V為數(shù)據(jù)庫架構(gòu)體系的管理模塊頂有限集合;E為負(fù)責(zé)管理維護(hù)應(yīng)用層的邊有限集合,且滿足V∩E=?;函數(shù)η:E→(V×V)表示映射過程與資源調(diào)度的分配映射,如η(e)=(v1×v2)表示數(shù)據(jù)庫訪問節(jié)點(diǎn)v1與訪問節(jié)點(diǎn)v2之間的資源調(diào)度分配映射;函數(shù)src:E→V為數(shù)據(jù)庫訪問的模糊灰色關(guān)聯(lián)映射,如果src(e)=v,那么得到的tgt:E→V可表示為邊到終結(jié)頂點(diǎn)的映射;λ、γ分別為分配映射系數(shù)和模糊灰色關(guān)聯(lián)映射系數(shù)。數(shù)據(jù)庫平臺(tái)建設(shè)的操作變量集為v∈V(或e∈E),且頂點(diǎn)v(或邊e)上屬性property的值為val,將調(diào)度集中所有的沖突組成有向向量集,基于“讀”“寫”兩種操作組成的屬性值進(jìn)行兼容性處理,以提高數(shù)據(jù)庫訪問的吞吐性能。
在動(dòng)態(tài)資源分布結(jié)構(gòu)體系下,通過模糊聚類實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的數(shù)據(jù)分類檢索;然后設(shè)計(jì)數(shù)據(jù)庫訪問和優(yōu)化檢索算法,通過對(duì)網(wǎng)絡(luò)信息平臺(tái)和數(shù)據(jù)庫關(guān)聯(lián)系統(tǒng)的信息交互,進(jìn)行數(shù)據(jù)動(dòng)態(tài)特征分析;接著構(gòu)建網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的運(yùn)維管理模型,基于有向圖分析,得到數(shù)據(jù)庫訪問的優(yōu)化調(diào)度融合模型;最后采用相似度融合,得到二事務(wù)單變量檢索分布。
網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的關(guān)聯(lián)節(jié)點(diǎn)到另一個(gè)點(diǎn)之間的傳輸容量大小計(jì)算方法為使用稀疏矩陣進(jìn)行數(shù)據(jù)收集,得到數(shù)據(jù)的采樣時(shí)間間隔為t。設(shè)經(jīng)過初始聚類后,經(jīng)過M輪傳輸完成壓縮傳輸簇M1,M2,…,Mq的中心點(diǎn)的距離為(1≤j≤q),采用分布式壓縮感知測(cè)量,得到數(shù)據(jù)庫的底層訪問序列兩簇合并的距離mergedistance。由此,給出一個(gè)數(shù)據(jù)圖G=(V,E)和一組查詢關(guān)鍵詞Q={q1,...,q1},得到以當(dāng)前訪問節(jié)點(diǎn)為根節(jié)點(diǎn)的steiner樹,采用Micro-Clusters算法實(shí)現(xiàn)數(shù)據(jù)庫訪問和設(shè)計(jì)。
在算法設(shè)計(jì)的基礎(chǔ)上,進(jìn)行網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫建設(shè)和軟件開發(fā)設(shè)計(jì),并在三維SOA架構(gòu)協(xié)議下,對(duì)網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的底層協(xié)議進(jìn)行開發(fā)。接著建立網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的協(xié)議處理和總線控制模塊,并在Spring框架和Hibernate框架整合協(xié)議下,構(gòu)建網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的服務(wù)代理中心。然后分別采用分層構(gòu)架體系和Multigen Creator技術(shù),建立、生成網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的人機(jī)交互中心及人機(jī)交互模塊。最后通過對(duì)訪問環(huán)境參數(shù)分析,在人機(jī)交互控制中心進(jìn)行客戶端控制,分析服務(wù)請(qǐng)求者的訪問需求,并在信息交互過程中,進(jìn)行對(duì)象訪問控制。得到數(shù)據(jù)庫檢索的軟件實(shí)現(xiàn)結(jié)構(gòu)體系,如圖3所示。
圖3 數(shù)據(jù)庫檢索的軟件實(shí)現(xiàn)結(jié)構(gòu)體系
實(shí)驗(yàn)測(cè)試中,對(duì)數(shù)據(jù)庫中的文件集成數(shù)據(jù)大小為200 M,查詢的關(guān)鍵詞組數(shù)為5,類別屬性為12,數(shù)據(jù)庫的分布序列,如表2所示。
表2 數(shù)據(jù)庫特征分布序列
由表2可知:不同的數(shù)據(jù)庫分布維數(shù)所對(duì)應(yīng)的數(shù)據(jù)信息量不同。為驗(yàn)證所提方法的應(yīng)用性能,在不同的數(shù)據(jù)庫分布維數(shù)下進(jìn)行數(shù)據(jù)庫資源調(diào)度耗時(shí)測(cè)試,其中數(shù)據(jù)量單位M,如圖4所示。
圖4 數(shù)據(jù)庫調(diào)度耗時(shí)測(cè)試
由圖4可知:所提方法進(jìn)行數(shù)據(jù)庫平臺(tái)設(shè)計(jì),數(shù)據(jù)庫資源調(diào)度耗時(shí)較小,具有較好的穩(wěn)定性。接著對(duì)數(shù)據(jù)庫的查詢時(shí)間進(jìn)行測(cè)試,其結(jié)果如圖5所示。
圖5 查詢時(shí)間
由圖5可知:本文方法的查詢時(shí)間較小,提高了數(shù)據(jù)庫的實(shí)時(shí)檢索和查詢能力。
本文通過構(gòu)建網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫,實(shí)現(xiàn)網(wǎng)絡(luò)大數(shù)據(jù)的優(yōu)化存儲(chǔ)設(shè)計(jì),提出基于三層架構(gòu)的網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫建設(shè)方法。利用JSON鍵值建立網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的查詢終端,且建立網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的XML、Web中間件,并采用上位機(jī)傳輸控制技術(shù),基于微服務(wù)的構(gòu)架體系,建立網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫的XML總線控制平臺(tái),實(shí)現(xiàn)數(shù)據(jù)信息平臺(tái)數(shù)據(jù)庫設(shè)計(jì)。測(cè)試得知:使用本文方法進(jìn)行網(wǎng)絡(luò)信息平臺(tái)數(shù)據(jù)庫建設(shè),降低了訪問時(shí)間,資源調(diào)度耗時(shí)較小。在現(xiàn)代互聯(lián)網(wǎng)技術(shù)發(fā)展中,基于互聯(lián)網(wǎng)交換中心能夠進(jìn)一步實(shí)現(xiàn)企業(yè)資源共享,對(duì)等連接,在現(xiàn)代網(wǎng)絡(luò)信息平臺(tái)管理類型逐漸豐富的情況下,進(jìn)一步提升了信息管理數(shù)據(jù)量,同時(shí)增加了信息評(píng)測(cè)報(bào)告查詢并發(fā)數(shù)量,在此情況下可以逐漸過渡到基于多臺(tái)數(shù)據(jù)庫服務(wù)器的數(shù)據(jù)庫集群模式;在分層數(shù)據(jù)庫架構(gòu)應(yīng)用下,為數(shù)據(jù)庫建設(shè)向集群模式的過渡提供了便利。