李剛

摘? ?要：基于對互聯(lián)網(wǎng)開源數(shù)據(jù)存儲與分析技術(shù)的探討、研究，首先要明確云儲存技術(shù)的定義，然后與其中內(nèi)容相結(jié)合，對互聯(lián)網(wǎng)開源數(shù)據(jù)存儲與分析技術(shù)進(jìn)行分析。文章主要從基本策略與4層架構(gòu)設(shè)計兩方面入手，分析將后者擴(kuò)展至架構(gòu)硬件體系以及設(shè)計系統(tǒng)處理流程的途徑?，F(xiàn)如今互聯(lián)網(wǎng)開源數(shù)據(jù)存儲與分析技術(shù)的作用愈發(fā)明顯，及時進(jìn)一步探索更先進(jìn)的方法與技術(shù)勢在必行，為有需要的人士提供些許幫助。

關(guān)鍵詞：互聯(lián)網(wǎng);開源數(shù)據(jù)存儲;數(shù)據(jù)分析

隨著信息技術(shù)在全球范圍內(nèi)的飛速發(fā)展，互聯(lián)網(wǎng)上的開源數(shù)據(jù)可以用海量來形容，此時若想確保正常的數(shù)據(jù)存儲與使用，僅依靠磁盤陣列方式是遠(yuǎn)遠(yuǎn)不夠的。與此同時，作為新時代應(yīng)運(yùn)而生的先進(jìn)產(chǎn)物，云存儲技術(shù)能夠起到分析互聯(lián)網(wǎng)開源數(shù)據(jù)存儲應(yīng)用的作用，通過對數(shù)據(jù)分類技術(shù)的應(yīng)用，使海量數(shù)據(jù)得到初步的有效檢索，再在此基礎(chǔ)上采取私有云的方式，分類存儲已經(jīng)分類好的數(shù)據(jù)，為日后的計算分析提供便利。由此可見，為進(jìn)一步提升開源數(shù)據(jù)存儲與分析的效率，及時探索更有效的方式與策略勢在必行。

1? ? 云儲存技術(shù)概述

云存儲技術(shù)概念實(shí)際上源于云計算概念，通過對網(wǎng)格技術(shù)、集群應(yīng)用或者是分布式文件系統(tǒng)等功能的運(yùn)用，采取合適的應(yīng)用軟件展開對網(wǎng)絡(luò)中大量不同類型存儲設(shè)備的整合，從而使其協(xié)同合作，對外提供數(shù)據(jù)存儲與業(yè)務(wù)訪問服務(wù)。如果大量數(shù)據(jù)存儲與管理程序是云計算系統(tǒng)運(yùn)算與處理的關(guān)鍵所在，那么云計算系統(tǒng)中存儲設(shè)備的大量配置就非常必要，在向云存儲系統(tǒng)轉(zhuǎn)變的基礎(chǔ)上，也可以將云存儲看作一個數(shù)據(jù)存儲與管理的云計算系統(tǒng)。

2? ? 互聯(lián)網(wǎng)開源數(shù)據(jù)存儲與分析技術(shù)

實(shí)際上，可以通過對面向服務(wù)體系結(jié)構(gòu)（Service-Oriented Architecture，SOA）的應(yīng)用實(shí)現(xiàn)數(shù)據(jù)存儲與計算技術(shù)。SOA是在業(yè)務(wù)集成形成需求的時候，可以在連接后達(dá)成特定任務(wù)中要求的目標(biāo)，作為一種功能實(shí)體，相對來講具備較強(qiáng)的獨(dú)立性，能夠?qū)崿F(xiàn)軟件系統(tǒng)架構(gòu)[1]。除此之外，還可以將SOA定義成組件模型，其能夠有效聯(lián)系應(yīng)用程序中的各個功能單元，就硬件平臺、編程語言以及操作系統(tǒng)來講，接口是獨(dú)立存在的。如此一來，各類系統(tǒng)中的服務(wù)即能采取統(tǒng)一方式交互[2]。

2.1? 基本策略

基本策略的軟件架構(gòu)設(shè)計，主要以SOA的設(shè)計思想為指導(dǎo)，其基本策略如下：

（1）通過對于實(shí)現(xiàn)無關(guān)接口的應(yīng)用定義服務(wù)，即相關(guān)人員需將面向服務(wù)、對象作為根據(jù)，同時將用戶人機(jī)接口以及軟件運(yùn)行環(huán)境等因素考慮在內(nèi)，若都能實(shí)現(xiàn)有效獨(dú)立，能在極大程度上降低運(yùn)行時對人機(jī)界面接口情況的影響，進(jìn)一步為系統(tǒng)整體運(yùn)行效率提供保障。

（2）相關(guān)人員需明確認(rèn)識通信協(xié)議強(qiáng)調(diào)位置透明性與互操作性的關(guān)鍵意義。互操作性即為在計算機(jī)系統(tǒng)、應(yīng)用程序與網(wǎng)絡(luò)都不相同的情況下，已然具備共同工作與共享信息的能力。由于是兩個系統(tǒng)連接后的信息共享，需對互操作性展開級別劃分，不能單一認(rèn)為用戶也可以實(shí)現(xiàn)信息隨意訪問。

（3）業(yè)務(wù)功能服務(wù)可應(yīng)用于封裝技術(shù)。該技術(shù)通常是指通過對絕緣材料的運(yùn)用，實(shí)現(xiàn)對集成電路打包的技術(shù)，而本文中則指封裝分析模塊軟件功能的技術(shù)，如此能使破壞與修改的概率顯著降低[3]。除數(shù)據(jù)查詢與分析功能之外，也能用于一定程度的數(shù)據(jù)信息挖掘，由此可見，在用戶操作與使用便捷性提升方面，該技術(shù)是非常有利的。

2.2? 4層架構(gòu)設(shè)計

4層架構(gòu)設(shè)計軟件體系結(jié)構(gòu)所包含的內(nèi)容可以分為4層，且能明顯觀察到其為遞進(jìn)層次關(guān)系。第一層次是基礎(chǔ)數(shù)據(jù)層，原始數(shù)據(jù)庫、預(yù)處理與運(yùn)算存儲數(shù)據(jù)、各類信息知識等，都是其中含括的主要內(nèi)容。第二層次則是面向服務(wù)的構(gòu)件管理層，是應(yīng)用軟件系統(tǒng)調(diào)度與管理中最不可忽視的重要部分，主要包括服務(wù)調(diào)度管理、業(yè)務(wù)流程編排以及系統(tǒng)管理與監(jiān)控等組件。第三層次是服務(wù)層，以高內(nèi)聚與低耦合的功能組件為主要內(nèi)容，通常情況下以數(shù)據(jù)檢索、挖掘為目的，調(diào)度管理都由構(gòu)件管理平臺統(tǒng)一進(jìn)行。第四層次為應(yīng)用層，此處以數(shù)據(jù)分析、檢索以及挖掘為核心工作，同時實(shí)現(xiàn)各類可視化用戶接口的提供[4]。

2.2.1? 架構(gòu)硬件體系

（1）分布式處理體系在運(yùn)行過程中的服務(wù)器數(shù)量，通常在兩個或以上，系統(tǒng)應(yīng)用軟件能在一臺或已連接的多臺服務(wù)器上運(yùn)行。相比較其他形式的硬件架構(gòu)而言，分布式處理體系的特征與長處如下：在分布式架構(gòu)的作用下，達(dá)成負(fù)載平衡計算的目的;選擇最合適的計算機(jī)運(yùn)行程序;稀有資源能夠全面共享。其中，共享稀有資源與平衡負(fù)載可以看作是分布式架構(gòu)的核心所在。

（2）兩臺或以上數(shù)量的計算機(jī)或者節(jié)點(diǎn)在同群組內(nèi)共同工作，即為PC服務(wù)器集群，與獨(dú)立工作的計算機(jī)相比，具備更強(qiáng)的可擴(kuò)充性與實(shí)用性[5]。與此同時，服務(wù)器集群的優(yōu)勢是能夠有效滿足范圍內(nèi)的用戶所需，在各節(jié)點(diǎn)都有資源的情況下，可用性與可擴(kuò)充性也能隨之顯著提升。若在節(jié)點(diǎn)硬件或軟件運(yùn)行時發(fā)現(xiàn)異常狀況，系統(tǒng)會自動進(jìn)行故障切換，而如果軟件系統(tǒng)對服務(wù)器處理速度提出更高的要求，服務(wù)器擴(kuò)充工作也可以隨時進(jìn)行，從而在最大程度上使用戶需求得到滿足。

2.2.2? 設(shè)計系統(tǒng)處理流程

（1）數(shù)據(jù)獲取。以將已經(jīng)預(yù)處理完成的數(shù)據(jù)有效提取到系統(tǒng)中為主要功能，與此同時，再以數(shù)據(jù)清洗、格式統(tǒng)一化處理為基礎(chǔ)，實(shí)現(xiàn)數(shù)據(jù)合理有序的傳輸，使后續(xù)處理過程中系統(tǒng)功能的完善性得到保障[6]，即相關(guān)人員需要確保前端探針設(shè)備傳回數(shù)據(jù)處理的合理性，在充分發(fā)揮數(shù)據(jù)預(yù)處理層作用的前提下，達(dá)成格式統(tǒng)一化與分類處理的目的。經(jīng)實(shí)踐證明，以此為基點(diǎn)再向數(shù)據(jù)存儲層存放，同時明確各類文件在不同服務(wù)器中存放的差異，在提高數(shù)據(jù)資料調(diào)取、分析效率的情況下，能夠為日后用戶調(diào)用以及查詢功能提供極大便利。

（2）數(shù)據(jù)組織。主要功能在于能實(shí)現(xiàn)對文件流的在線處理，以快速掃描、文字提取、信息識別、數(shù)據(jù)過濾以及信息分類等為主。其中所提到的快速掃描技術(shù)，能有效完成數(shù)據(jù)文件檢索;而通過對文字提取功能的合理應(yīng)用，能夠結(jié)合實(shí)際情況形成派生文本數(shù)據(jù);信息分類能有效整合信息時代下每時每刻產(chǎn)生的海量數(shù)據(jù)，并最大程度上保證其準(zhǔn)確性與合理性，使數(shù)據(jù)檢索與查詢的便捷性得到保障[7]。

（3）數(shù)據(jù)存儲數(shù)據(jù)計算。本文所指的數(shù)據(jù)存儲，主要是通過中間管理層來實(shí)現(xiàn)的，以大文件庫、全文數(shù)庫以及關(guān)系數(shù)據(jù)庫等儲存服務(wù)為例，均是存儲系統(tǒng)中的關(guān)鍵內(nèi)容。除此之外，還包括統(tǒng)一視圖中間管理層實(shí)現(xiàn)分布式存儲系統(tǒng)，進(jìn)而形成單一系統(tǒng)映像[8]。將自然語言處理的高級數(shù)據(jù)分析功能作為基礎(chǔ)，能有效地實(shí)現(xiàn)數(shù)據(jù)計算，其屬于信息過濾與檢索常規(guī)數(shù)據(jù)處理的擴(kuò)充。

3? ? 結(jié)語

綜上所述，就網(wǎng)絡(luò)技術(shù)環(huán)境目前情況來看，開源數(shù)據(jù)作為其中的研究熱點(diǎn)，能夠?qū)⒕W(wǎng)絡(luò)新技術(shù)、信息采集以及數(shù)據(jù)分析等多個領(lǐng)域均含括在內(nèi)，相對來講優(yōu)勢非常明顯。與此同時，在新時期大數(shù)據(jù)環(huán)境的影響下，開源數(shù)據(jù)的挖掘與分析技術(shù)也必然會得到進(jìn)一步的發(fā)展，及時創(chuàng)新信息采集與網(wǎng)絡(luò)監(jiān)控等勢在必行。

[參考文獻(xiàn)]

[1]向華偉.開源數(shù)據(jù)庫數(shù)據(jù)存儲的實(shí)現(xiàn)路徑分析[J].電子技術(shù)與軟件工程，2016（20）：186.

[2]寧德軍，葉培根，劉琴，等.基于存儲庫數(shù)據(jù)挖掘的開源軟件成功度量方法[J].電子學(xué)報，2018（12）：116-121.

[3]郝文江.互聯(lián)網(wǎng)開源數(shù)據(jù)存儲與分析技術(shù)研究[J].信息網(wǎng)絡(luò)安全，2013（7）：24-27.

[4]姜天海.新技術(shù)讓數(shù)據(jù)存儲時間逼近“永恒”[J].科學(xué)新聞，2017（1）：44.

[5]李華平，許鵬，胡曉明.高職院校教育資源云平臺的數(shù)據(jù)存儲研究[J].洛陽師范學(xué)院學(xué)報，2017（5）：56-59.

[6]王峰，閆匯，劉圓.冷數(shù)據(jù)存儲研究[J].電信技術(shù)，2017（6）：22-24.

[7]楊靖.在線數(shù)據(jù)存儲—你存儲了嗎？[J].電腦知識與技術(shù)，2009（8）：225-226.

[8]彭澤華，胡開勝.高校圖書館數(shù)據(jù)存儲外包的探討[J].電腦知識與技術(shù)，2009（22）：20-22.

Abstract：Based on the discussion and research on the open source data storage and analysis technology of the Internet， it is necessary to clarify what is cloud storage technology first， then combine it with the content to analyze the open source data storage and analysis technology of the Internet. This paper mainly starts from the basic strategy and four-layer architecture design， analyzes the way of extends the latter to construct the hardware system and design the system processing process. Nowadays， the role of open source data storage and analysis technology on the Internet is becoming more and more obvious. It is imperative to further explore more advanced methods and technologies in a timely manner， so as to provide some help for those in need.

Key words：Internet; open source data storage; data analysis