宇文富博

摘 要：隨著大數(shù)據(jù)時代的來臨，大數(shù)據(jù)正在以快速有效處理海量數(shù)據(jù)的技術(shù)影響著各行各業(yè)，其中大數(shù)據(jù)的環(huán)境下高性能計(jì)算模型及關(guān)鍵技術(shù)的研究能夠有效地提高海量大數(shù)據(jù)的索引和處理速度，因此，文章主要針對大數(shù)據(jù)環(huán)境下高性能計(jì)算模型及關(guān)鍵技術(shù)進(jìn)行了詳細(xì)探究和討論。

關(guān)鍵詞：大數(shù)據(jù)環(huán)境：高性能計(jì)算模型：關(guān)鍵技術(shù)

中圖分類號：TP3 文獻(xiàn)標(biāo)志碼：A 文章編號：2095-2945（2017）25-0041-02

大數(shù)據(jù)時代已經(jīng)來臨，大數(shù)據(jù)（big data）是指無法在一定時間范圍內(nèi)用常規(guī)軟件捕捉和處理的數(shù)據(jù)集合，需要新型處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率以及多樣化的信息資產(chǎn)。大數(shù)據(jù)具有5V的特點(diǎn)，分別是Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）以及Veracity（真實(shí)性）。

1 大數(shù)據(jù)環(huán)境下高性能計(jì)算模型

1.1 數(shù)據(jù)活化理論

數(shù)據(jù)活化理論方面的研究實(shí)際上最早起始于上個世紀(jì)初葉，現(xiàn)如今，隨著全球信息科學(xué)和計(jì)算機(jī)科學(xué)的持續(xù)高速發(fā)展，數(shù)據(jù)活化理論已經(jīng)成為了大數(shù)據(jù)環(huán)境下高性能計(jì)算模型中被廣泛應(yīng)用并投入使用的理論。尤其在隨著全球現(xiàn)代化的高速發(fā)展的趨勢，數(shù)據(jù)活化理論在大數(shù)據(jù)環(huán)境下高性能計(jì)算模型中日益顯示出其重要的地位，雖然現(xiàn)如今，在全球經(jīng)濟(jì)高速發(fā)展的背景下，各種各樣的基于大數(shù)據(jù)環(huán)境下的高性能計(jì)算模型理論層出不窮，例如：走鵑——RoadRuner存儲系統(tǒng)理論、藍(lán)色基因Blue Gene/L存儲系統(tǒng)、元數(shù)據(jù)管理理論、分布式多級緩存管理理論、分布式數(shù)據(jù)布局理論等，但數(shù)據(jù)活化理論的地位卻依舊無法撼動[1]。

1.2 數(shù)據(jù)多態(tài)組織索引

在大數(shù)據(jù)環(huán)境下高性能計(jì)算模型中，數(shù)據(jù)多態(tài)組織索引是目前最常用的一種索引技術(shù)，數(shù)據(jù)多態(tài)組織索引實(shí)際上就是基于一種離散目標(biāo)的索引方式，主要針對的是目標(biāo)區(qū)域內(nèi)的某一個特定的點(diǎn)集進(jìn)行搜索，也正是由于數(shù)據(jù)多態(tài)組織索引覆蓋的搜索區(qū)域和范圍非常的廣，所以在數(shù)據(jù)多態(tài)組織索引就具有了網(wǎng)絡(luò)能耗大且關(guān)注點(diǎn)不突出的缺點(diǎn)。但在大數(shù)據(jù)環(huán)境下高性能計(jì)算模型中數(shù)據(jù)多態(tài)組織索引由于可以針對一定區(qū)域內(nèi)的移動的目標(biāo)進(jìn)行索引，因而具有了其他索引技術(shù)所不具備的優(yōu)勢，在一定范圍內(nèi)目標(biāo)被搜索到的概率就會有相對的提高。同時，由于數(shù)據(jù)多態(tài)組織索引對于大數(shù)據(jù)環(huán)境中的數(shù)據(jù)質(zhì)量、網(wǎng)絡(luò)的連通性、能量的有效性、網(wǎng)絡(luò)的容錯性、算法的復(fù)雜度、算法的精確度、動態(tài)性和兼容性、網(wǎng)絡(luò)的可擴(kuò)展性、執(zhí)行的復(fù)雜程度等各個方面的要求都較低，因而也就成為了大數(shù)據(jù)環(huán)境下高性能計(jì)算模型中最實(shí)用和方便的一種方式[2]。

1.3 數(shù)據(jù)處理

針對大數(shù)據(jù)環(huán)境下高性能計(jì)算模型的特點(diǎn)，想要保證數(shù)據(jù)處理的及時性、完整性以及可靠性，就必須加強(qiáng)大數(shù)據(jù)環(huán)境下高性能計(jì)算模型中的數(shù)據(jù)處理技術(shù)，通過對大數(shù)據(jù)環(huán)境下高性能計(jì)算模型中的所有數(shù)據(jù)的狀態(tài)進(jìn)行全面的監(jiān)視。依照不同數(shù)據(jù)的信息來源的不同，根據(jù)不同的實(shí)際情況，從而通過數(shù)據(jù)采集模塊為大數(shù)據(jù)環(huán)境下高性能計(jì)算模型的系統(tǒng)提供原始數(shù)據(jù)，數(shù)據(jù)源可以是數(shù)據(jù)的固定信息或者變動信息，也可以是網(wǎng)絡(luò)上的數(shù)據(jù)的信息變化等。當(dāng)數(shù)據(jù)提取模塊獲得數(shù)據(jù)源之后，通過對數(shù)據(jù)源進(jìn)行簡單的過濾、數(shù)據(jù)格式的標(biāo)準(zhǔn)化等處理，并且將處理后的數(shù)據(jù)存入數(shù)據(jù)庫當(dāng)中，這個時候大數(shù)據(jù)環(huán)境下高性能計(jì)算模型中的分析模塊就會對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行深入分析和分類，從而根據(jù)不同的協(xié)議建立數(shù)據(jù)倉庫，通過對數(shù)據(jù)的挖掘從而發(fā)現(xiàn)基本的時間變化規(guī)則，最終提交給大數(shù)據(jù)環(huán)境下高性能計(jì)算模型中的數(shù)據(jù)處理系統(tǒng)生成模塊，對大數(shù)據(jù)環(huán)境下高性能計(jì)算模型中可能出現(xiàn)的一切數(shù)據(jù)進(jìn)行全面的監(jiān)測，一旦監(jiān)測到索引的數(shù)據(jù)，就會進(jìn)行提示，并重復(fù)以上步驟。大數(shù)據(jù)環(huán)境下高性能計(jì)算模型中的數(shù)據(jù)處理技術(shù)在很大程度上，填補(bǔ)了過去傳統(tǒng)動態(tài)解決計(jì)算模型中數(shù)據(jù)處理問題上的不足，為大數(shù)據(jù)環(huán)境下高性能計(jì)算模型數(shù)據(jù)處理的構(gòu)建提供了有力的方法和手段。

2 大數(shù)據(jù)環(huán)境下高性能計(jì)算模型關(guān)鍵技術(shù)研究

2.1 基于分布式內(nèi)存計(jì)算的并行二路空間連接算法

基于分布式內(nèi)存計(jì)算的并行二路空間連接算法使大數(shù)據(jù)環(huán)境下高性能計(jì)算模型中一項(xiàng)較為常用的算法，最早是由J. Kennedy和R. C. Eberhart等開發(fā)的?；诜植际絻?nèi)存計(jì)算的并行二路空間連接算法具有自組織性強(qiáng)以及并行二路空間連接速度快等特點(diǎn)。但由于基于分布式內(nèi)存計(jì)算的并行二路空間連接算法，主要是通過隨機(jī)解出以迭代的方式尋找出目標(biāo)的方式，雖然收斂速度、參數(shù)選取、收斂性等許多方面都具有一定的優(yōu)勢，但是由于基于分布式內(nèi)存計(jì)算的并行二路空間連接算法的缺點(diǎn)是，比較容易陷入局部的搜尋最優(yōu)解，而基于分布式內(nèi)存計(jì)算的并行二路空間連接算法的全面搜索的能力實(shí)際上比較的差。因而，基于分布式內(nèi)存計(jì)算的并行二路空間連接算法經(jīng)常是通過分為三種狀態(tài)，分別是活躍、預(yù)休眠以及休眠狀態(tài)，對三種狀態(tài)之間的相互切換，可以很好的實(shí)現(xiàn)調(diào)度策略，可在很大程度上實(shí)現(xiàn)對監(jiān)測范圍內(nèi)進(jìn)行有效地索引，從而最大限度的延長大數(shù)據(jù)環(huán)境下高性能計(jì)算模型生存周期的目的?；诜植际絻?nèi)存計(jì)算的并行二路空間連接算法能夠在很大程度上有效的保證數(shù)據(jù)通過索引模塊對數(shù)據(jù)的索引，從而為大數(shù)據(jù)環(huán)境下高性能計(jì)算模型提供更高的可靠性，非常有效的避免了大數(shù)據(jù)環(huán)境下高性能計(jì)算模型中可能出現(xiàn)的盲區(qū)或者是索引數(shù)據(jù)冗余等情況的出現(xiàn)。而基于分布式內(nèi)存計(jì)算的并行二路空間連接算法實(shí)際上是對于數(shù)據(jù)索引和處理模式進(jìn)行并行的索引和處理方式，索引通過模式索引后的數(shù)據(jù)，必須要與索引之前的原模式等價，雖然這會在很大程度上有效的避免過多數(shù)據(jù)搜索冗余的情況，并且能夠通過減少索引目標(biāo)的能量消耗，非常有效和全面的提高索引的利用率。但基于分布式內(nèi)存計(jì)算的并行二路空間連接算法實(shí)際上將每個不同的數(shù)據(jù)，都看作是在一定維度搜索范圍中的一個數(shù)據(jù)，并在搜索范圍內(nèi)以一定的并行速度進(jìn)行搜索，這就必然使得在數(shù)據(jù)處理某些優(yōu)化的問題時，往往會出現(xiàn)過早收斂的情況，所以基于分布式內(nèi)存計(jì)算的并行二路空間連接算法在一定程度上還需要進(jìn)一步的優(yōu)化[3]。endprint

2.2 基于分布式內(nèi)存計(jì)算的并行多路空間連接算法

基于分布式內(nèi)存計(jì)算的并行多路空間連接算法由于通過采用并行多路的空間連接方式，因此在面對海量的大數(shù)據(jù)的情況下，能夠比基于分布式內(nèi)存計(jì)算的并行二路空間連接算法有更大的優(yōu)化，但毫無疑問，基于分布式內(nèi)存計(jì)算的并行多路空間連接算法比基于分布式內(nèi)存計(jì)算的并行二路空間連接算法在能源消耗的問題上更加嚴(yán)重，如何能夠通過降低能源的消耗，從而實(shí)現(xiàn)延長大數(shù)據(jù)環(huán)境下高性能計(jì)算模型的壽命，這已經(jīng)成為了當(dāng)前基于分布式內(nèi)存計(jì)算的并行多路空間連接算法需要考慮的重要課題。一般來說，基于分布式內(nèi)存計(jì)算的并行多路空間連接算法多是通過充分考慮到了所有數(shù)據(jù)范圍內(nèi)可能出現(xiàn)的能量消耗的均衡性，以數(shù)據(jù)的位置信息為依據(jù)的層次進(jìn)行的一種拓?fù)淇刂扑惴ǎ瑥亩鶕?jù)目標(biāo)數(shù)據(jù)的感知半徑，將目標(biāo)范圍分別劃分為等大小的多個網(wǎng)格，并通過讓數(shù)據(jù)索引模塊盡量處于休眠的狀態(tài)，保證每個網(wǎng)格中只有簇頭數(shù)據(jù)保持活躍。當(dāng)進(jìn)入索引狀態(tài)時候，基于分布式內(nèi)存計(jì)算的并行多路空間連接算法就會通過一個數(shù)據(jù)代替另一個數(shù)據(jù)進(jìn)行替換的方式，從而可以得知某一個數(shù)據(jù)點(diǎn)，以及其他數(shù)據(jù)點(diǎn)的精確位置，從而實(shí)現(xiàn)兩個相鄰的網(wǎng)格內(nèi)的數(shù)據(jù)，或者所有網(wǎng)格內(nèi)的數(shù)據(jù)索引和處理的方式，在這種情況下，所有的數(shù)據(jù)在網(wǎng)格當(dāng)中都相當(dāng)于是等價的存在，通過等價數(shù)據(jù)的確定，可以提高單簇的索引面積和單跳的索引面積，在很大程度上，有效的避免了個別簇頭數(shù)據(jù)因其過多參與到數(shù)據(jù)的替換過程中而消耗能量的方式?？梢哉f這是目前，基于分布式內(nèi)存計(jì)算的并行多路空間連接算法能夠減少能源消耗，延長大數(shù)據(jù)環(huán)境下高性能計(jì)算模型唯一方法[4]。

3 結(jié)束語

大數(shù)據(jù)的環(huán)境下高性能計(jì)算模型及關(guān)鍵技術(shù)的研究因其能夠不斷提升對海量數(shù)據(jù)的采集、處理、傳輸、存儲的方式和方法，在索引和處理的過程中有效的保證數(shù)據(jù)的完整性和及時性，避免大數(shù)據(jù)環(huán)境下數(shù)據(jù)索引、采集、處理等過程中可能出現(xiàn)的各種數(shù)據(jù)丟失或數(shù)據(jù)溢出等情況的發(fā)生，因此，關(guān)于大數(shù)據(jù)環(huán)境下，高性能計(jì)算模型及關(guān)鍵技術(shù)的研究具有非常重要的積極意義。

參考文獻(xiàn)：

[1]李國杰，程學(xué)旗.大數(shù)據(jù)研究：未來科技及經(jīng)濟(jì)社會發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考機(jī)[J].中國科學(xué)院院刊，

2015，27（6）：647-657.

[2]陳國良，毛 ，蔡嘩.高性能計(jì)算及其相關(guān)新興技術(shù)[J].深圳大學(xué)學(xué)報（理工版），2014（11）：124-125.

[3]陳國良，孫廣中，徐玄，等.并行計(jì)算的一體化研究現(xiàn)狀與發(fā)展趨勢[J].科學(xué)通報，2016（3）：1143-1147.

[4]沈盛或，劉哲，張平倉，等.一種適用于云計(jì)算可擴(kuò)展高分辨率遙感影像存儲組織結(jié)構(gòu)[J].長江科學(xué)院院報，2014，31（12）：107-112.endprint