李欣朔

摘 要 在大數(shù)據(jù)應(yīng)用時(shí)代背景當(dāng)中，超級(jí)計(jì)算機(jī)迎來了前所未有的挑戰(zhàn)，這些挑戰(zhàn)主要體現(xiàn)在數(shù)據(jù)的計(jì)算、存儲(chǔ)、通信以及編程方面，因此基于大數(shù)據(jù)的實(shí)際特征以及需求來設(shè)計(jì)一個(gè)超級(jí)計(jì)算機(jī)系統(tǒng)是十分有必要的。本文圍繞如何基于大數(shù)據(jù)特征以及需求進(jìn)行超級(jí)計(jì)算機(jī)設(shè)計(jì)、大數(shù)據(jù)時(shí)代應(yīng)用背景下編程模型的設(shè)計(jì)兩個(gè)方面展開討論，對(duì)大數(shù)據(jù)應(yīng)用背景下的超級(jí)計(jì)算機(jī)設(shè)計(jì)進(jìn)行了分析，并提出了一些筆者自己的見解，希望能夠?qū)Υ髷?shù)據(jù)應(yīng)用背景下的數(shù)據(jù)處理問題提供一些對(duì)策建議。

關(guān)鍵詞 大數(shù)據(jù)應(yīng)用背景 超級(jí)計(jì)算機(jī) 數(shù)據(jù)處理

在電子信息技術(shù)的推動(dòng)下，大數(shù)據(jù)已成為了當(dāng)代潮流前線的主流技術(shù)，所謂大數(shù)據(jù)，從狹義上理解主要是指各種大規(guī)模的數(shù)據(jù)，具體來說是指難以在既定的時(shí)間范圍內(nèi)使用常規(guī)軟件以及技術(shù)進(jìn)行收集、統(tǒng)計(jì)、儲(chǔ)存以及管理的數(shù)據(jù)集合，必須通過新型處理模式才可將其決策力、洞察力、發(fā)現(xiàn)力以及流程化進(jìn)行充分發(fā)揮、具有規(guī)模大、復(fù)雜程度高、實(shí)時(shí)性強(qiáng)、高增長率以及多元化等特征的信息資產(chǎn)。由此可見，大數(shù)據(jù)是一種不同于傳統(tǒng)數(shù)據(jù)的信息化數(shù)據(jù)資產(chǎn)，僅僅應(yīng)用傳統(tǒng)的軟件或工具進(jìn)行統(tǒng)計(jì)或管理是難以顯效的，我們必須針對(duì)大數(shù)據(jù)的特征以及需求設(shè)計(jì)一款超級(jí)計(jì)算機(jī)，用于滿足大數(shù)據(jù)的計(jì)算需求。

通過超級(jí)計(jì)算機(jī)來構(gòu)建大數(shù)據(jù)處理中心，是現(xiàn)階段最為主流的應(yīng)用趨勢(shì)。相比于傳統(tǒng)計(jì)算機(jī)來說，超級(jí)計(jì)算機(jī)在性能方面具有顯著優(yōu)勢(shì)，可以為大數(shù)據(jù)提供高效的計(jì)算以及處理服務(wù)。超級(jí)計(jì)算機(jī)早在二十世紀(jì)七十年代初就已被很多國家作為了一種戰(zhàn)略性資源而進(jìn)行使用，在國家經(jīng)濟(jì)建設(shè)、國防安全、社會(huì)發(fā)展、科學(xué)研究等方面得到了廣泛的應(yīng)用，并作出了極大的貢獻(xiàn)，因此現(xiàn)階段，超級(jí)計(jì)算機(jī)技術(shù)基本已經(jīng)成為了衡量國家科技水平以及國防力量的重要指標(biāo)之一。天河二號(hào)超級(jí)計(jì)算機(jī)是由我國國防科學(xué)技術(shù)大學(xué)研制而成的，它實(shí)現(xiàn)了每秒鐘三點(diǎn)山九億億次的浮點(diǎn)運(yùn)算速度，并以此成績蟬聯(lián)五次奪得全球運(yùn)行速度最快超級(jí)計(jì)算機(jī)獎(jiǎng)項(xiàng)。但是，超級(jí)計(jì)算機(jī)雖然具有如此高效的運(yùn)行速率，它仍然只能在自己所擅長的以科學(xué)與工程運(yùn)算為主的領(lǐng)域中發(fā)揮作用，例如一些計(jì)算密集型的任務(wù)中。此外，超級(jí)計(jì)算機(jī)具有計(jì)算模式單一的特點(diǎn)，它的處理過程通常由批量處理計(jì)算、流式運(yùn)算、迭代運(yùn)算、圖運(yùn)算等數(shù)據(jù)密集型運(yùn)算方式組成，因此傳統(tǒng)上的超級(jí)計(jì)算機(jī)很難直接被應(yīng)用在大數(shù)據(jù)的計(jì)摘 要 在大數(shù)據(jù)應(yīng)用時(shí)代背景當(dāng)中，超級(jí)計(jì)算機(jī)迎來了前所未有的挑戰(zhàn)，這些挑戰(zhàn)主要體現(xiàn)在數(shù)據(jù)的計(jì)算、存儲(chǔ)、通信以及編程方面，因此基于大數(shù)據(jù)的實(shí)際特征以及需求來設(shè)計(jì)一個(gè)超級(jí)計(jì)算機(jī)系統(tǒng)是十分有必要的。本文圍繞如何基于大數(shù)據(jù)特征以及需求進(jìn)行超級(jí)計(jì)算機(jī)設(shè)計(jì)、大數(shù)據(jù)時(shí)代應(yīng)用背景下編程模型的設(shè)計(jì)兩個(gè)方面展開討論，對(duì)大數(shù)據(jù)應(yīng)用背景下的超級(jí)計(jì)算機(jī)設(shè)計(jì)進(jìn)行了分析，并提出了一些筆者自己的見解，希望能夠?qū)Υ髷?shù)據(jù)應(yīng)用背景下的數(shù)據(jù)處理問題提供一些對(duì)策建議。

關(guān)鍵詞 大數(shù)據(jù)應(yīng)用背景 超級(jí)計(jì)算機(jī) 數(shù)據(jù)處理算以及處理中。

1如何基于大數(shù)據(jù)特征以及需求進(jìn)行超級(jí)計(jì)算機(jī)設(shè)計(jì)

顯而易見，大數(shù)據(jù)的出現(xiàn)給人類技術(shù)帶來了極大的挑戰(zhàn)，而超級(jí)計(jì)算機(jī)具有十分強(qiáng)大的計(jì)算能力以及極其高效的數(shù)據(jù)處理能力，它將海量的信息高度集中在自己的系統(tǒng)當(dāng)中，并通過工具媒介、數(shù)據(jù)存儲(chǔ)等多元化角度對(duì)這些龐大的數(shù)據(jù)進(jìn)行處理、分析以及應(yīng)用，由此可見，不同的超級(jí)計(jì)算機(jī)在對(duì)信息處理以及計(jì)算時(shí)所呈現(xiàn)出的性能水平也是有所差異的。我們之所以要通過超級(jí)計(jì)算機(jī)來實(shí)現(xiàn)高性能數(shù)據(jù)計(jì)算，主要目的就在于提升數(shù)據(jù)計(jì)算效率，并通過對(duì)大數(shù)據(jù)的應(yīng)用來增強(qiáng)通信效率。在本文中，筆者將圍繞硬件和軟件兩個(gè)層面來設(shè)計(jì)大數(shù)據(jù)應(yīng)用背景下的超級(jí)計(jì)算機(jī)。

1.1硬件體系結(jié)構(gòu)

信息量大以及操作簡單是大數(shù)據(jù)應(yīng)用的顯著特征，大數(shù)據(jù)應(yīng)用能夠確保計(jì)算指令維持在一個(gè)相對(duì)來說較低的狀態(tài)，實(shí)際上間接增加了數(shù)據(jù)訪問所需的成本，由此可見，在使用超級(jí)計(jì)算機(jī)管理大數(shù)據(jù)的過程中主要存在的問題在于數(shù)據(jù)吞吐率與數(shù)據(jù)計(jì)算效率之間的失衡性。針對(duì)這一問題，我們可以重點(diǎn)以兩個(gè)切入點(diǎn)進(jìn)行解決，一是針對(duì)片上緩存實(shí)施徹底優(yōu)化處理。大數(shù)據(jù)應(yīng)用指令等級(jí)相對(duì)較低，跳轉(zhuǎn)頻率較高，且不具備充分的局部性，再加上大數(shù)據(jù)通常只能使用一次，我們可以基于上述特點(diǎn)來降低指令緩存，并構(gòu)建一個(gè)連接處理器與二級(jí)緩存的通道，以確保數(shù)據(jù)吞吐率與計(jì)算效率之間的失衡狀態(tài)得到相對(duì)改善；二是提高大數(shù)據(jù)計(jì)算能力。在大數(shù)據(jù)的影響下，信息逐漸呈現(xiàn)出高密集化狀態(tài)，這使得傳統(tǒng)的處理器已無法滿足信息處理需求。因此必須通過超級(jí)計(jì)算機(jī)來部署一個(gè)具備良好實(shí)時(shí)性的處理器，其中異構(gòu)并行處理器是一項(xiàng)很好的選擇，具體來說，也就是把專業(yè)的加速器導(dǎo)入至通用處理器核心當(dāng)中，在加速器的推動(dòng)作用下，使數(shù)據(jù)處理過程中能夠?qū)崿F(xiàn)數(shù)據(jù)并行的效果。大數(shù)據(jù)應(yīng)用過程中，對(duì)于數(shù)據(jù)的處理頻率相對(duì)較高，因此必須想方設(shè)法改善節(jié)點(diǎn)計(jì)算效率并強(qiáng)化通信效率。顧名思義，大數(shù)據(jù)就是代表龐大的數(shù)據(jù)信息量，因此相應(yīng)的儲(chǔ)存模式也較為復(fù)雜，種類繁多，其中最為常見的數(shù)據(jù)儲(chǔ)存模式為集中式存儲(chǔ)模式以及分布共享式存儲(chǔ)模式。為了較好地應(yīng)對(duì)大數(shù)據(jù)通信頻率較高這一問題，必須通過合理的手段來提高節(jié)點(diǎn)與節(jié)點(diǎn)或與設(shè)備之間的連接效率以及。對(duì)上文內(nèi)容進(jìn)行總結(jié)后得知，要想有效解決大數(shù)據(jù)應(yīng)用中存在的問題，其中最關(guān)鍵的環(huán)節(jié)在于加大互聯(lián)通信技術(shù)層面的研究開發(fā)力度，提高在節(jié)點(diǎn)連接效率優(yōu)化方面的研究力度，一般可以通過兩種方式來實(shí)現(xiàn)，一種為研發(fā)一款軟硬件結(jié)合的多借口網(wǎng)絡(luò)芯片，另一種為通過光互連技術(shù)來改善數(shù)據(jù)傳送過程中的問題。

1.2硬件體系架構(gòu)

在大數(shù)據(jù)中包含著海量的結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)以及半結(jié)構(gòu)化數(shù)據(jù)。這三種數(shù)據(jù)類型對(duì)應(yīng)的存儲(chǔ)方式也各不相同，結(jié)構(gòu)化數(shù)據(jù)通常使用數(shù)據(jù)庫結(jié)構(gòu)實(shí)現(xiàn)存儲(chǔ)，而非結(jié)構(gòu)化以及半結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)則更多地以依靠于不同文件與系統(tǒng)之間的協(xié)調(diào)與配合來實(shí)現(xiàn)。數(shù)據(jù)處理與數(shù)據(jù)計(jì)算是兩個(gè)完全不同的過程，在數(shù)據(jù)計(jì)算的過程中，當(dāng)數(shù)據(jù)加載已經(jīng)結(jié)束時(shí)，則需要對(duì)各系統(tǒng)之間的交互頻率進(jìn)行合理地調(diào)整和控制，所以說應(yīng)該選擇單一的分布式文件系統(tǒng)來實(shí)現(xiàn)。而針對(duì)大數(shù)據(jù)的處理方式則相對(duì)來說更為豐富，同時(shí)也更加復(fù)雜，其中使用頻率最高的數(shù)據(jù)處理方式有圖處理以及批處理兩種，這樣據(jù)必須得到不同文件與系統(tǒng)之間的良好配合已結(jié)支持。由此可見，在設(shè)計(jì)超級(jí)計(jì)算機(jī)時(shí)，單一的文化系統(tǒng)完全不能滿足計(jì)算機(jī)運(yùn)行需求，應(yīng)將多種文件組合在一起進(jìn)行超級(jí)計(jì)算機(jī)系統(tǒng)的設(shè)計(jì)。

通過對(duì)非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)模式進(jìn)行深入研究后可以發(fā)現(xiàn)，它所使用的存儲(chǔ)結(jié)構(gòu)通常為分布式文件系統(tǒng)。為了能夠進(jìn)一步提升大數(shù)據(jù)的處理效率，Google對(duì)大數(shù)據(jù)儲(chǔ)存的文件系統(tǒng)進(jìn)行了一定的創(chuàng)新，在原有基礎(chǔ)上設(shè)計(jì)了一款具有擴(kuò)展功能的GFS文件系統(tǒng)，創(chuàng)新后的文件系統(tǒng)在對(duì)應(yīng)用層的運(yùn)用下實(shí)現(xiàn)了對(duì)控制流以及數(shù)據(jù)量進(jìn)行分離的目的，可以說是一個(gè)真正意義上的分布式文件系統(tǒng)，即使面對(duì)規(guī)模龐大的數(shù)據(jù)信息，該文件系統(tǒng)也能夠?qū)崿F(xiàn)高校的儲(chǔ)存以及處理。GFS文件系統(tǒng)由以下三個(gè)基本部分構(gòu)成，分別為若干塊服務(wù)器、單一的主控服務(wù)器以及客戶端。本論文以GFS文件系統(tǒng)為出發(fā)點(diǎn)，對(duì)目前已研發(fā)上市且具有代表意義的阿里巴巴分支ADFS系統(tǒng)進(jìn)行了分析。在阿里巴巴的ADFS系統(tǒng)中，主要針對(duì)HDFSNameNode在使用過程中暴露出來的單點(diǎn)故障以及內(nèi)存不足等一系列問題實(shí)施優(yōu)化，工作原理主要為將內(nèi)存中不屬于熱點(diǎn)范圍內(nèi)的數(shù)據(jù)轉(zhuǎn)移至外部數(shù)據(jù)庫當(dāng)中，通過這種方式來緩解NalneNode所承受的內(nèi)存壓力，從而提升數(shù)據(jù)的處理質(zhì)量以及效率。而在對(duì)半結(jié)構(gòu)化數(shù)據(jù)以及結(jié)構(gòu)化數(shù)據(jù)進(jìn)行研究后發(fā)現(xiàn)，半結(jié)構(gòu)化數(shù)據(jù)以及結(jié)構(gòu)化數(shù)據(jù)在存儲(chǔ)方式上有著十分顯著的共性特征，他們通常都優(yōu)先選擇數(shù)據(jù)庫以及分布式表結(jié)構(gòu)作為存儲(chǔ)方式，只有一些結(jié)構(gòu)相對(duì)較為簡單的半結(jié)構(gòu)化數(shù)據(jù)更傾向于選擇Key/Value分布式系統(tǒng)，其中較為典型的為亞馬遜公司的Dynamo系統(tǒng)以及Facebook的Cassandra系統(tǒng)，亞馬遜的Dynamo主要是運(yùn)用Key/Value作為數(shù)據(jù)存儲(chǔ)模式，這一存儲(chǔ)模式相比于其它模式的優(yōu)點(diǎn)在于具有強(qiáng)大的可擴(kuò)展性以及可用性。Facebook的Cassandra系統(tǒng)同樣也是采用Key/Value作為數(shù)據(jù)存儲(chǔ)模式，通過對(duì)這一存儲(chǔ)模式的運(yùn)用進(jìn)一步實(shí)現(xiàn)了數(shù)據(jù)存儲(chǔ)可擴(kuò)展性以及一致性的增強(qiáng)。

2大數(shù)據(jù)時(shí)代應(yīng)用背景下編程模型的設(shè)計(jì)

在大數(shù)據(jù)時(shí)代這一背景下，編程模型所面臨的挑戰(zhàn)也是日益凸顯出來，傳統(tǒng)的編程模型也開始表現(xiàn)出一定的動(dòng)力不足趨勢(shì)，并無法滿足大數(shù)據(jù)的編程要求，為了有效解決這一矛盾，必須基于大數(shù)據(jù)的特征以及需求來設(shè)計(jì)一種有別于傳統(tǒng)編程模型的全新的編程模型。大數(shù)據(jù)時(shí)代下的編程模型必須滿足簡單易操作的基本原則，并在此基礎(chǔ)上盡可能提高性能水平，構(gòu)建一個(gè)清晰明確的編程抽象，確保程序員的編程工作能夠更加順暢，在這一過程中，程序員并不需要關(guān)注程序在集群中運(yùn)行的具體狀態(tài)以及情況，只需要針對(duì)每一項(xiàng)問題進(jìn)行一一解決即可。在新的編程模型中，程序員的主要工作與任務(wù)在于關(guān)注一切有待解決的問題，以此來確保編程過程中各項(xiàng)任務(wù)的清晰化、明了化，同時(shí)還可以使代碼后期的維護(hù)管理工作得到極大程度的簡化，使程序員的工作更加方便、簡潔、高效。此外，在構(gòu)建編程模型時(shí)還應(yīng)考慮到系統(tǒng)數(shù)據(jù)計(jì)算能力以及處理能力提升的目的，我們不僅要確保程序能夠在集群上實(shí)現(xiàn)高效穩(wěn)定的運(yùn)行，同時(shí)也要保證不同類型的作業(yè)與任務(wù)能夠在集群上并發(fā)運(yùn)行，這樣可以大大提高集群內(nèi)部資源的共享有效率。但是在這一模型下，我們也會(huì)面臨許多新的問題，需要后期通過探索與研究進(jìn)行慢慢攻破，例如如何有效處理異構(gòu)性問題、如何提升本地?cái)?shù)據(jù)的有效利用率等。因此在基于大數(shù)據(jù)應(yīng)用背景下進(jìn)行新編程模型構(gòu)建的同時(shí)，我們的考慮內(nèi)容不能過于單一，必須綜合衡量各方面的影響與利弊，在此基礎(chǔ)上作出適當(dāng)?shù)娜∩嵋约芭袛啵瑥亩鴺?gòu)建一個(gè)簡單、便捷、可靠、高效的大數(shù)據(jù)編程模型。

為了使效率得到進(jìn)一步提升，超級(jí)計(jì)算機(jī)一般來說都會(huì)選擇應(yīng)用并行編程模型，例如Open MP以及MPI，其中，Open MP通常會(huì)與共享存儲(chǔ)模式的融合而被廣泛地應(yīng)用在對(duì)稱多處理器等架構(gòu)的相關(guān)設(shè)備當(dāng)中，而MPI所涉及的編程模型則相對(duì)來說更為復(fù)雜，一般來說需要在切換至信息通信計(jì)算模型下，要求編程工程人員針對(duì)所有的程序問題根據(jù)一定的規(guī)則進(jìn)行一一分類，隨后再將這些分類號(hào)的問題映射至分布式進(jìn)程集合當(dāng)中。Open MP以及MPI等并行編程模型并不適用于大數(shù)據(jù)的計(jì)算以及處理過程中，因此一些規(guī)模較大的互聯(lián)網(wǎng)企業(yè)會(huì)根據(jù)自身公司的實(shí)際情況以及需求來研制具有針對(duì)性的大數(shù)據(jù)處理模型，這樣一來不僅可以使工作人員的工作效率得到提升，同時(shí)也在很大程度上促進(jìn)了大數(shù)據(jù)應(yīng)用的有效實(shí)現(xiàn)。

3結(jié)語

綜上所述，在大數(shù)據(jù)應(yīng)用背景之下，對(duì)于超級(jí)計(jì)算機(jī)的設(shè)計(jì)可以適當(dāng)導(dǎo)入一些高效模塊結(jié)構(gòu)，例如多核結(jié)構(gòu)以及眾核結(jié)構(gòu)等。此外，寬帶網(wǎng)絡(luò)速度的提升也有利于超級(jí)計(jì)算機(jī)運(yùn)行速度的改善，為其提供基本的保障條件?？偠灾?，在大數(shù)據(jù)時(shí)代背景之下，要想使數(shù)據(jù)處理以及計(jì)算速率得到有效提升，超級(jí)計(jì)算機(jī)的應(yīng)用是必然的趨勢(shì)所在，并取消以往計(jì)算機(jī)系統(tǒng)中的計(jì)算密集模式，取而代之的是數(shù)據(jù)密集模式。筆者相信在大家的共同努力之下，大數(shù)據(jù)應(yīng)用背景下的數(shù)據(jù)處理以及計(jì)算問題自會(huì)得以有效解決。

參考文獻(xiàn)

[1] 張聽，袁曉如.樹圖可視化[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2012（9）：1113- 1124.

[2] 嚴(yán)霄鳳，張德馨.大數(shù)據(jù)研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，2013（4）：168-172.

[3] 鄧楊琴，孔麗華.美國發(fā)布“大數(shù)據(jù)的研究和發(fā)展計(jì)劃”[J].科研信息化技術(shù)與應(yīng)用，2012（2）：89-93.