張經(jīng)緯

（中國航發(fā)哈爾濱東安發(fā)動機有限公司信息檔案中心，黑龍江 哈爾濱150066）

在計算機技術蓬勃發(fā)展的當下，各行各業(yè)的發(fā)展都得到了一定程度的促進。各個領域對計算機信息處理技術的要求也明顯提升。在計算量應用越來越普及的當下，網(wǎng)絡信息及數(shù)據(jù)量的計算及處理成為困擾各個行業(yè)的難題，傳統(tǒng)的運計方式已無法滿足時代的發(fā)展，因此，對大規(guī)模數(shù)據(jù)計算機處理技術展開探究勢在必行，希望本文的研究會對大規(guī)模數(shù)據(jù)的計算機處理技術的提高起到一定的促進作用。

1 大規(guī)模廉價計算平臺

在虛擬化技術的支撐下，可以建立大規(guī)模的廉價計算平臺，計算機的存儲、應用程序以及網(wǎng)絡、計算等資源都將成為虛擬化實體。虛擬化技術可以分別應用于計算平臺的各個節(jié)點處，可以實現(xiàn)對閑置計算平臺的應用與組合。采用抽象化的方式對閑置的計算資源進行整合，建立各自獨立存在的虛擬服務器，進而實現(xiàn)數(shù)據(jù)信息的單獨處理與計算。這種技術的應用，可以使底層硬件呈現(xiàn)虛擬化的應用態(tài)勢。

虛擬化創(chuàng)建成功后，可以進行存儲及計算等各項資源的發(fā)布，此時可以選用與之相匹配的虛擬化處理方案，針對虛擬計算節(jié)點的資源池展開詳細部署，進而實現(xiàn)具體的數(shù)據(jù)信息應用與管理。大規(guī)模計算平臺建立，是基于云計算環(huán)境進而大規(guī)模數(shù)據(jù)信息處理的重要環(huán)節(jié)。首先，應針對數(shù)據(jù)處理過程中可能應用到的各項資源進行參數(shù)化配置，在部署與應用計算機節(jié)點資源之前，也要進行資源的選擇以及參數(shù)配置。在這個過程中，用戶可以根據(jù)自己的需求選擇適合的資源。資源提供者可以利用多種操作模式部置底層計算資源的屬性，進而使用戶可以享受到具體的參數(shù)服務。參數(shù)設置完成后，應在此基礎上進行存儲及計算資源的部署，進而進行大規(guī)模數(shù)據(jù)的處理，同時，還應對具體的計算流程進行明確，制定合理的數(shù)據(jù)處理方案。應在存儲及計算資源的配置文件中寫入相應的參數(shù)設置信息，然后分配具體的計算流程，并在計算機的各個節(jié)點上進行相應資源的啟動，并在管理及部署等計算節(jié)點處進行處理服務的合理定制。

利用計算機進行大規(guī)模數(shù)據(jù)處理時，應用的軟件及硬件資源較多，因此，應對軟件及硬件資源的使用情況進行相應的管理與監(jiān)督?；诰W(wǎng)而實現(xiàn)部署工具與目標計算節(jié)點以及計算流程的有效連接，進而保證大規(guī)模數(shù)據(jù)處理方案的有效執(zhí)行與落實。此后，基于既定方案，采用代碼進行存儲及計算資源的分配及執(zhí)行。在外部數(shù)據(jù)處理資源管理方案的基礎上，保證所有計算節(jié)點都可以進行大規(guī)模數(shù)據(jù)的部署及執(zhí)行。監(jiān)測過程結束后，應及時激活計算及存儲資源的虛擬化分配，并將整個計算流程予以合理的激活與應用。啟動所部署的各個計算節(jié)點，在網(wǎng)絡的支持下，將數(shù)據(jù)處理命令傳送至各個計算節(jié)點，進而實現(xiàn)各個計算流程的部署及合理調(diào)配。整個激活過程都完成以后，在各個計算節(jié)點執(zhí)行具體的計算流程。

2 Map Reduce 技術的支持

基于云計算環(huán)境，可以應用大規(guī)模廉價服務器集群進行大規(guī)模數(shù)據(jù)處理，不僅可以采用分布式，還可以采用并行式處理數(shù)據(jù)信息。開發(fā)Map Reduce 技術時，首先要定義Map 以及Reduce 兩個端口，并讀取大規(guī)模數(shù)據(jù)信息，之后在計算機集群的作用下，運行用戶自行編寫的程序，對大規(guī)模數(shù)據(jù)集合進行合理拆分，將之分化成為多個不同的數(shù)據(jù)片段，進而獲得相應的鍵值對。之后，將數(shù)據(jù)片段分別匹配給各個Map 任務，進而在所獲取的鍵值的基礎上進行相應的計算，得出健值對集合，并將之傳送至Reduce 當中。如果數(shù)據(jù)信息中存在相同的健值，則在相同節(jié)點會誕生全新的二元組合集合。

Reduce 會將其中所包含的各個Reduce 任務分配給二元集合中的各個鍵值對，將集合片段輸入后，進行Reduce 函數(shù)的運行，進而實現(xiàn)二元組鍵值對的輸出。該框架會在集群的節(jié)點上進行Reduce 任務的分發(fā)，在Reduce 任務的分發(fā)過程中進行中間結果數(shù)據(jù)片段的分配及處理。在各個階段運行過程中，除了負載均衡機制以外，容錯機制也會監(jiān)測數(shù)據(jù)信息的處理與執(zhí)行情況。如果出現(xiàn)錯誤任務，會及時將之分配至其他計算平臺節(jié)點。一旦數(shù)據(jù)處理任務未能成功完成，將會自動進入重新計算環(huán)節(jié)。大規(guī)模數(shù)據(jù)處理時，Map 處于高度并行操作狀態(tài)，這有利于提高大規(guī)模數(shù)據(jù)處理的高效性。在實際的大規(guī)模數(shù)據(jù)處理過程中，其所呈現(xiàn)出的優(yōu)勢體現(xiàn)于多個層面。

在云計算環(huán)境下，規(guī)模數(shù)據(jù)信息可以達到TB、GB 等級別，可以實現(xiàn)HDFS 在Hadoop 框架中對大規(guī)模數(shù)據(jù)的有效支持，不僅可以為其提供高數(shù)據(jù)寬帶，還可以實現(xiàn)大規(guī)模廉價計算集群中節(jié)點處的有效擴展。云計算環(huán)境，可以滿足大規(guī)模數(shù)據(jù)處理的要求，進而得出良好的處理與計算效果。

3 基于云計算的大規(guī)模數(shù)據(jù)處理框架模型

在大規(guī)模數(shù)據(jù)及計算資源中，應引入云計算以及計算機網(wǎng)絡技術，在分布管理以及集中管理的廉價計算機集群的基礎上，建立具有較高性能的計算平臺，實現(xiàn)大規(guī)模數(shù)據(jù)處理框架模型的建立，從而使操作更加簡便、性價比更高，同時其還具有可擴展性強、動態(tài)性優(yōu)勢的多重特點?？蚣苣Ｐ偷慕Y構主要有兩個級別，第一級是虛擬資源體系- 大規(guī)模廉價計算機集群，第二級則是大規(guī)模數(shù)據(jù)處理分析的處理監(jiān)測管理體系- 數(shù)據(jù)處理服務請求- 基礎架構。前者運用限制的計算機資源實現(xiàn)虛擬資源層以及物理設備的有效構建，進而實現(xiàn)底層物力資源的形成。此后，屬于同一類型的物力資源會采用虛擬化處理的方式，建立或接近于結構相同的數(shù)據(jù)處理資源池。對于第二級結構來說，軟件體系的作用至關重要。在第一級建立的虛擬資源體系以及大規(guī)模廉價計算機集群的基礎上，不僅實現(xiàn)了虛擬化回收功能，還具有負載均衡、容錯處理等功能，同時還實現(xiàn)了配置功能，以此作為大規(guī)模數(shù)據(jù)處理的服務基礎。在虛擬資源的統(tǒng)一管理及調(diào)度的基礎上，運用Hadoop 技術編寫數(shù)據(jù)處理接口。這一技術的應用可以為多個學科及領域提供高效的大規(guī)模數(shù)據(jù)處理服務，進而為用戶提供良好的計算平臺軟件支持，可以在各個虛擬計算節(jié)點中實現(xiàn)分布式并行數(shù)據(jù)的處理與計算任務，然后，以云服務的形式將最終的計算結果發(fā)送給終端用戶。在此框架的設計與應用過程中，應用了Hadoop 分布式開源計算機框架，其中的HDFS 分布式文件系統(tǒng)發(fā)揮了相應的作用，同時也實現(xiàn)了Map Reduce 的有效應用，進而可以對大規(guī)模數(shù)據(jù)進行相應的處理與協(xié)調(diào)。

首先，應構建大規(guī)模計算機集群運行環(huán)境。使計算節(jié)點映射放置于Map Reduce 中的任務，并劃分大規(guī)模數(shù)據(jù)，將之分解成多個不同的模塊，進而統(tǒng)計數(shù)據(jù)塊的具體數(shù)據(jù)及規(guī)格等參數(shù)信息。在HDFS 功能的支撐下，可以實現(xiàn)數(shù)據(jù)塊副塊在各個計算節(jié)點的智能放置，并且對各個節(jié)點進行角色設計。其次，將大規(guī)模數(shù)據(jù)載入到由Hadoop 提供的分布式文件系統(tǒng)，也就是HDFS當中，利用Hadoop 將Map Reduce 中的數(shù)據(jù)處理任務轉移至各個計算節(jié)點。大規(guī)模數(shù)據(jù)處理時，應用了Reduce 以及Map 函數(shù)，同時在分布化處理時還應用了與之存在一定關聯(lián)的程序。應用Hadoop 時，采用API 為Map Reduce 的有效運行提供了一定的支持。最后，還要將大規(guī)模數(shù)據(jù)處理的結果反饋給用戶，通過相應的用戶驗證接口以及云服務平臺將大規(guī)模數(shù)據(jù)處理結果傳送至終端用戶，以滿足用戶的需求。

信息化時代的來臨，網(wǎng)絡數(shù)據(jù)及信息量種類及數(shù)量不斷提升，傳統(tǒng)的數(shù)據(jù)處理方式難以取得良好的數(shù)據(jù)任務處理效果。因此，基于云計算環(huán)境，進行大規(guī)模數(shù)據(jù)的計算機處理處理技術的開發(fā)與應用，可以滿足各個領域對大規(guī)模數(shù)據(jù)處理的需求，進而提高工作效率，改善工作效果。