王大恒 戰(zhàn)勇杰

【摘要】 近年來，我國信息化發(fā)展步伐逐漸加快，網(wǎng)絡(luò)用戶急速上升。網(wǎng)絡(luò)用戶的增加，為更多的電子商業(yè)帶來新的機(jī)遇。通過對數(shù)據(jù)的有效分析和利用，進(jìn)一步促進(jìn)我過經(jīng)濟(jì)發(fā)展。由于數(shù)據(jù)的膨脹，小型服務(wù)器顯然不能完成這項(xiàng)工作，因此，以集群為單位的處理方式被得到廣泛的應(yīng)有。但是，通過終端采集，數(shù)據(jù)被不間斷的傳入集群，速度過快時(shí)更容易造成集群超負(fù)荷工作，而不能就是對數(shù)據(jù)進(jìn)行處理；而速度過慢時(shí)就會(huì)導(dǎo)致集群的作用不能充分的被發(fā)揮出來。因此本文對集群性能的監(jiān)控和優(yōu)化進(jìn)行了詳細(xì)的闡述，通過優(yōu)化對集群進(jìn)行改善。

【關(guān)鍵字】 大規(guī)模數(shù)據(jù)出來 集群 監(jiān)控 優(yōu)化

一、需求分析

1.1大規(guī)模數(shù)據(jù)處理需求

大規(guī)模數(shù)據(jù)處理具有一定的優(yōu)勢，并可以實(shí)現(xiàn)以下功能：集群部署、數(shù)據(jù)導(dǎo)入、數(shù)據(jù)過濾處理。集群部署：即將Hadoop、Spark、和HBase集群分別部署在不同的服務(wù)器上。利用其中一臺(tái)服務(wù)器作為主節(jié)點(diǎn)，可以對管理文件進(jìn)行命名并對客戶端文件進(jìn)行相關(guān)的訪問，同時(shí)起到總調(diào)度的任務(wù)。集群一般是由一臺(tái)服務(wù)器的主節(jié)點(diǎn)和多臺(tái)子節(jié)點(diǎn)服務(wù)器組成，但是收到實(shí)驗(yàn)室的限制，因此只能選擇兩樣服務(wù)器進(jìn)行操作，但是操作原理依然符合上述操作流程，兩臺(tái)服務(wù)器起到的作用也不同。在集群配置中，首先需要準(zhǔn)備的工作就是對網(wǎng)絡(luò)環(huán)境進(jìn)行設(shè)置和對運(yùn)行環(huán)境進(jìn)行設(shè)置。

1.2集群監(jiān)控需求

集群監(jiān)控技術(shù)可以更好的滿足對各個(gè)節(jié)點(diǎn)數(shù)據(jù)的收集，利用集群監(jiān)控技術(shù)可以將CPU的利用率及系統(tǒng)負(fù)載情況進(jìn)行及時(shí)的顯示。最主要的是可以實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)更新，在更新的過程中主要涉及以下內(nèi)容：數(shù)據(jù)獲取的方法、數(shù)據(jù)傳送給客戶端、將數(shù)據(jù)轉(zhuǎn)化為更直觀的曲線數(shù)據(jù)。

二、設(shè)計(jì)優(yōu)化

1、數(shù)據(jù)處理設(shè)計(jì)。在原始數(shù)據(jù)中每一行都包含呼叫用戶和被呼叫用戶，并現(xiàn)實(shí)相關(guān)的通話時(shí)間和呼叫時(shí)間。本文數(shù)據(jù)設(shè)計(jì)中所需要的數(shù)據(jù)是指前三項(xiàng)。主要計(jì)算根據(jù)是用戶的通話時(shí)間和次數(shù)。1）先對所需要的數(shù)據(jù)進(jìn)行初始化設(shè)置，并對用戶的通話時(shí)間進(jìn)行統(tǒng)計(jì)，將統(tǒng)計(jì)后的時(shí)間放人PageRank模型中。然后對原始數(shù)據(jù)進(jìn)行分析，并對各個(gè)號(hào)碼建立相關(guān)的聯(lián)系。通過Map對原始數(shù)據(jù)進(jìn)行分析，輸入>，其中call_number可以被看做為KEY。時(shí)間計(jì)量則是value。通過Reduce進(jìn)行操作，并將上階段操作中輸出的鍵值和一樣的KEY進(jìn)行合并，將相同的號(hào)碼的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，多時(shí)長進(jìn)行合并。

2、性能監(jiān)控。監(jiān)控的主要原理是通過Hadoop對相關(guān)守護(hù)進(jìn)程進(jìn)行開啟，并注冊相關(guān)的Metrics到本地MBeanServer上。在該監(jiān)控系統(tǒng)中所用到的監(jiān)控端口包含NameNode的50070端口和DataNode50075端口。而Hadoop本身就自帶監(jiān)控體系，所以訪問監(jiān)控端口時(shí)不能直接跳回監(jiān)控?cái)?shù)據(jù)中，而是跳到相關(guān)的jsp頁面。所以，在訪問時(shí)可以利用JMX體系，并獲得集群監(jiān)控中的所有數(shù)據(jù)，利用這一體系就建立數(shù)據(jù)進(jìn)行獲取，不僅可以及時(shí)掌握各種信息，同時(shí)數(shù)據(jù)格式也更利于用戶進(jìn)行處理。監(jiān)控方法有很多種，本文介紹的方法是通過REST形式對數(shù)據(jù)進(jìn)行獲取。利用這種方式，可以對所需數(shù)據(jù)進(jìn)行篩選，只選擇自身需要的數(shù)據(jù)進(jìn)行了解。

三、實(shí)現(xiàn)

1、數(shù)據(jù)處理。數(shù)據(jù)處理的過程中，首先要對數(shù)據(jù)進(jìn)行過濾，數(shù)據(jù)過濾中，輸入和輸出文件分別為/cdr/raw和/cdr/ clear。并利用Spark和Mapreduce對數(shù)據(jù)進(jìn)行過濾。最后將過濾后數(shù)據(jù)結(jié)果分別存到HDFS和HBase中。在HDFS中，數(shù)據(jù)經(jīng)過過濾并進(jìn)行儲(chǔ)蓄時(shí)，其目錄名和字段分割格式和導(dǎo)入時(shí)的一樣。通過相關(guān)實(shí)驗(yàn)對過濾后的數(shù)據(jù)進(jìn)行迭代計(jì)算，可以對用戶進(jìn)行分析，并提取有價(jià)值的用戶。

2、監(jiān)控實(shí)現(xiàn)。集群監(jiān)控中的頁面主要顯示的是集群中的整體情況，并對整體進(jìn)行分析。其主要內(nèi)容是對DFS的容量和使用情侶進(jìn)行分析，并通過反應(yīng)集群對數(shù)據(jù)的改變進(jìn)行實(shí)時(shí)監(jiān)控。而節(jié)點(diǎn)信息所反映的則是集群中所有的節(jié)點(diǎn)基本情況，并通過節(jié)點(diǎn)名稱進(jìn)行相應(yīng)的點(diǎn)擊，可以對其信息進(jìn)行查看。而節(jié)點(diǎn)中的主要內(nèi)容則是上述提起的CPU使用情況，在對數(shù)據(jù)進(jìn)行繪制時(shí)，以折線圖為主，并以每一秒為數(shù)據(jù)間隔。除此之外，對CUP的使用情況進(jìn)行評(píng)估，在評(píng)估的過程其使用變化發(fā)生改變時(shí)背景色也會(huì)發(fā)生相應(yīng)的變化。而在監(jiān)控中，也可以對集群的整體情況進(jìn)行相關(guān)監(jiān)控，并對所有CPU數(shù)據(jù)進(jìn)行分析和評(píng)測，對整體的CPU負(fù)載情況進(jìn)行準(zhǔn)確的評(píng)估。

四、總結(jié)

隨著計(jì)算機(jī)技術(shù)的發(fā)展，集群性能體系需要不斷的優(yōu)化和建立。本文通過對集群性能的監(jiān)控情況進(jìn)行分析，并提出了相應(yīng)的優(yōu)化辦法，同時(shí)也對其監(jiān)控方向進(jìn)行闡述。但是收到本文專業(yè)和知識(shí)的限制，在對其優(yōu)化的過程中還存在一定的局限性，因此在今后的學(xué)習(xí)中，會(huì)對其優(yōu)化辦法進(jìn)行不斷的改善。

參 考 文 獻(xiàn)

[1]王馨曼. 大規(guī)模數(shù)據(jù)處理及集群性能監(jiān)控與優(yōu)化[D].大連理工大學(xué)，2015.

[2]林文輝. 基于Hadoop的海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺(tái)的關(guān)鍵技術(shù)研究[D].北京郵電大學(xué)，2014.

[3]盧興見. 大規(guī)模云數(shù)據(jù)中心負(fù)載優(yōu)化調(diào)度方法研究[D].浙江大學(xué)，2014.