鞠洪堯

（浙江紡織服裝職業(yè)技術(shù)學(xué)院 寧波 315211）

1 概述

隨著計算機網(wǎng)絡(luò)技術(shù)和信息化技術(shù)的快速發(fā)展，各行各業(yè)正在快速生成海量的業(yè)務(wù)數(shù)據(jù)，這些海量的數(shù)據(jù)[1～4]由結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)構(gòu)成，其中含有大量對行業(yè)發(fā)展和決策有價值的信息[5,6]，各行業(yè)都希望快速獲得這些有價值的目標(biāo)信息，因此，對目標(biāo)信息的快速查找、分析以及高質(zhì)量集成越來越受到各行各業(yè)的高度關(guān)注，且正在逐步形成一種新型的信息服務(wù)產(chǎn)業(yè)[7,8]。通過對大數(shù)據(jù)的概念、構(gòu)成及現(xiàn)狀的綜合分析，對大數(shù)據(jù)網(wǎng)絡(luò)涉及的關(guān)鍵技術(shù)進行詳細探討，奠定了推進大數(shù)據(jù)產(chǎn)業(yè)化研究的理論基礎(chǔ)，形成了大數(shù)據(jù)挖掘與處理的技術(shù)指導(dǎo)路線。

大數(shù)據(jù)挖掘與處理技術(shù)的關(guān)鍵在于如何有效提升查詢、分析和集成效率，大幅度縮短大數(shù)據(jù)網(wǎng)絡(luò)服務(wù)的響應(yīng)時間，使終端用戶在較短的時間內(nèi)獲得高質(zhì)量的大數(shù)據(jù)分析結(jié)果。在承載大數(shù)據(jù)處理的信息網(wǎng)絡(luò)中，服務(wù)器群是提供查詢、分析和集成服務(wù)的核心部分，因此，服務(wù)器群結(jié)構(gòu)優(yōu)化技術(shù)、服務(wù)器群中各成員服務(wù)器的協(xié)同技術(shù)和自適應(yīng)伸縮技術(shù)就成為解決大數(shù)據(jù)挖掘和處理問題的關(guān)鍵技術(shù)。

目前，大數(shù)據(jù)網(wǎng)絡(luò)服務(wù)器群智能伸縮主要通過群集來實現(xiàn)，其存在如下缺陷：群集對多個服務(wù)器進行統(tǒng)一管理實現(xiàn)負載均衡的過程中，同一個集群中服務(wù)器的個數(shù)不能超過32個，且空載的服務(wù)器必須實時在線。上述缺陷造成系統(tǒng)重載或過載時增加成員服務(wù)器有技術(shù)困難，系統(tǒng)空載時，開啟的服務(wù)器數(shù)量無法減少，形成能源的大量浪費。

通過對大數(shù)據(jù)網(wǎng)絡(luò)特征和關(guān)鍵技術(shù)的研究，在參考文獻[9～21]的基礎(chǔ)上，集成了服務(wù)器負載監(jiān)測、服務(wù)器群智能伸縮控制和負載調(diào)度等技術(shù)，給出了大數(shù)據(jù)網(wǎng)絡(luò)服務(wù)器群智能伸縮的原理和實現(xiàn)方法，消除了同一個服務(wù)器群集對成員服務(wù)器數(shù)量的限制，同時使得空載的成員服務(wù)器能夠及時關(guān)閉，并在系統(tǒng)重載或超載時自動開啟，解決大數(shù)據(jù)網(wǎng)絡(luò)服務(wù)器群中各成員服務(wù)器高效協(xié)同和智能拓展問題。

2 大數(shù)據(jù)網(wǎng)絡(luò)服務(wù)器群智能伸縮結(jié)構(gòu)及原理

2.1 構(gòu)建原則及結(jié)構(gòu)模型

根據(jù)大數(shù)據(jù)數(shù)量龐大、類型繁雜、處理和集成所需時間長的特點，構(gòu)建大數(shù)據(jù)網(wǎng)絡(luò)服務(wù)器群結(jié)構(gòu)[9～12]時，就必須保證服務(wù)器群具備多級并行處理能力。這種多級并行處理包括兩個部分：第一部分是實現(xiàn)單個服務(wù)器及其所承載的數(shù)據(jù)處理軟件的并行處理，這種并行處理能力對于當(dāng)前的服務(wù)器硬件來說，都能夠順利實現(xiàn)，數(shù)據(jù)處理軟件的并行處理能力也可以通過實時多副本的工作模式順利實現(xiàn)；第二個部分是實現(xiàn)服務(wù)器群中各成員服務(wù)器間的并行協(xié)同，并建立自適應(yīng)協(xié)同機制，在服務(wù)器群并行協(xié)同過程中，來自用戶終端的大量并發(fā)訪問是服務(wù)器群的主要負載，這些負載被即時調(diào)度到成員服務(wù)器上。當(dāng)服務(wù)器群工作負載不超過臨界值時，成員服務(wù)器按照實時工作負載大小被分配新的訪問負載。當(dāng)服務(wù)器群工作負載超過臨界值時，服務(wù)器群的結(jié)構(gòu)將進行自適應(yīng)伸縮，以適應(yīng)訪問負載的需求。第二個部分是本文研究的關(guān)鍵。

根據(jù)上述原則，本文給出了如圖1所示的大數(shù)據(jù)網(wǎng)絡(luò)服務(wù)器群智能伸縮結(jié)構(gòu)模型[13～16]。

2.2 伸縮原理

服務(wù)器群[17,18]采用多臺成員服務(wù)器構(gòu)成冗余結(jié)構(gòu)，各成員服務(wù)器彼此互聯(lián)并與負載監(jiān)測器、智能伸縮控制器、調(diào)度策略控制器和負載調(diào)度器建立通信通道。服務(wù)器群中的成員服務(wù)器按指定邏輯編號排序，并保持部分成員服務(wù)器處于開啟狀態(tài)，其他部分的成員服務(wù)器處于關(guān)閉狀態(tài)，所有成員服務(wù)器均支持網(wǎng)絡(luò)喚醒功能。

圖1 大數(shù)據(jù)網(wǎng)絡(luò)服務(wù)器群智能伸縮結(jié)構(gòu)模型

來自終端用戶的大量并發(fā)訪問通過負載調(diào)度器依次調(diào)度到服務(wù)器群中不同的成員服務(wù)器上，每個成員服務(wù)器承擔(dān)的負載比例由負載調(diào)度器中與該成員服務(wù)器對應(yīng)的IP地址組中IP地址的數(shù)量決定，若干個IP地址組共同構(gòu)成了負載調(diào)度器的調(diào)度列表，負載調(diào)度器由應(yīng)用指針和調(diào)度列表構(gòu)成，終端用戶的每次訪問都通過應(yīng)用指針對調(diào)度列表的依次查詢來實現(xiàn)。

負載監(jiān)測器實時監(jiān)測成員服務(wù)器的工作負載，并對監(jiān)測結(jié)果進行統(tǒng)計分析，統(tǒng)計和分析的結(jié)果實時發(fā)送給調(diào)度策略控制器和智能伸縮控制器。

調(diào)度策略控制器根據(jù)負載監(jiān)測器對各成員服務(wù)器工作負載的統(tǒng)計分析結(jié)果，確定增減調(diào)度列表中的IP地址組，以匹配服務(wù)器群增減成員服務(wù)器的過程；或者增減某個IP地址組中IP地址的數(shù)量，以匹配服務(wù)器群的負載均衡策略。

當(dāng)服務(wù)器群的總工作負載超載時，智能伸縮控制器啟動服務(wù)器群智能拓展策略，向服務(wù)器群中增加新的成員服務(wù)器，同時通知調(diào)度策略控制器向調(diào)度列表中增加IP地址組，使新增的成員服務(wù)器分擔(dān)訪問負載。當(dāng)服務(wù)器群的總工作負載空載時，智能伸縮控制器啟動服務(wù)器群智能收縮策略，停止向最后一個成員服務(wù)器分配訪問負載，延時等待一定時間后，從服務(wù)器群中刪除最后一個成員服務(wù)器。

服務(wù)器群的智能伸縮控制過程如圖2所示。

3 大數(shù)據(jù)網(wǎng)絡(luò)服務(wù)器群智能伸縮關(guān)鍵技術(shù)

3.1 負載監(jiān)測技術(shù)

負載監(jiān)測[19,20]技術(shù)集成在負載監(jiān)測器中，負載監(jiān)測器由掃描列表、掃描程序、分析統(tǒng)計程序和統(tǒng)計結(jié)果輸出程序4個部分構(gòu)成。掃描列表由服務(wù)器群中處于工作狀態(tài)的成員服務(wù)器的IP地址構(gòu)成，每個成員服務(wù)器使用的IP地址組中無論包含多少個IP地址，只有IP地址組中的第一個IP地址進入掃描列表。掃描程序根據(jù)掃描列表依次對成員服務(wù)器進行工作負載掃描，掃描結(jié)果由分析統(tǒng)計程序進行處理，結(jié)果輸出程序?qū)⒔y(tǒng)計分析結(jié)果發(fā)送給調(diào)度策略控制器或智能伸縮控制器。

成員服務(wù)器的工作負載由CPU工作負載、內(nèi)存工作負載和網(wǎng)卡流量負載構(gòu)成，其中，CPU和內(nèi)存工作負載由指令systeminfo-s IPi-u user name-p password獲得，這里的IPi是服務(wù)器群中第i個成員服務(wù)器使用的第一個IP地址。網(wǎng)卡工作流量由Netstat-e-s獲得。

成員服務(wù)器的工作負載F(t)和服務(wù)器群中處于工作狀態(tài)的成員服務(wù)器的總工作負載G(t)統(tǒng)計方法如下：

圖2 服務(wù)器群智能伸縮控制原理

3.2 負載調(diào)度技術(shù)

負載調(diào)度[21]技術(shù)由調(diào)度策略控制器和負載調(diào)度器兩個部分共同完成。

3.2.1 調(diào)度策略控制器

調(diào)度策略控制器的主要功能是根據(jù)負載監(jiān)測器的輸出結(jié)果判定服務(wù)器群工作負載是否處于正常值，若處于正常值，繼續(xù)判定服務(wù)器群中處于工作狀態(tài)的成員服務(wù)器的工作負載均衡情況，并根據(jù)第i個成員服務(wù)器的工作負載Fi(t)與該成員服務(wù)器工作負載的超載臨界值Fimax和空載臨界值Fimin進行比較，決定是否向負載調(diào)度器發(fā)出負載調(diào)度策略調(diào)整指令，具體判定關(guān)系見表1。

調(diào)度策略控制器由備用IP地址列表和IP地址增減控制程序構(gòu)成。當(dāng)Fi(t)≥Fimax時，調(diào)度策略控制程序刪除服務(wù)器群中第i個成員服務(wù)器網(wǎng)卡綁定的IP地址組中的最后一個IP地址，并同步刪除負載調(diào)度器中IP地址列表中相應(yīng)IP地址組的最后一個IP地址，被刪除的IP地址追加進入備用IP地址列表。當(dāng)Fi(t)≤Fimin時，調(diào)度策略控制程序增加服務(wù)器群中第i個成員服務(wù)器網(wǎng)卡綁定的IP地址，這個IP地址從備用IP地址列表中第一個IP地址獲得，并同步追加負載調(diào)度器IP地址列表中相應(yīng)IP地址組的IP地址，同時，將這個新增加的IP地址從備用IP地址列表中刪除。調(diào)度策略控制器工作過程如圖3所示。

3.2.2 負載調(diào)度器

負載調(diào)度器包括應(yīng)用指針和調(diào)度列表兩個部分。

應(yīng)用指針由點運算符和多個字符串構(gòu)成，這些字符串分別代表應(yīng)用程序所在的網(wǎng)絡(luò)區(qū)域、域和主機標(biāo)識，應(yīng)用指針是終端用戶訪問網(wǎng)絡(luò)應(yīng)用程序時使用的域名。應(yīng)用指針與調(diào)度列表中的所有IP地址形成映射關(guān)系，在大量終端用戶并發(fā)訪問同一個網(wǎng)絡(luò)應(yīng)用時，應(yīng)用指針依次輪序訪問調(diào)度列表中的IP地址。

調(diào)度列表由多個IP地址組構(gòu)成。每個IP地址組對應(yīng)服務(wù)器群中一個處于工作狀態(tài)的成員服務(wù)器，其中的IP地址的數(shù)量及排序與對應(yīng)的成員服務(wù)器網(wǎng)卡綁定的IP地址數(shù)量及排序相同；IP地址組中IP地址的數(shù)量與對應(yīng)成員服務(wù)器的并行處理能力成正比；IP地址組在調(diào)度列表中的排列順序與服務(wù)器群中處于工作狀態(tài)的成員服務(wù)器的排序相同。

當(dāng)終端用戶對大數(shù)據(jù)網(wǎng)絡(luò)進行數(shù)據(jù)查詢、分析等操作時，訪問請求首先通過應(yīng)用域名對負載調(diào)度器進行應(yīng)用地址查詢，負載調(diào)度器中的應(yīng)用指針查詢調(diào)度列表，并將查詢獲得的應(yīng)用程序IP地址發(fā)送給終端查詢用戶。終端用戶使用接收到的應(yīng)用IP地址定位運行指定應(yīng)用軟件工具的成員服務(wù)器，并打開指定成員服務(wù)器中應(yīng)用程序，完成對大數(shù)據(jù)查詢和分析等的處理，并將處理結(jié)果返回給指定的終端用戶。

表1 服務(wù)器群負載調(diào)度策略調(diào)整判定關(guān)系

圖3 調(diào)度策略控制器工作過程

假設(shè)服務(wù)器群中含有n臺處于工作狀態(tài)的成員服務(wù)器，第一臺成員服務(wù)器網(wǎng)卡綁定i個IP地址，第二臺成員服務(wù)器網(wǎng)卡綁定j個IP地址，第N臺成員服務(wù)器網(wǎng)卡綁定k個IP地址。于是，調(diào)度列表中含有n個順序排列的IP地址組，第一個IP地址組含有i個IP地址，第二個IP地址組含有j個IP地址，…，第n個IP地址組含有k個IP地址。在大量終端用戶并發(fā)訪問時，應(yīng)用指針依次順序返回調(diào)度列表中的IP地址給終端用戶，在包含i+j+…+k個訪問負載的一個調(diào)度周期內(nèi)，服務(wù)器群的第1個成員服務(wù)器被分配i個訪問負載，第2個成員服務(wù)器被分配j個訪問負載，第n個成員服務(wù)器被分配k個訪問負載。負載調(diào)度器工作過程如圖4所示。

應(yīng)用指針每次到達調(diào)度列表末端時，會自動返回調(diào)度列表首部，重新進行下一輪查詢。

3.3 智能伸縮控制技術(shù)

智能伸縮控制由智能伸縮控制器與調(diào)度策略控制器兩部分協(xié)同完成。智能伸縮控制器的主要功能是根據(jù)負載監(jiān)測器輸出結(jié)果將服務(wù)器群的工作總負載G(t)與過載臨界值Gmax和輕載臨界值Gmin進行比較，確定是否進行服務(wù)器群伸縮操作，具體判定情況見表2。

智能伸縮控制器由伸縮判定程序和伸縮控制程序構(gòu)成。伸縮判定程序根據(jù)負載監(jiān)測器的監(jiān)測結(jié)果，當(dāng)服務(wù)器群總負載值達到或超過臨界值時啟動伸縮控制程序，增加服務(wù)器群中成員服務(wù)器數(shù)量或關(guān)閉服務(wù)器群中工作負載最輕的成員服務(wù)器，同步通知調(diào)度策略控制器增減負載調(diào)度列表中IP地址組的數(shù)量，同時更新負載監(jiān)測器的監(jiān)測列表，并分別更新服務(wù)器群處于工作狀態(tài)成員服務(wù)器和備用服務(wù)器的順序編號。

當(dāng)服務(wù)器群總負載值達到或超過超載臨界值時，即G(t)≥Gmax，智能伸縮控制程序向服務(wù)器群中的第一個備用成員服務(wù)器發(fā)出開機指令，待該備用成員服務(wù)器啟動成功后，智能伸縮控制程序讀取調(diào)度策略控制器中備用IP地址列表中的第一個IP地址，并將讀取的IP地址及掩碼寫入成員服務(wù)器的參數(shù)配置文件，同時刷新，然后通知調(diào)度策略控制器將其備用IP地址列表中第一個IP地址追加到負載調(diào)度器的調(diào)度列表中，并標(biāo)記這個新建IP地址組，同時刪除備用IP地址列表中的第一個IP地址。最后，智能伸縮控制程序?qū)⒆x取的IP地址追加到負載監(jiān)測器的監(jiān)測列表中，使得負載監(jiān)測器能夠?qū)π录尤敕?wù)器群中的成員服務(wù)器進行工作負載實時監(jiān)測。服務(wù)器群智能擴展控制過程如圖5所示。

當(dāng)服務(wù)器群總負載達到或小于空載臨界值時，即G(t)≤Gmin，智能伸縮控制程序首先檢測服務(wù)器群中最后一個成員服務(wù)器網(wǎng)卡綁定的第一個IP地址并記錄，將該IP地址從負載監(jiān)測器的監(jiān)測列表中刪除，同時通知負載調(diào)度策略控制器將負載調(diào)度器中對應(yīng)的IP地址組刪除，并將刪除的IP地址組中的全部IP地址追加到備用IP地址列表中備用。此后，服務(wù)器群的訪問負載不會被調(diào)度到最后一個成員服務(wù)器上，待最后一個成員服務(wù)器的作業(yè)完成后，智能伸縮控制程序向服務(wù)器群中即將被刪除的成員服務(wù)器發(fā)出清空配置參數(shù)指令，防止該成員服務(wù)器再次啟動時產(chǎn)生IP地址沖突。智能伸縮控制程序發(fā)出關(guān)機指令，同時刷新服務(wù)器群中處于工作狀態(tài)的成員服務(wù)器的排列序號。當(dāng)服務(wù)器群中只有1個成員服務(wù)器處于工作狀態(tài)時，則不執(zhí)行服務(wù)器群收縮控制，保證服務(wù)器群至少有1臺成員服務(wù)器為終端用戶提供服務(wù)。服務(wù)器群智能收縮控制過程如圖6所示。

圖4 負載調(diào)度器工作過程

表2 服務(wù)器群伸縮控制判定關(guān)系

圖5 服務(wù)器群擴展控制過程

4 測試環(huán)境及測試結(jié)果

4.1 測試環(huán)境

測試環(huán)境中，在服務(wù)器群中設(shè)置了3臺成員服務(wù)器且安裝相同的軟件工具，操作系統(tǒng)均為Windows Server 2008，負載監(jiān)測器、負載策略控制器、負載調(diào)度器和伸縮控制器的操作系統(tǒng)均為Windows Server 2008。測試過程中，考慮到負載的連續(xù)和穩(wěn)定性等因素，測試采用了高頻度的FTP終端訪問服務(wù)器群中的數(shù)據(jù)，得出了服務(wù)器群訪問負載增加和減少兩個過程中成員服務(wù)器負載、服務(wù)器群工作負載的變化數(shù)據(jù)，其中，服務(wù)器群中成員服務(wù)器工作負載過輕和過重的臨界值分別設(shè)定為Fimin=0.4和Fimax=2，負載監(jiān)測時間間隔為2 min，訪問負載減少時，去除成員服務(wù)器的關(guān)機延續(xù)時間為120 s。

4.2 測試結(jié)果與分析

在服務(wù)器群訪問負載連續(xù)增加時，測得服務(wù)器群、成員服務(wù)器的工作負載隨時間的變化關(guān)系如圖7所示。

從圖7可以看出，服務(wù)器群工作負載不斷增加的過程中，在開始階段，服務(wù)器群工作負載隨時間的變化曲線與成員服務(wù)器1工作負載隨時間的變化曲線重合，此時，服務(wù)器群中只有成員服務(wù)器1在工作，G(t)=F1(t)，Gmax=F1max，全部負載由成員服務(wù)器1承擔(dān)。

圖6 服務(wù)器群智能收縮控制過程

圖7 訪問負載增加時工作負載變化曲線

當(dāng)服務(wù)器群工作負載增加到F1max=2后，伸縮控制器報警，即G(t)≥Gmax，成員服務(wù)器2被檢測到有負載出現(xiàn)，說明成員服務(wù)器2已經(jīng)開始工作，且被分配了工作負載，此時服務(wù)器群總負載由成員服務(wù)器1、2共同承擔(dān)，服務(wù)器群總工作負載臨界值為Gmax=F1max+F2max=4。隨著終端用戶訪問量的持續(xù)增加，成員服務(wù)器1工作負載在稍有延時后開始略有下降，成員服務(wù)器2工作負載開始上升，在負載調(diào)度策略的控制下，成員服務(wù)器2快速承擔(dān)更多的訪問負載，成員服務(wù)器1負載下降趨于緩慢。當(dāng)成員服務(wù)器1、2的工作負載曲線出現(xiàn)交叉后，成員服務(wù)器1的工作負載開始上升，且成員服務(wù)器1、2的工作負載曲線非常接近，表明此時服務(wù)器群進入負載均衡狀態(tài)。在負載調(diào)度策略的控制下，工作負載相對較小的成員服務(wù)器1的工作負載上升加速，逐漸超過服務(wù)器2。

當(dāng)成員服務(wù)器1、2的工作負載之和超過4時，伸縮控制器又開始報警，即G(t)≥Gmax=F1max+F2max=4，成員服務(wù)器3被檢測到有負載出現(xiàn)，說明成員服務(wù)器3已經(jīng)開始工作，此時Gmax=F1max+F2max+F3max=6。隨著終端用戶訪問負載的繼續(xù)增加，負載調(diào)度策略繼續(xù)發(fā)揮作用，成員服務(wù)器1、2工作負載均呈現(xiàn)略微下降趨勢，成員服務(wù)器3的工作負載快速增加，一段時間后成員服務(wù)器3的工作負載曲線與成員服務(wù)器1、2的工作負載曲線出現(xiàn)交叉，然后3條曲線呈現(xiàn)相同的變化趨勢，說明服務(wù)器群再次進入負載均衡狀態(tài)。

從圖7中各成員服務(wù)器的工作負載曲線的變化可以看出，后續(xù)加入服務(wù)器群中的成員服務(wù)器承擔(dān)的工作負載相對前期進入服務(wù)器群的成員服務(wù)器要多一些，可見在Gmin＜G(t)＜Gmax時，策略調(diào)度控制器在負載均衡過程中給工作負載相對較輕的成員服務(wù)器對應(yīng)的IP地址組中加入了更多的IP地址，同時將這些新增的IP地址綁定到工作負載相對較輕的成員服務(wù)器的網(wǎng)卡上。

圖8 訪問負載減少時工作負載變化曲線

當(dāng)成員服務(wù)器1、2、3的工作負載之和達到超載臨界值時，即G(t)≥Gmax=F1max+F2max+F3max=6，聚合控制器開始報警，此時開始進行了服務(wù)器群訪問負載逐漸減少的實驗測試過程，獲得服務(wù)器群、成員服務(wù)器的工作負載隨時間的變化關(guān)系，如圖8所示。

從圖8的負載變化情況來看，隨著服務(wù)器群外部訪問量的減少或停止，成員服務(wù)器1、2、3的負載逐漸下降。當(dāng)服務(wù)器群工作負載下降至G(t)＜Gmax=F1min+F2min+F3min=1.2時，成員服務(wù)器3開始無檢測數(shù)據(jù)，說明服務(wù)器3已經(jīng)從服務(wù)器群中被去除，此時服務(wù)器群工作負載由成員服務(wù)器1、2共同承擔(dān)，且服務(wù)器群工作負載臨界值Gmin=F1min+F2min=0.8。此后，隨著部分外部訪問的不斷結(jié)束，服務(wù)器群工作負載再次開始下降，在服務(wù)器群工作負載下降至G(t)＜Gmin=0.8之后，成員服務(wù)器2開始無檢測數(shù)據(jù)，表明服務(wù)器2已經(jīng)從服務(wù)器群中被去除，之后服務(wù)器群的工作負載曲線與成員服務(wù)器1的負載曲線重合，因為此時服務(wù)器群工作負載全部由成員服務(wù)器1承擔(dān)。此后，服務(wù)器群工作負載隨著外部訪問的陸續(xù)結(jié)束而繼續(xù)下降，由于服務(wù)器群中只有1個成員服務(wù)器在工作，智能伸縮控制器沒有發(fā)出去除成員服務(wù)器1的指令。被去除的成員服務(wù)器3和成員服務(wù)器2分別在服務(wù)器群工作負載出現(xiàn)拐點后2 min左右被成功關(guān)機。上述結(jié)果驗證了服務(wù)器群在輕負載時的自動收縮能力和節(jié)約電力能源的效能。

5 結(jié)束語

目前，基于物聯(lián)網(wǎng)、云計算技術(shù)的大數(shù)據(jù)網(wǎng)絡(luò)的核心服務(wù)器群規(guī)模龐大，建設(shè)費用特別巨大，持續(xù)能耗驚人，這些服務(wù)器群一般均要求成員服務(wù)器具有相同的硬件配置，且對每個服務(wù)器群中成員服務(wù)器的數(shù)量具有明確限制，所有成員服務(wù)器即使在空載情況下也必須處于開啟狀態(tài)，時刻準(zhǔn)備迎接大量終端用戶的并發(fā)訪問。本文提出的大數(shù)據(jù)網(wǎng)絡(luò)服務(wù)器群智能伸縮模型及實現(xiàn)方法，建立了一種實用性較強的服務(wù)器群應(yīng)用架構(gòu)，并且在大數(shù)據(jù)處理系統(tǒng)理論研究與應(yīng)用等方面具有指導(dǎo)作用，其特點如下。

·對構(gòu)建核心服務(wù)器群的成員服務(wù)器無特殊要求，可以利用現(xiàn)有服務(wù)器構(gòu)建新的服務(wù)器群，節(jié)省投資。

·核心服務(wù)器群可以根據(jù)系統(tǒng)負載的變化情況自動增減成員服務(wù)器，并同步調(diào)整負載調(diào)度策略，保證處于工作狀態(tài)的成員服務(wù)器間的負載均衡，為終端用戶提供高效和快速的響應(yīng)。

· 在系統(tǒng)負載比較低時，只保留一定規(guī)模的成員服務(wù)器處于工作狀態(tài)，關(guān)閉服務(wù)器群中多余的成員服務(wù)器，降低服務(wù)器群的能耗。

大數(shù)據(jù)網(wǎng)絡(luò)服務(wù)器群智能伸縮模型及實現(xiàn)方法雖然突破了服務(wù)器群對成員服務(wù)器性能的具體要求和數(shù)量限制，實現(xiàn)了智能伸縮及負載均衡，但是在成員服務(wù)器數(shù)量增加的同時，服務(wù)器群進入負載均衡狀態(tài)的時間也進一步延長，今后還需要進一步研究和完善。

1 王元卓,靳小龍,程學(xué)旗.網(wǎng)絡(luò)大數(shù)據(jù):現(xiàn)狀與展望.計算機學(xué)報,2013,36(6):1125～1138

Wang Y Z,Jin X L,Cheng X Q.Network big data:present and future.Chinese Journal of Computers,2013,36(6):1125～1138

2 王珊,王會舉,覃雄派等.架構(gòu)大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望.計算機學(xué)報,2011,34(10):1741～1752

Wang S,Wang H J,Tan X P,et al.Architecting big data:challenges,studies and forecasts.Chinese Journal of Computers,2011,34(10):1741～1752

3 孟小峰,慈祥.大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn).計算機研究與發(fā)展,2013,50(1):164～169

Meng X F,Ci X.Big data management:concepts,techniques and challenges.Journal of Computer Research and Development,2013,50(1):164～169

4 吳金紅,張飛,鞠秀芳.大數(shù)據(jù):企業(yè)競爭情報的機遇、挑戰(zhàn)及對策研究.情報雜志,2013,32(1):5～9

Wu J H,Zhang F,Ju X F.Big data:opportunities,challenges and strategies of enterprise.Journal of Intelligence,2013,32(1):5～9

5 王樹良,丁剛毅,鐘鳴.大數(shù)據(jù)下的空間數(shù)據(jù)挖掘思考.中國電子科學(xué)研究院學(xué)報,2013,8(1):8～17

Wang S L,Ding G Y,Zhong M.On spatial data mining under big data.Journal of CAEIT,2013,8(1):8～17

6 馬建光,姜巍.大數(shù)據(jù)的概念、特征及其應(yīng)用.國防科技,2013,34(2):10～17

Ma J G,Jiang W.The concept,characteristics and application of big data.National Defense Science＆Technology,2013,34(2):10～17

7 Manyika J,Chui M,Brown B,et al.Big data:the next frontier for innovation, competition, and productivity. http://www.mckinsey.com/insights/mgi/research/technology_and_innovation/big_data_the_next_frontier_for_innovation,May 2011

8 Big data,big impact:new possibilities for international development.http://www.weforum.org/reports/bigdata-big-impactnew-possibilities-international-development,January 2012

9 亓開元,趙卓峰,房俊等.針對高速數(shù)據(jù)流的大規(guī)模數(shù)據(jù)實時處理方法.計算機學(xué)報,2012,35(3):476～490

Qi K Y,Zhao Z F,Fang J,et al.Real-time processing for high speed data stream over large scale data.Chinese Journal of Computers,2012,35(3):476～490

10 陶健,張占平,鄭戊午等.機載實時容錯分布式計算機系統(tǒng)數(shù)據(jù)網(wǎng)絡(luò)的設(shè)計與實現(xiàn).航空計算技術(shù),2008，38(6):102～106

Tao J,Zhang Z P,Zheng W W,etal.Design and implementation of airborne real-time fault-tolerance distributed computer system’s data network. Aeronautical Computing Technique,2008,38(6):102～106

11 黃哲學(xué),曹付元,李俊杰等.面向大數(shù)據(jù)的海云數(shù)據(jù)系統(tǒng)關(guān)鍵技術(shù)研究.網(wǎng)絡(luò)新媒體技術(shù),2012,1(6):20～26

Huang Z X,Cao F Y,Li J J,et al.Developing sea cloud data system key technologies for large data analysis and mining.Journal of Congwen.net,2012,1(6):20～26

12 時念云,王文佳,馬力.基于普適云的大數(shù)據(jù)挖掘.計算機系統(tǒng)應(yīng)用,2013,22(1l):7～12

Shi N Y,Wang W J,Ma L.Data mining of big data based on ubicloud.Computer Systems＆Applications,2013,22(1l):7～12

13 徐國虎,孫凌,許芳.基于大數(shù)據(jù)的線上線下電商用戶數(shù)據(jù)挖掘研究.中南民族大學(xué)學(xué)報 (自然科學(xué)版),2013,32(2):100～105

Xu G H,Sun L,Xu F.Study on big data-based mining of O2O ec users’data.Journal of South-Central University for Nationalities(Nat.Sci.Edition),2013,32(2):100～105

14 曾斌,姚路,陳志誠.基于負載平衡智能體的分布式Web代理群集研究.計算機工程與設(shè)計,2011,32(8):2631～2635

Zeng B,Yao L,Chen Z C.Study of distributed web proxy cluster using load balancing agents.Computer Engineering and Design,2011,32(8):2631～2635

15 李帥,李蓋凡,許胤龍.大規(guī)模多層次分布式網(wǎng)絡(luò)系統(tǒng)及其仿真.計算機仿真,2012,29(9):139～143

Li S,Li G F,Xu Y L.Large-scale multi-layer distributed network system and its simulation.Computer Simulation,2012,29(9):139～143

16 陳斌,白曉穎,馬博等.分布式系統(tǒng)可伸縮性研究綜述.計算機科學(xué),2011,38(8):17～24

Chen B,Bai X Y,Ma B,et al.Survey on software scalability of distributed system.Computer Science,2011,38(8):17～24

17 尹浩,林闖,文浩等.大規(guī)模流媒體應(yīng)用中關(guān)鍵技術(shù)的研究.計算機學(xué)報,2008,31(5):755～774

Yin H,Lin C,Wen H,et al.Research on key technologies of large-scale streaming media.Chinese JournalofComputers,2008,31(5):755～774

18 姚婧,何聚厚.基于模糊聚類分析的云計算負載平衡策略.計算機應(yīng)用,2012,32(1):213～217

Yao J,He J H.Load balance strategy of cloud computing based on fuzzy clustering analysis.Journal of Computer Applications,2012,32(1):213～217

19 黃曉斌,鐘輝新.基于大數(shù)據(jù)的企業(yè)競爭情報系統(tǒng)模型構(gòu)建.情報雜志,2013,32(3):37～43

Huang X B,Zhong H X.Build enterprise competitive intelligence system modelbased on big data.Journalof Intelligence,2013,32(3):37～43

20 Chaiken R,Jenkins B,Larson P,et al.SCOPE:easy and efficient parallel processing of massive data sets.Proceedings of the VLDB Endowment,Auckland,New Zealand,2008:1265～1276

21 Abadi D J,Ahmad Y,Balazinska M,et al.The design of the borealis stream processing engine.Proceedings ofSecond BiennialConference on Innovative Data SystemsResearch,Asilomar,USA,2005:277～289