任 群，王愛平

(亳州學院 電子與信息工程系，安徽 亳州236800)

在大數(shù)據(jù)和互聯(lián)網(wǎng)+的時代背景下，創(chuàng)業(yè)創(chuàng)新是當代大學生必備的能力，創(chuàng)新創(chuàng)業(yè)的出現(xiàn)響應了“大眾創(chuàng)業(yè)，萬眾創(chuàng)新”的號召。 科學高效的管理平臺可以指導和支持大學生的創(chuàng)業(yè)創(chuàng)新教育，因此探討了大學生創(chuàng)業(yè)創(chuàng)新平臺的構建。 基于大數(shù)據(jù)的創(chuàng)業(yè)創(chuàng)新平臺的構建面臨著許多挑戰(zhàn)，其中一個就是大數(shù)據(jù)處理的能源效率問題[1-2]。 本研究提出了CGDP，一個具有成本效益的綠色大數(shù)據(jù)處理框架，并將大學生創(chuàng)業(yè)創(chuàng)新平臺部署在基于CGDP 的集群中。

1 基于綠色大數(shù)據(jù)的系統(tǒng)框架

基于CGDP 的集群框架，如圖1 所示。 綠色大數(shù)據(jù)處理模塊(CGDP)部署在網(wǎng)關與核心網(wǎng)絡之間，包括一個大數(shù)據(jù)中心、一個數(shù)據(jù)庫和一個綠色感知優(yōu)化模塊。 首先，由大數(shù)據(jù)中心收集和預處理由無線異構網(wǎng)絡生成的原始數(shù)據(jù)。 然后，通過基于人工智能的數(shù)據(jù)分析，從清晰的數(shù)據(jù)中提取用戶行為和網(wǎng)絡模式，并將相關結果和有用的歷史數(shù)據(jù)存儲在數(shù)據(jù)庫中，用于訓練學習系統(tǒng)。 綠色感知優(yōu)化模塊進行具有成本效益和綠色感知的任務調度策略。

2 大學生創(chuàng)業(yè)創(chuàng)新平臺設計

2.1 系統(tǒng)需求分析

圖1 基于綠色大數(shù)據(jù)的系統(tǒng)框架

本平臺的主要角色有學院、高校、企業(yè)、導師、學生，不同的角色具有不同的功能。 創(chuàng)業(yè)創(chuàng)新項目申請是大學生創(chuàng)業(yè)創(chuàng)新平臺的主要功能之一，該功能主要的用戶是學生。 學生可以進行新增項目，填寫項目申請書等操作，還可以對申請書進行修改、刪除以及提交等操作。 學院、高校、企業(yè)、指導教師通過項目審核處理功能對項目進行審核。 指導教師首先對學生提交的申請書進行審核，并填寫審核意見。 如果審核不通過，則需要將申請書退回修改或者拒絕申請；若審核通過，則提交學院、高校和企業(yè)進行審核。 項目統(tǒng)計功能是實現(xiàn)項目匯總的途徑，而項目成果展示功能將實現(xiàn)項目成果的發(fā)布。 項目信息查詢實現(xiàn)了基于關鍵字查詢和基于條件查詢的功能。

2.2 系統(tǒng)設計

本平臺的功能模塊如圖2 所示。

圖2 系統(tǒng)功能模塊圖

由于篇幅有限，此處主要介紹創(chuàng)業(yè)項目信息查詢功能的詳細設計以及實現(xiàn)過程。

項目信息查詢實現(xiàn)了條件查詢和關鍵字查詢功能。 條件查詢功能通過設置條件來對項目進行篩選，關鍵字查詢支持用戶進行模糊查找。 下面介紹利用關鍵字進行模糊查詢的具體實現(xiàn)算法。 首先，用戶在應用程序端或者網(wǎng)頁端輸入關鍵字；然后，通過邏輯層的相關處理后，采用數(shù)據(jù)庫接口根據(jù)關鍵字查找數(shù)據(jù)庫；最后，查詢結果會顯示到應用程序或者網(wǎng)頁。 本平臺使用了基于信息檢索(Information Retrieve，IR)排序的搜索算法來進行查詢。 采用圖結構來對數(shù)據(jù)庫建模，圖的節(jié)點表示數(shù)據(jù)庫中的表，當表i 的主鍵是表j 的外鍵時，節(jié)點i 與節(jié)點j 之間有邊相連接。 查詢結果是一個包含元組樹集合的結果圖。 提出了基于IR 排序的搜索算法。 首先將存儲在文本數(shù)據(jù)庫中的基本信息單元定義為文檔，然后計算查詢關鍵字和文檔的相似度，并以相似度為標準來對文檔進行排序。 假設元組樹T，元組樹中每個文檔為{D1，…，Dm}，則T 為Di的父文檔。 相似度的計算公式為：

其中，ω(k，Q)是查詢Q 中關鍵詞k 的權重；ω(k，T)是元組樹中關鍵詞k 的權重，其計算方式為：

3 綠色大數(shù)據(jù)處理模塊設計

3.1 問題描述

考慮在單個數(shù)據(jù)中心中減少大數(shù)據(jù)處理過程中(如MapReduce)不可再生能源的消耗。 數(shù)據(jù)中心由不可再生能源和可再生能源供電，并配有后備電池。 在MapReduce 框架中，數(shù)據(jù)的處理涉及一組機器：一個主節(jié)點和多個從節(jié)點。 主節(jié)點是負責工作負載調度和計算資源管理的中央?yún)f(xié)調器。 從節(jié)點負責執(zhí)行Map 或Reduce 任務和數(shù)據(jù)存儲。 用戶約束(如截止日期)是數(shù)據(jù)處理框架的性能指標。 因此，綠色大數(shù)據(jù)處理框架(CGDP)允許用戶指定MapReduce 任務的松弛性，每個作業(yè)的松弛性根據(jù)其截止日期定義。 CGDP 利用工作的松弛性來執(zhí)行成本和綠色的優(yōu)化。 該系統(tǒng)由Hadoop 集群、充電控制器、逆變器、電池和開關組成。 由于可再生能源的輸入電壓是動態(tài)變化的，因此采用充電控制器來防止過充電。 充電控制器還監(jiān)視充電、放電操作。 通過充電控制器，剩余的可再生能源自動充電到電池中。

采用兩個參數(shù)Cp和e 對電池進行建模，Cp是電池的有效容量，e 是電池的充電效率。 對于一個給定的充電功率Δx，估計的電池電量的增量為△x′=△x·e。 CGDP 有兩個優(yōu)化目標，分別是綠色感知優(yōu)化和符合成本效益優(yōu)化。 其中，綠色感知優(yōu)化是指在所有任務都能在截止日期之前完成的條件下，最小化不可再生能源的使用量；而符合成本效益的優(yōu)化目標則是最小化能源的使用成本。

3.2 總體設計

當一個新任務進入系統(tǒng)時，它首先被放入一個任務等待隊列。 對于等待隊列中的任務，需要進行性能和能耗評估。 然后在滿足任務截止時間的條件下，確定最具能效的執(zhí)行配置。 執(zhí)行配置包括了服務器的數(shù)量以及每臺服務器的物理資源。 接下來，將任務添加到任務隊列中。 使用一個多隊列結構來表示任務負載的執(zhí)行計劃。 由于MapReduce 任務的到達方式是未知的，且可再生能源會隨著時間的變化而變化，因此難以做出最優(yōu)的離線任務調度計劃。 任務調度計劃需要在系統(tǒng)運行時動態(tài)生成和調整，以適應任務和可再生能源的變化。 在本研究中，為了簡化算法設計，進行定期的任務調整。 在一段時間內，CGDP 生成節(jié)能環(huán)保和具有成本效益的調度計劃。 我們將這一段時間稱為一個“epoch”。 在每個epoch 開始時，對任務量進行預測。 給定每個任務的節(jié)能執(zhí)行配置，首先根據(jù)集群容量生成基本的節(jié)能計劃。 接下來，應用一系列優(yōu)化來降低計劃的不可再生能源消耗和能耗成本。 在一段時間內，CGDP 定期進行任務調度，并根據(jù)優(yōu)化的執(zhí)行計劃在服務器上執(zhí)行電源管理。 將任務調度的時間段稱為“slot”。 對于每個slot，CGDP 為任務分配一組服務器，并根據(jù)執(zhí)行計劃執(zhí)行任務。 對于當前slot 執(zhí)行計劃中要調度的所有任務，CGDP 采用截止時間優(yōu)先的調度算法。 該算法優(yōu)先處理接近截止時間的作業(yè)。

3.3 綠色感知調度

為了通過綠色感知調度最小化集群的不可再生能耗，首先，生成一個基本的執(zhí)行計劃，其中，特別考慮了數(shù)據(jù)處理框架的能效和集群容量。 然后，通過綠色感知的任務切換和電池輔助綠色轉移機制，進一步降低基本節(jié)能計劃的不可再生能源消耗。

3.3.1 基本的節(jié)能執(zhí)行計劃

在每一個epoch 開始時，對任務(包括工作類型和到達率等)以及可再生能源的供應情況進行在線預測。

(1)任務預測：通過使用簡單的時間序列分析[3]，可以較為精確地預測小型任務的到達率。 利用任務之間的相似性，結合時間序列預測算法，可以準確估計小型任務的總能耗和執(zhí)行時間。 在實驗中，對于小型任務的能源消耗預測誤差平均小于6%，執(zhí)行時間的預測誤差平均小于4%。 但對于大型任務，它們的到達并沒有規(guī)律，并且大型任務的能耗和執(zhí)行時間差別很大。 因此，采用成本模型在大型任務到達才對他們進行評估。 由于大型任務的執(zhí)行時間較長，因此這種隨機應變的預測為調度提供了足夠的優(yōu)化空間。

(2)可再生能源供應預測：大多數(shù)的可再生能源(如太陽能和風能)都取決于天氣狀況。 采用了Green-Hadoop[4]中使用的預測方法，該方法能夠以非常高的準確性來預測太陽能。

(3)節(jié)能計劃生成：為CGDP 制訂了基本的節(jié)能計劃。 CGDP 生成的計劃具有兩個不同的特性。 首先，CGDP 的任務執(zhí)行配置在滿足任務截止時間的同時能耗最??；其次，生成計劃是以MapReduce 任務的能耗和性能模型作為指導的。 文中開發(fā)了一個多隊列數(shù)據(jù)結構來表示一個epoch 的執(zhí)行計劃。 每個隊列對應一個slot，它包含在slot 開始時啟動的任務。 每個epoch 由N 個slot 組成，時隙長度為ts秒，一個slot 對應一個隊列。 在設計中，當前的epoch 有N 個隊列，用q0，...，qN-1表示。 其中，qi維護松弛性小于i+1 的任務，并采用一個單獨的隊列q′存儲所有松弛性超出當前epoch 的任務。 隨著時間的流逝，在每個slot 的開始，任務的松弛性將減少，然后將分配一定數(shù)量的服務器給這些任務，直到任務完成為止。 在每個epoch 開始時，松弛性小于epoch 的作業(yè)會被分配到相應的qi中，而前一個epoch 未完成的任務將分配到q0中。 因此，epoch 的任務包括來自q′的任務、epoch 結束前在當前epoch 期間到達的帶有松弛性的任務以及來自之前epoch的任務。 假設每個slot 所需的服務器數(shù)量是ni。 如果ni超出了集群容量，需要將當前slot 中運行的任務移動到具有可用資源的隊列j。 重復這個過程，直到所有ni都不大于集群的容量。

3.3.2 綠色感知優(yōu)化的任務轉換

CGDP 支持四種基本工作轉換：(1)推遲D(j，i)：該操作將任務j 推遲i 個slot；(2)提前A(j，i)：該操作將任務j 提前i 個slot；(3)分配P(j，i)：該操作為任務j 增加了服務器的數(shù)量；(4)減配D(j，i)：該操作減少了任務j 的服務器數(shù)量。

第一階段：在這一階段，在保持當前epoch 的基本節(jié)能執(zhí)行計劃的同時，進行提前A(j，i)和推遲D(j，i)操作，以降低不可再生能源的消耗。 由于基本節(jié)能執(zhí)行計劃中的所有任務都盡可能地被推遲，任何推遲操作都將違反任務的截止時間。 因此，如果不可再生能源的消耗可以進一步被優(yōu)化，首先進行提前操作，然后考慮推遲操作。 第一階段的優(yōu)化算法如下：

第二階段：第二階段是第一階段的補充，考慮分配和減配來進一步減少不可再生能源的消耗。 第二階段算法可以改變執(zhí)行計劃，但可能會降低能源效率。

3.3.3 電池輔助的能源轉移

當可再生能源供應過剩時，可以利用電池儲存能源，以備將來使用。 設計了電池輔助轉移來進一步優(yōu)化執(zhí)行計劃的任務轉換。 有了電池，可以把任務時間推遲到更晚的時間段，以提高能源效率。 由于充放電存在能量損失，需要評估電池輔助轉移的能量增益與充放電損失之間的權衡。 將這個問題表示為帶有約束的非線性整數(shù)規(guī)劃問題，并提出了一種啟發(fā)式算法來進行綠色轉移優(yōu)化。

對當前slot 內的每個任務進行減配操作，并利用剩余的可再生能源對電池進行充電。 首先，將所有由可再生能源供能的任務J 添加到FIFO 隊列Q 中。 然后，每次從Q 中取出一個作業(yè)，在保證能夠減少不可再生能源消耗的情況下，執(zhí)行減配和充電操作。 重復該過程，直到隊列Q 為空。 對于每個任務j，如果減配不會違反任務的截止時間，對任務j 執(zhí)行減配。 由于充電、放電時會有能量損失和電池滿負荷時的能量浪費，為了提高能源效率，需要將未來任務所消耗的能源與可再生能源的實際數(shù)量進行比較。 如果實際的可再生能源量大于未來任務的能源消耗，將進行降級操作，并利用剩余的可再生能源對電池進行充電。

3.4 成本效益調度

為了利用動態(tài)定價來降低集群的電力成本，通過擴展CGDP 來提供具有成本效益的調度。

3.4.1 成本優(yōu)化的任務轉換

通過考慮不可再生能源的價格，進行成本效益優(yōu)化。 成本效益優(yōu)化的基本思想是利用不可再生能源來調度任務，如果可以降低當前epoch 的總電力成本，則將高峰期的不可再生能源消耗轉移到其他時段。 在一個epoch 中的電力成本為，其中N 是slot 的個數(shù)，Ci是slot i 的電力成本，其定義如下：

圖3 不可再生能源消耗對比

3.4.2 電池輔助的不可再生能源轉移

設計了電池輔助的不可再生能源轉移機制，通過具有成本效益的工作轉移進一步優(yōu)化執(zhí)行計劃[6]。 在電池的幫助下，可以較低的價格購買非高峰時段的不可再生能源，并在高峰時段使用。 由于在充放電過程中存在能量損耗，需要比較一下由于價格差異而節(jié)省的電費和充放電過程中的損耗。 也可以將這個問題表示為一個帶約束的非線性整數(shù)規(guī)劃問題，并采用啟發(fā)式算法來執(zhí)行計劃上的不可再生能源轉移。 由于在充電、放電的過程中會有能量損失，因此并非所有購買的不可再生能源都可以在未來得到利用。因此，需要將峰谷電價差異所帶來的電費節(jié)約與能源浪費所帶來的損失進行比較[7]。 如果價格差異帶來的收益大于充放電過程中的浪費，將購買不可再生能源，并進行充電以便未來使用。

4 實驗評估

將系統(tǒng)部署在一個由10 節(jié)點組成的集群上，并進行實驗以評估本系統(tǒng)的性能。 基于最新版本的Hadoop YARN 2.6.0 實現(xiàn)了本系統(tǒng)，并將Hadoop YARN 2.6.0[5]作為基本算法，記為“Hadoop”。 與此同時，選擇Greena-ware Hadoop(記為“GreenHadoop”)算法進行比較。 在該集群中，每個節(jié)點有兩個Intel Xeon CPU、24 GB 內存和1T 的磁盤。 節(jié)點的閑時功耗為150 瓦，峰值功耗為280 瓦。 這些節(jié)點通過10Gb 的以太網(wǎng)連接。其中一個節(jié)點被配置為主節(jié)點，其他節(jié)點被部署為從節(jié)點。

圖3 為不同系統(tǒng)的不可再生能源能耗。 總的來說， GreenHadoop、CGDP-basic 和CGDP 消耗的不可再生能源都比Hadoop 少。 與GreenHadoop 相比，CGDP 通過采用高效節(jié)能的優(yōu)化，消耗了更少的不可再生能源?？紤]到能源效率，CGDP-basic 比GreenHadoop 減少了6%的消耗，而CGDP 將任務轉換和電池輔助轉移應用于基本節(jié)能計劃，因此比CGDP-basic 進一步減少14.9%的消耗。

圖4 各部分能源消耗對比

圖4 展示了不可再生能源消耗、可再生能源消耗、電池充電、可再生能源浪費和數(shù)據(jù)復制的開銷的對比結果[8]。 浪費的可再生能源包括充電、放電時的能量損失和電池充滿電后被丟棄的部分。 通過將電力需求與綠色供應結合起來，GreenHadoop 可以比Hadoop 利用更多的綠色能源。 然而，在不考慮焦耳效率的情況下，它比CGDP 消耗更多的不可再生能源。 CGDP-basic比GreenHadoop 更能有效地利用能源，消耗更少的不可再生能源。 CGDP 的電池輔助轉移技術將更多的綠色能源充電到電池中，而不是直接使用電池，從而減少了不可再生能源。

5 結論

本研究探討了大學生創(chuàng)業(yè)創(chuàng)新平臺的構建。

基于大數(shù)據(jù)的創(chuàng)業(yè)創(chuàng)新平臺構建面臨著許多挑戰(zhàn)，其中一大挑戰(zhàn)就是大數(shù)據(jù)處理的能源效率問題。 提出了CGDP，一個具有成本效益的綠色大數(shù)據(jù)處理框架，并將大學生創(chuàng)業(yè)創(chuàng)新平臺部署在基于CGDP 的集群中。