許 立(河北北方學(xué)院附屬第一醫(yī)院)
伴隨著我國(guó)移動(dòng)互聯(lián)網(wǎng)、云計(jì)算和大數(shù)據(jù)等信息技術(shù)的快速崛起與發(fā)展,蜂窩網(wǎng)絡(luò)的覆蓋范圍越來越廣,使處理數(shù)據(jù)的計(jì)算機(jī)數(shù)量迅速增長(zhǎng),移動(dòng)數(shù)據(jù)流量爆炸式增長(zhǎng)導(dǎo)致大數(shù)據(jù)系統(tǒng)產(chǎn)生高能耗問題,引起我國(guó)政府和業(yè)界的高度重視。研究降低大數(shù)據(jù)系統(tǒng)的能耗,有助于降低異構(gòu)網(wǎng)絡(luò)部署和運(yùn)營(yíng)成本,提升頻譜有效性和能量有效性。將現(xiàn)有的綠色計(jì)算研究成果運(yùn)用于大數(shù)據(jù)處理平臺(tái),有針對(duì)性地優(yōu)化基于中間件的能耗問題。在異構(gòu)網(wǎng)絡(luò)環(huán)境下出于經(jīng)濟(jì)和環(huán)境方面的考慮,提升蜂窩網(wǎng)絡(luò)能量的有效性成為關(guān)鍵性能指標(biāo),為有效解決異構(gòu)網(wǎng)絡(luò)中大量基站部署導(dǎo)致的網(wǎng)絡(luò)能耗激增問題,還要研究異構(gòu)網(wǎng)絡(luò)中的能量有效干擾管理、負(fù)載均衡技術(shù)問題。為解決大數(shù)據(jù)環(huán)境下的無線通信數(shù)據(jù)傳輸能耗過大問題,需要研究異構(gòu)環(huán)境下大數(shù)據(jù)傳輸能耗優(yōu)化的方法,如將無線傳輸節(jié)點(diǎn)任務(wù)分配到網(wǎng)絡(luò)節(jié)點(diǎn)中,在源節(jié)點(diǎn)和目的節(jié)點(diǎn)尋找合適的路徑,進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā),并選擇簇頭節(jié)點(diǎn)和制定通信協(xié)議。還可以在多重網(wǎng)絡(luò)異構(gòu)環(huán)境下,對(duì)大數(shù)據(jù)傳輸?shù)哪芎倪M(jìn)行優(yōu)化設(shè)計(jì),采用新的海量網(wǎng)絡(luò)數(shù)據(jù)傳輸能耗控制優(yōu)化方法,以降低大數(shù)據(jù)傳輸系統(tǒng)的開銷,從而提升大數(shù)據(jù)處理平臺(tái)傳輸?shù)谋U嫘浴?/p>
為此,由宋杰撰寫的《大數(shù)據(jù)處理平臺(tái)能耗優(yōu)化方法的研究》一書,有助于異構(gòu)環(huán)境下大數(shù)據(jù)傳輸能耗優(yōu)化的方法研究。該書是作者近年來在大數(shù)據(jù)領(lǐng)域的科研成果,重點(diǎn)圍繞大數(shù)據(jù)處理平臺(tái)中的能耗優(yōu)化方法進(jìn)行深入研究,提出縮減節(jié)點(diǎn)的等待時(shí)間,以減少空閑能耗這一優(yōu)化方法。作者首先從大數(shù)據(jù)處理平臺(tái)和能耗優(yōu)化研究?jī)蓚€(gè)方面進(jìn)行了綜述,然后對(duì)評(píng)價(jià)模型和核心技術(shù)展開論述。在模型層面和技術(shù)層面分別介紹了如何建立大數(shù)據(jù)處理平臺(tái)能耗模型、求解最小能耗值、主流NoSQL數(shù)據(jù)庫(kù)系統(tǒng)、能耗基準(zhǔn)測(cè)試方法及測(cè)試結(jié)果,以及通過優(yōu)化資源分配和任務(wù)調(diào)度策略消除資源瓶頸和減少資源等待;通過優(yōu)化數(shù)據(jù)布局策略提高節(jié)點(diǎn)并行性和減少節(jié)點(diǎn)間等待,從而最終達(dá)到降低大數(shù)據(jù)處理平臺(tái)能耗的目的。最后,探討了大數(shù)據(jù)處理平臺(tái)能耗優(yōu)化思路、方法和途徑,闡述了面向大數(shù)據(jù)處理算法的能耗優(yōu)化方法。讀者通過該書能更加深入了解大數(shù)據(jù)處理平臺(tái)的核心技術(shù)、能耗優(yōu)化等前沿性學(xué)術(shù)問題,可以幫助讀者更加有效地構(gòu)建平臺(tái)和對(duì)現(xiàn)有平臺(tái)進(jìn)行改進(jìn),對(duì)開展大數(shù)據(jù)和綠色計(jì)算領(lǐng)域的交叉研究具有重要的科學(xué)意義和廣泛應(yīng)用前景。
作者首先對(duì)大數(shù)據(jù)處理平臺(tái)做了一些描述,分別介紹了大數(shù)據(jù)分析、云計(jì)算、分布式系統(tǒng)和分布式計(jì)算等概念,然后介紹了能耗優(yōu)化研究的進(jìn)展情況,闡述了能耗研究的層次、能耗優(yōu)化方法、集群環(huán)境下的能耗優(yōu)化方法、數(shù)據(jù)庫(kù)系統(tǒng)能耗優(yōu)化方法等問題,并對(duì)研究現(xiàn)狀進(jìn)行了細(xì)致分析。其次,論述了大數(shù)據(jù)處理平臺(tái)的能效度量模型。在介紹了相關(guān)工作之后闡述了能效模型、能效測(cè)量方法、能效計(jì)算方法和能效極值分析,并對(duì)單機(jī)實(shí)驗(yàn)和集群環(huán)境實(shí)驗(yàn)進(jìn)行了分析。第三,論述了大數(shù)據(jù)處理平臺(tái)的能耗基準(zhǔn)測(cè)試與分析,具體闡述了數(shù)據(jù)模型、測(cè)試用例、能耗模型、能耗分析方法、能耗測(cè)量方法等基準(zhǔn)測(cè)試方法。通過實(shí)驗(yàn)環(huán)境分析、基準(zhǔn)能耗比較分析和等待能耗分析等實(shí)驗(yàn)分析,得出大數(shù)據(jù)處理平臺(tái)的能耗優(yōu)化方法。最后,論述了大數(shù)據(jù)處理平臺(tái)的資源比模型、普適的資源和能效模型優(yōu)化等問題,闡述了優(yōu)化大數(shù)據(jù)處理平臺(tái)能耗的任務(wù)分發(fā)算法和數(shù)據(jù)布局算法,并對(duì)大數(shù)據(jù)處理算法能耗優(yōu)化研究進(jìn)行了展望。
在異構(gòu)環(huán)境下采用無線傳感器網(wǎng)絡(luò)技術(shù)的大數(shù)據(jù)傳輸和調(diào)度,使得大數(shù)據(jù)傳輸?shù)靡陨钊氚l(fā)展,但是大數(shù)據(jù)傳輸信道遭受到了多種干擾從而產(chǎn)生信道失衡,這樣造成的能量消耗極大,因此,采用能耗優(yōu)化模型設(shè)計(jì)有助于大數(shù)據(jù)傳輸節(jié)能。傳統(tǒng)大數(shù)據(jù)傳輸能耗均衡模型建設(shè),一般采用自適應(yīng)均衡、信道均衡和大數(shù)據(jù)傳輸能耗均衡三種算法。在異構(gòu)環(huán)境下,通過大數(shù)據(jù)傳輸信道線性與非線性均衡器進(jìn)行能耗預(yù)測(cè),通過優(yōu)化均衡配置提升大數(shù)據(jù)傳輸效率。但是,在大數(shù)據(jù)傳輸能耗均衡配置過程中,采用這三種計(jì)算法導(dǎo)致計(jì)算開銷過大、抗干擾性能差和能量開銷無法合理控制,還需要進(jìn)一步優(yōu)化算法和改進(jìn)能耗模型設(shè)計(jì)。作者提出了一種更加先進(jìn)的大數(shù)據(jù)傳輸能耗優(yōu)化模型設(shè)計(jì),那就是基于自適應(yīng)負(fù)載均衡控制、異構(gòu)環(huán)境下的能耗模型,通過大數(shù)據(jù)傳輸信道模型設(shè)計(jì)和自適應(yīng)負(fù)載均衡控制算法,進(jìn)行大數(shù)據(jù)傳輸信道均衡設(shè)計(jì)以降低傳輸能耗;通過仿真實(shí)驗(yàn)進(jìn)行性能測(cè)試,實(shí)現(xiàn)了大數(shù)據(jù)高效均衡調(diào)度和傳輸,從而實(shí)現(xiàn)了能耗開支小和信道均衡性高的目的。
為建構(gòu)異構(gòu)環(huán)境下的大數(shù)據(jù)傳輸系統(tǒng)和多徑信道模型,作者認(rèn)為采用 BPSK調(diào)制碼元的分布設(shè)計(jì)可以很好優(yōu)化大數(shù)據(jù)傳輸信道和降低能耗開銷,大數(shù)據(jù)傳輸信道模型設(shè)計(jì)為很好完成異構(gòu)環(huán)境下的大數(shù)據(jù)傳輸能耗優(yōu)化提供了基礎(chǔ)。在異構(gòu)環(huán)境下大數(shù)據(jù)傳輸信道均衡設(shè)計(jì)和能耗優(yōu)化控制模型設(shè)計(jì)過程中,采用自適應(yīng)負(fù)載均衡控制算法可以大大降低大數(shù)據(jù)傳輸能耗。作者為此通過仿真實(shí)驗(yàn)與結(jié)果分析來驗(yàn)證這種算法的實(shí)效性,測(cè)試出本算法在大數(shù)據(jù)傳輸能耗優(yōu)化中的優(yōu)越性能,從而大幅度降低了發(fā)射功率和傳輸能耗。這種基于自適應(yīng)負(fù)載均衡控制的大數(shù)據(jù)傳輸信道模型和能耗優(yōu)化模型設(shè)計(jì),以及采用的自適應(yīng)負(fù)載均衡控制算法,實(shí)現(xiàn)了大數(shù)據(jù)的均衡調(diào)度和高效傳輸。還可以采用實(shí)用有效的改進(jìn)算法,以降低海量數(shù)據(jù)的傳輸能耗問題,通過建立異構(gòu)環(huán)境下大數(shù)據(jù)傳輸能耗優(yōu)化模型和大數(shù)據(jù)傳輸信道模型,對(duì)網(wǎng)絡(luò)數(shù)據(jù)節(jié)點(diǎn)能耗進(jìn)行計(jì)算,選取合適節(jié)點(diǎn)對(duì)網(wǎng)絡(luò)數(shù)據(jù)和大數(shù)據(jù)傳輸信道進(jìn)行參數(shù)設(shè)計(jì),從而實(shí)現(xiàn)大數(shù)據(jù)均衡調(diào)度和高效傳輸,以降低大數(shù)據(jù)傳輸能耗的問題。