田程+魯紹坤

摘要：探討了一種建立于廉價(jià)低功耗的硬件平臺(tái)上的農(nóng)業(yè)大數(shù)據(jù)平臺(tái)的可行性，搭建了1個(gè)廉價(jià)的由樹莓派2組成的基于Spark的微型大數(shù)據(jù)平臺(tái)，測(cè)試了其性能、功耗。結(jié)果表明，基于樹莓派2的微型農(nóng)業(yè)大數(shù)據(jù)平臺(tái)是一種在農(nóng)業(yè)環(huán)境下對(duì)計(jì)算性能要求不高時(shí)較為經(jīng)濟(jì)的選擇。

關(guān)鍵詞：Spark；樹莓派2；大數(shù)據(jù)；農(nóng)業(yè)

中圖分類號(hào)： S126文獻(xiàn)標(biāo)志碼： A

文章編號(hào)：1002-1302（2017）10-0202-03

隨著信息時(shí)代的發(fā)展，各行各業(yè)每時(shí)每刻都在產(chǎn)生大量的數(shù)據(jù)，為了應(yīng)對(duì)這些大量數(shù)據(jù)的存儲(chǔ)及處理需求，建立了眾多的數(shù)據(jù)中心，包括基于公有云服務(wù)的數(shù)據(jù)中心和私有的大數(shù)據(jù)中心。這些大數(shù)據(jù)中心的建立都耗資巨大，服務(wù)器和機(jī)房設(shè)備通常都價(jià)格昂貴，同時(shí)運(yùn)行成本高昂，服務(wù)器及冷卻設(shè)備都需要消耗大量的能源[1]。農(nóng)業(yè)大數(shù)據(jù)作為大數(shù)據(jù)技術(shù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用同樣面臨這一問題，尋求一種低成本、低功耗的設(shè)備來組建數(shù)據(jù)中心，讓數(shù)據(jù)中心更加經(jīng)濟(jì)、綠色環(huán)保，變得越來越重要[2]。

國(guó)外研究者根據(jù)這一需求，搭建了一些基于ARM的低成本、低功耗的電腦組建的計(jì)算集群來研究低成本低功耗平臺(tái)的計(jì)算集群應(yīng)用的可行性。由于研究者大多使用上一代電腦和Hadoop MapReduce架構(gòu)，研究結(jié)果多數(shù)因性能不足而不適合使用到生產(chǎn)環(huán)境，但人們?nèi)匀幌嘈牛褂眯碌腁RM處理器和新的架構(gòu)的計(jì)算集群可以滿足低成本下大數(shù)據(jù)處理的需要[3]。新一代樹莓派2，性能較第1代有很大提高，同時(shí)比Hadoop MapReduce更快的Spark大數(shù)據(jù)計(jì)算框架的出現(xiàn)，讓低成本的大數(shù)據(jù)應(yīng)用成為了可能。

1背景

1.1樹莓派2

樹莓派2（Raspberry Pi 2 Model B）是由英國(guó)慈善組織“Raspberry Pi基金會(huì)”開發(fā)的新一代基于ARM的卡片式電腦（表1）。在Sysbench多核CPU測(cè)試中，樹莓派CPU性能是第1代樹莓派Raspberry Pi 1 Model B+的6倍，并且保持了和第1代樹莓派相同的低廉售價(jià)（$35）[4]。

1.2Spark

Spark是1個(gè)基于內(nèi)存計(jì)算的開源大數(shù)據(jù)并行計(jì)算框架，于2009年誕生于加州伯克利分校AMPLab，目的在于簡(jiǎn)單快

速地處理大數(shù)據(jù)。目前由AMPLab、Databricks負(fù)責(zé)整個(gè)項(xiàng)目的開發(fā)維護(hù)，眾多公司（如Yahoo、Intel）和眾多的開源愛好者都積極參與Spark的更新與維護(hù)。據(jù)Spark官方網(wǎng)站公布數(shù)據(jù)，Spark運(yùn)行于內(nèi)存數(shù)據(jù)集時(shí)性能為Hadoop MapReduce的100倍，運(yùn)行于磁盤數(shù)據(jù)集時(shí)也有其10倍的性能。Spark使用Scala語言編寫，同時(shí)提供多種編程接口，可以使用Java、Python、R語言編寫程序，方便開發(fā)者自由選擇；兼容Hadoop生態(tài)系統(tǒng)，能夠運(yùn)行在單機(jī)、Hadoop、YARN、Mesos集群及多種云平臺(tái)上[5]。

1.3國(guó)外的低成本計(jì)算集群

Iridis-pi cluster由64個(gè)Raspberry Pi Model B組成，每個(gè)節(jié)點(diǎn)使用16 GB SD卡組成的1個(gè)低功耗、便宜、被動(dòng)散熱的可用于教育目的的集群[6]?；贏RM的低成本集群在合理的計(jì)算能力下，提供比傳統(tǒng)SATA串行存儲(chǔ)和PCI串行總線更大的擴(kuò)展能力，是在嚴(yán)酷的、維護(hù)困難的應(yīng)用環(huán)境和對(duì)可靠性要求較高、計(jì)算能力不是第一要求的情況下的一種選擇。

Glasgow Raspberry Pi cluster使用56個(gè)Raspberry Pi Model B組成[7]。采用LXC作為Container搭建了PiCloud用于研究和教育目的。

Bolzano Raspberry Pi cluster使用300個(gè)Raspberry Pi Model B組成，用于研究廉價(jià)綠色的云計(jì)算和作為移動(dòng)數(shù)據(jù)中心在惡劣環(huán)境的可靠性[8]。

Kaewkasi等使用22個(gè)基于1 GHz ARM Cortex-A8 CPU和1GB RAM的Cubieboard搭建了1個(gè)基于Hadoop架構(gòu)的Spark低功耗計(jì)算集群，并測(cè)試了其在SSD和機(jī)械硬盤上的計(jì)算性能和功耗[3]。

Schot使用8個(gè)樹莓派2組建了基于Hadoop的微型數(shù)據(jù)中心，并與University of Twente的由32臺(tái)Dell R415組成的運(yùn)行于Hadoop的CTIT cluster做了性能與功耗對(duì)比[9]。

2樹莓派2大數(shù)據(jù)平臺(tái)系統(tǒng)介紹

本研究搭建的微型計(jì)算包含6個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)選用1個(gè)Raspberry Pi 2 Model B組成，使用16 G UHS-I MicroSD卡作為系統(tǒng)存儲(chǔ)。使用Spark替代國(guó)外組建低功耗集群常用的Hadoop架構(gòu)中的MapReduce。系統(tǒng)架構(gòu)選用HDFS作為分布式存儲(chǔ)，Spark作為計(jì)算引擎。節(jié)點(diǎn)操作系統(tǒng)選用樹莓派官方開發(fā)的基于Debian wheezy的Raspbian wheezy于 2015年5月5日發(fā)行版。Linux核心版本3.18.11，JDK版本1.8，Hadoop版本2.6.2，Spark版本1.5.0，運(yùn)行于Standalone模式。Spark1為主節(jié)點(diǎn)，Spark1～6為從節(jié)點(diǎn)（圖1）。

3樹莓派2大數(shù)據(jù)平臺(tái)性能測(cè)試

由于Spark還處于快速開發(fā)中，目前還沒有合適的針對(duì)Spark 1.50集群的基準(zhǔn)測(cè)試標(biāo)準(zhǔn)。通過參考中國(guó)科學(xué)院計(jì)算技術(shù)研究所提出的大數(shù)據(jù)測(cè)試工具BigDataBench 2.0，選取了“計(jì)數(shù)”“排序”和“查找”3個(gè)操作作為Micro benchmarks的測(cè)試基準(zhǔn)[10]。本研究編寫了1個(gè)包含以上3種操作的程序來測(cè)試樹莓派2集群的性能。為了對(duì)比集群的計(jì)算性能，使用云南農(nóng)業(yè)大學(xué)基信學(xué)院計(jì)算機(jī)公共實(shí)驗(yàn)室的1臺(tái)計(jì)算機(jī)搭建了偽分布式Spark集群進(jìn)行性能對(duì)比。所用CPU為雙核4線程 I3-2130。

3.1單節(jié)點(diǎn)性能測(cè)試

使用Sysbench作為基準(zhǔn)測(cè)試工具進(jìn)行性能測(cè)試，分別測(cè)試了1臺(tái)樹莓派2和計(jì)算機(jī)實(shí)驗(yàn)室計(jì)算機(jī)的單線程CPU基準(zhǔn)、多線程CPU基準(zhǔn)、硬盤順序讀取速度、內(nèi)存讀取速度（表2）。

通過Sysbench測(cè)試可知，計(jì)算機(jī)實(shí)驗(yàn)室的計(jì)算機(jī)的CPU計(jì)算能力約為樹莓派2的9.2倍，內(nèi)存讀取速度為1.78倍，硬盤順序讀取速度為6.75倍。

3.2數(shù)據(jù)來源

本研究測(cè)試數(shù)據(jù)采用編寫程序生成隨機(jī)測(cè)試數(shù)據(jù)進(jìn)行測(cè)試。模擬對(duì)溫度的統(tǒng)計(jì)，生成了包含2億條數(shù)據(jù)的temperature.txt文件，文件內(nèi)容為3列，第1列為日期，第2列為區(qū)域，第3列為溫度（℃）。測(cè)試文件大小為3.06 GB。

3.3測(cè)試方法

使用Spark的count函數(shù)計(jì)算temperature.txt文件中A地的記錄數(shù)量，然后使用sortby函數(shù)對(duì)A地溫度數(shù)據(jù)按溫度高低排序，最后使用first函數(shù)找出A地的最高溫度。分別測(cè)試運(yùn)行于機(jī)房1臺(tái)計(jì)算機(jī)的偽分布式集群和6臺(tái)樹莓派2組成集群的計(jì)算耗時(shí)，并使用Spark WebUI查看程序運(yùn)行時(shí)間。

3.4測(cè)試結(jié)果

[JP3]運(yùn)行測(cè)試程序測(cè)試Spark大數(shù)據(jù)平臺(tái)性能結(jié)果顯示，所用時(shí)間與單臺(tái)機(jī)房計(jì)算機(jī)用時(shí)相當(dāng)，樹莓派2集群和機(jī)房計(jì)算機(jī)分別用時(shí)517、527 s（圖2）。

通過計(jì)算可知，6臺(tái)樹莓派2集群組成的大數(shù)據(jù)處理平臺(tái)處理速度為0.353 GB/min，使用云南農(nóng)業(yè)大學(xué)基信學(xué)院計(jì)算機(jī)公共實(shí)驗(yàn)室的1臺(tái)計(jì)算機(jī)搭建的偽分布式Spark集群處理速度為0.348 GB/min。兩者運(yùn)行Micro benchmarks時(shí)的性能相當(dāng)。

4樹莓派2運(yùn)行溫度和功耗測(cè)試

4.1溫度測(cè)試

樹莓派2設(shè)計(jì)為被動(dòng)散熱工作。為了測(cè)試樹莓派2作為微型計(jì)算集群的穩(wěn)定性，本研究測(cè)試了樹莓派2在室溫?zé)o風(fēng)環(huán)境下，不使用任何主動(dòng)散熱設(shè)備的情況下，進(jìn)行100 min滿負(fù)載運(yùn)行時(shí)的工作溫度變化。通過每分鐘讀取1次CPU溫度，記錄了樹莓派2工作時(shí)的CPU溫度變化曲線（圖3）。樹莓派2在滿負(fù)載被動(dòng)散熱情況下最大溫度僅65.9 ℃，低于樹莓派官方指導(dǎo)樹莓派正常工作的最高溫度（85 ℃）。本研究同時(shí)還進(jìn)行了12 h空載待機(jī)溫度測(cè)試，結(jié)果顯示樹莓派2空載時(shí)平均待機(jī)溫度為34.2 ℃。以上測(cè)試說明被動(dòng)散熱情況下樹莓派2可穩(wěn)定工作。

4.2功耗測(cè)試

由于樹莓派2使用 5 V 電源、USB供電，采用睿登OLED USB2.0高精度測(cè)試儀測(cè)試節(jié)點(diǎn)滿載功耗和待機(jī)功耗（表3）。

通過測(cè)試結(jié)果可計(jì)算出6臺(tái)樹莓派2組成的集群待機(jī)功耗僅7.32 W，滿載功耗僅15.90 W。而同樣數(shù)據(jù)處理能力的計(jì)算機(jī)機(jī)房單臺(tái)計(jì)算機(jī)僅CPU滿載功耗就達(dá)65 W。

5樹莓派2大數(shù)據(jù)平臺(tái)成本分析

5.1搭建成本

樹莓派2官方統(tǒng)一售價(jià)為35美元，國(guó)內(nèi)售價(jià)為人民幣235[CM（24*5]元。6臺(tái)樹莓派2集群成本共計(jì)1 869元（表4），搭建成

本遠(yuǎn)低于單臺(tái)計(jì)算機(jī)成本。

5.2運(yùn)行成本

通過計(jì)算6臺(tái)樹莓派2集群滿載10.59 W運(yùn)行和單臺(tái)計(jì)算機(jī)以65 W各運(yùn)行3年電量消耗可知樹莓派2集群共消耗電量412.128 kW·h，單臺(tái)計(jì)算機(jī)耗電量1 684.8 kW·h，樹莓派2集群耗電量約為單臺(tái)臺(tái)式機(jī)的1/4（圖4）。運(yùn)行3年樹莓派相比單臺(tái)計(jì)算機(jī)共節(jié)約1 272.672 kW·h電量。

6總結(jié)與展望

由6臺(tái)樹莓派2組成的大數(shù)據(jù)平臺(tái)具有和1臺(tái)雙核4線程CPU組成的臺(tái)式機(jī)相當(dāng)?shù)臄?shù)據(jù)處理速度。其低廉的節(jié)點(diǎn)價(jià)格，無需主動(dòng)散熱設(shè)備的投入，使得集群初裝快速簡(jiǎn)單，成本低廉。其極低的耗電量，使得集群后期運(yùn)行成本遠(yuǎn)低于臺(tái)式機(jī)，同時(shí)節(jié)約大量電能。樹莓派2適用于在農(nóng)業(yè)大數(shù)據(jù)應(yīng)用中不嚴(yán)格要求計(jì)算性能的情況下組建具有一定運(yùn)算能力的低功耗、廉價(jià)的綠色計(jì)算集群，是一種降低農(nóng)業(yè)大數(shù)據(jù)數(shù)據(jù)處理成本的可行方案。

隨著性能更強(qiáng)的低功耗ARM CPU的不斷研發(fā)，更新更快的大數(shù)據(jù)處理架構(gòu)的出現(xiàn)以及更多針對(duì)低功耗ARM平臺(tái)計(jì)算集群的優(yōu)化方案，組建廉價(jià)綠色的計(jì)算集群將更加可行，將為農(nóng)業(yè)大數(shù)據(jù)的普及和發(fā)展提供有力的支持。

參考文獻(xiàn)：

[1]鄧維，劉方明，金海，等. 云計(jì)算數(shù)據(jù)中心的新能源應(yīng)用：研究現(xiàn)狀與趨勢(shì)[J]. 計(jì)算機(jī)學(xué)報(bào)，2013，36（3）：582-598.

[2]王文生，郭雷風(fēng). 農(nóng)業(yè)大數(shù)據(jù)及其應(yīng)用展望[J]. 江蘇農(nóng)業(yè)科學(xué)，2015，43（9）：1-5.

[3]Kaewkasi C，Srisuruk W. A study of big data processing constraints on a low-power Hadoop cluster[C]//International Computer Science and Engineering Conference，2014.

[4]UPTON Upton E. Raspberry Pi 2 on sale now at$35[EB/OL].[2016-02-10] https：//www.raspberrypi.org/blog/raspberry-pi-2-on-sale/.

[5]Apache. Spark：lightning-fast cluster computing[EB/OL].[2016-03-06]. http：//spark.apache.org.

[6]Cox S J，Cox J T，Boardman R P，et al. Iridis-pi：a low-cost，compact demonstration cluster[C]. The 2013 IEEE 33rd International Conference on distributed computing systems workshops，2013.

[8]Abrahamsson P，Helmer S，Phaphoom N，et al. Affordable and energy-efficient cloud computing clusters[C]//The 2013 IEEE 5th International Conference on Cloud Computing Technology and Science（CloudCom），2013.

[9]Schot N. Feasibility of raspberry Pi 2 based micro data centers in big data applications [EB/OL].[2016-03-06]. http：//referaat.cs.utwente.nl/conference/23/paper/7509/feasibility-of-raspberry-pi-2-based-micro-data-centers-in-big-data-applications.pdf.

[10]Wang L，Zhan J，Luo C，et al. Big data bench：a big data benchmark suite from Internet services[C]. The 2014 IEEE 20th International Symposium on high performance computer architecture（HPCA），2014.