亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        構(gòu)建大數(shù)據(jù)平臺(tái)

        2017-11-22 07:51:42
        網(wǎng)絡(luò)安全和信息化 2017年4期
        關(guān)鍵詞:設(shè)置

        系統(tǒng)安裝

        1.搭建平臺(tái)所用環(huán)境

        硬件:華為8路服務(wù)器,256GB內(nèi) 存,8×e8850 CPU,30TB存儲(chǔ)。

        軟 件 :VMware 6.0, 配 置11臺(tái)虛擬機(jī),每臺(tái)安裝64位CentOS6.5,Hadoop 版 本為2.7.3,安裝完一臺(tái)機(jī)器,通過克隆虛擬機(jī)方式可以很快把所有機(jī)器安裝完成,達(dá)到快速部署的目的。其中hut-hadoop-master為主 節(jié) 點(diǎn)(Master),IP信 息為172.16.54.11/24,網(wǎng)關(guān) 為 172.16.54.1,huthadoop-node01_08及為hut-hadoop-web為從 節(jié) 點(diǎn)(Slave),IP 地址 為172.16.54.12-172.16.54.20。安裝時(shí),每臺(tái)機(jī)器都沒有安裝圖形界面,通過SecureCRT進(jìn)行管理。

        2.配置SSH免密碼登錄

        由于Hadoop需要通過SSH登錄到各個(gè)節(jié)點(diǎn)進(jìn)行操作,為方便起見,用root用戶,每臺(tái)服務(wù)器都生成公鑰,再合并到authorized_keys。

        (1)CentOS默認(rèn)沒有啟動(dòng)SSH無密登錄,需要去掉每臺(tái)服務(wù)器中/etc/ssh/sshd_config中如下所示的2行的注 釋 :#RSAAuthentication yes,#PubkeyAuthenti cation yes。

        (2)每臺(tái)服務(wù)器上都輸入命令:ssh-keygen -t rsa,生成 key,都不輸入密碼,一直回車,/root目錄下會(huì)生成.ssh文件夾。

        (3) 合 并 公 鑰 到authorized_keys文 件:在hut-hadoop-master(172.16.54.11)服務(wù)器上進(jìn)入/root/.ssh目錄,通過如下命令進(jìn)行合并,主要是SSH命令:

        cat id_rsa.pub>>authorized_keys

        ssh root@172.16.54 .12 cat ~/.ssh/id_rsa.pub>>authorized_keys,其他機(jī)器照此格式。

        (4)把Master服務(wù)器的authorized_keys、known_hosts復(fù)制到Slave服務(wù)器的/root/.ssh目錄。

        (5)完成,s s h root@172.16.54.12、...、ssh root@172.16.54.19就不需要輸入密碼了。

        3.安裝JDK

        Hadoop2.7.3需要JDK7,安裝CentOS可自定義安裝,如果沒有OpenJDK,直接解壓下載的JDK并配置變量即可

        (1)下載“jdk-7u79-linux-x64.gz”,放到 /home/java目錄下。

        (2)解壓,輸入命令,tar -zxvf jdk-7u79-linux-x64.gz。

        (3)編輯/e t c/profile:

        export JAVA_HOME=/home/java/jdk1.7.0_79

        export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

        export PATH=$PATH:$JAVA_HOME/bin

        (4)要使配置生效,輸入命令:source /etc/profile即可。

        (5)輸入命令,java-version,完成。

        4.安裝Hadoop2.7.3

        只 在Master(172.16.54.11) 服 務(wù) 器解壓,再復(fù)制到Slave(172.16.54.12-19)服務(wù)器:

        (1)下載“hadoop-2.7.3.tar.gz”,放 到 /usr目錄下。

        (2)解壓命令:

        tar -xzvf hadoop-2.7.3.tar.gz。

        (3)在 /usr/hadoop 目錄下創(chuàng)建數(shù)據(jù)存放的文件夾,tmp、hdfs、hdfs/data、hdfs/name。

        系統(tǒng)配置

        1.依次配置/usr/hadoop-2.7.3/etc/hadoop目錄下的core-site.xml、hdfs-site.xml、mapredsite.xml、yarn-site.xml(注:因以上配置文件內(nèi)容太長,具體內(nèi)容通過10274759@qq.com索取)。

        圖1 JPS命令顯示的信息

        圖2 任務(wù)執(zhí)行狀態(tài)

        2.配 置/u s r/hadoop-2.7.3/etc/hadoop目錄 下 hadoop-env.sh、yarnenv.sh 的JAVA_HOME,如果不設(shè)置就啟動(dòng)不了。內(nèi)容為:

        export JAVA_HOME=/home/java/jdk1.7.0_79。

        3.配 置/e t c/hadoop-2.7.3/etc/hadoop目錄下的slaves,刪除默認(rèn)的localhost,增加9個(gè)從節(jié)點(diǎn):172.16.54.12-172.16.54.19共9個(gè)IP地址。

        4.將配置好的Hadoop復(fù)制到各個(gè)節(jié)點(diǎn)對(duì)應(yīng)位置 上,通 過scp傳 送,scp -r /usr/hadoop 172.16.54.12:/usr/,其他機(jī)器照此配置。

        系統(tǒng)啟動(dòng)與測試

        1.在Master服務(wù)器(172.16.54.11) 啟動(dòng)Hadoop,從 節(jié) 點(diǎn) 會(huì)自 動(dòng) 啟 動(dòng),在 /usr/hadoop-2.7.3下操作:

        (1)初始化,輸入命令:bin/hdfs namenode-format

        (2)全 部 啟 動(dòng) :sbin/start-all.sh,也 可 輸 入sbin/start-dfs.sh、sbin/start-yarn.sh。

        (3)停止的命令為:sbin/stop-all.sh。

        (4)輸入命令 :jps,可以看到相關(guān)信息(如圖1)。

        2.Web訪問,要先開放端口或者直接關(guān)閉防火墻,狀態(tài)信息如圖2所示。

        (1)在服務(wù)器控制臺(tái)輸入 命 令:systemctl stop firewalld.service或 者iptables –F。

        (2)用瀏覽器打開http://172.16.54.11:8088/查看任務(wù)執(zhí)行狀態(tài)。

        (3) 瀏 覽 器 打 開http://172.16.54.11:50070/查看系統(tǒng)概況。

        3.安裝完成只是大數(shù)據(jù)應(yīng)用的開始,之后的工作就是,結(jié)合自己的情況,編寫程序調(diào)用Hadoop的接口,發(fā)揮 hdfs、mapreduce的作用。另外,也可以用Hadoop下的例程做測試。

        注意事項(xiàng)

        要成功安裝并運(yùn)行,下面幾點(diǎn)事項(xiàng)需要注意。

        1.務(wù)必安裝好JDK,并在環(huán)境變量中設(shè)置好。

        2.網(wǎng)卡最好啟用一個(gè),本例中最初設(shè)置了兩個(gè)網(wǎng)卡,導(dǎo)致很多問題,不僅是路由方面的,并禁用IPv6,關(guān)閉防火墻。

        3.Slave文件務(wù)必設(shè)置好。

        4.yarn-site.xml文件中內(nèi)存至少2048MB以上,務(wù)必配置好最小參數(shù)、內(nèi)存參數(shù)、虛擬內(nèi)存參數(shù),否則很多任務(wù)執(zhí)行不了,停在running狀態(tài)。

        5.格式化Hadoop系統(tǒng)務(wù)必刪除掉tmp文件夾根目錄及相關(guān)目錄下的tmp文件夾,然后重建,否則,datanode不能啟動(dòng)。

        6.如果不能從本地上傳文件至Hadoop系統(tǒng),也可能與防火墻有關(guān),關(guān)閉防火墻即可。

        猜你喜歡
        設(shè)置
        中隊(duì)崗位該如何設(shè)置
        船舶防火結(jié)構(gòu)及設(shè)置的缺陷與整改
        水上消防(2020年5期)2020-12-14 07:16:18
        中外醫(yī)學(xué)專業(yè)與??圃O(shè)置對(duì)比分析及啟示
        特殊場景下列控等級(jí)轉(zhuǎn)換的設(shè)置方案
        7招教你手動(dòng)設(shè)置參數(shù)
        動(dòng)車段(所)股道有效長設(shè)置研究
        我國中小學(xué)將設(shè)置人工智能相關(guān)課程
        玩具世界(2017年9期)2017-11-24 05:17:29
        吃紙的妖怪
        本刊欄目設(shè)置說明
        中俄臨床醫(yī)學(xué)專業(yè)課程設(shè)置的比較與思考
        亚洲精品无amm毛片| 国产少妇高潮在线视频| 亚洲综合一区二区三区天美传媒| 特黄做受又粗又长又大又硬| 国产偷国产偷亚洲清高| 无码无在线观看| 一区二区视频在线国产| 欧美人妻aⅴ中文字幕| 小12萝8禁在线喷水观看| 官网A级毛片| 国产亚洲一本二本三道| 日本高清视频wwww色| 欧美国产日韩a在线视频| av在线免费观看你懂的| 在线中文字幕一区二区| 日韩精品一区二区午夜成人版| 久久精品国产精品青草色艺| 精品日产一区2区三区 | 无码国产精品一区二区免费式芒果| 国产中文字幕亚洲精品| 极品白嫩的小少妇| 毛片免费在线播放| 97人妻蜜臀中文字幕| 国产亚洲超级97免费视频| 少妇性荡欲视频| 1精品啪国产在线观看免费牛牛| 亚洲av色香蕉一区二区三区av| 无码aⅴ精品一区二区三区| 亚洲精品久久久久中文字幕二区| 国产对白刺激在线观看| 国产精品亚洲一区二区三区16| 玩中年熟妇让你爽视频| 亚洲伊人久久大香线蕉影院| 白白白色视频在线观看播放| 久久人人爽人人爽人人片av高请| 丰满人妻被中出中文字幕| 人人爽亚洲aⅴ人人爽av人人片| 日本一区二区在线免费看| 亚洲日韩av无码| 亚洲线精品一区二区三区八戒| 人妻av在线一区二区三区|