亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        構(gòu)建大數(shù)據(jù)平臺(tái)

        2017-11-22 07:51:42
        網(wǎng)絡(luò)安全和信息化 2017年4期
        關(guān)鍵詞:設(shè)置

        系統(tǒng)安裝

        1.搭建平臺(tái)所用環(huán)境

        硬件:華為8路服務(wù)器,256GB內(nèi) 存,8×e8850 CPU,30TB存儲(chǔ)。

        軟 件 :VMware 6.0, 配 置11臺(tái)虛擬機(jī),每臺(tái)安裝64位CentOS6.5,Hadoop 版 本為2.7.3,安裝完一臺(tái)機(jī)器,通過克隆虛擬機(jī)方式可以很快把所有機(jī)器安裝完成,達(dá)到快速部署的目的。其中hut-hadoop-master為主 節(jié) 點(diǎn)(Master),IP信 息為172.16.54.11/24,網(wǎng)關(guān) 為 172.16.54.1,huthadoop-node01_08及為hut-hadoop-web為從 節(jié) 點(diǎn)(Slave),IP 地址 為172.16.54.12-172.16.54.20。安裝時(shí),每臺(tái)機(jī)器都沒有安裝圖形界面,通過SecureCRT進(jìn)行管理。

        2.配置SSH免密碼登錄

        由于Hadoop需要通過SSH登錄到各個(gè)節(jié)點(diǎn)進(jìn)行操作,為方便起見,用root用戶,每臺(tái)服務(wù)器都生成公鑰,再合并到authorized_keys。

        (1)CentOS默認(rèn)沒有啟動(dòng)SSH無密登錄,需要去掉每臺(tái)服務(wù)器中/etc/ssh/sshd_config中如下所示的2行的注 釋 :#RSAAuthentication yes,#PubkeyAuthenti cation yes。

        (2)每臺(tái)服務(wù)器上都輸入命令:ssh-keygen -t rsa,生成 key,都不輸入密碼,一直回車,/root目錄下會(huì)生成.ssh文件夾。

        (3) 合 并 公 鑰 到authorized_keys文 件:在hut-hadoop-master(172.16.54.11)服務(wù)器上進(jìn)入/root/.ssh目錄,通過如下命令進(jìn)行合并,主要是SSH命令:

        cat id_rsa.pub>>authorized_keys

        ssh root@172.16.54 .12 cat ~/.ssh/id_rsa.pub>>authorized_keys,其他機(jī)器照此格式。

        (4)把Master服務(wù)器的authorized_keys、known_hosts復(fù)制到Slave服務(wù)器的/root/.ssh目錄。

        (5)完成,s s h root@172.16.54.12、...、ssh root@172.16.54.19就不需要輸入密碼了。

        3.安裝JDK

        Hadoop2.7.3需要JDK7,安裝CentOS可自定義安裝,如果沒有OpenJDK,直接解壓下載的JDK并配置變量即可

        (1)下載“jdk-7u79-linux-x64.gz”,放到 /home/java目錄下。

        (2)解壓,輸入命令,tar -zxvf jdk-7u79-linux-x64.gz。

        (3)編輯/e t c/profile:

        export JAVA_HOME=/home/java/jdk1.7.0_79

        export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

        export PATH=$PATH:$JAVA_HOME/bin

        (4)要使配置生效,輸入命令:source /etc/profile即可。

        (5)輸入命令,java-version,完成。

        4.安裝Hadoop2.7.3

        只 在Master(172.16.54.11) 服 務(wù) 器解壓,再復(fù)制到Slave(172.16.54.12-19)服務(wù)器:

        (1)下載“hadoop-2.7.3.tar.gz”,放 到 /usr目錄下。

        (2)解壓命令:

        tar -xzvf hadoop-2.7.3.tar.gz。

        (3)在 /usr/hadoop 目錄下創(chuàng)建數(shù)據(jù)存放的文件夾,tmp、hdfs、hdfs/data、hdfs/name。

        系統(tǒng)配置

        1.依次配置/usr/hadoop-2.7.3/etc/hadoop目錄下的core-site.xml、hdfs-site.xml、mapredsite.xml、yarn-site.xml(注:因以上配置文件內(nèi)容太長,具體內(nèi)容通過10274759@qq.com索取)。

        圖1 JPS命令顯示的信息

        圖2 任務(wù)執(zhí)行狀態(tài)

        2.配 置/u s r/hadoop-2.7.3/etc/hadoop目錄 下 hadoop-env.sh、yarnenv.sh 的JAVA_HOME,如果不設(shè)置就啟動(dòng)不了。內(nèi)容為:

        export JAVA_HOME=/home/java/jdk1.7.0_79。

        3.配 置/e t c/hadoop-2.7.3/etc/hadoop目錄下的slaves,刪除默認(rèn)的localhost,增加9個(gè)從節(jié)點(diǎn):172.16.54.12-172.16.54.19共9個(gè)IP地址。

        4.將配置好的Hadoop復(fù)制到各個(gè)節(jié)點(diǎn)對(duì)應(yīng)位置 上,通 過scp傳 送,scp -r /usr/hadoop 172.16.54.12:/usr/,其他機(jī)器照此配置。

        系統(tǒng)啟動(dòng)與測試

        1.在Master服務(wù)器(172.16.54.11) 啟動(dòng)Hadoop,從 節(jié) 點(diǎn) 會(huì)自 動(dòng) 啟 動(dòng),在 /usr/hadoop-2.7.3下操作:

        (1)初始化,輸入命令:bin/hdfs namenode-format

        (2)全 部 啟 動(dòng) :sbin/start-all.sh,也 可 輸 入sbin/start-dfs.sh、sbin/start-yarn.sh。

        (3)停止的命令為:sbin/stop-all.sh。

        (4)輸入命令 :jps,可以看到相關(guān)信息(如圖1)。

        2.Web訪問,要先開放端口或者直接關(guān)閉防火墻,狀態(tài)信息如圖2所示。

        (1)在服務(wù)器控制臺(tái)輸入 命 令:systemctl stop firewalld.service或 者iptables –F。

        (2)用瀏覽器打開http://172.16.54.11:8088/查看任務(wù)執(zhí)行狀態(tài)。

        (3) 瀏 覽 器 打 開http://172.16.54.11:50070/查看系統(tǒng)概況。

        3.安裝完成只是大數(shù)據(jù)應(yīng)用的開始,之后的工作就是,結(jié)合自己的情況,編寫程序調(diào)用Hadoop的接口,發(fā)揮 hdfs、mapreduce的作用。另外,也可以用Hadoop下的例程做測試。

        注意事項(xiàng)

        要成功安裝并運(yùn)行,下面幾點(diǎn)事項(xiàng)需要注意。

        1.務(wù)必安裝好JDK,并在環(huán)境變量中設(shè)置好。

        2.網(wǎng)卡最好啟用一個(gè),本例中最初設(shè)置了兩個(gè)網(wǎng)卡,導(dǎo)致很多問題,不僅是路由方面的,并禁用IPv6,關(guān)閉防火墻。

        3.Slave文件務(wù)必設(shè)置好。

        4.yarn-site.xml文件中內(nèi)存至少2048MB以上,務(wù)必配置好最小參數(shù)、內(nèi)存參數(shù)、虛擬內(nèi)存參數(shù),否則很多任務(wù)執(zhí)行不了,停在running狀態(tài)。

        5.格式化Hadoop系統(tǒng)務(wù)必刪除掉tmp文件夾根目錄及相關(guān)目錄下的tmp文件夾,然后重建,否則,datanode不能啟動(dòng)。

        6.如果不能從本地上傳文件至Hadoop系統(tǒng),也可能與防火墻有關(guān),關(guān)閉防火墻即可。

        猜你喜歡
        設(shè)置
        中隊(duì)崗位該如何設(shè)置
        船舶防火結(jié)構(gòu)及設(shè)置的缺陷與整改
        水上消防(2020年5期)2020-12-14 07:16:18
        中外醫(yī)學(xué)專業(yè)與??圃O(shè)置對(duì)比分析及啟示
        特殊場景下列控等級(jí)轉(zhuǎn)換的設(shè)置方案
        7招教你手動(dòng)設(shè)置參數(shù)
        動(dòng)車段(所)股道有效長設(shè)置研究
        我國中小學(xué)將設(shè)置人工智能相關(guān)課程
        玩具世界(2017年9期)2017-11-24 05:17:29
        吃紙的妖怪
        本刊欄目設(shè)置說明
        中俄臨床醫(yī)學(xué)專業(yè)課程設(shè)置的比較與思考
        99热这里有精品| 女优av性天堂网男人天堂| 日产精品高潮一区二区三区5月 | 三级做a全过程在线观看| 欧美mv日韩mv国产网站| 老熟女熟妇嗷嗷叫91| 一本到亚洲av日韩av在线天堂| 久久精品夜色噜噜亚洲a∨| 免费精品一区二区三区第35| 手机看片国产日韩| 国产精品久久国产精麻豆| 色爱情人网站| 末发育娇小性色xxxxx视频| 美女高潮流白浆视频在线观看| 在线观看国产自拍视频| 欧美顶级少妇作爱| 亚洲av无码日韩精品影片| 欧美深夜福利视频| 自拍视频在线观看国产| 永久免费人禽av在线观看| 亚洲妇女水蜜桃av网网站| 蜜桃av多人一区二区三区| 国产一区二区三区我不卡| 成l人在线观看线路1| 伊人网综合| 日韩激情av不卡在线| 久久99精品久久久久婷婷| 久久人人爽人人爽人人片av麻烦 | 91精品国产一区国产二区久久| 亚洲国产成人精品无码区二本 | 精品欧美久久99久久久另类专区| 国产激情小视频在线观看的| 免费观看成人欧美www色| 永久免费无码av在线网站| 国产日产亚洲系列av| 99精品国产一区二区三区| 乱色熟女综合一区二区三区| 中文字幕巨乱亚洲| 国产精品亚洲一二三区| 国产成人亚洲精品无码av大片| 国产中文制服丝袜另类|