欧美激情一区二区三区一在线,亚洲一区二区三区中文字幕

主頁 > 知識庫 > Hadoop分布式集群的搭建的方法步驟

Hadoop分布式集群的搭建的方法步驟

1 安裝說明

1.1 用到的軟件

軟件	版本	下載地址
linux	Ubuntu Server 18.04.2 LTS	https://ubuntu.com/download/server
hadoop	hadoop-2.7.1	http://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz
java	jdk-8u211-linux-x64	https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

1.2 節(jié)點安排

名稱	ip	hostname
主節(jié)點	192.168.233.200	Master
子節(jié)點1	192.168.233.201	Slave01
子節(jié)點2	192.168.233.202	Slave02

2 創(chuàng)建hadoop用戶

所有的節(jié)點均創(chuàng)建一個名為hadoop的用戶，并添加管理員權限。

注意：這里這是單純?yōu)榱朔奖愎芾?，?chuàng)建的用戶名，也可以使用其他用戶名，或者使用系統(tǒng)之前的用戶，主要有管理員權限即可

$ sudo useradd -m hadoop -s /bin/bash #創(chuàng)建用戶
$ sudo passwd hadoop #修改密碼
$ sudo adduser hadoop sudo #添加管理員權限

3 配置網(wǎng)絡環(huán)境

3.1 修改主機名

修改 /etc/hostname文件，每個節(jié)點都要修改。

主節(jié)點修改為：Master
從節(jié)點分別修改為：Slave01,Slave02,...

注意：如果是ubuntu18.04桌面版直接修改/etc/hostname文件即可，ubuntu18.04服務器版還需要修改/etc/cloud/cloud.cfg文件，修改如下：

# This will cause the set+update hostname module to not operate (if true)
preserve_hostname: true #這里是將false改成true

3.2 添加IP與主機名的映射關系

在/etc/hosts文件里添加如下內(nèi)容（每個節(jié)點都要修改，根據(jù)實際情況修改ip)

192.168.233.200 Master
192.168.233.201 Slave01
192.168.233.202 Slave02

檢查各個節(jié)點是否能相互ping通。

3.3 設置SSH無密碼登錄節(jié)點

讓Master能夠通過SSH無密碼登錄各個Slave節(jié)點

如果修改過主機名，需要重新生成的新的公鑰。

在Master上執(zhí)行如下命令：

$ cd ~/.ssh       # 如果沒有該目錄，先執(zhí)行一次ssh localhost
$ rm ./id_rsa*      # 刪除之前生成的公匙（如果已經(jīng)存在）
$ ssh-keygen -t rsa    # 執(zhí)行該命令后，遇到提示信息，一直按回車就可以
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

接著將Master中的id_rsa.pub文件復制到各個Slave節(jié)點中

$ scp ~/.ssh/id_rsa.pub hadoop@Slave01:/home/hadoop/
$ scp ~/.ssh/id_rsa.pub hadoop@Slave02:/home/hadoop/

在各個Slave節(jié)點中執(zhí)行如下命令：

$ mkdir ~/.ssh    # 如果不存在該文件夾需先創(chuàng)建
$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
$ rm ~/id_rsa.pub  # 用完以后就可以刪掉

在Master中驗證是否可以無密碼登錄，各個Slave節(jié)點。

如：

$ ssh Slave01 #如果成功登錄，則配置完成
$ ssh Slave02 #如果成功登錄，則配置完成

4 安裝java環(huán)境

每個節(jié)點都要安裝，步驟相同

為了方便操作每個節(jié)點，默認在/usr/local/下新建一個名為bigdata的文件夾，存放所有的大數(shù)據(jù)相關的軟件。

$ sudo mkdir /usr/local/bigdata
$ sudo chown -R hadoop:hadoop /usr/local/bigdata/

4.1 解壓

$ sudo mkdir /usr/local/bigdata/java
$ sudo tar -zxvf jdk-8u211-linux-x64.tar.gz -C /usr/local/bigdata/java/

4.2 添加環(huán)境變量

在~/.bashrc文件中添加如下內(nèi)容，并執(zhí)行$ source ~/.bashrc命令使其生效

#java
export JAVA_HOME=/usr/local/bigdata/java/jdk1.8.0_211
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

5 解壓hadoop

下載hadoop-2.7.1.tar.gz文件，并解壓到/usr/local/bigdata/文件夾下

$ sudo tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/bigdata

6 修改hadoop配置文件

需要修改6個文件，文件位于/usr/local/bigdata/hadoop-2.7.1/etc/hadoop/下

6.1 slave 文件

將文件中原來的 localhost 刪除，添加內(nèi)容：

Slave01
Slave02

6.2 core-site.xml 文件

內(nèi)容修改為：

configuration>
    !-- 指定HADOOP所使用的文件系統(tǒng)schema（URI）-->
    property>
        name>fs.defaultFS/name>
        value>hdfs://Master:9000/value>
    /property>

     !-- 指定hadoop運行時產(chǎn)生文件的存儲目錄 -->
    property>
        name>hadoop.tmp.dir/name>
        value>file:/usr/local/bigdata/hadoop-2.7.1/tmp/value>
        description>Abase for other temporary directories./description>
    /property>
/configuration>

6.3 hdfs-site.xml文件

Hadoop的分布式文件系統(tǒng)HDFS一般采用冗余存儲，一份文件通常保存3份副本，所以dfs.replication的值還是設置為3。
具體內(nèi)容如下：

configuration>
    property>
        !-- 指定SecondaryNamenode所在地址 -->
        name>dfs.namenode.secondary.http-address/name>
        value>Master:50090/value>
    /property>
    property>
        name>dfs.replication/name>
        value>3/value>
    /property>
    property>
        name>dfs.namenode.name.dir/name>
        value>file:/usr/local/bigdata/hadoop-2.7.1/tmp/dfs/name/value>
    /property>
    property>
        name>dfs.datanode.data.dir/name>
        value>file:/usr/local/bigdata/hadoop-2.7.1/tmp/dfs/data/value>
    /property>
/configuration>

6.4 mapred-site.xml 文件

修改內(nèi)容如下：

configuration>
    property>
        name>mapreduce.framework.name/name>
        value>yarn/value>
    /property>
    property>
        name>mapreduce.jobhistory.address/name>
        value>Master:10020/value>
    /property>
    property>
        name>mapreduce.jobhistory.webapp.address/name>
        value>Master:19888/value>
    /property>
/configuration>

6.5 yarn-site.xml文件

內(nèi)容如下：

configuration>
    property>
        name>yarn.resourcemanager.hostname/name>
        value>Master/value>
    /property>
    property>
        name>yarn.nodemanager.aux-services/name>
        value>mapreduce_shuffle/value>
    /property>
/configuration>

6.6 hadoop-env.sh 文件

修改如下內(nèi)容：

export JAVA_HOME=/usr/local/bigdata/java/jdk1.8.0_211

# 可以不用
export HADOOP_HOME=/usr/local/hadoop-2.7.1

7 設置hadoop環(huán)境變量

每個節(jié)點都要設置

在~/.bashrc文件中添加如下內(nèi)容，并$ source ~/.bashrc使其生效

export PATH=$PATH:/usr/local/bigdata/hadoop-2.7.1/bin:/usr/local/bigdata/hadoop-2.7.1/sbin

8 slave節(jié)點配置

slave節(jié)點只需將master節(jié)點上/usr/local/下的bigdata文件夾和~/.bashrc文件，放到slave節(jié)點即可

注意切換到對應機器執(zhí)行$ source ~/.bashrc使環(huán)境變量生效。

后續(xù)的軟件均可使用此方式配置。

在master節(jié)點：

$ sudo rm -r /usr/local/bigdata/hadoop-2.7.1/tmp   # 刪除 Hadoop 臨時文件，如果之前有啟動過
$ sudo rm -r /usr/local/bigdata/hadoop-2.7.1/logs/*  # 刪除日志文件，如果之前有啟動過
$ tar -zcvf ~/bigdata.tar.gz /usr/local/bigdata/ # 先壓縮再復制
$ scp ~/bigdata.tar.gz Slave01:/home/hadoop
$ scp ~/bigdata.tar.gz Slave02:/home/hadoop
$ scp ~/bashrc Slave01:/home/hadoop
$ scp ~/bashrc Slave02:/home/hadoop

在各個slave節(jié)點上

$ sudo mkdir /usr/local/bigdata
$ sudo chown -R hadoop：hadoop /usr/local/bigdata
$ tar -zxvf ~/bigdata.tar.gz -C /usr/local/bigdata
$ sudo source ~/.bashrc

9 啟動Hadoop集群

在Master上執(zhí)行

首次運行需要，執(zhí)行

$ hdfs namenode -format

格式化名稱節(jié)點，然后就可以啟動hadoop了。

啟動hadoop：

$ start-dfs.sh
$ start-yarn.sh
$ mr-jobhistory-daemon.sh start historyserver

使用jps查看啟動的各個節(jié)點，缺少任何進程，都表示出錯。

$ jps
3585 JobHistoryServer
2938 NameNode
3148 SecondaryNameNode
3308 ResourceManager
3629 Jps

瀏覽器查看：http://192.168.233.200:50070/

查看相關信息：$ hdfs dfsadmin -report

關閉hadoop：

$ stop-yarn.sh
$ stop-dfs.sh
$ mr-jobhistory-daemon.sh stop historyserver

如果有問題，重復如下命令：

$ stop-dfs.sh  # 關閉
$ rm -r /usr/local/bigdata/hadoop-2.7.1/tmp   # 刪除 tmp 文件，注意這會刪除 HDFS中原有的所有數(shù)據(jù)
$ hdfs namenode -format  # 重新格式化名稱節(jié)點
$ start-dfs.sh # 重啟

以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

手把手教你在騰訊云上搭建hadoop3.x偽集群的方法
基于 ZooKeeper 搭建 Hadoop 高可用集群的教程圖解
ubuntu docker搭建Hadoop集群環(huán)境的方法
docker 搭建hadoop以及hbase集群詳解
詳解搭建ubuntu版hadoop集群
詳解從 0 開始使用 Docker 快速搭建 Hadoop 集群環(huán)境
詳解使用docker搭建hadoop分布式集群
Hadoop3.2.0集群搭建常見注意事項

標簽：宣城文山鹽城黔南東莞景德鎮(zhèn) 南昌桂林

巨人網(wǎng)絡通訊聲明：本文標題《Hadoop分布式集群的搭建的方法步驟》，本文關鍵詞 Hadoop,分布式,集群,的,搭建,；如發(fā)現(xiàn)本文內(nèi)容存在版權問題，煩請?zhí)峁┫嚓P信息告之我們，我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡，涉及言論、版權與本站無關。