安装zookeeper请参考本人其他文章

CentOS安装hadoop3.1.2集群 分别在三台机器上执行如下命令安装epel源

yum -y install epel-release

分别在三台机器上执行如下命令安装vim、wget、lrzsz、wget、net-tools、redhat-lsb、ntp

yum -y install vim axel lrzsz wget net-tools redhat-lsb ntp

分别在三台机器上执行如下操作关闭防火墙

停止防火墙

systemctl stop firewalld.service

禁止开启启动防火墙：

systemctl disable firewalld.service

关闭selinux ：

vim /etc/selinux/config

将SELINUX=enforcing改为SELINUX=disabled

 

重启机器

reboot

分别在三台机器上安装jdk

把jdk-8u201-linux-x64.tar.gz压缩包放入/tmp/目录

cd /tmp

rz

 

tar -zxf jdk-8u201-linux-x64.tar.gz

mv jdk1.8.0_201 /opt

vim /etc/profile

在/etc/profile文件末端添加以下内容

#JAVA_HOME

export JAVA_HOME=/opt/jdk1.8.0_201

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH

export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin

export PATH=$PATH:${JAVA_PATH}

 

source /etc/profile

修改三台机器的hostname

vim /etc/hostname

第一台hadoop1

 

第二台hadoop2

 

第三台hadoop3

 

修改三台机器的hosts

vim /etc/hosts

添加以下内容到/etc/hosts文件里面

192.168.10.11 hadoop1

192.168.10.12 hadoop2

192.168.10.13 hadoop3

 

service network restart

配置SSH互信

（1）、分别在三台机器上创建目录

mkdir ~/.ssh

chmod 700 -R ~/.ssh

（2）、分别在三台机器上执行如下命令生成密钥文件和私钥文件

ssh-keygen -t rsa

（3）、在第一节点上追加公钥文件到authorized_keys文件：

ssh hadoop1 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

ssh hadoop2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

ssh hadoop3 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

（4）、把authorized_keys文件复制到第二第三节点上

scp ~/.ssh/authorized_keys hadoop2:~/.ssh/

scp ~/.ssh/authorized_keys hadoop3:~/.ssh/

在第一节点下载配置hadoop

（1）、下载、解压文件

cd /tmp

axel -n 16 http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz

tar -zxf hadoop-3.1.2.tar.gz

mv hadoop-3.1.2 /opt/

（2）、配置hodoop

vim /opt/hadoop-3.1.2/etc/hadoop/hadoop-env.sh

在hadoop-env.sh文件中加入以下内容

export JAVA_HOME=/opt/jdk1.8.0_201

 

vim /opt/hadoop-3.1.2/etc/hadoop/core-site.xml

在core-site.xml文件中加入以下内容

    

    

        fs.defaultFS

        hdfs://hadoop1:9000

    

    

    

        hadoop.tmp.dir

        /opt/hadoop-3.1.2/data/tmp

    

    

        io.file.buffer.size

        261144

    

 

vim /opt/hadoop-3.1.2/etc/hadoop/hdfs-site.xml

在hdfs-site.xml文件中加入以下内容

    

        dfs.namenode.name.dir

        /opt/hadoop-3.1.2/data/name

    

    

    

        dfs.datanode.data.dir

        /opt/hadoop-3.1.2/data/datanode

    

    

    

        dfs.replication

        3

    

    

        dfs.permissions

        false

    

    

        dfs.blocksize

        268435456

    

    

        dfs.namenode.handler.count

        100

    

 

vim /opt/hadoop-3.1.2/etc/hadoop/mapred-site.xml

在mapred-site.xml文件中加入以下内容

    

    

        mapreduce.framework.name

        yarn

    

 

vim /opt/hadoop-3.1.2/etc/hadoop/yarn-site.xml

在yarn-site.xml文件中加入以下内容

    

    

    

    

        yarn.resourcemanager.hostname

        hadoop1

    

    

    

    

    

        yarn.nodemanager.aux-services

        mapreduce_shuffle

    

    

 

vim /opt/hadoop-3.1.2/sbin/start-dfs.sh

vim /opt/hadoop-3.1.2/sbin/stop-dfs.sh

在这两个文件空白位置加入

HDFS_DATANODE_USER=root

HDFS_DATANODE_SECURE_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

vim /opt/hadoop-3.1.2/sbin/start-yarn.sh

vim /opt/hadoop-3.1.2/sbin/stop-yarn.sh

在这两个文件空白位置加入

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

vim /opt/hadoop-3.1.2/etc/hadoop/workers

在workers文件中加入以下内容

hadoop2

hadoop3

 

创建文件夹

mkdir -p /opt/hadoop-3.1.2/data/tmp

mkdir -p /opt/hadoop-3.1.2/data/name

mkdir -p /opt/hadoop-3.1.2/data/datanode

复制到节点二、节点三

scp -r /opt/hadoop-3.1.2/ hadoop2:/opt

scp -r /opt/hadoop-3.1.2/ hadoop3:/opt

vim /etc/profile

在文件末端添加下面的内容

#HADOOP_HOME

export HADOOP_HOME=/opt/hadoop-3.1.2

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_YARN_HOME=$HADOOP_HOME

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

#HADOOP_CLASSPATH

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:${Hbase_HOME}/share/hadoop/common/*

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:${Hbase_HOME}/share/hadoop/common/lib/*

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:${Hbase_HOME}/share/hadoop/hdfs/*

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:${Hbase_HOME}/share/hadoop/hdfs/lib/*

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:${Hbase_HOME}/share/hadoop/mapreduce/*

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:${Hbase_HOME}/share/hadoop/mapreduce/lib/*

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:${Hbase_HOME}/share/hadoop/yarn/*

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:${Hbase_HOME}/share/hadoop/yarn/lib/*

scp /etc/profile hadoop2:/etc

scp /etc/profile hadoop3:/etc

分别在三节点上执行下面的命令

source /etc/profile

在第一节点上执行如下命令格式化Hadoop

hdfs namenode -format HadoopCluster

执行以下命令启动hadoop

/opt/hadoop-3.1.2/sbin/start-all.sh

检测是否安装成功

在浏览器打开http://192.168.10.11:8088/，看到下面的页面就说明以安装成功！

 

或者在浏览器打开http://192.168.10.11:9870/，看到下面的页面就说明以安装成功！