Hadoop分布式集群配置安装

Hadoop 分布式集群配置安装

集群部署规划

NameNode 和 SecondaryNameNode 不要安装在同一台服务器
ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在同一台机器上

cpucode101cpucode102cpucode103HDFSNameNodeSecondaryNameNodeDataNodeDataNodeDataNodeYARNResourceManagerNodeManagerNodeManagerNodeManager

将 hadoop-3.1.3.tar.gz 导入到 /opt/software 文件夹下面

解压安装文件到 /opt/module 下面

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

将 Hadoop 添加到环境变量

获取Hadoop安装路径

pwd

打开 /etc/profile.d/my_env.sh 文件

sudo vim /etc/profile.d/my_env.sh

#HADOOP_HOMEexport HADOOP_HOME=/opt/module/hadoop-3.1.3export PATH=$PATH:$HADOOP_HOME/binexport PATH=$PATH:$HADOOP_HOME/sbin

分发环境变量文件

sudo /user/local/sbin/xsync /etc/profile.d/my_env.sh