Hadoop集群搭建（分布式）

文章目录

Hadoop集群搭建（分布式版本）

一、准备工作二、搭建Hadoop集群

1、上传安装包并解压2、配置环境变量3、修改Hadoop配置文件4、分发Hadoop到node1、node25、格式化namenode（第一次启动的时候需要执行）6、启动Hadoop集群7、检查master、node1、node2上的进程8、访问HDFS的WEB界面9、访问YARN的WEB界面 Hadoop集群搭建（分布式版本） 一、准备工作

三台虚拟机：master、node1、node2

时间同步

ntpdate ntp.aliyun.com

jdk1.8

java -version

修改主机名

三台分别执行 vim /etc/hostname 并将内容指定为对应的主机名

关闭防火墙：systemctl stop firewalld

查看防火墙状态：systemctl status firewalld取消防火墙自启：systemctl disable firewalld

静态IP配置

直接使用图形化界面配置（不推荐）

手动编辑配置文件进行配置

1、编辑网络配置文件vim /etc/sysconfig/network-scripts/ifcfg-ens33TYPE=EthernetBOOTPROTO=staticHWADDR=00:0C:29:E2:B8:F2NAME=ens33DEVICE=ens33onBOOT=yesIPADDR=192.168.190.100GATEWAY=192.168.190.2NETMASK=255.255.255.0DNS1=192.168.190.2DNS2=223.6.6.6需要修改：HWADDR（mac地址,centos7不需要手动指定mac地址）IPADDR（根据自己的网段，自定义IP地址）GATEWAY（根据自己的网段填写对应的网关地址）2、关闭NetworkManager，并取消开机自启systemctl stop NetworkManagersystemctl disable NetworkManager3、重启网络服务systemctl restart network

免密登录

# 1、生成密钥ssh-keygen -t rsa# 2、配置免密登录ssh-copy-id masterssh-copy-id node1ssh-copy-id node2# 3、测试免密登录ssh node1

配置好映射文件：/etc/hosts

192.168.190.100 master192.168.190.101 node1192.168.190.102 node2

二、搭建Hadoop集群 1、上传安装包并解压

# 使用xftp上传压缩包至master的/usr/local/soft/packages/cd /urs/local/soft/packages/# 解压tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/soft/

2、配置环境变量

vim /etc/profileJAVA_HOME=/usr/local/soft/jdk1.8.0_171HADOOP_HOME=/usr/local/soft/hadoop-2.7.6export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH# 重新加载环境变量source /etc/profile

3、修改Hadoop配置文件

cd /usr/local/soft/hadoop-2.7.6/etc/hadoop/

core-site.xml

fs.defaultFS hdfs://master:9000 hadoop.tmp.dir /usr/local/soft/hadoop-2.7.6/tmp fs.trash.interval 1440

hadoop-env.sh

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

hdfs-site.xml

dfs.replication 1 dfs.permissions false

mapred-site.xml.template

# 1、重命名文件cp mapred-site.xml.template mapred-site.xml# 2、修改 mapreduce.framework.name yarn mapreduce.jobhistory.address master:10020 mapreduce.jobhistory.webapp.address master:19888

slaves

node1node2

yarn-site.xml

yarn.resourcemanager.hostname master yarn.nodemanager.aux-services mapreduce_shuffle yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 604800

4、分发Hadoop到node1、node2

cd /usr/local/soft/scp -r hadoop-2.7.6/ node1:`pwd`scp -r hadoop-2.7.6/ node2:`pwd`

5、格式化namenode（第一次启动的时候需要执行）

hdfs namenode -format

6、启动Hadoop集群

start-all.sh

7、检查master、node1、node2上的进程

master：

[root@master soft]# jps2597 NameNode2793 SecondaryNameNode2953 ResourceManager3215 Jps

node1：

[root@node1 jdk1.8.0_171]# jps11361 DataNode11459 NodeManager11559 Jps

node2：

[root@node2 ~]# jps11384 DataNode11482 NodeManager11582 Jps

8、访问HDFS的WEB界面

http://master:50070

9、访问YARN的WEB界面

http://master:8088