欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

YARN高可用部署

时间:2023-04-22

在执行YARN HA配置之前,可以参考该文章进行HDFS高可用配置。

HDFS高可用搭建_你可以自己看的博客-CSDN博客

在经过上面HDFS高可用搭建配置之后,接下来的操作就比较简单了

首先修改master中的yarn-site.xml文件

vi /usr/local/hadoop/etc/hadoop/yarn-site.xml

将configuration里的修改为以下内容

yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.ha.enabled true yarn.resourcemanager.cluster-id RM_CLUSTER yarn.resourcemanager.ha.rm-ids rm1,rm2 yarn.resourcemanager.hostname.rm1 master yarn.resourcemanager.hostname.rm2 slave1 yarn.resourcemanager.recovery.enabled true yarn.resourcemanager.store.class org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore yarn.resourcemanager.zk-address master:2181,slave1:2181,slave2:2181

ResourceManager进程需要单独启动。在slave1上执行命令:

yarn-daemon.sh start resourcemanager

使用浏览器访问http://master:8088,单机Cluster菜单下的about,查看ResourceManager的状态为active

在master中通过jps查看resourceManager的进程号,kill -9 进程号 ,再去访问http://slave1:8088查看是否会自动切换

如下图所示,slave1中的ResourceManager已变成active,说明YARN HA集群能正常工作了。

 

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。