欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

Hadoop入门问题

时间:2023-06-17

@[TOC]hadoop

Hadoop入门问题

1、启动HDFS时Cannot set priority of xxxx process 问题
1)重启hadoop102(reboot)
2)删除 data和logs文件夹
rm -rf /opt/module/hadoop-3.1.3/data /opt/module/hadoop-3.1.3/logs
3)删除tmp文件夹
sudo rm -rf /tmp/*
4)重新初始化
hdfs namenode -format
2、集群异常(datanode/namenode没有等)
1)停进程(Hadoop102)
sbin/stop-dfs.sh
2)删除 data和logs文件夹(hadoop102/hadoop103/hadoop104)
rm -rf /opt/module/hadoop-3.1.3/data /opt/module/hadoop-3.1.3/logs
3)开始格式化
hdfs namenode -format
4)启动集群
sbin/start-dfs.sh
3、 集群启动/停止方式总结
1)各个模块分开启动/停止(配置 ssh 是前提)常用
(1)整体启动/停止 HDFS
start-dfs.sh/stop-dfs.sh
(2)整体启动/停止 YARN
start-yarn.sh/stop-yarn.sh
2)各个服务组件逐一启动/停止
(1)分别启动/停止 HDFS 组件
hdfs --daemon start/stop namenode/datanode/secondarynamenode
(2)启动/停止 YARN
yarn --daemon start/stop resourcemanager/nodemanager
4、常用端口号(常见面试题)

5、常用配置文件(常见面试题)
3.x core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml workers
2.x core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml slaves

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。