欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

Ubuntu安装Hadoop,添加新的DataNode结点

时间:2023-04-21
0、前置

当新的DataNode结点进入系统时,需安装Hadoop系统。

注意新创建的结点的用户名,需与其它结点相同(即集群中所有机器系统中用户名均一致),方便秘钥分发。

参见:Ubuntu安装Hadoop,并使用Python3调用https://blog.csdn.net/weixin_40901068/article/details/121883498?spm=1001.2014.3001.5501

1、配置网络

首先,需确保新节点IP地址,与所有的现存集群中的计算机能够ping通。

以下1-4步骤均在namenode机器中完成。

在namenode上编辑网络配置表。

sudo vim /etc/hosts # 使用vim编辑网络配置表

在namenode网络配置表中添加:

新增第一台虚拟机的IP地址 datanodeN0新增第二台虚拟机的IP地址 datanodeN1新增第三台虚拟机的IP地址 datanodeN2......

 2.添加worker

在namenode所在节点上,打开workers文件并编辑。

cd /usr/local/hadoop/etc/hadoop # 切换至hadoop安装目录下的etc/hadoopvim workers # 编辑workers文件

编辑 workers(有几个datanode就写几个):

datanodeN0datanodeN1datanodeN2

3、分发秘钥

分发秘钥给新添加的结点(注意不要更新秘钥,只是分发)

scp /home/username/.ssh/authorized_keys username@datanodeN0:~/.ssh/ # 分发秘钥给datanodeN0scp /home/username/.ssh/authorized_keys username@datanodeN1:~/.ssh/ # 分发秘钥给datanodeN1scp /home/username/.ssh/authorized_keys username@datanodeN2:~/.ssh/ # 分发秘钥给datanodeN2

在分发时可能会输入密码,请输入新增机器的用户密码。

输入ssh可验证针对某一台的秘钥分发是否成功。

ssh datanodeN0 # ssh登录datanodeN0

若无需密码即登录成功,证明秘钥分发已成功完成。

输入exit退出ssh:

exit # ssh登录后都需要退出操作

4、启动新节点系统

切换至hadoop安装路径:

cd /usr/local/hadoop

执行下述命令,启动新节点:

sbin/hadoop-daemon.sh start datanodeN0 # 启动N0结点sbin/hadoop-daemon.sh start datanodeN1 # 启动N1结点sbin/hadoop-daemon.sh start datanodeN2 # 启动N2结点

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。