当新的DataNode结点进入系统时,需安装Hadoop系统。
注意新创建的结点的用户名,需与其它结点相同(即集群中所有机器系统中用户名均一致),方便秘钥分发。
参见:Ubuntu安装Hadoop,并使用Python3调用https://blog.csdn.net/weixin_40901068/article/details/121883498?spm=1001.2014.3001.5501
1、配置网络首先,需确保新节点IP地址,与所有的现存集群中的计算机能够ping通。
以下1-4步骤均在namenode机器中完成。
在namenode上编辑网络配置表。
sudo vim /etc/hosts # 使用vim编辑网络配置表
在namenode网络配置表中添加:
新增第一台虚拟机的IP地址 datanodeN0新增第二台虚拟机的IP地址 datanodeN1新增第三台虚拟机的IP地址 datanodeN2......
2.添加worker在namenode所在节点上,打开workers文件并编辑。
cd /usr/local/hadoop/etc/hadoop # 切换至hadoop安装目录下的etc/hadoopvim workers # 编辑workers文件
编辑 workers(有几个datanode就写几个):
datanodeN0datanodeN1datanodeN2
3、分发秘钥分发秘钥给新添加的结点(注意不要更新秘钥,只是分发)
scp /home/username/.ssh/authorized_keys username@datanodeN0:~/.ssh/ # 分发秘钥给datanodeN0scp /home/username/.ssh/authorized_keys username@datanodeN1:~/.ssh/ # 分发秘钥给datanodeN1scp /home/username/.ssh/authorized_keys username@datanodeN2:~/.ssh/ # 分发秘钥给datanodeN2
在分发时可能会输入密码,请输入新增机器的用户密码。
输入ssh可验证针对某一台的秘钥分发是否成功。
ssh datanodeN0 # ssh登录datanodeN0
若无需密码即登录成功,证明秘钥分发已成功完成。
输入exit退出ssh:
exit # ssh登录后都需要退出操作
4、启动新节点系统切换至hadoop安装路径:
cd /usr/local/hadoop
执行下述命令,启动新节点:
sbin/hadoop-daemon.sh start datanodeN0 # 启动N0结点sbin/hadoop-daemon.sh start datanodeN1 # 启动N1结点sbin/hadoop-daemon.sh start datanodeN2 # 启动N2结点