欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

Hadoop在Linux服务器上的搭建

时间:2023-06-16

1.查看自己是否安装了Java环境
hadoop的部署是需要配置Java环境,这个就不具体展开了,可以通过命令
java -version 查看版本信息以及 echo $JAVA_HOME 命令查看Java的路径。
2.去Hadoop上的官网下载Hadoop的资源这里赋上下载的地址如下
Hadoop下载地址
注意下载的时候不要下载错误了是其中的 hadoop-3.2.2.tar.gz 文件。下载好之后可以传到你的Linux服务器上。之后利用tar -zxvf命令解压包。
3、设置你的ssh变成免密登录
用如下命令看你是否是ssh免密登录,如果不需要输入密码则设置成功

$ ssh localhost

如果需要设置密码那么就按如下操作再次尝试

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys

4.修改配置文件
进入刚才解压包hadoop-3.2.2里面配置如下的文件信息.
选择etc/hadoop/core-site.xml 文件添加如下配置信息

fs.defaultFS hdfs://localhost:9000

之后选择etc/hadoop/hdfs-site.xml文件添加如下配置信息

dfs.replication 1

5、配置用户
这个时候如果直接编译启动,大概率会报but there is no HDFS_NAMENODE_USER defined的错误,这个时候就要配置用户root信息。
在etc/hadoop/sbin路径下:
将start-dfs.sh,stop-dfs.sh两个文件顶部添加以下参数
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
start-yarn.sh,stop-yarn.sh顶部也需添加以下
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
这样我们的信息也就配置好了。
6、启动hadoop
进入hadoop文件夹

./bin/hdfs namenode -format

格式化文件。
之后启动所有文件用start-all以及用jps查看已经启动的内容如下图所示。

7、查看Hadoop端口号,开启服务器端口

从上面的图片看出我们找到进程对应的端口号,之后开启服务器上的规则端口再进行访问。至此hadoop就搭建成功了。

参考文献:
官方文档说明
集群搭建资料

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。