Hadoop学习（2）-

1 服务器基础环境准备

机器: Centos7
hadoop: 3.3.1 版本
jdk: 1.8

1.1 vim /etc/hostname 1.2 vim /etc/hosts 1.3 关闭防火墙

systemctl stop firewalld.service #关闭防火墙systemctl disable firewalld.service #禁止防火墙开启自启

1.4 集群时间同步

yum -y install ntpdatentpdate ntp4.aliyun.com

1.5 创建指定目录

mkdir -p /export/server/ #软件安装路径mkdir -p /export/data/ #数据存储路径mkdir -p /export/software/ #安装包存放路径

1.6 ssh免密登录

ssh-keygen #4个回车 生成公钥、私钥ssh-copy-id node1

否则在启动的时候有警告提示如下：

2 上传安装包、解压安装包 2.1 安装jdk 2.2 上传、解压Hadoop安装包

tar zxvf hadoop-3.3.1.tar.gz

3 Hadoop安装包目录结构

配置文件概述

第一类1个：hadoop-env.sh第二类4个：xxxx-site.xml ,site表示的是用户定义的配置，会覆盖default中的默认配置。
core-site.xml 核心模块配置
hdfs-site.xml hdfs文件系统模块配置
mapred-site.xml MapReduce模块配置
yarn-site.xml yarn模块配置第三类1个：workers所有的配置文件目录：/export/server/hadoop-3.3.1/etc/hadoop/ 4 配置hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64export HDFS_NAMENODE_USER=rootexport HDFS_DATANODE_USER=rootexport HDFS_SECONDARYNAMENODE_USER=rootexport YARN_RESOURCEMANAGER_USER=rootexport YARN_NODEMANAGER_USER=root

5 配置core-site.xml

fs.defaultFS hdfs://node1:8020 hadoop.tmp.dir /export/data/hadoop-3.3.1 hadoop.http.staticuser.user root hadoop.proxyuser.root.hosts * hadoop.proxyuser.root.groups * fs.trash.interval 1440

6 配置hdfs-site.xml

dfs.replication 1 dfs.namenode.name.dir file:/export/data/hadoop-3.3.1/tmp/dfs/name dfs.datanode.data.dir file:/export/data/hadoop-3.3.1/tmp/dfs/data

7 配置mapred-site.xml

mapreduce.framework.name yarn mapreduce.jobhistory.address node1:10020 mapreduce.jobhistory.webapp.address node1:19888 yarn.app.mapreduce.am.env HADOOP_MAPRED_HOME=${HADOOP_HOME} mapreduce.map.env HADOOP_MAPRED_HOME=${HADOOP_HOME} mapreduce.reduce.env HADOOP_MAPRED_HOME=${HADOOP_HOME}

注意： HADOOP_HOME待会要在环境变量中配置。

8 配置yarn-site.xml

yarn.resourcemanager.hostname node1 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.pmem-check-enabled false yarn.nodemanager.vmem-check-enabled false yarn.log-aggregation-enable true yarn.log.server.url http://node1:19888/jobhistory/logs yarn.log-aggregation.retain-seconds 604800

9 配置环境变量

vim /etc/profileexport HADOOP_HOME=/export/server/hadoop-3.3.0export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin重新加载环境变量 验证是否生效source /etc/profilehadoop #验证环境变量是否生效

10 启动hadoop环境 10.1 格式化

NameNode format（格式化操作）首次启动HDFS时，必须对其进行格式化操作。format本质上是初始化工作，进行HDFS清理和准备工作命令：hdfs namenode -format

format只能进行一次，后续不再需要，如果多次format除了造成数据丢失外，还会导致hdfs集群主从角色之间互不识别。通过删除所有机器hadoop.tmp.dir目录重新format解决。

注意：
如果执行多次在put文件的时候会报错如下：

解决办法：
首先关闭服务，然后删除data下的tmp文件夹，最后重新格式化并启动就可以解决。

10.2 启动

在node1上，使用软件自带的shell脚本一键启动。HDFS集群start-dfs.sh stop-dfs.sh YARN集群start-yarn.shstop-yarn.shHadoop整体集群start-all.shstop-all.sh

启动完毕之后可以使用jps命令查看进程是否启动成功。

Hadoop启动日志路径：/export/server/hadoop-3.3.1/logs/。

11 网址访问

需要在本地host配置映射后访问。

11.1 HDFS集群

地址：http://namenode_host:9870
其中namenode_host是namenode运行所在机器的主机名或者ip
如果使用主机名访问，别忘了在Windows配置hosts

http://node1:9870/

HDFS文件系统Web页面浏览

11.2 YARN集群

地址：http://resourcemanager_host:8088
其中resourcemanager_host是resourcemanager运行所在机器的主机名或者ip
如果使用主机名访问，别忘了在Windows配置hosts

http://node1:8088/cluster

12 HDFS 初体验 HDFS本质就是一个文件系统。有目录树结构 和Linux类似，分文件、文件夹。 12.1 shell命令操作

//创建文件夹hadoop fs -mkdir /itcast//上传文件hadoop fs -put test.out /itcast// 列出HDFS线上根目录hadoop fs -ls /

12.2 Web UI页面操作 13 MapReduce+YARN 初体验 13.1 评估圆周率π

执行Hadoop官方自带的MapReduce案例，评估圆周率π的值。

cd /export/server/hadoop-3.3.1/share/hadoop/mapreduce/hadoop jar hadoop-mapreduce-examples-3.3.1.jar pi 2 4

13.2 单词统计