hadoop-standAlone及伪分布式环境搭建

第一步：下载apache hadoop并上传到服务器

下载链接：

http://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz

上传至/opt/software

解压命令

cd /opt/softwaretar -zxvf hadoop-2.7.5.tar.gz -C ../module/

 第二步：修改配置文件 修改core-site.xml(建议使用notepad++进行修改)

末尾添加如下内容：

fs.default.namehdfs://192.168.211.102:8020hadoop.tmp.dir/opt/module/hadoop-2.7.5/hadoopDatas/tempDatasio.file.buffer.size4096fs.trash.interval10080

修改hdfs-site.xml

dfs.namenode.secondary.http-addresshadoop102:50090dfs.namenode.http-addresshadoop102:50070dfs.namenode.name.dirfile:///opt/module/hadoop-2.7.5/hadoopDatas/namenodeDatas,file:///opt/module/hadoop-2.7.5/hadoopDatas/namenodeDatas2dfs.datanode.data.dirfile:///opt/module/hadoop-2.7.5/hadoopDatas/datanodeDatas,file:///opt/module/hadoop-2.7.5/hadoopDatas/datanodeDatas2dfs.namenode.edits.dirfile:///opt/module/hadoop-2.7.5/hadoopDatas/nn/editsdfs.namenode.checkpoint.dirfile:///opt/module/hadoop-2.7.5/hadoopDatas/snn/namedfs.namenode.checkpoint.edits.dirfile:///opt/module/hadoop-2.7.5/hadoopDatas/dfs/snn/editsdfs.replication3dfs.permissionsfalsedfs.blocksize134217728

修改hadoop-env.sh

修改JAVA_HOME的路径

export JAVA_HOME=/opt/module/jdk1.8.0_251

修改mapred-site.xml（将mapred-site.xml.template改为mapred-site.xml）

mapreduce.framework.nameyarnmapreduce.job.ubertask.enabletruemapreduce.jobhistory.addresshadoop102:10020mapreduce.jobhistory.webapp.addresshadoop102:19888

修改yarn-site.xml

yarn.resourcemanager.hostnamehadoop102yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.log-aggregation-enabletrueyarn.log-aggregation.retain-seconds604800

修改slaves

替换内容：

hadoop102

第三步：启动集群 首先执行以下命令

cd /opt/module/hadoop-2.7.5mkdir -p /opt/module/hadoop-2.7.5/hadoopDatas/tempDatasmkdir -p /opt/module/hadoop-2.7.5/hadoopDatas/namenodeDatasmkdir -p /opt/module/hadoop-2.7.5/hadoopDatas/namenodeDatas2mkdir -p /opt/module/hadoop-2.7.5/hadoopDatas/datanodeDatasmkdir -p /opt/module/hadoop-2.7.5/hadoopDatas/datanodeDatas2mkdir -p /opt/module/hadoop-2.7.5/hadoopDatas/nn/editsmkdir -p /opt/module/hadoop-2.7.5/hadoopDatas/snn/namemkdir -p /opt/module/hadoop-2.7.5/hadoopDatas/dfs/snn/edits

准备启动

首次启动 HDFS 时，必须对其进行格式化操作。（只在初始化集群的时候执行一次 ）

cd /opt/module/hadoop-2.7.5/bin/hdfs namenode -format

进行启动

sbin/start-dfs.shsbin/start-yarn.sh

 其他：

查看日志：

cd /opt/module/hadoop-2.7.5/logs

 启动历史jobhistory

sbin/mr-jobhistory-daemon.sh start historyserver

http://192.168.211.102:50070/

端口50070：默认查看hdfs集群

http://192.168.211.102:8088/

端口8088：默认看yarn集群

http://192.168.211.102:19888/

端口19888默认查看历史 伪分布式集群搭建：

停止单节点集群，删除/export/servers/hadoop-2.7.5/hadoopDatas文件夹，然后重新创建文件夹

第一台机器执行以下命令

cd /opt/module/hadoop-2.7.5sbin/stop-dfs.shsbin/stop-yarn.shsbin/mr-jobhistory-daemon.sh stop historyserver

删除hadoopDatas然后重新创建文件夹

rm  -rf  /opt/module/hadoop-2.7.5/hadoopDatas

重新创建文件夹

mkdir -p /opt/module/hadoop-2.7.5/hadoopDatas/tempDatasmkdir -p /opt/module/hadoop-2.7.5/hadoopDatas/namenodeDatasmkdir -p /opt/module/hadoop-2.7.5/hadoopDatas/namenodeDatas2mkdir -p /opt/module/hadoop-2.7.5/hadoopDatas/datanodeDatasmkdir -p /opt/module/hadoop-2.7.5/hadoopDatas/datanodeDatas2mkdir -p /opt/module/hadoop-2.7.5/hadoopDatas/nn/editsmkdir -p /opt/module/hadoop-2.7.5/hadoopDatas/snn/namemkdir -p /opt/module/hadoop-2.7.5/hadoopDatas/dfs/snn/edits

修改slaves文件，然后将安装包发送到其他机器，重新启动集群即可

第一台机器执行以下命令

cd  /opt/module/hadoop-2.7.5/etc/hadoopvim slavesnode01node02node03

安装包的分发

第一台机器执行以下命令

cd  /opt/module/scp -r hadoop-2.7.5 node02:$PWDscp -r hadoop-2.7.5 node03:$PWD

启动集群

方式一：第一台机器执行以下命令

cd /opt/module/hadoop-2.7.5bin/hdfs namenode -formatsbin/start-dfs.shsbin/start-yarn.shsbin/mr-jobhistory-daemon.sh start historyserver

方法二：hadoop102服务器上面的服务，挨个启动,但是hadoop103和hadoop104只需要启动datanode和nodemanager

namenode:sbin/hadoop-daemon.sh start namenodedatanode: sbin/hadoop-daemon.sh start datanodesecondarynamenode: sbin/hadoop-daemon.sh start secondarynamenoderesourceManager:sbin/yarn-daemon.sh start resourcemanagernodeManager: sbin/yarn-daemon.sh start nodemanagerjobhistory:sbin/mr-jobhistory-daemon.sh start historyserver