Hadoop学习笔记[2]-HDFS安装部署流程

Hadoop学习笔记[2]-HDFS安装部署流程 1、必备软件

  1-1 java（最好是1.8及其以上，but1.8以上只有open jdk了)
  1-2 ssh软件，免密登录需要具体怎么配置网络上搜吧
   直接在官网上搜就行了【https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 这里就有】，主要就是生成公钥和私钥，并将公钥分发给要免密登录的服务器，登录时，会拿着自己的私钥和对方的公钥进行匹配，匹配上就可以登录，等于是说对方有一把指纹锁，你把公钥给对方等于是在指纹锁中录入了自身的信息，等你拿着私钥登录对方时，等于在锁上录入指纹信息，如果匹配上，则表示可以开锁【即可以登录对方服务器】

2、hadoop.env文件配置JAVA_HOME变量

  为啥？一般情况下我们在不是Java时都会在/etc/profile中配置JAVA_HOME，为什么还要再配置一次？主要是因为启动hdfs的时候，
使用的是ssh远程登录到别的服务器运行命令，但是ssh远程后无法取到/etc/profile中的环境变量，所以才需要在hadoop.env中进行配置，表示要同时告诉操作系统和hadoop本机的JAVA_HOME在哪

3、解压hadoop安装包到某个文件夹 4、单机版部署(伪分布式) 4-1 角色分类(伪分布式的所有角色都在同一台服务器)

1)、NameNode 主要是存储元数据2)、DataNode 存储文件的block块3)、secondaryNameNode周期合并fsimage(元数据全量快照)和edit_log（增量操作日志）生成新的fsimage返回给NameNode【减轻NameNode的压力 4-2 配置/etc/hadoop下的core-site.xml

fs.defaultFS hdfs://hdp001:9000

4-3 配置hdfs-site.xml

dfs.replication 1 dfs.namenode.name.dir /var/hadoop/hdfs/local/dfs/name dfs.datanode.data.dir /var/hadoop/hdfs/local/dfs/data dfs.namenode.secondary.http-address hdp001:50090 dfs.namenode.checkpoint.dir /var/hadoop/hdfs/local/dfs/namesecondary

4-4 配置slaves文件【dataNode的地址】

hdp001

4-5 在/sbin下使用start-dfs.sh启动hdfs【web:http://hdp001:50070】 5、分布式部署【一共四台虚拟机:hdp001,hdp002,hdp003,hdp004】 5-1 角色规划 NNSNNDNhdp001*hdp002**hdp003*hdp004*5-2 配置 core-site.xml

  **不需要改配置，保持和之前一样即可

5-3 配置hdfs-site.xml

dfs.replication 2 dfs.namenode.name.dir /var/hadoop/hdfs/full/dfs/name dfs.datanode.data.dir /var/hadoop/hdfs/full/dfs/data dfs.namenode.secondary.http-address hdp002:50090 dfs.namenode.checkpoint.dir /var/hadoop/hdfs/full/dfs/namesecondary

5-4 配置slaves(HA模式的slaves文件和这个一样)

hdp002 hdp003 hdp004

6、分布式部署 HA模式【一共四台虚拟机:hdp001,hdp002,hdp003,hdp004】 6-1 角色规划 NNJNDNZKFCZKhdp001****hdp002*****hdp003***hdp004**6-2 配置core-site.xml

fs.defaultFS hdfs://mycluster ha.zookeeper.quorum hdp002:2181,hdp003:2181,hdp004:2181

6-3 配置hdfs-site.xml

dfs.nameservices mycluster dfs.ha.namenodes.mycluster hdp001,hdp002 dfs.namenode.rpc-address.mycluster.hdp001 hdp001:8020 dfs.namenode.rpc-address.mycluster.hdp002 hdp002:8020 dfs.namenode.http-address.mycluster.hdp001 hdp001:50070 dfs.namenode.http-address.mycluster.hdp002 hdp002:50070 dfs.namenode.shared.edits.dir qjournal://hdp001:8485;hdp002:8485;hdp003:8485/mycluster dfs.journalnode.edits.dir /var/hadoop/hdfs/ha/dfs/jn dfs.client.failover.proxy.provider.mycluster org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key-files /home/hdp01/.ssh/id_rsa dfs.ha.automatic-failover.enabled true

6-4 实施流程

1)、 搭建zk2)、 启动JN hadoop-daemon.sh start journalnode3)、 选择一个NN进行格式化，hdfs namenode -format4)、 启动格式化的NN，hadoop-daemon.sh start namenode5)、 在另一台NN运行 hdfs namenode -bootstrapStandby6)、 格式化zk：hdfs zkfc -formatZK7)、 start-dfs.sh 6-5 可以自己测试一下HA模式下的故障转移

杀死hdp001的zkfc进程或者nn进程，其会将hdp002自动升级为主【kill -9 psid】