欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

ZooKeeper学习

时间:2023-07-13

一、概述:
Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。

工作机制
Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,zookeeper就将负责通知已经在zookeeper上注册的那些观察者做出相应的反应。Zookeeper=文件系统
特点

1)Zookeeper: 一个领导者(Leader),多个跟随者(Follower)组成的集群。
2)集群中只要有半数以上节点存活,ZooKeeper集群就能正常服务。所以Zookeeper适合安装奇数台服务器。
3)全局数据一致性:每个Server保存一份相同的数据副本,Client无论连接到哪个Server,数据都是一致的。
4)更新请求顺序执行,来自同一个Client的更新请求按其发送顺序依次执行。
5)数据更新原子性,一次数据更新要么成功,要么失败。
6)实时性,在一定时间范围内,Client能读到最新数据。

数据结构

ZooKeeper数据模型的结构与Unix文件系统很类似,整体上可以看作一棵树,每个节点称作一个ZNode。每一个ZNode默认能够存储1MB的数据,每个ZNode都可以通过其路径唯一标识。

应用场景
提供的服务包括:统一命名服务,统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。
1)统一命名服务。在分布是环境下,经常需要对应用/服务进行统一命名,便于识别。例如:IP不容易记住,而域名容易记住。

2)统一配置管理。
a:分布式环境下,配置文件同步非常常见。一般要求一个集群中,所有节点的配置信息是一致的,比如Kafka集群。对配置文件修改后,希望能够快速同步到各个节点上。
b:配置管理可交由ZooKeeper实现。可将配置信息写入ZooKeeper上的一个Znode。各个客户端服务器监听这个Znode。一旦Znode中数据被修改,ZooKeeper将通知各个客户端服务器。

3)统一集群管理。
a:分布式环境中,实时掌握每个节点的状态是必要的,可根据节点实时状态做出一些调整。
b:ZooKeeper可以实现实时监控节点状态变化。可将节点信息写入ZooKeeper上的一个ZNode。监听这个ZNode可获取它的实时状态变化。

4)服务器动态上下线。客户端能实时洞察到服务器上下线的变化。

5)软负载均衡。在ZooKeeper中记录每台服务器的访问数,让访问数最少的服务器去处理最新的客户端请求。

二、配置参数解读

Zookeeper中的配置文件zoo.cfg中参数含义解读如下:
1)tickTime=2000: 通信心跳时间,Zookeeper服务器与客户端心跳时间,单位是毫秒

2) initLimit = 10:LF初始通信时限(10次心跳 102000)

Leader和Follower初始连接时能容忍的最多心跳数(tickTime的数量)
3) syncLimit=5: LF同步通信时限

Leader和Follower之间通信时间如果超过syncLimit
tickTime, Leader认为Follow死掉,从服务器列表中删除Follwer
4) dataDir: 保存Zookeeper中的数据
注意:默认的tmp目录,容易被Linux系统定期删除,所以一般不用默认的tmp目录。
5) clientPort=2181:客户端连接端口,通常不做修改。

三、zookeeper集群操作
1、集群规划:最少三个节点。
2、配置服务器编号:在zkData目录下创建一个名称为myid的文件,在文件中添加与server对应的编号(注意:编号必须唯一,上下不要有空行,左右不要有空格)。
3、配置zoo.cfg文件
增加如下配置:server.A=B:C:D
a)A是一个数字,表示这个是第几号服务器;
集群模式下配置一个文件myid,这个文件在dataDir目录下,这个文件里面有一个数据就是A的值,Zookeeper启动时读取此文件,拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server
b)B是这个服务器的地址;
c)C是这个服务器Follower与集群中的Leader服务器交换信息的端口;
d)D是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口;

四、选举机制
第一次启动

1、服务器1启动,发起一次选举。服务器1投自己一票。此时服务器1票数一票,不够半数以上(3票),选举无法完成,服务器1状态保持为LOOKING;
2、服务器2启动,再发起一次选举。服务器1和2分别投自己一票并交换选票信息:此时服务器1发现服务器2的myid比自己目前投票推举的(服务器1)大,更改选票为推举服务器2.
此时服务器1票数0票,服务器2票数2票,没有半数以上结果,选举无法完成,服务器1,2状态保持LOOKING;
3、服务器3启动,发起一次选举。此时服务器1和2都会更改选票为服务器3。此时投票结果:服务器1为0票,服务器2为0票,服务器3为3票。此时服务器3的票数已超过半数,
服务器3当选Leader。服务器1,2更改状态为FOLLOWING,服务器3更改状态为LEADING;
4、服务器4启动,发起一次选举。此时服务器1,2,3已经不是LOOKING状态,不会更改选票信息。交换选票信息结果:服务器3为3票,服务器4为一票。此时服务器4服从多数,
更改选票信息为服务器3,并更改状态为FOLLOWING;
5、服务器5启动,同4一样当小弟。
三个概念:
SID:服务器ID。用来唯一标识一台ZooKeeper集群中的机器,每台机器不能重复,和myid一致。
ZXID:事务ID。ZXID是一个事务ID,用来标识一次服务器状态的变更。在某一时刻,集群中的每台机器的ZXID值不一定完全一致,这和ZooKeeper服务器对于客户端"更新请求"的处理逻辑有关。
Epoch:每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加。

非第一次启动

1、当ZooKeeper集群中的一台服务器出现以下两种情况之一时,就会开始进入Leader选举:
a) 服务器初始化启动。
b) 服务器运行期间无法和Leader保持连接。
2、而当一台机器进入Leader选举流程时,当前集群也可能回处于以下两种状态:
a) 集群中本来就已经存在一个Leader。
对于这种情况,机器试图去选举Leader时,会被告知当前服务器的Leader信息,对于该机器来说,仅仅需要知道和Leader机器建立连接,并运行状态同步即可。
b) 集群中确实不存在Leader
假设ZooKeeper由5台服务器组成,SID分别为1、2、3、4、5,ZXID分别为8,8,8,7,7,并且此时SID为3的服务器是Leader。某一时刻,3和5服务器出现故障,incident开始进行Leader选举。
最终2号机器当选Leader。
选举Leader规则(非第一次启动):1、EPOCH大的直接胜出;2、EPOCH相同,事务id大的胜出;3、事务id相同,服务器id大的胜出;

四、集群启动停止脚本:

#!/bin/bashcase $1 in"start"){for i in hadoop102 hadoop103 hadoop104do echo ---------- zookeeper $i 启动 ----------ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"done};;"stop"){for i in hadoop102 hadoop103 hadoop104do echo ---------- zookeeper $i 停止 ----------ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"done};;"status"){for i in hadoop102 hadoop103 hadoop104do echo ---------- zookeeper $i 状态 ----------ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"done};;esac

五、客户端命令行相关操作:

zk客户端命令行相关操作#查看节点数据ls -s / #创建永久节点create /sanguo "diaochan"#得到这个节点的值get -s /sanguo#创建带序号的节点(带序号的节点相同节点编号会自动累加,不带需要的节点,相同节点不允许存在)create -s /sanguo/weiguo/zhangliao "zhangliao"#创建临时节点(退出客户端后,节点会丢失)create -e /sanguo/wuguo "zhouyu"#修改节点数据值set /sanguo/weiguo "simayi"#监控节点的值(注册一次,只能监听一次)get -w /sanguo#监控节点的子节点变化(注册一次,只能监听一次)ls -w /sanguo#删除节点(节点不能包含子节点)delete /sanguo#删除节点(递归删除)deleteall /sanguo#查看节点状态stat /sanguo

ls -s /
返回结果解析

cZxid:创建节点的事务zxid
每次修改Zookeeper状态都会产生一个Zookeeper事务ID。事务ID是ZooKeeper中所有修改总的次序。每次修改都有唯一的zxid,如果zxid1小于zxid2,那么zxid1在zxid2之前发生。
ctime:znode被创建的毫秒数(从1970年开始)
mZxid:znode最后更新的事务zxid
mtime:znode最后修改的毫秒数(从1970年开始)
pZxid:znode最后更新的子节点zxid
cversion:znode子节点变化号,znode子节点修改次数
dataVersion:znode数据变化号
aclVersion:znode访问控制列表的变化号
ephemeralOwner:如果是临时节点,这个是znode拥有者的session id。如果不是临时节点则是0
dataLength:znode的数据长度
numChildren:znode子节点数量

六、节点类型:
持久(Persistent):客户端和服务器断开连接后,创建的节点不删除
短暂(Ephemeral):客户端和服务器端断开连接后,创建的节点自己删除

1、持久化目录节点
客户端与Zookeeper断开连接后,该节点依旧存在
2、持久化顺序编号目录节点
客户端与Zookeeper断开连接后,该节点依旧存在,只是Zookeeper给该节点名称进行顺序编号
3、临时目录节点
客户端与Zookeeper断开连接后,该节点被删除
4、临时顺序编号目录节点
客户端与Zookeeper断开连接后,该节点被删除,只是Zookeeper给该节点名称进行顺序编号。

说明:创建znode时设置顺序标识,znode名称后会附加一个值,顺序号是一个单调递增的计数器,由父节点维护
注意:在分布式系统中,顺序号可以被用于为所有的事件进行全局排序,这样客户端可以通过顺序号推断事件的顺序

七、监听器原理:

1、监听原理详解
1)首先要有一个main()线程
2)在main线程中创建Zookeeper客户端,这时就会创建俩个线程,一个负责网络连接通(connet),一个负责监听(listener)。
3)通过connect线程将注册的监听事件发送给Zookeeper。
4)在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中。
5)Zookeeper监听到有数据或路径变化,就会将这个消息发送给listener线程。
6)listener线程内部调用了process()方法。
2、常见的监听
1)监听节点数据的变化 get path[watch]
2)监听子节点增减的变化 ls path [watch]

八、客户端向服务器写数据流程
1、写流程值写入请求直接发送给Leader节点(只要有半数节点写完,则回复写入成功)

2、写流程之写入请求发送给follow节点

九、服务器动态上下线

十、ZooKeeper分布式锁

1、原生api实现分布式锁
存在问题:
a、会话连接是异步的,需要自己去处理。比如使用CountDownLatch;
b、Watch需要重复注册,不然就不能生效;
c、开发的复杂性较高;
d、不支持多节点删除和创建。需要自己去递归;
2、Curator框架实现分布式锁

十一、常见面试题
1、选举机制
半数机制,超过半数的投票通过,即通过。
a、第一次启动选举规则:
投票过半数时,服务器id大的胜出。
b、第二次启动选举规则:
EPOCH大的直接胜出
EPOCH相同,事务id大的胜出
事务id相同,服务器id大的胜出
2、生产环境安装多少zk合适?
安装奇数台。
生产经验:
10台服务器:3台zk;
20台服务器:5台zk;
100台服务器:11台zk;
200台服务器:11台zk;
服务器台数多:好处,提高可靠性;坏处:提高通信延迟
3、常用命令
ls、get、create、delete

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。