欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

kafka基础组件

时间:2023-08-09
角色

broker:节点,就是你看到的机器,也就是一个kafka服务provider:生产者,发消息的consumer:消费者,读消息的zookeeper:信息/注册中心,记录kafka的各种信息的地方controller:其中的一个broker,作为leader身份来负责管理整个集群。如果挂掉,借助zk重新选主。 逻辑组件

上图中topic1有三个partition,每个partition有3个副本。注意:三个其实都是副本,只不过有leadr、follower的区别。

topic:主题,一个消息的通道,收发总得知道消息往哪投。类似于RocketMQ的topicpartition:分区,每个主题可以有多个分区分担数据的传递,多条路并行,吞吐量大。类似于RocktMQ的queueReplicas:副本,每个分区可以设置多个副本,副本之间数据一致。相当于备份,有备胎更可靠leader & follower:主从,上面的这些副本里有1个身份为leader,其他的为follower。leader处理partition的所有读写请求。follower副本仅有一个功能,那就是从leader副本拉取消息,尽量让自己跟leader副本的内容一致。


像上图所示:topic只是一个逻辑的概念,多个broker上的partition可能组成一个topic。我们针对于topic的时候就把broker集群看成一个服务,因为topic是横跨多个broker的。


如上图所示:每个partition都会有多个副本,为了方便我就只画了一个副本。
比如partition0、partition0副本。他们俩中partition0为leader,partition0副本为follower。如果还有partition0还有别的副本,那么都是follower。
注意:partition0、partition1、partition2也是副本,不过是leader副本而已。图中总共有6个副本

副本集合

AR:所有副本的统称,AR=ISR+OSRISR:同步中的副本,可以参与leader选主。一旦落后太多(数量滞后和时间滞后两个维度)会被踢到OSR。【需要明确一点。ISR不只是追随者副本集合,它必然包括Leader副本。甚至在某些情况下,ISR只有Leader这一个副本。】OSR:踢出同步的副本,一直追赶leader,追上后会进入ISR

上图AR有6个。全都是副本。我们现在假设partition0副本由于出现网络波动导致数据同步过慢。
所以我们的OSR=1,也就是partition0副本。
剩下的副本都在正常同步中,也就是ISR。

消息标记


offset:偏移量,消息消费到哪一条了?每个消费者都有自己的偏移量HW:(high watermark):副本的高水印值,客户端最多能消费到的位置,HW值为8,代表offset为[0,8]的9条消息都可以被消费到,它们是对消费者可见的,而[9,12]这4条消息由于未提交,对消费者是不可见的。LEO:(log end offset):日志末端位移,代表日志文件中下一条待写入消息的offset,这个offset上实际是没有消息的。不管是leader副本还是follower副本,都有这个值。

那么这三者有什么关系呢?
比如在副本数等于3的情况下,消息发送到Leader A之后会更新LEO的值,Follower B和Follower C也会实时拉取Leader A中的消息来更新自己,HW就表示A、B、C三者同时达到的日志位移,也就是选取A、B、C三者中LEO最小的那个值作为现在的HW。由于B、C拉取A消息之间延时问题,所以HW一般会小于LEO,即LEO>=HW>OFFSET。

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。