欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

kafka集群迁移方案

时间:2023-04-22

自建Kafka集群迁移上云

阿里云:Alibaba Cloud Help Center - Cloud Definition and Explanation of Cloud based Services - Alibaba Cloud

腾讯云:消息队列 CKafka 方案1:单写双消费迁移 - 消息平台操作指南 - 文档中心 - 腾讯云

自建Kafka集群迁移

迁移前准备

1、kafka集群规划,主要考虑磁盘容量以及扩展性,如果数据量比较大,可以考虑部署5个broker节点,每个节点挂载4块数据盘;

2、创建topic,分区数和副本数建议与旧集群一致;

注意点

1、由于新集群没有旧集群的消费组信息,切换之前请确认代码配置消费组策略是latest(从最新消费)还是earliest(从头消费),以下针对不同方案提供不同的处理方式

2、kafka自带的kafka-mirror-maker.sh数据同步工具,迁移数据速度比较慢,并且新旧topic消息的分区和offset不一致

方案一:不迁移数据

 注意:

如果消费组策略是earliest(从头消费),切换消费者之前不需要做任何配置;

如果消费组策略是latest(从最新消费),切换消费者之前需要在新集群手动创建消费组并把消费组策略调为earliest

1、切换生产流,生产者将数据生产到新的Kafka 实例;

2、等待消费者持续消费旧Kafka集群的数据,直到消费完成(kafdrop或者grafana可以观察);

3、切换消费者,消费新kafka集群数据;

4、观察数据,生产和消费正常,旧集群没有对应TCP连接,即迁移完毕。

方案二:迁移数据

 注意:

如果消费组策略是latest(从最新消费),切换消费者之前不需要做任何配置;

如果消费组策略是earliest(从头消费),切换消费者之前需要在新集群手动创建消费组并把消费组策略调为latest

1、配置kafka集群数据同步;

2、停止生产流;

3、等待消费者持续消费旧Kafka集群的数据,直到消费完成(kafdrop或者grafana可以观察);

4、切换消费者到新kafka集群;

5、启动生产流,生产者将数据生产到新的Kafka 实例;

6、观察数据,生产和消费正常,旧集群没有对应TCP连接,即迁移完毕。

方案三:迁移数据特殊情况(消费者做幂等处理或者offset不提交到kafka)

 注意:

如果消费组策略是earliest(从头消费),切换消费者之前不需要做任何配置;

如果消费组策略是latest(从最新消费),切换消费者之前需要在新集群手动创建消费组并把消费组策略调为earliest

1、配置kafka集群数据同步;

2、切换生产流,生产者将数据生产到新的Kafka 实例;

3、切换消费者,消费新kafka集群数据;

4、观察数据,生产和消费正常,旧集群没有对应TCP连接,即迁移完毕。

 

迁移建议

1、如果旧集群topic设置了数据过期时间,建议使用方案一,迁移后等数据过期后即可回收旧集群;

2、如果旧集群topic数据永久保存,建议使用方案一,旧集群数据使用nifi同步到冷备集群即可回收旧机器;

3、如果对消息的分区和offset有要求,建议使用方案二

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。