RocketMQ（四）Linux搭建RocketMQ集群

目录

1、各角色介绍2、集群搭建介绍

2.1 集群特点2.2 单Master模式2.3 多Master模式2.4 多Master多Slave模式（异步）2.4 多Master多Slave模式（同步） 3、双主双从集群配置

3.1 服务器环境3.2 端口开放3.3 环境变量配置3.4 创建消息存储路径3.5 broker配置文件

1）master12）slave13）master24）slave2 3.6 修改启动脚本文件

1）runbroker.sh 3.7 服务启动

1）启动NameServe集群2）启动Broker集群 1、各角色介绍

Producer：消息的发送者；举例：发信者Consumer：消息接收者；举例：收信者Broker：暂存和传输消息；举例：邮局NameServer：管理Broker；举例：各个邮局的管理机构Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息Message Queue：相当于是Topic的分区；用于并行发送和接收消息
2、集群搭建介绍 2.1 集群特点

NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。Broker部署相对复杂，提供brokerClusterName设置所有主从节点的集群名称，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义，BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接，定时注册Topic信息到所有NameServer。Producer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer取Topic路由信息，并向提供Topic服务的Master建立长连接，且定时向Master发送心跳。Producer完全无状态，可集群部署。Consumer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer取Topic路由信息，并向提供Topic服务的Master、Slave建立长连接，且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息，也可以从Slave订阅消息，订阅规则由Broker配置决定。Master角色的Broker支持读和写，Slave角色的Broker仅支持读，也就是 Producer只能和Master角色的Broker连接写入消息；Consumer可以连接 Master角色的Broker，也可以连接Slave角色的Broker来读取消息。 2.2 单Master模式

这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。

2.3 多Master模式

一个集群无Slave，全是Master，例如2个Master或者3个Master，这种模式的优缺点如下：

优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高；缺点：单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息实时性会受到影响。 2.4 多Master多Slave模式（异步）

每个Master配置一个Slave (在磁盘配置为RAID10情况xia一个M对应一个S即可) ，有多对Master-Slave，HA采用异步复制方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下：

优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时Master宕机后，Slave会自动切换为Master。缺点：主备有短暂消息延迟（毫秒级），Master宕机，磁盘损坏情况下会丢失少量消息。

异步复制方式是只要Master写成功，即可反馈给客户端写成功状态；

2.4 多Master多Slave模式（同步）

每个Master配置一个Slave，有多对Master-Slave，HA采用同步双写方式，即只有主备都写成功，才向应用返回成功，这种模式的优缺点如下：

优点：数据与服务都无单点故障，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高；缺点：性能比异步复制模式略低（大约低10%左右），发送单个消息的RT会略高，目前还不支持由Slave自动切换为Master。

同步复制方式是等Master和Slave均写 成功后才反馈给客户端写成功状态；

3、双主双从集群配置

在搭建集群前，保证单机版搭建成功，因为集群和单机的安装包都一样，只是修改配置和启动方式有些不同而已，单机版本搭建参考《Linux搭建RocketMQ实例服务》

3.1 服务器环境

操作目录：

/opt/RocketMQ/cluster

3.2 端口开放

RocketMQ集群所需端口：10911、10909、9876、11011

nameserver 默认使用 9876 端口master 默认使用 10911 端口slave 默认使用11011 端口 3.3 环境变量配置

vim /etc/profile

在profile文件的末尾加入如下命令

#set rocketmqROCKETMQ_HOME=/data/rocketmq/rocketmq-4.9.2PATH=$PATH:$ROCKETMQ_HOME/binexport ROCKETMQ_HOME PATH

source /etc/profile

3.4 创建消息存储路径

mkdir /data/rocketmq/storemkdir /data/rocketmq/store/commitlogmkdir /data/rocketmq/store/consumequeuemkdir /data/rocketmq/store/indexmkdir /data/rocketmq/store/checkpointmkdir /data/rocketmq/store/abort# 创建日志输出mkdir /opt/RocketMQ/cluster/logs -p

3.5 broker配置文件

注意：/conf/2m-2s-sync 在RocketMQ中已存在不需要额外创建

1）master1

服务器：10.0.36.41

vim /opt/RocketMQ/cluster/conf/2m-2s-sync/broker-a.properties

修改配置如下：

#所属集群名字brokerClusterName=rocketmq-cluster#broker名字，注意此处不同的配置文件填写的不一样,主从的brokerName一致brokerName=broker-a#0 表示 Master，>0 表示 SlavebrokerId=0#nameServer地址，分号分割#实际集群情况10.0.36.31:9876;10.0.36.32:9876namesrvAddr=10.0.36.31:9876;10.0.36.32:9876#当前broker监听的IPbrokerIP1=10.0.36.41#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数defaultTopicQueueNums=4#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭autoCreateTopicEnable=true#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭autoCreateSubscriptionGroup=true#Broker 对外服务的监听端口listenPort=10911#删除文件时间点，默认凌晨 4点deleteWhen=04#文件保留时间，默认 48 小时fileReservedTime=120#commitLog每个文件的大小默认1GmapedFileSizeCommitLog=1073741824#ConsumeQueue每个文件默认存30W条，根据业务情况调整mapedFileSizeConsumeQueue=300000#destroyMapedFileIntervalForcibly=120000#redeleteHangedFileInterval=120000#检测物理文件磁盘空间diskMaxUsedSpaceRatio=88#存储路径storePathRootDir=/data/rocketmq/store#commitLog 存储路径storePathCommitLog=/data/rocketmq/store/commitlog#消费队列存储路径存储路径storePathConsumeQueue=/data/rocketmq/store/consumequeue#消息索引存储路径storePathIndex=/data/rocketmq/store/index#checkpoint 文件存储路径storeCheckpoint=/data/rocketmq/store/checkpoint#abort 文件存储路径abortFile=/data/rocketmq/store/abort#限制的消息大小maxMessageSize=65536#flushCommitLogLeastPages=4#flushConsumeQueueLeastPages=2#flushCommitLogThoroughInterval=10000#flushConsumeQueueThoroughInterval=60000#Broker 的角色#- ASYNC_MASTER 异步复制Master#- SYNC_MASTER 同步双写Master#- SLAVEbrokerRole=SYNC_MASTER#刷盘方式#- ASYNC_FLUSH 异步刷盘#- SYNC_FLUSH 同步刷盘flushDiskType=ASYNC_FLUSH#checkTransactionMessageEnable=false#发消息线程池数量#sendMessageThreadPoolNums=128#拉消息线程池数量#pullMessageThreadPoolNums=128

2）slave1

服务器：10.0.36.42

vi /opt/RocketMQ/cluster/conf/2m-2s-sync/broker-a-s.properties

修改配置如下：

#所属集群名字brokerClusterName=rocketmq-cluster#broker名字，注意此处不同的配置文件填写的不一样,主从的brokerName一致brokerName=broker-a#0 表示 Master，>0 表示 SlavebrokerId=1#nameServer地址，分号分割#实际集群情况10.0.36.31:9876;10.0.36.32:9876namesrvAddr=10.0.36.31:9876;10.0.36.32:9876#当前broker监听的IPbrokerIP1=10.0.36.42#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数defaultTopicQueueNums=4#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭autoCreateTopicEnable=true#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭autoCreateSubscriptionGroup=true#Broker 对外服务的监听端口listenPort=11011#删除文件时间点，默认凌晨 4点deleteWhen=04#文件保留时间，默认 48 小时fileReservedTime=120#commitLog每个文件的大小默认1GmapedFileSizeCommitLog=1073741824#ConsumeQueue每个文件默认存30W条，根据业务情况调整mapedFileSizeConsumeQueue=300000#destroyMapedFileIntervalForcibly=120000#redeleteHangedFileInterval=120000#检测物理文件磁盘空间diskMaxUsedSpaceRatio=88#存储路径storePathRootDir=/data/rocketmq/store#commitLog 存储路径storePathCommitLog=/data/rocketmq/store/commitlog#消费队列存储路径存储路径storePathConsumeQueue=/data/rocketmq/store/consumequeue#消息索引存储路径storePathIndex=/data/rocketmq/store/index#checkpoint 文件存储路径storeCheckpoint=/data/rocketmq/store/checkpoint#abort 文件存储路径abortFile=/data/rocketmq/store/abort#限制的消息大小maxMessageSize=65536#flushCommitLogLeastPages=4#flushConsumeQueueLeastPages=2#flushCommitLogThoroughInterval=10000#flushConsumeQueueThoroughInterval=60000#Broker 的角色#- ASYNC_MASTER 异步复制Master#- SYNC_MASTER 同步双写Master#- SLAVEbrokerRole=SLAVE#刷盘方式#- ASYNC_FLUSH 异步刷盘#- SYNC_FLUSH 同步刷盘flushDiskType=ASYNC_FLUSH#checkTransactionMessageEnable=false#发消息线程池数量#sendMessageThreadPoolNums=128#拉消息线程池数量#pullMessageThreadPoolNums=128

3）master2

服务器：10.0.36.51

vi /opt/RocketMQ/cluster/conf/2m-2s-sync/broker-b.properties

修改配置如下：

#所属集群名字brokerClusterName=rocketmq-cluster#broker名字，注意此处不同的配置文件填写的不一样,主从的brokerName一致brokerName=broker-b#0 表示 Master，>0 表示 SlavebrokerId=0#nameServer地址，分号分割#实际集群情况10.0.36.31:9876;10.0.36.32:9876namesrvAddr=10.0.36.31:9876;10.0.36.32:9876#当前broker监听的IPbrokerIP1=10.0.36.51#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数defaultTopicQueueNums=4#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭autoCreateTopicEnable=true#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭autoCreateSubscriptionGroup=true#Broker 对外服务的监听端口listenPort=10911#删除文件时间点，默认凌晨 4点deleteWhen=04#文件保留时间，默认 48 小时fileReservedTime=120#commitLog每个文件的大小默认1GmapedFileSizeCommitLog=1073741824#ConsumeQueue每个文件默认存30W条，根据业务情况调整mapedFileSizeConsumeQueue=300000#destroyMapedFileIntervalForcibly=120000#redeleteHangedFileInterval=120000#检测物理文件磁盘空间diskMaxUsedSpaceRatio=88#存储路径storePathRootDir=/data/rocketmq/store#commitLog 存储路径storePathCommitLog=/data/rocketmq/store/commitlog#消费队列存储路径存储路径storePathConsumeQueue=/data/rocketmq/store/consumequeue#消息索引存储路径storePathIndex=/data/rocketmq/store/index#checkpoint 文件存储路径storeCheckpoint=/data/rocketmq/store/checkpoint#abort 文件存储路径abortFile=/data/rocketmq/store/abort#限制的消息大小maxMessageSize=65536#flushCommitLogLeastPages=4#flushConsumeQueueLeastPages=2#flushCommitLogThoroughInterval=10000#flushConsumeQueueThoroughInterval=60000#Broker 的角色#- ASYNC_MASTER 异步复制Master#- SYNC_MASTER 同步双写Master#- SLAVEbrokerRole=SYNC_MASTER#刷盘方式#- ASYNC_FLUSH 异步刷盘#- SYNC_FLUSH 同步刷盘flushDiskType=ASYNC_FLUSH#checkTransactionMessageEnable=false#发消息线程池数量#sendMessageThreadPoolNums=128#拉消息线程池数量#pullMessageThreadPoolNums=128

4）slave2

服务器：10.0.36.52

vi /opt/RocketMQ/cluster/conf/2m-2s-sync/broker-b-s.properties

修改配置如下：

#所属集群名字brokerClusterName=rocketmq-cluster#broker名字，注意此处不同的配置文件填写的不一样,主从的brokerName一致brokerName=broker-b#0 表示 Master，>0 表示 SlavebrokerId=1#nameServer地址，分号分割#实际集群情况10.0.36.31:9876;10.0.36.32:9876namesrvAddr=10.0.36.31:9876;10.0.36.32:9876#当前broker监听的IPbrokerIP1=10.0.36.52#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数defaultTopicQueueNums=4#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭autoCreateTopicEnable=true#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭autoCreateSubscriptionGroup=true#Broker 对外服务的监听端口listenPort=11011#删除文件时间点，默认凌晨 4点deleteWhen=04#文件保留时间，默认 48 小时fileReservedTime=120#commitLog每个文件的大小默认1GmapedFileSizeCommitLog=1073741824#ConsumeQueue每个文件默认存30W条，根据业务情况调整mapedFileSizeConsumeQueue=300000#destroyMapedFileIntervalForcibly=120000#redeleteHangedFileInterval=120000#检测物理文件磁盘空间diskMaxUsedSpaceRatio=88#存储路径storePathRootDir=/data/rocketmq/store#commitLog 存储路径storePathCommitLog=/data/rocketmq/store/commitlog#消费队列存储路径存储路径storePathConsumeQueue=/data/rocketmq/store/consumequeue#消息索引存储路径storePathIndex=/data/rocketmq/store/index#checkpoint 文件存储路径storeCheckpoint=/data/rocketmq/store/checkpoint#abort 文件存储路径abortFile=/data/rocketmq/store/abort#限制的消息大小maxMessageSize=65536#flushCommitLogLeastPages=4#flushConsumeQueueLeastPages=2#flushCommitLogThoroughInterval=10000#flushConsumeQueueThoroughInterval=60000#Broker 的角色#- ASYNC_MASTER 异步复制Master#- SYNC_MASTER 同步双写Master#- SLAVEbrokerRole=SLAVE#刷盘方式#- ASYNC_FLUSH 异步刷盘#- SYNC_FLUSH 同步刷盘flushDiskType=ASYNC_FLUSH#checkTransactionMessageEnable=false#发消息线程池数量#sendMessageThreadPoolNums=128#拉消息线程池数量#pullMessageThreadPoolNums=128

3.6 修改启动脚本文件 1）runbroker.sh

vim bin/runbroker.sh

需要根据内存大小进行适当的对JVM参数进行调整：

#===================================================# 开发环境配置 JVM ConfigurationJAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"

####2）runserver.sh

vim bin/runserver.sh

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:metaspaceSize=128m -XX:MaxmetaspaceSize=320m"

3.7 服务启动 1）启动NameServe集群

分别在10.0.36.31和10.0.36.32启动NameServer

cd /opt/RocketMQ/clusternohup sh bin/mqnamesrv &>/opt/RocketMQ/cluster/logs/mqnamesrv.log 2>&1 &

2）启动Broker集群

分别在不同的服务器下启动broker服务

cd /opt/RocketMQ/cluster# master1:nohup sh bin/mqbroker -c /opt/RocketMQ/rocketmq-4.9.2/conf/2m-2s-sync/broker-a.properties &>/opt/RocketMQ/cluster/logs/broker.log 2>&1 &# slave1:nohup sh bin/mqbroker -c /opt/RocketMQ/rocketmq-4.9.2/conf/2m-2s-sync/broker-a-s.properties &>/opt/RocketMQ/cluster/logs/broker.log 2>&1 &# master2:nohup sh bin/mqbroker -c /opt/RocketMQ/rocketmq-4.9.2/conf/2m-2s-sync/broker-b.properties &>/opt/RocketMQ/cluster/logs/broker.log 2>&1 &# slave2:nohup sh bin/mqbroker -c /opt/RocketMQ/rocketmq-4.9.2/conf/2m-2s-sync/broker-b-s.properties &>/opt/RocketMQ/cluster/logs/broker.log 2>&1 &