欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

盘点常见MQ:消息队列总览

时间:2023-06-20

‍作者:Java学术趴

仓库:Github、Gitee

✏️博客:CSDN、掘金、InfoQ、云+社区

公众号:Java学术趴

特别声明:原创不易,未经授权不得转载或抄袭,如需转载可联系小编授权。

版权声明:文章里的部分文字或者图片来自于互联网以及百度百科,如有侵权请尽快联系小编。微信搜索公众号Java学术趴联系小编。

☠️每日毒鸡汤:这个社会是存在不公平的,不要抱怨,因为没有用!人总是在反省中进步的!

大家好!我是你们的老朋友Java学术趴,今天给大家分享一下常见的MQ消息队列的技术。消息队列是日常大数据开发中必不可少的技术,也是分布式中最重要的一个环节。那么接下来就详细的介绍一下常见的消息队列以及什么样的场景下该使用什么样的消息队列技术。

1.什么是MQ

MQ(message queue),字面上看就是一个队列,FIFO先入先出,只不过队列中存放的内容是message而已,还是一种跨进程的通信机制,用于上下游传递消息。在互联网架构中,MQ是以中国非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务。使用了MQ之后,消息发送上游只需要依赖MQ,不用依赖其他服务。 2.为什么使用MQ

流量消峰 : 当请求一个系统的次数达到几万的时候,如果不使用任何的技术,可能会导致系统崩塌。此时就需要使用MQ来让这些请求排队,达到保护系统的功能。但是此时访问的效率就会降低。这个就是流量消峰。

应用解耦 : 就是将一个大的系统中的好多的小系统进行解耦。当一个小的系发生故障的时候,消息队列会监督这个小的系统恢复正常,不会造成整个大的系统进行崩塌。如果不使用消息队列的话,当一个小的系统发生故障的时候,整个大的系统都会崩塌。

异步处理 : 有些服务器之间的调用是异步的。例如A掉哟个B的时候,B需要花很长的时候去执行,但是A需要知道B什么时候可以执行完成。以前都是A过一段时间去调用一次B的回调API,来判断B有没有执行完毕。这种方式很麻烦,使用MQ之后,A调用B服务之后,只需要监听B处理完成的消息。此时A可以继续处理自己的事情。当B处理完消息之后,会发送一条消息给MQ,MQ会将此消息转发给A服务。这样A服务就不用循环调用B的API,A服务还可以及时的获取到异步处理成功的消息。 3.MQ的分类 3.1 ActiveMQ

优点:单机吞吐量万级,时效性ms(毫秒)级别,可用性高,基于主从架构实现高可用性,很难丢失数据消息。缺点:官方社区对ActiveMQ5.x 的维护越来越少,高吞吐量场景较少使用。 3.2 Kafka

大数据的杀手锏,谈到大数据领域内的消息传输,则绕不开Kafka,这款为大数据而生的消息中间件,以百万级TPS的吞吐量名声大噪,迅速成为大数据领域的宠儿,在数据采集、传输、存储的过程中发挥着举足轻重给的作用。

TPS就是系统的吞吐量

功能支持:功能比较简单,主要支持简单的MQ功能,在大数据领域的实时计算以及日志采集被大规模使用。

优点:性能卓越,单机写入TPS约在百万条/秒。最大的优点就是吞吐量高。时效性ms级可用性非常高,Kafka是分布式的,一个数据多个副本,少数机器宕机,不会丢失数据,不会导致不可用,消费者采用pull方式获取消息,消息是有序的。通过控制能够保证所有的消息都被消费且仅被消费一次。有优秀的第三方管理界面;在日志方面也较为成熟。

缺点:Kafka单机超过64个队列/分区,Load会发生明显的飙高现象,队列越多,load越高,发送消息响应时间变长,使用的是 短轮询的方式,时效性取决于轮询间隔时间。 小时失败不支持重试;支持消息顺序,但是如果一台代理宕机,就会产生消息乱序,社区更新较慢。 3.3 RocketMQ

RocketMQ是出自阿里巴巴的开源产品,用Java语言编写的,在设计时参考了Kafka,并做出了一些自己的改进。被阿里巴巴广泛应用在订单,交易,充值,流计算,消息推送,日志处理等方面。

优点: 单机吞吐量十万级,可用性非常高,是分布式架构,消息可以做到0丢失,MQ功能较为完善,还是发呢分布式的,扩展性好, 支持10亿级别的消息堆积。不会因为消息堆积而导致性能下降,源码是Java,我们可以自己订阅源码,定制自己公司的MQ。缺点: 支持的客户端语言不多,目前仅支持Java以及C++,其中C++不成熟。 社区活跃度不高,没有在MQ核心中去实现JMS等接口,有些系统要迁移需要修改大量的代码。 3.4 RabbitMQ

2007年发布的,是一个在AMQP(高级消息队列协议)基础上完成的,可复用的企业消息系统,是当前最主流的消息中间件之一。

优点:由于erlang语言的高并发特征,性能较好;吞吐量到万级,MQ的功能比较健壮、完善、易用、跨平台。 支持多语言:Java、PHP、C++、Python等等;开源提供的界面非常棒,社区活跃度较高,更新频率相当的高。缺点:商业版的学习成本较高。 4.MQ的选择 Kafka:Kafka主要的特是基于Pull的模式来处理消息消费,追求高吞吐量,一开始的目的就是用于日志收集和传输,适合产生大量数据的互联网服务的数据收集业务,大型公司建议使用。RocketMQ : 天生为金融互联网而生,对于可靠性要求很高的场景,尤其是电商里面的订单扣款,以及业务消峰,在大量交易涌入的时候,后端可能无法及时处理。RocketMQ在稳定性上可能更值得信赖,这些业务场景在阿里双11已经经历了多次的考验,如果你的业务有上述的场景发生,建议可以使用RocketMQ。RabbitMQ :结合erlang语言本身并发优势,性能好时效性微秒级,社区活跃度比较高,管理界面十分方面,如果你的数据量没有那么大,中小型公司优先选择功能完善的RabbitMQ。

如果需要MQ的笔记,点击星球进行免费获取 星球 (Github地址)如果没有Github的小伙伴儿。可以关注本人微信公众号:Java学术趴,发送MQ,免费给发给大家发送MQ笔记

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。