欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

《ApachePulsar从入门到实战》系列教程第9讲之pulsar架构原理

时间:2023-05-04
一、深入理解pulsar分层存储

单个pulsar集群由以下三部分组成:

多个broker负责处理和负载均衡producer发出的消息,并将这些消息分派给consumer;broker和pulsar配置存储交互来处理相应的任务,并将消息存储在bookkeeper实例中(又称bookies);broker依赖zookeeper集群处理特定的任务,等等 多个bookie的bookkepper集群负责消息的持久化存储 一个zookeeper集群,用来处理多个pulsar集群之间的协调任务

在一些流数据用例场景中,用户希望将数据长时间存储在流中。虽然pulsar 对topic backlog的大小没有限制,但将所有数据存储在pulsar中较长时间,存储成本比较大。分层存储支持在不影响终端用户的条件下,将较旧的数据移动到长期存储中。

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。