单个pulsar集群由以下三部分组成:
多个broker负责处理和负载均衡producer发出的消息,并将这些消息分派给consumer;broker和pulsar配置存储交互来处理相应的任务,并将消息存储在bookkeeper实例中(又称bookies);broker依赖zookeeper集群处理特定的任务,等等 多个bookie的bookkepper集群负责消息的持久化存储 一个zookeeper集群,用来处理多个pulsar集群之间的协调任务
在一些流数据用例场景中,用户希望将数据长时间存储在流中。虽然pulsar 对topic backlog的大小没有限制,但将所有数据存储在pulsar中较长时间,存储成本比较大。分层存储支持在不影响终端用户的条件下,将较旧的数据移动到长期存储中。