pulsar篇-基本介绍

发布网友发布时间：2024-10-02 05:34

共1个回答

热心网友时间：2024-11-03 17:01

Apache Pulsar是一个云原生的分布式消息与流处理平台，它在Kafka的基础上实现了更高级别的功能。Pulsar的独特之处在于其创新的架构设计和关键特性。

首先，Pulsar的架构采用Client-Proxy-Server模型，与传统的消息系统有所不同。它将服务分为两层：无状态的Broker层和底层的BookKeeper。Broker不直接存储数据，而是通过BookKeeper来存储消息和管理Topic/Partitions的代理权，确保数据一致性与负载均衡。Meta信息则存储在Zookeeper中，确保了系统的可靠性。

BookKeeper作为Pulsar的核心存储组件，是一个分布式预写日志系统，不仅存储消息数据，还持久化了消费端的cursors（消费位置），使得Pulsar的扩展性更强。当Broker发生故障时，Pulsar通过fencing机制，将Topic的代理权转移给其他正常运行的Broker，这个过程类似于raft选举，确保了服务的连续性。

在与Kafka的对比中，Pulsar的消费模式、消息确认机制以及消息保留策略都有所不同，展现出了其独特的优势。例如，Pulsar提供了更灵活的消费模式，支持实时处理和存储消息，而Kafka则更侧重于持久化和顺序性。虽然Pulsar在某些方面可能不如Kafka稳定，但其高效和实时性是其显著的优势。

总的来说，Pulsar凭借其创新的架构和功能，为实时流处理提供了强大的解决方案，尤其在处理实时数据和低延迟通信场景中，展现出了强大的竞争力。