发布网友 发布时间:2022-04-25 10:42
共2个回答
热心网友 时间:2024-04-11 17:01
分区实际上是调优Kafka并行度的最小单元。 对于procer而言,它实际上是用多个线程并发地向不同分区所在的broker发起Socket连接同时给这些分区发送消息; 而consumer呢,同一个消费组内的所有consumer线程都被指定topic的某一个分区进行消费(具体如何确定consumer线程数目我们后面会详细说明)。 所以说,如果一个topic分区越多,理论上整个集群所能达到的吞吐量就越大。热心网友 时间:2024-04-11 17:02
查看kafka配置,默认单条消息最大为1M,当单条消息长度超过1M时,就会出现发送到broker失败,从而导致消息在procer的队列中一直累积,直到撑爆生产者的内存。