问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

kafka是干嘛的?

发布网友 发布时间:2022-04-20 22:25

我来回答

2个回答

懂视网 时间:2022-04-21 02:47

kafka支持的特性如下:

  

  1、消息持久化和缓存。Kafka高度依赖文件系统来存储和缓存消息。一般的人都认为“磁盘是缓慢的”,这使得人们对“持久化结构提供具有竞争性的性能”这样的结论持有怀疑态度。实际上,磁盘比人们预想的快很多也慢很多,这取决于它们如何被使用;一个好的磁盘结构设计可以使之跟网络速度一样快。

  

  2、消息读取。Kafka在读方面使用了sendfile这个高级系统函数,也即zero-copy技术,感兴趣的同学可以去阅读IBM的文章。 这项技术通过减少系统拷贝次数,极大地提高了数据传输的效率。

  

  3、端到端的批量压缩。在许多场景下,瓶颈实际上不是CPU而是网络。这在需要在多个数据中心之间发送消息的数据流水线的情况下更是如此。当然,用户可以不需要Kafka的支持而发送压缩后的消息,但是这会导致非常差的压缩率。高效的压缩需要将多个消息一块儿压缩而不是对每一个消息进行压缩。理想情况下,这可以在端到端的情况下实现,数据会先被压缩,然后被生产者发送,并且在服务端也是保持压缩状态,只有在最终的消费者端才会被解压缩。

热心网友 时间:2022-04-20 23:55

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。

这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

 对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的*,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。

主要特性

Kafka是一种高吞吐量 的分布式发布订阅消息系统,有如下特性:

通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。

高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。

支持通过Kafka服务器和消费机集群来分区消息。

支持Hadoop并行数据加载。 

Kafka通过官网发布了最新版本3.0.0。

以上内容来自 百度百科-kafka

声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
表格列求和公式怎么设置 求和函数公式怎么输入 北京注册成立一个公司需要多少钱 北京公司都是什么 手机导航地图语音怎么下载 如何分别真金和仿金首饰 怎样区分真金和仿金首饰呢 小学生新年晚会主持人的串词!!(不要太多)急 大大后天就需要了!!!_百度... 周年晚会策划公司 奥格瑞玛传送门大厅在哪 奥格瑞玛传送门大厅怎么走 汽车仪表盘图标黄色三角形叹号故障灯的含义是什么? 豪沃汽车仪表显示三角形内感叹号,黄色的,啥意思? 现代名图汽车仪表盘上,亮黄色三角形叹号,是什么... 车子出现黄色感叹号是什么意思? 汽车黄色感叹号什么意思 大众朗逸puls仪表盘上出现黄色三角形有一个感叹号... 汽车黄色感叹号什么意思? 仪表盘黄色叹号什么意思 车上亮黄灯一个感叹号是什么意思? 汽车仪表盘上出现亮着黄色三角形中间一个感叹号,... 汽车表盘上突然出现黄色三角中间感叹号什么意思? 汽车仪表盘里“黄色三角加感叹号”是什么意思? 华为mate和p系列是什么区别 华为p系列和mate系列性价比哪个好 华为荣耀和mate和p系列有什么区别? 华为的Mate系列和P系列,哪个更值得买? 华为P系列,mate系列和荣耀系列有很大差别么 华为荣耀系列,P系列和Mate系列哪个玩游戏效果最好? 华为mate系列,P系列,荣耀系列手机有什么特点和定位 华为mate系列,P系列,荣耀,G系列,畅享,麦芒有... 做淘宝客的话,有人说用香港的空间,不过我有绿色... 香港卓越亚洲是传销吗 绿码是什么意思? 急需关于"网络的利与弊"的辩论赛材料 北京师范大学-香港浸会大学联合国际学院的学科建设 广州环绿网络科技有限公司怎么样? 求助!谁有关香港交通的资料 本人要去香港旅游,去什么景点?走什么线路?住什... 手机网络问题 从网上购得一款白色港版i9300,明天就要收到货了,... 手机入网许可证和手机序列号是一样的吗? 悬100分:有谁有关于CDMA的资料! cdma与gsm的区别 7月初游香港要注意哪些 网络制式的相关 深圳去香港从哪个口岸走最合适,有港澳通行证自由... 请问代理一个网络游戏需要什么过程? 文言文中佁翻译什么 钢琴陪练app有哪些免费? 辅助钢琴学习,有哪些手机钢琴软件推荐?