问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

Flink跟Spark的Checkpoint,谁更坑爹

发布网友 发布时间:1天前

我来回答

1个回答

热心网友 时间:1天前

上篇文章已探讨了Spark与Flink在设置并行度方式上的差异,并对Flink认为不够人性化的地方进行了吐槽。今日,我们将深入比较Spark与Flink在checkpoint机制上的区别,探讨其在实现与使用体验上的差异。

对于流式任务,设置检查点至关重要,以实现任务失败后的“断点续算”。Spark与Flink在实现这一机制上有所差异,Spark的操作更为简便,而Flink的配置则显得复杂。

对比场景简单,分别利用Spark的Structured Streaming与Flink的流式引擎处理Kafka数据,将其写入HDFS的CSV文件。开启两者的checkpoint功能,间隔设置为10秒。在程序运行过程中,手动向Kafka添加数据,确保程序正常消费,然后暂停程序,继续向Kafka推送数据。重新启动Spark与Flink任务,验证程序能否从断点处继续消费数据。

Spark的checkpoint实现直观简单,仅需设置目录即可。任务失败后,只需重启即可恢复断点。对比发现,Spark的数据目录与checkpoint目录在启动前为空,启动后创建元数据信息,并记录每个partition的offset。向Kafka推入数据后,数据被写入HDFS的CSV文件。暂停程序,再推入数据,重启后数据得以恢复。

Flink的checkpoint配置更为复杂,涉及多种功能与参数。官方推荐的实现方法虽然支持更多功能,但增加了学习成本。Flink的checkpoint目录结构与Spark不同,且每10秒更新一次,即使无数据情况也如此。向Kafka添加数据后,数据被Flink写入,但Flink UI界面显示的数据量与条数为0。暂停程序后,再次启动时需使用特殊恢复模式,指定checkpoint目录,才能消费断点处的数据。若未正确设置,程序可能无法恢复断点状态。

Spark在实现“断点续算”能力上更为直接与简便,而Flink的checkpoint机制在实现上复杂且要求较高,学习与使用成本相对更高。尽管Flink可能在某些功能上更加强大,但在简单场景下,Spark的checkpoint功能明显优于Flink。

通过本次对比测试,我们发现Spark与Flink在checkpoint功能上的差异,以及各自的优缺点。希望Flink在后续开发中能不断改进,优化用户使用体验,提高功能的可访问性和稳定性,让其在复杂场景下也能展现出其优势。
声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
我是一个射手男 我很喜欢我以前的女朋友 她是一个双鱼女 我们分手已 ... ...才能让她知道。 我们能在一起呢?我是真的很喜欢她 ...真爱了, 我是射手男。我表白了,她说我们维持现在关系。 我是射手男,我很早以前,就喜欢上一个摩羯女,但没有勇气向她表白,于是... 浅谈干部作风建设 九查九改干部作风内容是什么 最近有哪些比较火的卡通人物啊,,比如阿狸之类的,,多列举几个,最好列出... 2021年软考网规笔记:IDS与IPS 支付宝刚注册,绑公积金账号有花呗额度吗 你认为孩子上网成瘾家长应该怎么办? 都2023年了,你还不懂批处理和流处理的区别? 小肠在人体哪个部位 河南省现任高中校长书记没有教师资格证的怎么办 示波器的测试应用有哪些? 别人贷款留我的电话号码是不是担保 身上老是爱长寻麻疹,持续几个月了,每天都要发一次,吃什么药都不管用诶... 上海的我,是怎么活到现在的 大理石上的水果渍怎么去除 在QQ聊天窗口用快捷键切换不了输入法,其他网页浏览可以,求高手 ...在网页上面都可以切换?也重启qq了,电脑也重启了,别说版本问题_百度... 什么时间是蟑螂活动的高峰期? ...场家越多越好~收购价是多少钱一公斤~收购点在哪里 孤儿寡母的意思 封控文件是什么的 什么是迅影AI一键生成视频软件呢? 迅影ai一键生成视频软件好用吗? 贝克诺顿制药有限公司怎么样,浙江李力旅游攻略路线 清媛控油啫喱背景介绍 wwe约翰塞纳穿的黑色衣服和帽子的英文字母是什么意思 ...LOYALTY RESPECT 啥意思(wwe约翰。塞纳旧版衣服上写的) 抖音主页怎么隐藏获赞量 主页隐藏获赞量方法介绍 实验:铝粉与氧化铁在高温条件的反应镁的作用两个纸漏斗为什么内层要剪... 铝热反应实验操作及现象 华为eLTE城市轨道交通方案中标深圳地铁11号线通信项目 电脑如何设置锁屏时间(win7电脑如何设置锁屏时间) 电脑如何设置锁屏时间(win7电脑如何设置锁屏时间) win7怎么设置这种格式的屏幕保护程序? iOS 17 待机模式数字时钟:分步指南 微信每年转账限额多少呢? 一般学调酒学费多少 hcie认证是啥 "奇才"用英语怎么写怎么读?谢谢! 爸爸为什么很少打女儿 面包类新型速冻机价格 shoe是什么意思中文? 肯德基帕尼尼面包胚在制作时有什么讲究? 西南风气温8度钓鱼怎么样 公司团餐配送 对不起我离开了句子 OPPO怎么设置红包提醒?(oppo怎么设置红包提醒声音?)