spark中宽依赖和窄依赖的区别

发布网友发布时间：2022-04-25 03:14

共1个回答

热心网友时间：2023-10-22 19:50

窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD分区通常对应常数个父RDD分区(O(1)，与数据规模无关)
相应的，宽依赖是指父RDD的每个分区都可能被多个子RDD分区所使用，子RDD分区通常对应所有的父RDD分区(O(n)，与数据规模有关)
简单来说，就是窄依赖是一对一或者多对一，宽依赖就是多对多或者一对多

声明：本网页内容为用户发布，旨在传播知识，不代表本网认同其观点，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。E-MAIL:11247931@qq.com