浅谈SparkSQL中 Broadcast Hash Join (BHJ) 的选择

Broadcast Hash Join（BHJ）是SparkSQL用于分布式join操作的核心方法之一。在SQL中添加hint可指定使用BHJ实现join操作，但更多情况下，SparkSQL框架会自动选择是否采用BHJ。在Spark 3.0引入AQE特性后，BHJ的选择过程分为正常模式和AQE模式两个部分。在正常模式下，SQL解析过程涉及将优化后的逻辑计划转化为物理...

SQL优化在数据处理中扮演着关键角色，Spark SQL的调优则需要从多个维度出发，以提升性能和效率。优化策略主要涉及join类型、序列化格式、数据倾斜、执行方式、文件格式、shuffle优化、内存管理以及函数调优等方面。对于join类型，需要根据表的大小选择合适的join方式：Broadcast Hash Join适用于小表与大表的Join...

Spark SQL内置了五种连接策略：等值连接、Broadcast Nested Loop Join、Cartesian Product Join、Shuffle Hash Join和Shuffle Sort Merge Join。选择连接策略主要考虑三个关键因素：是否为等值连接、连接提示以及数据集大小。等值连接是最常见的，适用于所有连接运算符。非等值连接则涉及复杂比较，通常选择Broadca...

在特殊情况下，如NotInSubquery，仍可能选择Broadcast hash join。总的来说，SparkSQL的join策略灵活多变，旨在根据具体场景提供最优的执行效率和资源利用率。

2 概念：sparksql种3种join的实现方式 sort merge join：有shuffle操作，适用于两张大表 broadcast join：把bulidler表广播到每个executor里，所以builder表应该小一点，sparks中默认builder表小于10M时使用broadcast join方法，适用于大表+小表 hash join：默认不开启，开启了sort merge join也比它差不了...

Join策略在AQE中也得到了智能调整，它可以根据文件大小和空文件比例动态选择SortMergeJoin和BroadcastHashJoin。然而，由于AQE依赖实时Shuffle Map阶段统计，对于大表数据的网络传输，动态策略可能失去优势。为解决这个问题，AQE引入OptimizeLocalShuffleReader策略，利用已完成的计算来减少网络传输的负担，避免资源...

Join策略会根据统计信息调整为BroadcastHashJoin。自动倾斜处理则在数据倾斜时，通过拆分大分区来平衡负载。这些特性都通过参数进行调整，如advisoryPartitionSizeInBytes和coalescePartitions.minPartitionNum。总体来说，AQE通过运行时统计信息的收集和策略调整，提升了Spark SQL在大型集群环境下的查询性能和效率。

通过Spark 的 Broadcast 机制,将 Reduce 端 Join 转化为 Map 端 Join,这意味着 Spark 现在不需要跨节点做 shuffle 而是直接通过本地文件进行 join,从而完全消除 Shuffle 带来的数据倾斜。 其中A 是比较小的 dataframe 并且能够整个存放在 executor 内存中。 (1)适用场景 参与Join的一边数据集足够小,可被加载进...