Spark性能调优之Broadcast广播大变量

2021年10月25日 1点热度 0条评论 来源: 博闻强识plus
Broadcast广播大变量背景:

spark作业中引用了外部变量时,spark会给每个task拷贝一份变量副本。那么,这会有什么缺点?又会对性能产生怎么用恶劣的影响呢?


举例说明:假如有一个外部变量,大小是1M,被spark作业引用。Spark作业设置有500个task。首先,saprk会拷贝500份副本到task(如下图),而拷贝是通过网络传输的。共计就有500M全部通过网络传输,造成很大的网络开销。另外,变量副本拷贝到各个task后,占用的是内存,就有500M的内存被变量副本消耗了。内存被占用过多后,导致RDD持久化到内存时,可能无法全部写入内存,部分数据写入到磁盘,这导致了在磁盘IO上消耗性能;接着task在创建对象时,也许堆内存不够而存不下对象,这又引起频繁GC,GC时,一定会导致工作线程停止,导致spark作业暂停下来。这是一系列的恶劣影响。

解决问题:

这里引出一个角色 - BlockManager 它负责管理某个executor对应的内存和磁盘数据。

如下图:
1.Task有广播变量时,会先尝试在本地BlockManager 中找变量;
2.本地BlockManager 没找到,就会到driver去拿到变量后,把变量再拷贝保存到BlockManager ;另外,BlockManager 也有可能到距离比较近的其他节点executor的BlockManager 获取变量
3.此后这个executor的task需要广播变量时,直接使用本地BlockManager 中的变量副本。

总结:

从给每个task拷贝,到只给BlockManager 拷贝。举例:50个executor,500个task,外部变量1M。如果不广播变量,500个task,也就是5001M=500M数据,网络传输,而且消耗500M内存资源。但使用了广播变量,只给50个executor各自对应的BlockManager拷贝数据,也就是501M=50M数据,这就减少了20倍的网络消耗,减少了20倍内存消耗。

    原文作者:博闻强识plus
    原文地址: https://blog.csdn.net/lilei19921109/article/details/93912908
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系管理员进行删除。