当前位置:首页 > 编程笔记 > 正文
已解决

【Spark】配置参数关系-重要

来自网友在路上 155855提问 提问时间:2023-10-31 04:17:26阅读次数: 55

最佳答案 问答题库558位专家为你答疑解惑

并行度数量

并行度指所有Executor可以同时执行的Task数,

每个Executor中的一个Core(线程,虚拟核数)同时只能执行一个Task,

所以 最大并行度 = Executor数量 * 每个Executor的Core数;

eg:资源配置10个Executor节点,每个节点2个Core,那么同一时间可以并行计算的task数为20,

如果RDD有100个分区,那么需要5轮计算完毕,

如果RDD有2个分区,那么计算时只使用2个Core,其余18个Core空转,浪费资源,

所以Spark调优中会通过增大RDD分区数,增大任务并行度来提高效率。

查看全文

99%的人还看了

猜你感兴趣

版权申明

本文"【Spark】配置参数关系-重要":http://eshow365.cn/6-28272-0.html 内容来自互联网,请自行判断内容的正确性。如有侵权请联系我们,立即删除!