已解决
Spark作业串行与并行提交job
来自网友在路上 191891提问 提问时间:2023-11-20 20:48:51阅读次数: 91
最佳答案 问答题库918位专家为你答疑解惑
在Scala中,您可以以串行和并行的方式提交Spark作业。看看如何使用for
和par.foreach
构造对应的例子。
串行Spark作业(使用for
)
// 串行Spark作业设置
for (tag <- tags) {spark.sparkContext.setJobGroup(tag.toString, s"Tag: $tag")// 为每个标签执行Spark操作
}
并行Spark作业(使用par.foreach)
// 并行Spark作业设置
tags.par.foreach { tag =>spark.sparkContext.setJobGroup(tag.toString, s"Tag: $tag")// 并行执行每个标签的Spark操作
}
关键区别
for用于顺序处理,而par.foreach允许并行处理。
查看全文
99%的人还看了
相似问题
猜你感兴趣
版权申明
本文"Spark作业串行与并行提交job":http://eshow365.cn/6-40604-0.html 内容来自互联网,请自行判断内容的正确性。如有侵权请联系我们,立即删除!
- 上一篇: Vue3 customRef自定义ref 实现防抖
- 下一篇: 开源免费的流程设计器如何选型