当前位置：网站首页>03 Spark on 读取内部数据分区策略(源码角度分析)

03 Spark on 读取内部数据分区策略(源码角度分析)

2022-08-08 23:31:00 【YaPengLi.】

Spark分区策略

      从源码角度分析RDD在local模式下分区数策略，首先通过makeRDD来进行演示，makRDD函数可以传递第二个参数表示分区的数量，第二个参数可以不传递那么makeRDD方法会使用默认值 ： defaultParallelism（默认并行度），Spark在默认情况下从配置对象中获取配置参数：spark.default.parallelism，如果获取不到，那么使用totalCores属性，这个属性取值为当前运行环境的最大可用核数。

  • 设置分区与不设置分区的差异：

 

总结：分区、并行关系

原网站

版权声明
本文为[YaPengLi.]所创，转载请带上原文链接，感谢
https://blog.csdn.net/lucklilili/article/details/115432028

边栏推荐

猜你喜欢

随机推荐