当前位置：网站首页>spark算子-repartition算子

spark算子-repartition算子

2022-08-05 05:18:00 【zdaiqing】

源码

def repartition(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope {
    
    coalesce(numPartitions, shuffle = true)
  }
  1. 底层调用coalesce()实现重分区操作
  2. 强制必须进行shuffle操作

repartition与coalesce的关系

  1. 都是用于重新设置分区数的算子
  2. repartition底层调用coalesce()实现重分区功能
  3. repartition强制必须进行shuffle操作
  4. coalesce根据参数决定是否进行shuffle操作

参考文件

spark算子-coalesce算子

原网站

版权声明
本文为[zdaiqing]所创，转载请带上原文链接，感谢
https://blog.csdn.net/m0_37817767/article/details/125661535

边栏推荐

猜你喜欢

随机推荐