前言

在之前的学习中，我们使用groupBy可以对数据按照指定的key的规则进行分组，设想这样一种场景，如果要对 tuple类型的数据，即key/value类型的数据进行分组该怎么做呢？针对这种的话Spark提供了partitionBy算子解决；

partitionBy

函数签名

def partitionBy( partitioner: Partitioner ): RDD[(K, V)]

函数说明

将数据按照指定 Partitioner 重新进行分区。 Spark 默认的分区器是 HashPartitioner

案例展示

将一组数据通过partitionBy之后存储到多个分区文件中

import org.apache.spark.rdd.RDD
import org.apache.spark.{HashPartitioner, SparkConf, SparkContext}

object PartionBy_Test {

  def main(args: Array[String]): Unit = {

    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator")
    val sc = new SparkContext(sparkConf)

    // TODO 算子 - (Key - Value类型)
    val rdd = sc.makeRDD(List(1, 2, 3, 4), 2)

    val mapRDD: RDD[(Int, Int)] = rdd.map((_, 1))

    // partitionBy根据指定的分区规则对数据进行重分区
    val newRDD = mapRDD.partitionBy(new HashPartitioner(2)).saveAsTextFile("E:\\output")

    sc.stop()

  }

}

运行上面的代码，执行完成后，观察本地的目录下，可以看到4条数据被分不到不同的分区文件中