前言

sortBy，顾名思义排序的意思，在Spark 中，使用sortBy可以对一组待处理的数据进行排序，这组数据不限于数字，也可以是元组等其他类型；

sortBy

函数签名

def sortBy[K](

f: (T) => K , ascending: Boolean = true , numPartitions: Int = this.partitions.length)

(implicit ord: Ordering[K], ctag: ClassTag[K]): RDD[T]

函数说明

该操作用于排序数据。在排序之前，可以将数据通过 f 函数进行处理，之后按照 f 函数处理

的结果进行排序，默认为升序排列。排序后新产生的 RDD 的分区数与原 RDD 的分区数一

致。中间存在 shuffle 的过程；

案例演示

下面将一组集合中的数据排序后，保存到本地文件目录中

import org.apache.spark.{SparkConf, SparkContext}

object SortBy_Test {

  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator")
    val sc = new SparkContext(sparkConf)

    val rdd = sc.makeRDD(List(1,2,3,4,5,6,7,9), 2)
    rdd.sortBy(num => num)
    rdd.saveAsTextFile("E:\\output")

    sc.stop()
  }

}

运行上面的代码，可以看到在本地目录下生成了两个文件

 分别打开2个文件，可以发现，数据在两个不同的文件中各自进行了排序

 

将集合中的tuple数据按照key进行排序输出

import org.apache.spark.{SparkConf, SparkContext}

object SortBy_Test {

  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator")
    val sc = new SparkContext(sparkConf)

    var rddStr = sc.makeRDD(List(
      ("a",3),("d",2),("e",7)
    ),2)

    rddStr.sortBy(t => t._1)
    rddStr.collect().foreach(println)

    sc.stop()
  }

}

运行上面的代码，观察控制台输出结果