当前位置：网站首页>Spark 算子之distinct使用

Spark 算子之distinct使用

2022-04-23 15:45:00 【逆风飞翔的小叔】

前言

相信使用过mysql的同学对sql语句中distinct关键字并不陌生，使用distinct关键字可以对查询的数据进行去重操作，在Spark 中，可以做类似的理解；

函数签名

def distinct()(implicit ord: Ordering[T] = null): RDD[T]

def distinct( numPartitions: Int )(implicit ord: Ordering[T] = null): RDD[T]

函数说明

将数据集中重复的数据去重

案例：对集合中的一组数字去重

import org.apache.spark.{SparkConf, SparkContext}

object Distinct_Test {

  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator")
    val sc = new SparkContext(sparkConf)

    val rdd  = sc.makeRDD(List(1,2,3,4,5,3,5,2,2))
    rdd.distinct().collect().foreach(println)
    sc.stop()
  }

}

运行上面的程序，观察控制台输出结果，可以发现重复的元素最终只输出了一次