当前位置:网站首页>Spark Sql之union
Spark Sql之union
2022-08-09 13:11:00 【南风知我意丿】
spark union和hive union的区别
spark中data frame 有union和union all算子,均不去重
这点,不像hive中那样,hive sql中union all不去重,union去重
示例
val df3: DataFrame = sc.makeRDD(Seq((1, "xm"), (2, "xl"))).toDF("id", "name")
val df4: DataFrame = sc.makeRDD(Seq((1, "xm"), (2, "xl"), (3, "xw"))).toDF("id", "name")
df3.union(df4).show(false)
+---+----+
|id |name|
+---+----+
|1 |xm |
|2 |xl |
|1 |xm |
|2 |xl |
|3 |xw |
+---+----+
df3.unionAll(df4).show(false)
+---+----+
|id |name|
+---+----+
|1 |xm |
|2 |xl |
|1 |xm |
|2 |xl |
|3 |xw |
+---+----+
如果想达到hive中的效果,可以使用distinct算子
df3.union(df4).distinct().show(false)
+---+----+
|id |name|
+---+----+
|1 |xm |
|3 |xw |
|2 |xl |
+---+----+
边栏推荐
- An Offer 21. Adjust the array in order to make odd in even the front (loop invariant)
- 学习opencv-基础应用
- 正则表达式-re模块
- 远程控制软件-向日葵
- 搭建大型分布式服务(二)搭建会员服务
- Professor Chen Qiang's "Machine Learning and R Application" course Chapter 15 Homework
- NC7 买卖股票的最好时机(一)
- PO、DO、TO、VO、DO、DTO、DAO、POJO都是什么?
- IDEA Gradle 常遇问题(二)(持续更新)
- TCP三次握手和四次挥手及拥塞控制
猜你喜欢
随机推荐
七夕力扣刷不停,343. 整数拆分(剑指 Offer 14- I. 剪绳子、剑指 Offer 14- II. 剪绳子 II)
NC40 链表相加(二)
offset、client、scroll、window.pageYOffset比较
对百度的内容进行修改
二叉树的遍历(py)
面试攻略系列(四)-- 你不知道的大厂面试
昇腾AI开发者创享日南京站!一起CANN机器狗+AI机械臂实现硬核智慧救援!燃爆现场~
机器学习web服务化实战:一次吐血的服务化之路 (转载非原创)
19、学习MySQL 索引
蓝桥杯线上模拟赛——Flex 经典骰子布局
Q_04_05 使用Qubits
eslint语法规则报错
The sword refers to the offer, cuts the rope 2
pytest 筛选用例
富媒体在客服IM消息通信中的秒发实践
面试攻略系列(二)-- 秒杀系统
IDEA Gradle 常遇问题(二)(持续更新)
Final assignment of R language data analysis in a university
Q_04_07 进一步探索
Map mixed density function and quantile added line