当前位置:网站首页>pyspark列合并为一行
pyspark列合并为一行
2022-08-10 17:50:00 【51CTO】
将 dataframe
利用 pyspark
列合并为一行,类似于 sql
的 GROUP_CONCAT
函数。例如如下 dataframe
:
需要按照列相同的列 d
将 s
合并,想要的结果为:
利用 groupby
去实现就好,spark
里面可以用 concat_ws
实现,可以看这个 Spark中SQL列合并为一行,而这里的 concat_ws
合并缺很奇怪, 官方文档的实例为:
作者自己尝试得到:
不是想要的效果。而 collect_list
能得到相同的效果:
得到的结果为:
如果需要collect_list
多列,那么可以这么写:
得到的结果为:
边栏推荐
猜你喜欢
随机推荐
MySQL数据高级查询之连接查询、联合查询、子查询[通俗易懂]
【严重】Nps 鉴权绕过 0day 漏洞
去除富文本标签样式
R语言拟合ARIMA模型:使用forecast包中的auto.arima函数自动搜索最佳参数组合、模型阶数(p,d,q)、如果已知阶数则直接使用arima函数构建模型(order参数指定阶数)
Making Pre-trained Language Models Better Few-Shot Learners
WebRTC源码分析 nack详解
php7中使用“??”运算符
img转base64
20220810
Colocate Join :ClickHouse的一种高性能分布式join查询模型
Making Pre-trained Language Models Better Few-Shot Learners
【Web3 系列开发教程——创建你的第一个 NFT(8)】如何开发一个成功的 NFT 项目 | NFT 社区建设技巧
产品-Axure9英文版,A页面内a1状态跳转B页面的b2状态,(条件跳转状态)
瑞虎8 PRO产品性能分析,一文读懂究竟何为“全域动力科技旗舰”
定时器循环展示数组
【独立站运营】做社交媒体营销的两大关键点
不能直接在交易所期货开户
【接入指南 之 直接接入】手把手教你快速上手接入HONOR Connect平台(上)
Toronto Research Chemicals霉菌毒素分析丨T2 四醇
skywalking vulnerability learning