当前位置：网站首页>pyspark.sql之实现collect_list的排序

pyspark.sql之实现collect_list的排序

2022-08-09 14:55:00 【yisun123456】

通过利用pyspark.sql.Window实现collect_list的排序

from pyspark.sql.window import Window

window_ = Window.partitionBy("userid").orderBy("stay_start_time")
df42= df3.join(df41,'userid','inner').withColumn('lng_lat',concat_ws(',',col('stay_lng'),col('stay_lat')))\
.withColumn("lng_lats",F.collect_list("lng_lat").over(window_))\
.groupby('userid','lng','lat').agg(F.max("lng_lats").alias("lng_lats"))\
.withColumn("lng_lats",concat_ws(';',col('lng_lats')))\
.cache()
df42.show(truncate=False)

原网站

版权声明
本文为[yisun123456]所创，转载请带上原文链接，感谢
https://blog.csdn.net/yisun123456/article/details/124802467