当前位置：网站首页>org.apache.parquet.schema.InvalidSchemaException: A group type can not be empty. Parquet does not su

org.apache.parquet.schema.InvalidSchemaException: A group type can not be empty. Parquet does not su

2022-04-23 14:02:00 【百夜﹍悠ゼ】

1.读取cvs文件数据写入parquet文件

	val spark =SparkSession.builder().appName("test").master("local").getOrCreate()
	val file = "hdfs://clusters/test/demo.csv"
    val frame = spark.read.option("header","true").csv(file)
    frame.printSchema()
    val newfile = file.split("\\.")(0)+".parquet"
    frame.write.parquet(newfile)

报错提示：

org.apache.parquet.schema.InvalidSchemaException: A group type can not be empty. Parquet does not support empty group without leaves. Empty group: spark_schema

网上找了一大堆资料，大体解释都是说dataframe的schema结构问题，但本文并非此问题。
经过N次尝试，最终确定问题所在是 .parquet(newfile)。代码程序查询，发现此parquet方法调用的parquet包存在两个，默认使用了第一个包，而然这个包并非是spark-sql下的parquet包。
然后，就抱着试试的心态删除了版本1.8.1的parquet包，留下和spark依赖中的parquet包，重新运行代码，直捣黄龙。

在这里插入图片描述

版权声明
本文为[百夜﹍悠ゼ]所创，转载请带上原文链接，感谢
https://blog.csdn.net/AlierSnow/article/details/118966472

边栏推荐

猜你喜欢

随机推荐