当前位置:网站首页>Spark读取多目录
Spark读取多目录
2022-08-09 13:11:00 【南风知我意丿】
项目场景:
上游任务按类型生成json文件存放到hdfs上,会生成很多目录。
下游任务需要读取这些目录下得文件,生成df进行处理。
解决方案:
目录结构:
1.sparkContext
方式一
val session: SparkSession = SparkSession.builder().master("local[*]").appName("read_Muti_catalogue").getOrCreate()
val sc: SparkContext = session.sparkContext
import session.implicits._
//方式一:
sc.textFile("/tmp/lzx/a,/tmp/lzx/b").toDF().show(false)
方式二
val session: SparkSession = SparkSession.builder().master("local[*]").appName("read_Muti_catalogue").getOrCreate()
val sc: SparkContext = session.sparkContext
import session.implicits._
//2.1.方式二:匹配字符
val path1 = "/tmp/lzx/[a]"
val path2 = "/tmp/lzx/[b]"
val arryPath: Array[String] = Array(path1, path2)
val rdds: Array[RDD[String]] = arryPath.map(sc.textFile(_))
sc.union(rdds).toDF().show(false)
//2.2.方式二:匹配数字
val path3 = "/tmp/lzx/*1"
val path4 = "/tmp/lzx/*2"
val arryPath2: Array[String] = Array(path3, path4)
val rdds2: Array[RDD[String]] = arryPath2.map(sc.textFile(_))
sc.union(rdds2).toDF().show(false)
session.close()
2.sparkSession
//3.SparkSession
println("3.SparkSession-----------------------")
val path5 = "/tmp/lzx/*1"
val path6 = "/tmp/lzx/*2"
val arryPath3: Array[String] = Array(path5, path6)
// :_* 作为一个整体,一般可以用于获取一个数组的全部字段
//spark.read.textFile方法返回只有一列value的DataSet表。
val ds: Dataset[String] = session.read.textFile(arryPath3: _*)
ds.show()
//spark.read.text方法返回只有一列value的DataFrame表。
val df: DataFrame = session.read.text(arryPath3: _*)
df.show()
3.通配符使用说明
注意:
每个路径都要定位到最后一级。
路径之间不能存在包含关系。
目录与文件不要混放,即放在同一个目录下。
路径中可使用通配符
参考
https://blog.csdn.net/weixin_40829577/article/details/103847405
边栏推荐
猜你喜欢
搭建大型分布式服务(二)搭建会员服务
RobotFramework 之 库与关键字
pytest 筛选用例
一篇ngork直接使用
Uni - app - uview Swiper shuffling figure component, click on the links to jump (click to get the item after the row data, remove data operation)
01_iTween_第一天--小球抛物线
蓝桥历届真题-既约分数
Q_04_05 使用Qubits
gin's middleware and routing grouping
蓝桥历届真题-门牌制作
随机推荐
面试攻略系列(四)-- 你不知道的大厂面试
缓存和数据库一致性问题
音视频录入的pts和dts问题
RobotFramework 之 Evaluate
富媒体在客服IM消息通信中的秒发实践
二叉树的遍历(py)
【NVIDIA】Tesla V100安装NVIDIA-Driver驱动程序适配CUDA-Toolkit-11.6
gin's middleware and routing grouping
Oracle Recovery Tools修复空闲坏块
面试攻略系列(二)-- 秒杀系统
RTP打包发送H.264
神经网络与深度学习(TensorFlow)
FFMPEG multimedia file processing (deletion and renaming of ffmpeg files)
The sword refers to Offer 57 - II. and is a continuous positive sequence of s (sliding window)
RobotFramework 之 资源文件
error Trailing spaces not allowed no-trailing-spaces 9:14 error Unexpected trailing comma
Microsoft 10/11 命令行打开系统设置页(WUAP,!WIN32)
pytest 与 unittest 的区别
微服务+微信小程序实现社区服务
机器学习web服务化实战:一次吐血的服务化之路 (转载非原创)