当前位置:网站首页>18.flink Table/Sql API之 catlog
18.flink Table/Sql API之 catlog
2022-08-09 02:03:00 【会飞的鱼干干】
概要
本小节只讲解catlog的概念,不涉及代码部分,而这一部分的知识是十分重要的。
1.catlog是干嘛的
flink内部的Table是flink自己的数据对象,不是狭义上的mysql上的table, flink连接外部数据库(比如mysql/hive)建立Table的时候需要catlog提供的元数据信息做桥接。 这就是catlog的作用。 引用官网的一句话:Catalog 使用户能够引用其他数据库中的元数据,并自动将它们映射到 Flink 对应的元数据。 这些元数据是sql支持的基础。
2.catlog有哪些
要知道不同的数据库的元数据类型不一样,因此catlog也分为很多种。
- GenericInMemoryCatalog
内存型catlog,所有对象仅在会话的生命周期内可用。 - JdbcCatalog
JdbcCatalog提供了flink到mysql的元数据的映射,使得flink可以很方便的将myql数据库中的数据转换成flink的Table。 - HiveCatalog
作为纯 Flink 元数据的持久存储,以及作为读取和写入现有 Hive 元数据的接口。 - 自定义catlog
需要用户实现CatalogFactory 接口
3.总结
catlog作为flink 和外部数据存储系统的元数据映射媒介是很重要的,你需要理解利用catlog你就实现在flink代码中连接以及操作外部数据库。 catlog 可以查看数据库databases, 创建数据库,在数据库中创建表格, listtable. 等。
边栏推荐
猜你喜欢
New Swagger3.0 tutorial, OAS3 quick configuration guide, to automate API interface documentation!
JDBC技术(三)——使用Druid数据库连接池测试
Group DETR:分组一对多匹配是加速DETR收敛的关键
mysql连接超过八小时报错
torchversion.transforms的使用
Use of torchversion.transforms
数据库设计的总结
etcd实现大规模服务治理应用实战
数据恢复软件EasyRecovery支持恢复所有类型的文件
力扣刷题记录10.1-----19. 删除链表的倒数第 N 个结点
随机推荐
数据库设计的总结
边缘计算的三个关键好处
ZCMU--5115: Buying Keys(C语言)
Data recovery software EasyRecovery supports recovery of all types of files
Force buckled brush problem record 7.1 -- -- -- -- -- 707. The design list
史上最猛“员工”,疯狂吐槽亿万富翁老板小扎:那么有钱,还总穿着同样的衣服!
JDBC技术(一)——一个简单的JDBC测试
2022 China Eye Expo, China Beijing International Children and Adolescent Eye Health Industry Exhibition
数字孪生+燃气管理,开启智慧燃气管理新模式
HNUMSC-C语言第一课
qps tps rps 区别
德语翻译器在线翻译中文
LeetCode每日两题02:轮转数组 (均1200道)
力扣刷题记录9.1-----24. 两两交换链表中的节点
右键新建缺少word、excel选项问题处理
composer的使用记录
2022PMP项目管理认证考试报考指南(1)
OpenMLDB + Jupyter Notebook:快速搭建机器学习应用
【Unity】判断鼠标是否点击在UI上
2.1-----27. Remove elements