当前位置：网站首页>kettle庖丁解牛第16篇之输入组件周边讲解

kettle庖丁解牛第16篇之输入组件周边讲解

2022-04-23 13:19:00 【飞哥大数据】

引言

上一篇文章中，我们介绍了：XML input stream (StAX)组件的各种详细设置，最后实战演示了如何操作它来读取磁盘上的xml文件、还有清洗数据的操作。

在本篇文章中，我们接着介绍：kettle中的输入组件，前面我们介绍了一些常用的输入组件。本篇文章再扩展的讲解一些不常用的组件，这些组件操作起来非常简单，所以我只演示如何操作，不再像之前那样详细讲解选项了，大家一看就能明白如何使用。

转换

转换(transaformation)是ETL解决方案中最主要的部分，它处理抽取、转换、加载各种对数据行的操作。

创建转换

我们要做的ETL操作，全是在转换中设计的，所以我们要先创建一个转换。

kettle庖丁解牛第16篇之输入组件周边讲解_自定义常量数据

kettle庖丁解牛第16篇之输入组件周边讲解_kettle_02

保存转换

kettle庖丁解牛第16篇之输入组件周边讲解_kettle_03

给你新建的转换，起个名字，并保存

kettle庖丁解牛第16篇之输入组件周边讲解_生成记录_04

kettle庖丁解牛第16篇之输入组件周边讲解_自定义常量数据_05

生成记录

简介

需要将一部分文本数据变成数据行，每个字段作为一个数据行的一个列，那么就可以利用这个组件

kettle庖丁解牛第16篇之输入组件周边讲解_生成随机数_06

kettle庖丁解牛第16篇之输入组件周边讲解_生成记录_07

kettle庖丁解牛第16篇之输入组件周边讲解_生成随机数_08

预览记录

kettle庖丁解牛第16篇之输入组件周边讲解_获取系统信息_09

kettle庖丁解牛第16篇之输入组件周边讲解_生成记录_10

kettle庖丁解牛第16篇之输入组件周边讲解_kettle_11

生成随机数

简介

在使用Kettle进行数据入库的时候，经常会涉及到为ID字段生成唯一标识，而UUID通常是我们生成唯一表示的选择，这个时候就需要使用到“生成随机数”功能算子，通过“生成随机数”可以生成UIID。

日常工作中，有时只想用些数据测试，但又不想从数据库或Excel输入，这时就可以生成随机数。

kettle庖丁解牛第16篇之输入组件周边讲解_获取系统信息_12

kettle庖丁解牛第16篇之输入组件周边讲解_获取系统信息_13

kettle庖丁解牛第16篇之输入组件周边讲解_获取系统信息_14

预览记录(执行多次)

kettle庖丁解牛第16篇之输入组件周边讲解_生成随机数_15

kettle庖丁解牛第16篇之输入组件周边讲解_生成记录_16

kettle庖丁解牛第16篇之输入组件周边讲解_获取系统信息_17

kettle庖丁解牛第16篇之输入组件周边讲解_生成随机数_18

kettle庖丁解牛第16篇之输入组件周边讲解_生成记录_19

可以看到，每次运行的结果是不同的，因为每一次都是产生的随机数。

自定义常量数据

简介

自定义常量数据，就是生成key-value形式的常量数据。

kettle庖丁解牛第16篇之输入组件周边讲解_自定义常量数据_20

kettle庖丁解牛第16篇之输入组件周边讲解_获取系统信息_21

kettle庖丁解牛第16篇之输入组件周边讲解_获取系统信息_22

kettle庖丁解牛第16篇之输入组件周边讲解_生成随机数_23

预览记录

kettle庖丁解牛第16篇之输入组件周边讲解_kettle_24

kettle庖丁解牛第16篇之输入组件周边讲解_生成记录_25

kettle庖丁解牛第16篇之输入组件周边讲解_生成随机数_26

获取系统信息

简介

系统信息是指Kettle系统环境的信息，包括计算机系统的日期，星期等时间类型的信息，计算机名称、IP地址、转换或者作业的开始结束时间(用于数据增量处理)、上一个作业完成情况和命令行参数等等信息等等。

通过获取系统信息组件，我们就可以获取到这些数据。

kettle庖丁解牛第16篇之输入组件周边讲解_生成记录_27

kettle庖丁解牛第16篇之输入组件周边讲解_生成记录_28

选择 系统信息的类型

kettle庖丁解牛第16篇之输入组件周边讲解_生成记录_29

列出 Kettle支持的所有信息类型

kettle庖丁解牛第16篇之输入组件周边讲解_生成记录_30

自定义几个系统变更量

kettle庖丁解牛第16篇之输入组件周边讲解_生成随机数_31

预览记录

kettle庖丁解牛第16篇之输入组件周边讲解_生成记录_32

kettle庖丁解牛第16篇之输入组件周边讲解_自定义常量数据_33

kettle庖丁解牛第16篇之输入组件周边讲解_获取系统信息_34

结束语

本篇文章主要讲解了：生成记录组件、生成随机数组件、自定义常量数据组件、获取系统信息组件。

到这篇文章为止，kettle的输入组件，常用的基本就全介绍完了。后续主要讲解的是：kettle的输出组件。

兄弟，其实想和作是有一段距离的，你想着想着就没有了，可是你做着做着，它就落地了。

啥都别说了，兄弟们后面跟着我干就完了，我们依然掰开揉碎的方式去说。后续的内容更精彩，敬请期待，感谢兄弟们的关注！！

版权声明
本文为[飞哥大数据]所创，转载请带上原文链接，感谢
https://blog.51cto.com/51power/5248455

边栏推荐

猜你喜欢

随机推荐