当前位置:网站首页>Nifi 快速安装及文件同步操作
Nifi 快速安装及文件同步操作
2022-04-23 14:02:00 【百夜﹍悠ゼ】
Nifi简单来说是一个数据拉取、数据处理以及数据分发的系统。
Nifi运行需要JVM,需要jdk,nifi 1.x以上需要jdk8以上,0.x需要jdk7以上。
本文是在Centos 7中安装nifi-1.8.0-bin.tar.gz
下载地址:nifi.apache.org/download (xx.tar.gz 是Linux版本,xx.zip是Windows版本)
使用手册:http://nifi.apache.org/docs.html
安装
1.下载安装包
wget -b http://mirror.bit.edu.cn/apache/nifi/1.8.0/nifi-1.8.0-bin.tar.gz
2.解压安装包
tar -zxf nifi-1.8.0-bin.tar.gz
3.修改nifi/conf目录下nifi.properties文件
修改主机号和端口号
nifi.web.http.host=主机号
nifi.web.http.port=服务端口号[自定义]
# web properties #
nifi.web.war.directory=./lib
nifi.web.http.host=192.168.197.106 // 修改为自己主机ip
nifi.web.http.port=8182 // 默认8080,防止端口占用,可以修改为其他端口
nifi.web.http.network.interface.default=
nifi.web.https.host=
nifi.web.https.port=
nifi.web.https.network.interface.default=
nifi.web.jetty.working.directory=./work/jetty
nifi.web.jetty.threads=200
nifi.web.max.header.size=16 KB
nifi.web.proxy.context.path=
nifi.web.proxy.host=
4.服务启动
进入nifi/bin 目录,运行nifi.sh文件,前后台运行命令如下
./nifi.sh run //前台运行
./nifi.sh start //后台运行
出现如下提示即服务启动成功,
Java home: /opt/soft/jdk180
NiFi home: /opt/soft/nifi-1.8.0
Bootstrap Config File: /opt/soft/nifi-1.8.0/conf/bootstrap.conf
查看nifi启动状态
./nifi.sh stauts
-----------------------------------------------------------------------------------------------------------
Java home: /opt/soft/jdk180
NiFi home: /opt/soft/nifi-1.8.0
Bootstrap Config File: /opt/soft/nifi-1.8.0/conf/bootstrap.conf
2021-05-01 17:24:49,589 INFO [main] org.apache.nifi.bootstrap.Command Apache NiFi is currently running, listening to Bootstrap on port 43069, PID=2099
5.服务关闭
如果是前台运行,直接Ctrl+C 退出服务。
如果是后台运行,可进入nifi/bin目录,执行如下命令
./nifi.sh stop
6.web UI
服务启动1-5分钟后,可以打开web查看,http:192.168.197.106:8182/nifi,如图所示。
使用
文件同步
实现:将/opt/act.log 文件内容同步到/opt/data空目录下,且保留源文件。
需要处理器 GetFile (读取并删除文件) + PutFile(保存文件)
在工具栏中拖拽一个Processor进入画布,输入’local’,选择’GetFile’处理器,点击ADD添加到画布中,同样的操作创建一个’PutFile’处理器。
配置GetFile处理器
1.选中处理器,右击选择“configure”,“settings”中勾选“success”,自动终止关系。
2.“properties”属性配置。
- Input Directory:输入源目录
- File Filter:文件过滤器
- Keep Source File:是否保留源文件,默认false
- Recurse Subdirectories:是否拉取子目录中的文件,默认true
配置完毕后,点击‘apply’保存应用。
配置PutFile处理器
1.选中处理器,右击选择“configure”,在“settings”中勾选“failure”和“success”。
2.“properties”属性配置
- Directory:目标目录
- Conflict Resolution Strategy:指定存在同名文件后的操作。可选值:replace替换已有文件,fail执行失败,不生成文件,ignore忽视。
- Create Missing Directories:指定不存在目标目录是否创建目录。可选值:true新建,false不新建。
配置完毕后,点击‘apply’保存应用。
连接处理器
1.鼠标移动到’GetFile’上,出现如下箭头,点击拖拽到’PutFile’上。
2.配置“Settings”,设定name:demo1,增加优先级,‘FirstInFirstOutPrioritizer’。点击’add’,创建连接。
3.右击画布选择’Start‘,可见数据流通。GetFile 读取文件输出7.36KB,PutFile写入文件到目标目录中,7.36KB,同时在目标目录中可见act.log文件。
版权声明
本文为[百夜﹍悠ゼ]所创,转载请带上原文链接,感谢
https://blog.csdn.net/AlierSnow/article/details/116454058
边栏推荐
- Go语言 RPC通讯
- SQL: How to parse Microsoft Transact-SQL Statements in C# and to match the column aliases of a view
- 美联储数字货币最新进展
- 神经元与神经网络
- 变长参数__VA_ARGS__ 和 写日志的宏定义
- Program compilation and debugging learning record
- 第十五章 软件工程新技术
- FBS(fman build system)打包
- Logging模块
- China creates vast research infrastructure to support ambitious climate goals
猜你喜欢
Lin Lin, product manager of Lenovo: network failure of local network operator in Tianjin. The background server of Zui system can't work normally for the time being
Pytorch 经典卷积神经网络 LeNet
蓝绿发布、滚动发布、灰度发布,有什么区别?
分库分表 & ShardingSphere
groutine
微信小程序通过低功耗蓝牙设备进行定位及测距(二)
Basic knowledge learning record
SQL数据库
Android interview theme collection
visio安装报错 1:1935 2:{XXXXXXXX...
随机推荐
SQL数据库
基于ibeacons签到系统
33 million IOPs, 39 microsecond delay, carbon footprint certification, who is serious?
JS 力扣刷题 102. 二叉树的层序遍历
CentOS mysql多实例部署
UML Unified Modeling Language
JMeter pressure test tool
接口文档yaml
STM32学习记录0007——新建工程(基于寄存器版)
JS 烧脑面试题大赏
大专的我,闭关苦学 56 天,含泪拿下阿里 offer,五轮面试,六个小时灵魂拷问
New关键字的学习和总结
FBS(fman build system)打包
初识go语言
freeCodeCamp----time_ Calculator exercise
Neuron and neural network
How does redis solve the problems of cache avalanche, cache breakdown and cache penetration
Decentralized Collaborative Learning Framework for Next POI Recommendation
STM32 learning record 0007 - new project (based on register version)
Android: answers to the recruitment and interview of intermediate Android Development Agency in early 2019 (medium)