当前位置：网站首页>四、业务数据解析

四、业务数据解析

2022-08-08 09:51:00 【TUJC】

一、项目背景

1、背景需求

通过业务库实时解析数据，实现订单的实时解析。
在这里插入图片描述
在这里插入图片描述

四张mysql数据库业务表，司机表，乘客表，订单表以及司管方表，
通过maxwell实时的解析mysql的binlog数据，将数据发送到kafka，
然后sparkSteaing进行消费保存数据到hbase

通过解析kafka当中的binlog数据，将所有的表数据保存到对应的Hbase表当中去，我们需要考虑到Hbase表的预分区的操作，提前创建hbase的对应的表，并考虑我们的rowkey的设计，实现数据的均匀的分区，避免Hbase数据的倾斜；

（1）maxwell实时的解析mysql的binlog数据，发送到kafka的配置
（2）hbase的建表预分区的操作，phoenix来映射hbase的数据
（3）sparkSteaing消费kafka数据，保存数据到hbase
（4）

2、数据源描述

1）hbase建表预分区

1）rowkey加密然后截取12位，前面拼上四位数

原网站

版权声明
本文为[TUJC]所创，转载请带上原文链接，感谢
https://blog.csdn.net/TU_JCN/article/details/126207654

边栏推荐

猜你喜欢

随机推荐