GBase 8a MPP Cluster产品高级特性

1.数据加载
GBase 8a MPP Cluster中，集群加载功能直接集成在GBase 8a MPP Cluster内部，不需要额外部署外部加载工具。
加载工具具备如下一些特性和优点：
1）与集群高度集成，方便部署；
2）支持SQL及外部工具的加载方式；面向用户的SQL接口方式使集群和单机加载方式统一，更符合用户的使用习惯；
3）支持单表多数据源并行加载，支持多加载机对单表的并行加载，最大化加载性能；
4）支持从通用数据服务器拉取数据，支持ftp/http/hdfs/RESTFUL/Kafka等多种文件传输协议；
5）支持普通文本、gzip压缩、snappy压缩等多种格式数据文件；
6）支持普通文本、定长文本、宽松模式的加载；
7）支持错误数据溯源功能，可以准确定位错误数据在源文件中的位置；
8）加载性能可以随着集群规模的扩展而持续提升。
2.kafka数据集成
数据同步系统通过OGG复制Oracle的业务数据到8a MPP，为了应对业务系统可能的峰值，在系统中加入Kafka消息队列作为缓冲区。总体流程如下：

OGG发送端（GoldenGate Extract）从Oracle的在线日志和归档日志中抽取事务信息，生成Trail文件。OGG接收端（GoldenGate Replicat）收到Trail文件抽取事务信息转换为目标格式，并生产事务消息到Kafka。Consumer从Kafka中消费事务消息，将数据更新到8a MPP Cluster中。
Kafka consumer的主要功能就是同步Kafka数据到8a MPP Cluster：
1）根据配置，可以指定需要同步的业务；
2）在同步过程中，提供同步状态查询功能；
实现数据同步的高可用性和事务数据一致性