当前位置：网站首页>Flink CDC 2.0及其他数据同步工具对比

Flink CDC 2.0及其他数据同步工具对比

2022-08-10 02:43:00 【贾斯汀玛尔斯】

CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC 。

基于查询的 CDC：
离线调度查询作业，批处理。依赖表中的更新时间字段，每次执行查询去获取表中最新的数据；
无法捕获删除事件，从而无法保证数据一致性；
无法保障实时性，基于离线调度存在天然的延迟。
基于日志的 CDC：
实时消费日志，流处理。例如 MySQL 的 binlog 日志完整记录了数据库中的变更，可以把 binlog 文件当作流的数据源；
保障数据一致性，因为 binlog 文件包含了所有历史变更明细；
保障实时性，因为类似 binlog 的日志文件是可以流式消费的，提供的是实时数据。