Debezium系列之:基于Debezium实现高可靠性高实时性秒级别的数据响应系统
- 一、高可靠性高实时性系统的需求背景
- 二、具体实现的技术方案
- 三、具体实现技术步骤
- 四、实时同步数据到下游
- 五、技术方案总结
一、高可靠性高实时性系统的需求背景
- 用户在APP更新数据后,数据插入mysql数据库后,debezium采集数据到Kafka,下游flink消费kafka topic中的数据后,插入到ElasticSearch数据库或Starrocks数据库后,业务能够在系统界面立即查询到用户的更新数据,整个过程要能够实现秒级别的响应。
- 对系统的要求是24小时高可靠性高实时性实现数据处理的秒级别响应。
二、具体实现的技术方案
-
Debezium基于Kafka Connect集群实现的数据采集会受到多种因素影响,例如kafka connect重平衡等,因此存在无法保证系统24小时实现数据处理的秒级别响应。
-
因此,需要考虑新的技术方案,这里有两种技术方案可以考虑:
- 基于Debezium引擎技术