linux_china技术雷达linux_china技术雷达
试用

Debezium用于变更数据捕获(DCC)的开源分布式平台,借助Debezium,您可以将数据库中的所有插入、更新和删除操作转换为事件流,以便您的应用程序可以快速响应这些事件。 Debezium支持多种数据库,包括MySQL、PostgreSQL、MongoDB、SQL Server、Oracle和Cassandra等, 它可以将数据库中的变更事件转换为Kafka消息,以便您的应用程序可以订阅这些事件。

Debezium Architecture

Debezium一些特性如下:

  • 支持多种数据库
  • 利用数据做更多事情:数据总是在不断变化的,Debezium可以帮助你持续监控变更的数据,如缓存清除、增量索引、数据同步等等。
  • 简化你的程序:更准确的异步通知,确保数据幂等
  • 不会错过任何变更:即便程序需要重启,也不会错过任何变更。
  • 反应快:与Kafka集成,可以快速处理大量的数据

Debezium在大数据中已经被大量使用,详细请参考 https://debezium.io/community/users/
所以我们建议在架构中可以考虑使用Debezium,尤其是是数据变更(DCC)场景。

Debezium & Friends

  • Canal: 阿里巴巴 MySQL binlog 增量订阅&消费组件
  • Maxwell's daemon: a change data capture application that reads MySQL binlogs and writes data changes as JSON to Kafka, Kinesis, and other streaming platforms.

References