2024新版FlinkCDC

雅隽尚硅谷 2024-04-17 05:21:12
教程简介: FlinkCDC是Flink社区开发的组件,搭配Flink流批一体数据计算引擎,能够实现采集计算一体化,更加方便项目的需求开发和后续维护。 FlinkCDC 1.x带来了Flink通过监控数据库的Binlog,实时获取数据库动态变化数据,FlinkCDC 2.x带来了无锁全量同步,但都需要开发代码完成同步数据功能。FlinkCDC 3.0形成了自己的框架,只需要一个配置信息,无须开发代码即可实现数据同步,同时还能获取元数据变更,即数据库中添加字段之后,下游Sink端会自动同步变更元数据,无须重启就可以做到同步表变更。 本套教程理论与实践相结合,从FlinkCDC的基本使用入手,分别讲解了DataStream和FlinkSQL两种方式,充分调研FlinkCDC 3.0,给出了更优化的解决方案,并结合源码深入分析了其核心原理。教程附赠全套视频、代码、文档及资料。 ------------------------------------------- 教程目录: 01.FlinkCDC教程简介 02.FlinkCDC-3.0-内容介绍 03.FlinkCDC-3.0-简介(CDC是什么) 04.FlinkCDC-3.0-简介(CDC的种类) 05.FlinkCDC-3.0-简介(FlinkCDC) 06.FlinkCDC-3.0-案例实操(数据准备) 07.FlinkCDC-3.0-案例实操(创建项目&导入依赖) 08.FlinkCDC-3.0-案例实操(DataStream方式读取 代码编写) 09.FlinkCDC-3.0-案例实操(DataStream方式读取 代码测试1) 10.FlinkCDC-3.0-案例实操(DataStream方式读取 代码测试2) 11.FlinkCDC-3.0-案例实操(DataStream方式读取 代码测试3) 12.FlinkCDC-3.0-案例实操(FlinkSQL方式读取 代码编写&测试) 13.FlinkCDC-3.0-案例实操(MySQL到Doris 环境准备) 14.FlinkCDC-3.0-案例实操(MySQL到Doris 同步变更 测试) 15.FlinkCDC-3.0-案例实操(MySQL到Doris 路由变更 测试)
0 阅读:0

雅隽尚硅谷

简介:感谢大家的关注