Flink CDC 2.3发布

2024年1月25日发(作者：)

软件天地

计算机与网络2.3■李佳FlinkCDC是基于数据库的日志CDC技术，实现了全增量一体化读取的数据集成框架。配合Flink优秀的管道能力和丰富的上下游生态，FlinkCDC可以高效实现海量数据的实时集成。分片算法优化版本对全量阶段分片算法进行优化。将目前的同步分片改为异步进行，支持用户指定主键中某一列作为分片的切分列，并且分片过程支持checkpoint，提升了全量读取阶段时因为同步分片阻塞导致的性能问题。稳定性提升FlinkCDC具有全增量作为新一代的实时数据集成框架，一体化、无锁读取、并行读取、表结构变更自动同步、分布式架构等技术优势，同时社区提供了完整的文档支持。在FlinkMySQLCDC连接器支持全部字符集对接到FlinkSQL，解锁更多用户场景，支持宽容默认值提升作业对不规范DDL的容忍度，支持自动获取数据库的时区从而解决时区问题。性能提升CDC开源的2年多时间里，社区成长迅速，目前FlinkCDC社区已有76位贡献者，7位Maintainer，社区钉钉用户群超过7800人。2.3版本共有49位社区贡献者参与贡献，累计解决126个issue，合并了133个PR，累计贡献了170余个提交。从代码分布上看，MySQLCDC，MongoDBCDC，OracleCDC和增量快照框架（flink-cdc-base）模块以及文档模块均为用户带来了很多特性和改进。FlinkCDC2.3版本带来了诸多重要的改进和特性，这里挑选最重要的4个进行深入解读。新增Db2CDC连接器MySQLCDC重点优化了内存和读取性能，通过JM里的meta复用和TM中流式读取等改进降低了JM和TM的内存使用；同时通过优化Binlog解析逻辑提升了Binlog读取性能。其他改进FlinkCDC2.3版本兼容了Flink1.13，1.14，1.15，1.16四个大版本，极大地降低用户Connector的升级和运维成本。Db2是IBM开发的关系型数据库。Db2CDC连接器可以捕获Db2数据库中表的行级变更，其实现原理是基于ASNOceanBaseCDC修复了时区问题，支持全类型对接到并提供了更多的配置项，支持更灵活的配置。如新FlinkSQL，增加table-list配置项，支持访问多张OceanBase数据表等。Capture/Applyagents提供的SQL复制能力，将数据库中开启capturemode的表的变更存到指定的changetable中。Db2CDC连接器首先通过JDBC读取表中的历史数据，再从从而实现全增量同步。changetable中获取增量变更数据，MongoDBCDC支持了更多的数据类型，优化了捕获表的筛选过程。支持读取TiDBCDC修复了全增量切换时数据丢失问题，时region切换。支PostgresCDC支持geometry类型，开放了更多配置项，持配置changelogmode来过滤发送的数据。并对文档进行完善。SqlServerCDC支持了更多的版本，MongoDBCDC，OracleCDC连接器支持增量快照算法在FlinkCDC2.3版本中，MongoDBCDC连接器和OracleCDC连接器都对接到了FlinkCDC增量快照框架上，实现了增量快照算法，从而提供无锁读取、并行读取和断点续传的功能。至此，在FlinkCDC支持增量快照算法的数据源不断扩大，接下来的版本中，社区也在规划让更多的连接器对接到增量快照框架上。MySQLCDC和OceanBaseCDC连接器提供了中文文档，此外还对OceanBaseCDC连接器提供了视频教程。未来规划得益于贡献者们的无私贡献FlinkCDC开源社区的发展，和Maintainer成员的开源布道，更离不开广大FlinkCDC用户群体的积极反馈和宣传布道，FlinkCDC社区将会继续做好开源社区建设。当前FlinkCDC社区正在做2.4版本的规划，也欢迎所有用户和贡献者参与反馈，在接下来的2.4版本，社区主要方向计划从下述4个方面展开：数据源完善支持更多的数据源，推动更多的CDC连接器接入增量快照框架，支持无锁读取、并发读取、断点续传等特性。MySQLCDC连接器优化2.3版本作为社区最受用户关注的MySQLCDC连接器，中社区引入了诸多高级特性，极大地提升了性能和稳定性，具体包括：支持指定位点启动可以通MySQLCDC连接器支持从指定的位点启动作业。过Timestamp、BinlogOffset或BinlogGtid的方式指定作业启动时的Binlog具体位置，还支持设置为Earliest-Offset从最早的Binlog位点启动作业。Copyright©博看网. All Rights Reserved.

32

计算机与网络软件天地

■都迎在远程办公期间，正常的办公与业务交流，可以通过个人电脑+网络的配置轻松解决。不过面临企业内网环境的操作或者是依赖较高性能电脑的工作时，远程办公就显得有些鞭长莫及了。为了保障远程办公的工作效率与质量，在不影响信息安全与保密的情况下，引入外部工具作为辅助也不失为一种好的选择。《向日葵远程控制》作为一款能实时桌面图像传输及控制的互联网软件，能够通过远程桌面方式实现远程控制公司电脑，有效解决外部网络无法访问企业内网以及电脑性能限制的问题，同时可提供更接近本地的远控电脑操作体验。更重要的是，向日葵能为个人用户提供免费不限速的远程控制服务，同时支持多系统设备的适配能力，覆盖Windows，macOS，iOS，Android，Linux等多个平台，可满足远程控制电被控端主机，即可发起远程控制。通过上述三步流程，就完成了远控的所有准备步骤。不过值得注意的是，远程控制的实现是建立在远端设备处于开机的前提下的。为了避免蓝屏死机或者设备无法开机等情况，推荐搭配向日葵的辅助开机硬件一起使用，提前在公司设备端配置诸如向日葵开机盒子、开机插座等产品，就能顺利构建起集远程开机-控制-关机软硬一体的服务生态闭环。在实际体验《向日葵远程控制》电脑办公时，除了拥有令人满意的远控服务稳定流畅性之外，向日葵还附带了一些比较人性化的实用小功能，诸如远程桌面观看、远程摄像头、远程文件、远程CMD/SHH等。桌面观看：会议较多以及有教学演示需求人群必备，在该功能下可以远程观看被控端设备的屏幕，达到更直观的演示效果。远程摄像头：通过该功能可以远程观看被控设备摄像头拍摄的画面，技术宅人群可以将家中一些闲置的手机等设备利用起来，低成本组建一套简单的家用监控系统。远程文件：适合容易经常性遗忘重要文件的人群，该功能可以快速进行远程文件传输，存取文件十分便利。在向日葵客户端界面点击“远程文件”按钮即可使用，还可以直接从远控窗口以拖拽或剪贴板的方式实现文件传输。远程CMD/SHH：可以快速帮助程序员与运维人员到达编辑窗口的效果，更高效地通过命令行的方式远程控制被控设备，检查电脑程序、网络等问题。除了实用功能之外，向日葵对于个人用户隐私防护方面也绝不含糊，在向日葵客户端启用黑屏功能，就能关闭远程电脑的屏幕，防止他人看到自己的远程操作。并且在整个远控过程中，都会采用加密传输方式。远程办公结束后，可设置“自动锁定屏幕”“客户端锁定”等功能，强化远程办公的安全性。显然，在居家办公条件受到制约的情况下，向日葵的实时桌面图像传输及控制技术可以解决大部分异地办公操作难题，甚至是还原如同身处本地的流畅体验。力；提供更丰富的监控指标，可以获取到任务进度相关指标监控任务状态。易用性提升提升连接器的易用性，比如简化开箱即用的配置参数，提供DatastreamAPI程序示例等。脑、远程控制手机、远程游戏、远程文件传输、远程开机、远程控制家电等诸多需求。不同的工作岗位人群，对于远控所能达到的预期标准也各不相同。为此，向日葵推出了三大桌面模式，分别针对远程办公、远程设计、远程游戏等三个标志性场景，提供精准适配的远程控制服务。其中办公模式是向日葵的默认模式，支持智能调节画质和带宽，适用于大多数远控办公场景，可以提供综合性能最为稳定的服务；高清模式通过SADDC算法的视觉显著性策略，可在实现画质提升的同时，保证远控的整体流畅性。在使用向日葵之前，需要进行必要的安装配置操作，所幸向日葵的部署方式并不复杂，只需跟着完善的设置引导按步骤操作即可。下面以最常使用的Windows系统为例，给大家简单介绍大致的安装与设置操作。第一步：访问向日葵官网，在被控电脑下载并安装最新版的《向日葵远程控制》软件———《向日葵个人版forWindows》。第二步：完成注册/登录帐号步骤，绑定被控主机并设置访问密码。第三步“主控端（PC/手机）下载对应版本的《向日葵远程控制》软件，并登录同一帐号，在设备列表中找到刚刚绑定的性能提升支持使用Batch模式同步全量阶段数据，提升全量阶段性能；全量读取阶段结束后自动释放空闲Reader资源等。可观测性提升提供限流功能，以降低全量阶段对数据库产生的查询压Copyright©博看网. All Rights Reserved.

33