Debezium系列之：记录一次快速处理生产环境debezium connector故障，并使用debezium补缺失的数据

Debezium系列之：记录一次快速处理生产环境debezium connector故障，并使用debezium补缺失的数据

Debezium系列之：记录一次快速处理生产环境debezium connector故障，并使用debezium补缺失的数据

• 一、背景
• 二、快速恢复connector
• 三、使用debezium补缺失的数据

一、背景

debezium生产环境connector故障了，需要快速处理才能不影响后续数据开发任务，同时需要确保数据不会有遗漏。出现数据遗漏需要把遗漏的数据补充完整。

• debezium connector状态是正常的，但是发现debezium没有采集数据库数据
• 生产环境需要快速使connector恢复工作采集数据
• 解决思路是：先恢复connector实现实时采集数据，再通过debezium补历史遗漏数据

二、快速恢复connector

• connector状态正常，但就是无法采集数据，直接删除debezium故障的connector
• 提交一个新的debezium connector，可以使用新的history topic，创建新的history topic，使用新的connector名称
• 使用的模式是schema_only，如提示需要使用schema_only_recovery，则更新模式为schema_only_recovery，或者直接删除connector，使用schema_on