flink如何实现恰好一次

flink如何实现恰好一次

要理解flink如何实现恰好一次，恰好一次的反例是重复或丢失，checkpoint和kafka等可重放的数据源保证不丢失，支持事务的sink保证数据不重复

实现恰好一次需要在数据源+计算引擎+sink端都做处理，其中各部分需要满足的条件如下：

1、数据源

• 可记录消费位点
• 可重放数据流(当下游计算失败重启时可以重新消费某些数据)

2、计算引擎

• 有checkpoint来保存状态(当任务失败时从检查点重新启动任务即可，需要保存的状态有当前计算得到的值和数据流的消费位点)
  详细的讲，flink计算引擎保证恰好一次的主要工具是barrier，flink处理数据大致可以分为两种场景
  1、单一数据流
  2、多条数据流
  单一数据流的恰好一次实现起来比较简单，只要数据源在数据流中插入barrier，然后下游接到barrier就做checkpoint就可以了
  多条数据流的恰好一次实现起来稍微复杂一些，比单条数据流多了一个barrier对齐的操作，一个operator接到来自两个流的数据，两个流不同步的话，就需要将进度比较快的流先放到buffer中，知道另一个比较慢的流的barrier到达时，才开始处理数据，并做checkpoint。

3、sink端

• 可以实现二段提交，如果上游任务失败，之前写入的数据需要回滚