Flink 任务链 共享组 总结

Flink 任务链 共享组 总结

文章目录

• Operator Chains （任务链）
• 任务链 共享组总结
• • • 任务链以及共享组
    • 总结：

Operator Chains （任务链）

划分为同一个任务链的3个要素：

1. one to one 的操作
2. 并行度相同
3. 同一个共享组
   默认情况(只有一个共享组)下需要的slot数量=最大的并行度
   当前任务需要的总的slot=每个共享组中最大并行度的和

全局禁用任务链：
env.disableOperatorChaining()

任务链 共享组总结

任务链以及共享组

 1.默认情况下：所有算子都是同一个共享组，开启了任务链合并任务所需的slot数量：最大并行度任务链的个数：宽依赖 、并行度
2.给算子独立设置了共享组：开启了任务链的合并任务所需的Slot数量：每个共享组中最大的并行度的和     任务链的个数：宽依赖 、并行度 、共享组
3.全局设置禁用任务链同一个共享组任务所需的slot数量：最大并行度        任务链的个数：算子的个数
4.给某个算子开启新的任务链同一个共享组任务所需的slot数量：最大并行度        任务链的个数：宽依赖、并行度、开启的新的任务链5.给某个算子禁用任务链同一个共享组任务所需的slot数量：最大并行度        任务链的个数：宽依赖、并行度、禁用任务链的算子

总结：

Slot数量 只跟 共享组和最大并行度 有关
任务链的个数 跟 宽依赖、并行度、共享组、是否禁用或者开启新的任务链 有关