《Flink 实战与性能优化》—— 如何使用 Flink Window 及 Window 基本概念与实现原理?

目前有许多数据分析的场景从批处理到流处理的演变, 虽然可以将批处理作为流处理的特殊情况来处理,但是分析无穷集的流数据通常需要思维方式的转变并且具有其自己的术语,例如,“windowing(窗口化)”、“at-least-once(至少一次)”、“exactly-once(只有一次)” 。

对于刚刚接触流处理的人来说,这种转变和新术语可能会非常混乱。 Apache Flink 是一个为生产环境而生的流处理器,具有易于使用的 API,可以用于定义高级流分析程序。Flink 的 API 在数据流上具有非常灵活的窗口定义,使其在其他开源流处理框架中脱颖而出。

在本节将讨论用于流处理的窗口的概念,介绍 Flink 的内置窗口,并解释它对自定义窗口语义的支持。

3.2.1 Window 简介

下面我们结合一个现实的例子来说明。

就拿交通传感器的示例:统计经过某红绿灯的汽车数量之和?

假设在一个红绿灯处,我们每隔 15 秒统计一次通过此红绿灯的汽车数量,如下图所示:

可以把汽车的经过看成一个流,无穷的流,不断有汽车经过此红绿灯,因此无法统计总共的汽车数量。但是,我们可以换一种思路,每隔 15 秒,我们都将与上一次的结果进行 sum 操作(滑动聚合),如下图所示:

这个结果似乎还是无法回答我们的问题,根本原因在于流是无界的,我们不能限制流,但可以在有一个有界的范围内处理无界的流数据。因此,我们需要换一个问题的提法:每分钟经过某红绿灯的汽车数量之和?

这个问题,就相当于一个定义了一个 Window(窗口),Window 的界限是 1 分钟,且每分钟内的数据互不干扰,因此也可以称为翻滚(不重合)窗口,如下图所示:

第一分钟的数量为 18,第二分钟是 28,第三分钟是 24……这样,1 个小时内会有 60 个 Window。

再考虑一种情况,每 30 秒统计一次过去 1 分钟的汽车数量之和,如下图所示:

此时,Window 出现了重合。这样,1 个小时内会有 120 个 Window。

3.2.2 Window 有什么作用?

通常来讲,Window 就是用来对一个无限的流设置一个有限的集合,在有界的数据集上进行操作的一种机制。Window 又可以分为基于时间(Time-based)的 Window 以及基于数量(Count-based)的 window。

Flink 在 KeyedStream(DataStream 的继承类) 中提供了下面几种 Window:

  • 以时间驱动的 Time Window
  • 以事件数量驱动的 Count Window
  • 以会话间隔驱动的 Session Window

提供上面三种 Window 机制后,由于某些特殊的需要,DataStream API 也提供了定制化的 Window 操作,供用户自定义 Window。

下面将先围绕上面说的三种 Window 来进行分析并教大家如何使用,然后对其原理分析,最后在解析其源码实现。

3.2.4 Time Window 的用法及源码分析

3.2.5 Count Window 的用法及源码分析

3.2.6 Session Window 的用法及源码分析

3.2.7 如何自定义 Window?

3.2.8 Window 源码分析

3.2.9 Window 组件之 WindowAssigner 的用法及源码分析

3.2.10 Window 组件之 Trigger 的用法及源码分析

3.2.11 Window 组件之 Evictor 的用法及源码分析

加入知识星球可以看到上面文章:https://t.zsxq.com/qnQRvrf

3.2.12 小结与反思

本节从生活案例来分享关于 Window 方面的需求,进而开始介绍 Window 相关的知识,并把 Flink 中常使用的三种窗口都一一做了介绍,并告诉大家如何使用,还分析了其实现原理。最后还对 Window 的内部组件做了详细的分析,为自定义 Window 提供了方法。

不知道你看完本节后对 Window 还有什么疑问吗?你们是根据什么条件来选择使用哪种 Window 的?在使用的过程中有遇到什么问题吗?

×

纯属好玩

扫码支持
扫码打赏,你说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

文章目录
  1. 1. 3.2 Flink Window 基础概念与实现原理
    1. 1.1. 3.2.1 Window 简介
    2. 1.2. 3.2.2 Window 有什么作用?
    3. 1.3. 3.2.3 Flink 自带的 Window
    4. 1.4. 3.2.4 Time Window 的用法及源码分析
    5. 1.5. 3.2.5 Count Window 的用法及源码分析
    6. 1.6. 3.2.6 Session Window 的用法及源码分析
    7. 1.7. 3.2.7 如何自定义 Window?
    8. 1.8. 3.2.8 Window 源码分析
    9. 1.9. 3.2.9 Window 组件之 WindowAssigner 的用法及源码分析
    10. 1.10. 3.2.10 Window 组件之 Trigger 的用法及源码分析
    11. 1.11. 3.2.11 Window 组件之 Evictor 的用法及源码分析
    12. 1.12. 3.2.12 小结与反思