Windows and triggers - CS 591 K1: Data Stream Processing and Analytics Spring 2020

• 语言: 英语
• 格式: .pdf
• 来源: vasia.github.io

摘要

文档讨论了Flink中窗口操作（Window operators）的概念和实现。窗口操作用于在数据流上执行操作，如时间窗口（Time windows）和自定义窗口。文档介绍了窗口分配器（Window assigners）、触发器（Triggers）以及窗口的评估函数。还区分了键控窗口（Keyed windows）和非键控窗口（Non-keyed windows），并讨论了时间特性（Time characteristic）的配置。文档还提供了使用Flink进行实时数据处理的示例，包括如何处理窗口内的数据和管理窗口生命周期。

AI总结

## Windows and Triggers - CS 591 K1: Data Stream Processing and Analytics Spring 2020

### 窗口操作符
- **核心概念**：窗口操作符是一种处理无界数据流的实用方法，适用于执行联结、全局聚合等操作。
- **特点**：
- 基于时间或事件的窗口，关注最近事件（如最近5秒、10个事件或1小时内的数据）。
- 支持实时计算，例如实时交通信息处理。
- 窗口的“近期”定义灵活，可按时间或用户会话划分。

### 窗口类型
- **Keyed 窗口**：
- 基于键的分组窗口，按键分组后进行并行处理。
- 适用于需要按键聚合的操作（如按传感器ID计算温度）。
- **Non-keyed 窗口**：
- 非键窗口，全局处理所有事件。
- 单线程处理，适用于全局聚合操作。

### 窗口分配器与函数
- **窗口分配器**：
- 确定输入流如何分组到窗口。
- 常见类型包括基于时间的窗口分配器（如固定时间窗口）。
- **窗口函数**：
- 对分配到窗口的元素进行处理，支持reduce、aggregate、process等操作。
- 输入和输出类型必须一致。

### 时间窗口
- **内置时间窗口分配器**：
- 基于事件时间或处理时间划分窗口。
- 时间窗口有起始和结束时间戳，起始时间包含在窗口内，结束时间不包含。
- **触发器**：
- 默认触发器在窗口结束时间到达时触发窗口计算。
- 空窗口不会被计算。

### 自定义窗口
- **流程**：
1. 使用窗口分配器创建窗口。
2. 使用窗口函数对窗口内的元素进行处理。
3. 可配置时间特征（如事件时间或处理时间）。

### 时间特征配置
- 在DataStream API中，通过设置时间特征（如`TimeCharacteristic.EventTime`）定义时间类型。
- 时间特征影响窗口计算的逻辑。

### 关键函数接口
- **KeyedProcessFunction**：
- 对键流中的每个元素调用`processElement`方法。
- 支持通过`onTimer`方法处理定时任务。
- **ProcessWindowFunction**：
- 对窗口内的元素进行处理，支持自定义窗口逻辑。

### 总结
- 窗口操作符是流处理中的核心概念，用于对无界数据流进行实时计算。
- 窗口类型包括Keyed和Non-keyed，适用于不同的处理场景。
- 时间窗口基于事件时间和处理时间划分，支持内置和自定义窗口逻辑。
- 自定义窗口通过窗口分配器、触发器和处理函数实现灵活的流处理逻辑。