Course introduction - CS 591 K1: Data Stream Processing and Analytics Spring 2020

• 语言: 英语
• 格式: .pdf
• 来源: vasia.github.io

摘要

该文档介绍了2020年春季课程《数据流处理与分析》的核心内容。课程重点涵盖数据流处理的基础知识、分布式流处理系统的架构与设计、流处理系统的调度与负载管理、扩展性和容错性等关键主题。课程目标包括使学生掌握Apache Flink和Apache Kafka等工具，能够构建端到端的可扩展且可靠的流处理应用，并理解流处理系统的工作原理及其性能影响因素。课程还强调了在设计和部署流处理应用时需要考虑的挑战与权衡。

AI总结

### 课程总结：数据流处理与分析（CS 591 K1）

#### 课程基本信息
- **课程名称**：数据流处理与分析（CS 591 K1）
- **授课教师**：瓦西里基·卡拉夫里（Vasiliki Kalavri）
- **课程时间**：每周二、周四上午9:30-10:45
- **课程地点**：MCS B33
- **联系方式**：[e-mail]
- **办公时间**：每周二、周四上午11:00-12:30

---

#### 课程目标
通过本课程，学生将能够：
1. 掌握流处理技术的适用场景，与传统技术进行比较。
2. 熟悉流处理系统的功能特性及运行保证。
3. 熟练使用Apache Flink和Kafka构建端到端的可扩展、可靠的流处理应用。
4. 理解流处理系统的内部工作原理及其性能影响因素。
5. 掌握设计和部署流处理应用时的挑战与权衡。

---

#### 课程内容
- **流处理基础**：流处理的基本概念与核心算法。
- **系统架构**：分布式流处理系统的架构设计、扩展性、容错性与状态管理。
- **工具与技术**：
- Apache Flink：用于流处理和批处理的统一计算框架。
- Apache Kafka：分布式流数据流处理平台。
- Apache Beam：跨平台的流与批处理统一接口。
- Google Cloud Platform：用于流处理的云服务。
- **核心主题**：流处理语言、时间与进度、窗口与触发器、过滤、计数、采样、图流算法等。

---

#### 评估方式
- **代码交付**（40%）：需附带文档说明。
- **测验**（20%）：两次测验。
- **作业**（20%）：两次作业。
- **其他**：课程还包括Guest Lecture和替代课程安排。

---

#### 其他信息
- **课程网站**：[vasia.github.io/dspa20](vasia.github.io/dspa20)
- **讨论平台**：Piazza（[piazza.com/bu/spring2020/cs591k1/home](piazza.com/bu/spring2020/cs591k1/home)）
- **学习资源**：包括课程大纲、幻灯片、测验与作业公告。

---

通过本课程，学生将全面掌握现代流处理系统的理论与实践，为设计和部署高效、可靠的流处理应用打下坚实基础。