Course introduction - CS 591 K1: Data Stream Processing and Analytics Spring 2020

• 语言: 英语
• 格式: .pdf
• 来源: vasia.github.io

摘要

The course CS 591 K1 introduces the design and architecture of modern distributed streaming systems, focusing on algorithms, scalability, fault-tolerance, and state management. It covers tools like Apache Flink and Kafka, and topics such as window optimizations, graph streaming algorithms, and real-time processing challenges. Students will learn to compare streaming systems, build scalable applications, and understand performance factors.

AI总结

《Course introduction - CS 591 K1: Data Stream Processing and Analytics Spring 2020》课程介绍

课程信息：
- 讲师：Vasiliki Kalavri
- 办公室：MCS 206
- 联系方式：[e-mail]
- 上课时间：每周二、四 9:30-10:45，地點：MCS B33
- 办公时间：每周二、四 11:00-12:30

课程概述：
本课程围绕现代分布式流数据处理系统的设计与架构展开，涵盖流数据表示、摘要化和分析的基本原理，系统算法、架构与设计，调度与负载管理，扩展性、弹性，容错与保证，状态管理，操作符语義，窗口优化，过滤、计数、采樣等技术。重点包括：
1. 流数据处理技术的核心原理与方法
2. 集成了 Apache Flink、Kafka、Beam 等主流工具与平台
3. 谷歌云平台的应用

课程目标：
- 掌握何时使用流处理技術，与其他技術的区別
- 了解流处理系统的特性和处理保证
- 熟练使用 Apache Flink 和 Kafka 构建可扩展和可靠的流处理应用
- 深入理解流处理系统的工作原理和性能影響因素
- 掌握设计和部署流处理应用时的挑战和权衡

教学工具：
- Apache Flink（flink.apache.org）
- Apache Kafka（kafka.apache.org）
- Apache Beam（beam.apache.org）
- Google Cloud Platform（cloud.google.com）

教学资源：
- 《The 8 Requirements of Real-Time Stream Processing》（http://cs.brown.edu/~ugur/8rulesSigRec.pdf）
- 《Streaming 101: The world beyond batch》（www.oreilly.com/ideas/the-world-beyond-batch-streaming-101）

案例分析：
- 每5秒测量一次溫度，编写程序每分钟输出过去10分钟的平均溫度

课程安排：
- 包括讲座、作业截止日期、无课日安排、客座讲座和測驗公告
- 客座讲座：邀请 industry专家分享 real-world 用例，提供 hands-on 经验