School 2019 ## Apache Flink Based on https://training.ververica.com Maximilian Michels Software Engineer / Consultant Committer @ Apache Beam / Apache Flink Dr Paris Carbone Flink @stadtlegende @SenorCarbone ## Contents • DataSet API • DataStream API • Concepts • Set up an environment to develop Flink programs • Implement Implement streaming data processing pipelines • Flink managed state • Event time ## Streaming in Apache Flink • Streams are natural • Events of any type like sensors, click streams, logs • Batch processing

## Scalable Stream Processing - Spark Streaming and Flink Amir H. Payberah payberah@kth.se 05/10/2018 https://id2221kth.github.io ## Data Processing Graph Data Pregel, GraphLab, PowerGraph GraphX Spark SQL Machine Learning Mliib Tensorflow Streaming Data Storm, SEEP, Naiad, Spark Streaming, Flink, Millwheel, Google Dataflow ## Distributed File Systems ## Data Storage GFS, Flat FS NoSQL Databases Continuous vs. micro-batch processing Record-at-a-Time vs. declarative APIs ▶ Spark streaming ▶ Flink ## Spark Streaming ## ▶ Design issues • Continuous vs. micro-batch processing • Record-at-a-Time

## 阿里云 ## Apache Flink的过去、现在和未来 杨克特（鲁尼） 阿里巴巴高级技术专家 ## 过去 ## 一 切从2014年开始  StratoSphere Above the Clouds  2009 - 2014 2014 • 柏林工业大学博士生项目 - 基于流式 runtime 的批处理引擎 • 2014 年 8 月份 发布 Flink 0.6.0 ## 阿里云 2019阿里云峰会·上海开发者大会 Flink 0.7 ## 2014 年 12 月份 发布 – 开始正式支持 DataStream DataStream API Stream Processing 8d2791cad3421/p4_1.jpg) DataSet API Batch Processing Runtime Distributed Streaming Dataflow Flink 0.9 ## 2015 年 6 月份 发布 – 开始内置支持 State ![Image](/uploads/documents/4/4/7/6/44768622b352d818cb18d2791cad3421/p5_1

## 用状态机封装领域逻辑 潘加宇 DDCHINA CONTENTS 01 状态机的作用 02 状态机要点和建模思路 03 状态机的实现 ## 危险！ 小孩耍大枪 ## 危险！ ➢ Research? Re-Search? ➢ 连Re-Search都没有，随意发明新词 ➢ Subdomain? 主题图。 SECOND EDITION OBJECT-ORIENTED ANALYSIS d5/p6_1.jpg) 学校里经常教的 ## 作用 |图形|视角|映射到实现| |---|---|---| |类图|全局、静态|类的签名| |序列图|局部（用例）、动态|类之间的协作| |状态机图|类、动态|所有的逻辑| ## 三 个不同的图 ## 0 答对问题有奖金 金额从2.56元到20.48元 请扫我微信以便当场转账 加微信时烦告知尊姓大名 ## 作用 ➢都以为自己在做正常的事情， 条件语句？泛化？不重要了 对象  状态保护 逻辑内移 ## 作用 专家原则、可视原则 减少get/set Open 接口变简单 Close Close Open Open Withdraw[banlance

0 码力 | 30 页 | 1.75 MB | 2 年前

3

Stream Processing with Apache RocketMQ and Apache Flink 王鑫 · The Apache Software Foundation Nov.4, 2018, Shanghai, Apache Flink China Meetup  Practices of integrating RocketMQ with Flink  The trend of RocketMQ ## Apache RocketMQ streaming ecosystem projects • RocketMQ-Flink: https://github.com/apache/rocketmq-externals/tree/master/rocketmq-flink • RocketMQ-Spark: https://github.com/apache/rocketmq-extern

## Flink 批处理及其应用 ## What is Apache Flink $ ^{*} $ Apache Flink 是一个分布式大数据处理引擎 $ ^{*} $ 可对有限数据流和无限数据流进行有状态计算 * 可部署在各种集群环境 * 对各种大小的数据规模进行快速计算 ## 为什么Flink能做批处理  低延时 #### Hive vs. Spark vs. Flink Batch ||Hive/Hadoop|Spark|Flink| |---|---|---|---| |模型|MR|MR(Memory/Disk)|Pipeline| |吞吐|TB-PB|TB-PB|未经大规模生产验证| | |易用性|一般|易用|一般| |工具/生态|一般|丰富|一般| ## Flink Batch应用 - 数据湖 ### Data Lake vs. Data Warehouse  ## Flink Batch应用 – 数据湖 ![Image](/upl

## Flink如何实时分析Iceberg数据湖的CDC数据 阿里巴巴 李劲松/胡争 FLINK FORWARD #ASIA 2020 #1 #2 #3 #4 常见的CDC 为何选择 Flink 如何实时写 未来规划 分析方案 + Iceberg 入读取 FLINK FORWARD #ASIA 2020 ## #1 常见的CDC分析方案 ## 离线 HBase 集群分析 CDC 2、HBase集群维护成本较高。 3、通过RegionServer定位HFile，Server的优化和缓存完全用不上。 4、数据格式绑定HFile，不方便拓展到Parquet、Avro、Orc等。 FLINK FORWARD #ASIA 2020 ## Apache Kudu 维护 CDC 数据集 ## MySQL ## 方案评估 优点 1、支持实时更新数据，时效性佳。 2、列存加速，适合OLAP分析。 4、不支持增量拉取。 FLINK FORWARD #ASIA 2020 ## MySQL → GQOOP → HVE ## 方案评估 优点 1、流程能工作 2、Hive存量数据不受增量数据影响。 ## 缺点 1、数据不是实时写入； 2、每次数据导致都要 MERGE 存量数据。T+1 方式更新，时效性差。 3、不支持实时upsert。 FLINK FORWARD #ASIA 2020

and Analytics Spring 2020 ## 1 /30: Introduction to Apache Flink and Apache Kafka Vasiliki (Vasia) Kalavri vkalavri@bu.edu ## Apache Flink • An open-source, distributed data analysis framework • True Data Set Operator Data Set Sink Source Data Stream Operator Data Stream Sink Writing a Flink Program 1. Bootstrap Sources 2. Apply Operators 3. Output to Sinks ## Streaming word count textStream keyBy(0) .sum(1) .print() (live,1) (and,1) (let,1) (live,2) ## Distributed architecture TaskManager Flink program web dashboard TaskManager client JobManager TaskManager ## DataStream API Basics ##

Data Stream Processing and Analytics Spring 2020 ## 3 /24: Exactly-once fault-tolerance in Apache Flink Vasiliki (Vasia) Kalavri vkalavri@bu.edu Go read his PhD thesis: http://kth.diva-portal.org/sm nts/0/a/a/4/0aa43070543cf30310bdd99235d1d629/p59_1.jpg) ## Asynchronous checkpoints in Apache Flink  • A source of increasing consistency (in Apache Flink) can be achieved only if all streaming sources are re-settable  - Flink checkpoints are initiated