Flink 批处理理及其应⽤用 What is Apache Flink * Apache Flink 是⼀一个分布式⼤大数据处理理引擎 * 可对有限数据流和⽆无限数据流进⾏行行有状态计算 * 可部署在各种集群环境 * 对各种⼤大⼩小的数据规模进⾏行行快速计算 为什什么Flink能做批处理理 Table Stream Bounded Data Unbounded Data

Flink的过去、现在和未来 杨克特（鲁尼） 阿里巴巴高级技术专家 过去 一切从2014年开始 2009 - 2014 2014 • 柏林工业大学博士生项目 • 基于流式 runtime 的批处理引擎 • 2014 年 8 月份 发布 Flink 0.6.0 Flink 0.7 Runtime Distributed Streaming Dataflow DataStream API 二进制化 更丰富的 内置函数 Minibatch 聚合函数 多种解热点 手段 维表关联 支持 TopN 高效的 流式去重 完整的 批处理支持 批处理错误恢复（1） 批处理错误恢复（2） 批处理错误恢复（3） 批处理错误恢复（4） 批处理错误恢复（5） 插件化 Shuffle Manager 生态 Flink Hive Flink Zeppelin 中文社区 Flink

Aeraki Demo: 用户请求和批处理任务隔离(Dubbo) 场景：隔离处理用户请求和批处理任务的服务实例，为用户请求留出足够的处理能 力，避免批处理任务的压力影响到用户体验。 ● 将服务端划分为两个服务实例组，分别用于处理批处理任务和用户请 求。 ● 客户端发起请求时通过一个“batchjob” header标明请求的来源 ，batchjob=true表示该请求来自于批处理任务；batchjob=false表示该 false表示该 请求来自于用户请求。 ● 运维人员设置请求路由规则，将不同来源的请求路由到不同的服务实例 组进行处理。 #IstioCon Aeraki Demo: 用户请求和批处理任务隔离(Dubbo) 1. 在 dubbo: application 配置中为 Provider 增加 service_group 自定义属性 2. 通过 Provider 的 deployment 设置

消息等。  数据存储：面向海量数据存储的分布式文件存储服务，支持 结构化数据和非结构数据数据存 储，我们也常称之为数据湖。如 HDFS、对象存储服务等。  批处理：由于大数据场景必须处理大规模的数据集，批处理往往需要从数据存储中读取大量 数据进 行长 时间 处理 分析 ，并将 处理 后的 数据 写 入 新的 数据 对象 供后 续使 用。如 Hive、 MapReduce、Spark 数据存储 HDFS 文件系统 对象存储 MaxCompute 存储(仅开放表数据存储) OSS 对象存储 EMR HDFS 批处理 Hadoop MapReduce Hive Spark MaxCompute 批处理（MaxCompute MapReduce/SQL/Spark） EMR 对应组件 Alibaba Cloud MaxCompute 解决方案 MaxCompute 及 Dataworks 的云原生大数据平台解决方案。 工作负载 Hadoop 开源生态 MaxCompute 产品组件/MaxCompute 生态工 具 批处理 Hive MaxCompute SQL Alibaba Cloud MaxCompute 解决方案 16 MapReduce MaxCompute MR Apache Spark

OpenShift Container Platform 集群的部署 Red Hat Advanced Cluster Management(RHACM)策略。通过在大型集群网络中使用 TALM，可以使用 有限制的批处理，在集群中逐步实施相关的策略。这有助于最大程度降低更新时可能造成的服务中断。使 用 TALM，您可以控制以下操作： 更新的时间 RHACM 管理的集群数量 将策略应用到的受管集群的子集 集群的更新顺序 canaries 字段指定集群进行 Canary 更新。 maxConcurrency 字段指定批处理中要更新的集群数量。 您可以组合使用 cluster 和 clusterSelector 字段来创建组合的集群列表。 补救计划从 canaries 字段中列出的集群开始。每个 canary 集群组成一个集群批处理。 注意 注意 在更新 canary 集群的过程中任何错误都会停止更新过程。 在成功创建补救计划后，以及 remediationPlan: - - spoke1 第 第 16 章 章 用于集群更新的拓扑 用于集群更新的拓扑 AWARE LIFECYCLE MANAGER 163 5 6 定义批处理中的最大并发更新数。补救批处理数量是 canary 集群的数量，加上除 Canary 集群外的 集群数量除以 maxConcurrency 值。已兼容所有受管策略的集群不包括在补救计划中。 显示更新状态的信息。

一部分基础数 据。这就是容错功能发挥作用的地方。现实情况是，这么多服务器 总会遇到一台或者多台无法正常工作的风险。HDFS 具备检测故障 和快速执行自动恢复的功能。 HDFS 的设计针对批处理做了优化，它提供高吞吐量的数据访 问，而非低延迟的数据访问。运行在 HDFS 上的应用程序有着大型 数据集。在 HDFS 中一个典型的文件大小可以达到数百 GB 或更大， 所以 HDFS 显然 的一个编程组件，用于处理和读取大型 数据集。MapReduce 算法赋予了 Hadoop 并行化处理数据的能力。 简而言之，MapReduce 用于将大量数据浓缩为有意义的统计分析结 果。MapReduce 可以执行批处理作业，即能在处理过程中多次读取 大量数据来产生所需的结果。 对于拥有大型数据存储或者数据湖的企业和组织来说，这是一 种重要的组件，它将数据限定到可控的大小范围内，以便用于分析 第 1 章 从节点 容器 容器 容器 资源管理器 数据节点 数据节点 数据节点 节点管理器 节点管理器 节点管理器 图 1-1 MapReduce 的功能使得它成为最常用的批处理工具之一。该处 理器的灵活性使其能利用自身的影响力来挑战现有系统。通过将数 据处理的工作负载分为多个并行执行的任务，MapReduce 允许其用 户处理存储于 HDFS 上不限数量的任意类型的数据。因此，MapReduce

自动发布和回滚：可以自动实现版本的发布和回滚。 秘钥和配置管理：对于密码等信息，专门提供了Secert对象为其解耦。 存储编排：支持多种不同类型的存储，包括本地存储、云存储、网络存储等。 批量处理执行：除服务型应用，还支持批处理作业CI（持续集成），如有需要，一样可以实现容器故障后修复。 Kubernetes特点： 可移植: 支持公有云，私有云，混合云，多重云（multi-cloud） 可扩展: 模块化, 插件化, 可挂载 地址。 22 www.h3c.com Confidential 秘密 22 22 K8s基本概念和术语介绍（Job） Job（任务）： Job是K8s用来控制批处理型任务的API对象。批处理业务与长期伺服业务的主要区别是批处理业务的运行有头有尾， 而长期伺服业务在用户不停止的情况下永远运行。Job管理的Pod根据用户的设置把任务成功完成就自动退出了。成功完 成的标志根据不同的spec.co 或QPS）. 24 www.h3c.com Confidential 秘密 24 24 K8s基本概念和术语介绍（DaemonSet） DaemonSet（后台支撑服务集）： 长期伺服型和批处理型服务的核心在业务应用，可能有些节点运行多个同类业务的Pod，有些节点上又没有这类Pod 运行；而后台支撑型服务的核心关注点在K8s集群中的节点（物理机或虚拟机），要保证每个节点上都有一个此类Pod运

独立的调度模式 * 不依赖 Scheduler * 无视 unschedulable Kubernetes 控制器 CronJob CronJob Job Pod 1. 定时执行的批处理任务 2. 定时任务并发策略 * Allow * Forbid * Replace 3. 支持单任务并发控制 一个简单的编排案例 Client API DB API Proxy StatefulSet DaemonSet Job CronJob = 无状态应用 有状态应用 守护型应用 批处理任务 应用编排架构 重新审视这个例子 Client API DB API Proxy DB Proxy DB Backup Monitoring 无状态应用 有状态应用 守护型应用 批处理任务 应用编排架构 应用编排架构 API Gateway APP API Service

这套系统可以很好的解决: 行存储和列存储的取舍问题; OLTP 负载和 OLAP 负载的资源隔离问题; 快速批量写与事务型写操作混合模式的问题; Adhoc 查询与 Adhoc 混合负载及批处理作业共存的问题; 。 数据 0ffload 到数据仓库引起的不一致风险。 Sattayer Te/TEpark 能、可用性和业务多活问题。 分布式数据库实践 新一代财富管理平台是支撑光大银行理财公司运营的核心系统，提供理财业务的全流程管理。依托私有 云基础设施与平台 4.0 开发框架，光大银行定制了分布式批处理方案，设计目标是余额宝每小时理财交易 2000 万笔，零钱通单日 5000 万笔，同时还要满足未来 3-5 年业务发展和接入更多互联网代销渠道需求。 光大银行在同城两数据中心构建 TiDB 双活集群，采用 两地三中心方案部署 TiDB 集群搭建实时数据中 台，构建 HTAP 解决方案，实时地对电网运行数据进行统计分析。 TiDB 提供 HTAP AlL-in-One 的解决方案，不需要建设流处理、批处理、查询系统等一系列复杂的技术 栈，大幅降低了电力企业数据中台的建设与维护成本。TiDB 实现了处理与存储能力的弹性扩容，整体 性能表现很好地满足了业务要求，2019 年 10 月至今系统运行平稳，数据量为9

对于并发请求高、面向于复杂的灵活查询的系 统，建议每个Segment配置4个或以下Instance， 这样来保证每个Instance所需资源，保证系统 系统运行稳定性，例如，减少OOM发生的概率； • 对于以批处理、串行工作为主的系统，可以配 置到8个Instance，这样可以尽可能的发挥每个 CPU的处理性能。 Master query plan Client Segments Segments 二级分区可以用一级分区+Bitmap方式替代，例如按照“发生日期”做分区，然后在机构字段上将bitmap索引 • 对于1亿条记录以下的表不分区(对于小系统，该阀值适当调低) 索引使用： • 以数据批处理为主要功能的系统一般不需建索引 • 以并发查询为主要功能，特别OLTP查询（根据KEY，Attribute等作为筛选条件）的系统按照常用字段建索引。 • 建索引的方法：对于区别度高的字段，如账号