自动发布和回滚：可以自动实现版本的发布和回滚。 秘钥和配置管理：对于密码等信息，专门提供了Secert对象为其解耦。 存储编排：支持多种不同类型的存储，包括本地存储、云存储、网络存储等。 批量处理执行：除服务型应用，还支持批处理作业CI（持续集成），如有需要，一样可以实现容器故障后修复。 ## Kubernetes特点： 可移植: 支持公有云，私有云，混合云，多重云（multi-cloud） 可扩展: 模块化, 插件化 IP所在的物理网卡流出的。 Cluster IP：他也是一个虚拟的IP，更像一个“伪造”的IP地址。 ## K8s基本概念和术语介绍（Job） Job（任务）： Job是K8s用来控制批处理型任务的API对象。批处理业务与长期伺服业务的主要区别是批处理业务的运行有头有尾，而长期伺服业务在用户不停止的情况下永远运行。Job管理的Pod根据用户的设置把任务成功完成就自动退出了。成功完成的标志根据不同的spec.comp 2. 应用程序自定义的度量指标，比如服务每秒内的相应的请求数（TPS或QPS）. ## K8s基本概念和术语介绍（DaemonSet） ## DaemonSet（后台支撑服务集）： 长期伺服型和批处理型服务的核心在业务应用，可能有些节点运行多个同类业务的Pod，有些节点上又没有这类Pod运行；而后台支撑型服务的核心关注点在K8s集群中的节点（物理机或虚拟机），要保证每个节点上都有一个此类Pod运

服务器上均包含一部分基础数据。这就是容错功能发挥作用的地方。现实情况是，这么多服务器总会遇到一台或者多台无法正常工作的风险。HDFS 具备检测故障和快速执行自动恢复的功能。 HDFS 的设计针对批处理做了优化，它提供高吞吐量的数据访问，而非低延迟的数据访问。运行在 HDFS 上的应用程序有着大型数据集。在 HDFS 中一个典型的文件大小可以达到数百 GB 或更大，所以 HDFS 显然支持大文件。 的一个编程组件，用于处理和读取大型数据集。MapReduce 算法赋予了 Hadoop 并行化处理数据的能力。简而言之，MapReduce 用于将大量数据浓缩为有意义的统计分析结果。MapReduce 可以执行批处理作业，即能在处理过程中多次读取大量数据来产生所需的结果。 对于拥有大型数据存储或者数据湖的企业和组织来说，这是一种重要的组件，它将数据限定到可控的大小范围内，以便用于分析 或查询。 如图 1-1 [Image](/uploads/documents/5/a/9/6/5a9619de465fbff3cbc13af4d30b406a/p5_1.jpg) 图 1-1 MapReduce 的功能使得它成为最常用的批处理工具之一。该处理器的灵活性使其能利用自身的影响力来挑战现有系统。通过将数据处理的工作负载分为多个并行执行的任务，MapReduce 允许其用户处理存储于 HDFS 上不限数量的任意类型的数据。因此，MapReduce

updateStrategy: type: RollingUpdate rollingUpdate: maxUnavailable: 1 template: 1. 定时执行的批处理任务 2. 定时任务并发策略 * Allow * Forbid * Replace 3. 支持单任务并发控制 CronJob Job Pod 1 apiVersion: batch/v2alpha1 Kubernetes 的应用单元 Services Volumes Deployment StatefulSet DaemonSet CronJob Job 无状态应用 有状态应用 守护型应用 批处理任务  ## 应用编排架构 API Gateway

这套系统可以很好地解决： • 行存储和列存储的取舍问题； OLTP 负载和 OLAP 负载的资源隔离问题； • 快速批量写与事务型写操作混合模式的问题； • Adhoc 查询与 Adhoc 混合负载及批处理作业共存的问题； • 数据 Offload 到数据仓库引起的不一致风险。 ![Image](/uploads/documents/3/d/e/b/3deb0740caa715d2156ad7d85aa695c6/p13_2 、可用性和业务多活问题。 ## 分布式数据库实践 新一代财富管理平台是支撑光大银行理财公司运营的核心系统，提供理财业务的全流程管理。依托私有云基础设施与平台4.0开发框架，光大银行定制了分布式批处理方案，设计目标是余额宝每小时理财交易2000万笔，零钱通单日5000万笔，同时还要满足未来3-5年业务发展和接入更多互联网代销渠道需求。 光大银行在同城两数据中心构建 TiDB 双活集群，采用 5 用两地三中心方案部署 TiDB 集群搭建实时数据中台，构建 HTAP 解决方案，实时地对电网运行数据进行统计分析。 TiDB 提供 HTAP All-in-One 的解决方案，不需要建设流处理、批处理、查询系统等一系列复杂的技术栈，大幅降低了电力企业数据中台的建设与维护成本。TiDB 实现了处理与存储能力的弹性扩容，整体性能表现很好地满足了业务要求，2019 年 10 月至今系统运行平稳，数据量为