以实现多主机VM配置。 kube-apiserver kube-apiserver 暴露Kubernetes的API。它是Kubernetes控制能⼒的前端。它被设计为可⽔平扩展——也就是通过部署 更多实例来实现扩容。详⻅ Building High-Availability Clusters 。 etcd etcd ⽤作Kubernetes的后端存储。集群的所有数据都存储在此。请为你Kubern ubernetes系统就会读取 Deployment spec，并启动您想要的、应⽤程序的三个实例——根据您的spec更新status。如果任何⼀个实例失败 （status发⽣改变），Kubernetes系统就会响应spec和status之间的差异，并进⾏更正——在这本例中，会启动⼀个替 换实例。 有关对象spec，status和metadata的更多信息，详⻅： Kubernetes API requirement选择器： "selector": { "component" : "redis", } 或： selector: component: redis 此选择器（分别以 json 或 yaml 格式）等价于 component=redis 或 component in (redis) 。 ⽀持set-based requirement的资源 较新的资源（例如

pod分两种：普通pod和静态pod（static pod） 普通pod：一旦被创建，会被放到etcd中存储，随后被k8s master调度到某个具体的node上并进行绑定，随后该pod被 对应的node上的kubelet进程实例化成一组相关的docker容器并启动起来。默认情况下，当pod中的某个容器停止时， K8s会自动检测到这个问题并重新启动这个pod（重启pod里面的所有容器），如果pod所在的node宕机，则会将这个 象查询机制。 标签选择器可以类比SQL语句中的where查询条件，例如name=redis-salve 表示只查询名字为redis-salve的资源对 象。 env != production: 匹配所以不具有标签 env = production 的资源对象 name in（redis-master，redis-salve）：匹配所有带有标签name=master或者name=salve的资源 当Pod的副本数量小于预期数量的时候，用于创建新Pod的Pod模板（template） 当定义一个rc之后，master节点的controller manager组件就得到通知，定期巡检系统中存活的目标pod，并确保目 标pod实例的数量刚好等于此rc的期望值，如果有过多pod运行，系统就会停掉一些，否则会创建一些。通过rc， kubenetnes实现了用户应用集群的高可靠性，并大大减少了很多运维工作。 Replication

‣ 如何实现线下多环境 • 一键拉起环境 注意点 • 数据建设依赖于规划 • 数据如何切分 原理 • 所有镜像自动生成 • 一键master镜像部署 1. 注册中心 2. Mysql Redis ES 3. 全链路微服务 4. 自动数据同步 • 一期多环境平台架构图 CDN / LB / WAF / NG K8S集群 namespace1 namespace… namespaceN … … … • 多环境资源互不影响 微服务 • 全链路服务全部属 • 注册中心独立部署 流量隔离 • 多域名，泛域名解析匹配 数据 • 全量同步线上脱敏数据 • Mysql redis ES 全搭建 • 数据全部物理隔离 发布平台 • 按需分支发布 • 多环境完全并行 • 一期方案的问题与挑战 1 2 3 多环境资源“假”隔离 Namespace隔离，共享资源 负载均衡 Ribbon 负载均衡 Ribbon Gateway 负载均衡 Ribbon 负载均衡 Ribbon Axxx Hxxx Eureka Eureka 注册 注册 Redis ES Mysql • 多云多K8S多环境的挑战 挑战 多云发布一致性 1 跨云数据同步保证 2 多环境一套模板适配性 3 多K8S的监控 4 • 基于Istio的智能路由 Istio层

KUN中使⽤用Operator • Operator Server • redis-operator（⾃自研，考虑开源） Operator管理理有状态的服务 Kubernetes API Server redis cluster redis cluster redis cluster Manage Redis Operator service statefulset pvc Server 为⽤用户提供可视化 Web 操作⻚页⾯面，简化对各类⾃自 定义资源的管理理操作。 ⽤用户不不需要详细理理解具体的 CRD 结构，就可以在 Web ⻚页⾯面上快速 创建⼀一个 Redis 集群，并且可以看到集群⼀一步步创建的过程。同时 还可以对集群进⾏行行配置更更新、删除等操作。 Operator Server Think in Cloud . 北北京 Operator管理理⽆无状态的服务 A. ⽆无状态⽔水平弹缩： ⽀支持动态扩缩容 B. 容错处理理： 通过kubernetes validating admission configuration校验⽤用 户下发的编排的crd实例例，同时⾃自动恢复⽤用户误操作的该crd维护的资源 C. ⽀支持原⽣生istio特性，如负载均衡，限流，熔断，L7路路由控制等 stateless ratelimit monitoring loadBalancer

23123 Spring Data RDS MySQL Cassandra MongoDB ElasticSearch PostgreSQL 23123 Spring Cache Redis Memcache 23123 Spring Resource OSS 23123 Spring Messaging Apache RocketMQ Aliware MQ 23123 服务治理体系强依赖SDK升级 • K8s下应用IP的不确定、导致服务治理规则的失效 • 应用迁移上云成本很高 • 极致、灵活的弹性 微服务在云原生下的挑战 后端服务BaaS化 DB，MQ, Redis, 注册中心、配置中心、服务治理中心 服务治理下沉、透明化 Java Agent, Sidecar, Java治理和Mesh治理的统一， 应用0成本上云 部署形态多云、混合云化 本地云端混部、多云混部、公私混部 A/B Test • 全链路灰度 安全态Sec 发布态 • 离群实例摘除 • 限流降级 • 同AZ优先路由 • 就近容灾路由 高可用 • 服务鉴权 • 漏洞防护 服务治理的区分 服务治理中心 提供者 消费者 Agent Agent 用户 配置中心 治理规则 Dev-Sec-Ops 无损下线 离群实例摘除 标签路由 服务鉴权 链路跟踪 金丝雀发布 API管理 服务测试

基于 Karmada 构建多云实例/负载/策略管理 微服务引擎 基于 Nacos/Sentinel/Eureka 等微服务治理中心和网关 服务网格 基于 Istio 定制的增强版网格化治理 版权 © 2023 DaoCloud 第 9 页 中间件 RMQ, Kafka, ES, Kafka, MinIO, MySQL, Redis, PG, MongoDB 镜像仓库 限流、多种策略安全认证、黑白名单、路由转发、MockAPI 等能力，同时提供 企业级高性能和高扩展的云服务能力。 ➢ 多网关管理：原生支持对容器管理模块中的多集群、多命名空间的网关实例进行管 理，支持网关实例的全生命周期管理。 ➢ API 策略管理：通过图形化界面进行 API 的增删改查，配置 API 策略，例如负载均 衡、路径改写、超时配置、重试机制、请求头/响应头重写、WebSocket、本地限流、 RabbitMQ 消息队列：常用于交易数据的传输管道 ➢ Redis 缓存服务：高性能的开源内存数据库 ➢ PostgreSQL 数据库：功能更丰富、扩展性更强的开源关系型数据库 ➢ MongoDB 数据库：面向文档的 NoSQL 数据库管理系统 镜像仓库 镜像仓库是一个支持多实例生命周期管理的云原生镜像托管服务，支持将镜像 仓库实例部署至任意云原生基础环境，同时支持集成外部镜像仓库（Harbor

对比虚机的优势： • 通过共享操作系统内核，细粒度资源隔离。（降低资源成本） • 定义了环境无关的标准的交付、部署规范（提高交付效率） • 秒级快速启动和停止（适合敏捷扩缩容场景） • 一台ECS实例/物理机上可以运行多个容器。 • 容器在业界的默认标准是Docker，定义容器标 准的组织是OCI。 容器技术是一种轻量级的操作系统虚拟化方案， 可以基于操作系统虚拟出更加细粒度的资源单位。 轻松地跨不同的环境共享应用程序、协同 工作和测试应用程序。 主流DL框架 13 iCAN容器网络：实现高性能容器网络和大规模高效部署 14 Fuxi容器存储：实现有状态应用和分布式中间件容器化部署 15 全球首发云容器实例服务CCI ：更快的弹性，更高的资源利用率 持续发布： 小时级->分钟级 弹性伸缩： 分钟级->秒级 应用交互性能提 升1~2倍 资源利用率提 升50% 挑战 收益 传统虚机应用上线慢 SaaS服务效率 60% 18 案例：企业级云容器服务，助力上海蓝鲸传媒容器化上云，提高SLA，降低人力成本 WEB 服务 媒资 APP CCE 云容器引擎集群 媒资 APP Redis服务 RDS服务 Mongo服务 User NAT 网关 internet ELB 负载均衡 客户问题： •自建 kubernetes技术门槛高，无法满足业务SLA要求 •原生版本

domain/path namespaces app-name date-time git-ver 镜像地址规范 镜像地址组成 你好我是分享标题 我是作者名称 每个控制平面节点运行的一个 实例kube-apiserver，kube- scheduler和kube-controller- manager 其中三个控制平台节点运行 keeplived和haproxy,node节点 和api-server通讯通过vip对 dev-redis-1 test-mq-1 应用环境 powerdns coredns test-1 test-2 test-3 dev-1 dev-2 dev-3 jenkins-k8s-cloud云构建jenkins-slave多套ci-cd流水线 test-mysql-2 dev-redis-2 test-mq-2 test-mysql-3 dev-redis-3 test-mq-3

业务运维 3. 交互与使用习惯不同 业务研发、运维 YAML 文件 图形化界面 命令行工具 IaC 配置语言 扩容策略 • 当 RT 上升 10% 时，自动扩容 100 个实例 发布策略 • 当金丝雀实例通过 99% 的测试时，按 每小时切 10% 流量 的节奏进行发布 YAML 文件 YAML 文件 HorizontalPodAutoscaler CustomMetricsServer APIGateway spec: hostname: app.alibaba.com path: / service_port: 8001 # 2nd component - componentName: redis Open Application Model Platform 部署 应用配置 （Application Configuration） 面向应用维度配置运维能力与组件 apiVersion:

 Node异步回收  改造发布策略  新建Deployment  新旧版本Deployment扩缩  健康检查探针适配 DCOS 组件服务 Mysql Redis Memc achd ELK ZK  规范配置  统一监控  数据自动迁移  故障自愈 CI/CD Step1 Branch staging change 接入层（TCPCopy）  支持流量放大、缩小  一键批处理压测 服务网格  智能负载均衡  流量路由策略  服务保护机制 混沌军团  随机关闭生产环境中的实例，模拟服 务故障  引入人为延时，模拟服务降级  寻找未使用、可被清理的资源  寻找不符合预定义最佳实践的服务  发现和跟踪异常修改，排查安全问题 DCBrain 根因分析