maintenance system. 模块化、可扩展的架构设计 Sufficient expansion capability to meet the needs of diverse application operations.阿里巴巴的 k8s 集群规模 • 数十个集群 • 数十万的节点 • 单集群规模 10,000 节点 • • 数万个应用 • 超百万的容器 Online Service Platform沉淀公共运维能力 • Operator Platform Kubernetes API Server Operator Manager sidecar framework 运维能力 operator sidecar framework 运维能力 operator 运维平台 运维基础 能力沉淀 运维平台 运维能力 编程框架 Kubernetes Platform不可变基础设施 base

default: 1024 required: false 2. A list of overwritable parameters (schemas) 1.Description of the application Component 核心workload 可访问 可复制 长久运行 Server √ √ √ Singleton Server √ × √ Worker × √ √ Singleton Component Trait Component App Scope + Rudr App Ops App Dev https://github.com/oam-dev/rudr Application Configuration：组装与自包含 OAM 加持下的 Kubernetes PaaS K8s 团队 运维 研发 监控报警 灰度发布 日志 扩缩容 负载均衡 web backend 倡导的“应用交付分层模型” OAM 项目近期计划 • OpenFaas、Terraform、Knative 集成 • K8s Operator 一键接入 • oamctl • oam-framework • CRD (traits/workloads) registry • … 主页：https://oam.dev 规范：https://github.com/oam-dev/spec

structure Why Containers, Kubernetes & Helm? • Container • Contains everything needed to run your application • Build once run anywhere • Starts in seconds: Great for scalability • Images are stored in Containers Demo: Serving the Model with TF Serving • Options for serving • Wrap model in a web framework (eg – Flask) • Tensorflow Serving • Seldon Demo: Run TensorFlow Training with Kubeflow

All Rights Reserved. 38 87. AWS SAM 试验 AWS Serverless Application Model（SAM）是一款用于在 AWS 云基础设施上构建无服务器应用的开源框架。此 前入选技术雷达条目的 Serverless Framework 作为一种在各个云服务商上部署无服务器服务的流行框架，主 要用于基于 AWS Lambda 的服务。近来，AWS

(AKS) 平台作为 Alauda 一系列平台的基础，可以与其他平台共同使用， 例如：Alauda Container Platform (ACP)，包括：DevOps、Service Framework、Service Alauda Kubernetes 白皮书 灵雀云 5 Mesh，Machine Learning 等，构成完整的产品闭环，可以根据企业定制化的使用场景，选

给Node打分 （软性选择） 绑定周期 • 向binding接⼝发送Post请求，把结果告诉k8s
 基于CPU实时使⽤率的调度器 借助Scheduling Framework可以实现⾃定义的调度器 score=(1 - cpu_used_seconds / cpu_total ) * Maxscore 未来规划 垂涎已久的架构 ServiceMesh 实际案例

• Kubernetes DNS Resolver VS Kubernetes API Server Resolver • DNS resolver is builtin in gRPC framework and its out-of-box for users • When connection fail DNS Resolver can resolve name immediately •

异构GPU统一管理 多种调度策略，多租户管理GPU卡 与CPU核自动绑定 支持单机多卡和多机多卡 发表论文：《Gaia Scheduler: A Kubernetes-based Scheduler Framework》 The IEEE ISPA 2018 (16th IEEE International Symposium on Parallel and Distributed Processing with

DB Backup Monitoring Deployment StatefulSet Service CronJob DaemonSet Kubernetes 编排案例 Application Ingress Business Logic A Business Logic A Business Logic A Business Logic A Business Logic A 应用编排架构 基本架构 Kubernetes Cluster Application Registry Application Manager Application A Application … API Gateway API Service A API Service B 应用编排架构 Application Registry - Helm Registry Helm Chart 可选的多种存储后端（FileSystem，OSS，…） 3. 可通过 API 直接对应用进行编排 4. 开源（https://github.com/caicloud/helm-registry） 应用编排架构 Application Manager - Helm Tiller Helm Tiller 1. 负责将 Chart 部署到指定的集群当中，并管理生成的 Release（应用） 2. 支持对 Release