[Image](/uploads/documents/c/d/1/1/cd11ba0b707be61cb140b86841b53505/p1_1.jpg) BEIJING 2017 # 构建基于富媒体大数据的弹性深度学习计算平台 SPEAKER / 土土@七牛 AtLab ## 促进软件开发领域知识与创新的传播  ## AVA 弹性深度学习平 △ Iterative training Incremental training Semi-supervised Labeling Model comparison

部署与企业对接 AI 技术介绍 AI 云平台介绍及构成 AI 与 Kubernetes 融合与架构解析 ## Kubernetes 介绍 ## • 是一套集自动部署，弹性扩容，并且基于容器的集群管理工具。 - 快速部署应用程序 弹性负载均衡 • 无缝升级应用 • 硬件隔离  平台专注于将Google级 AI 模型生成及服务工具TensorFlow打造成一个成熟的商业级人工智能平台为个人和企业解决计算资源短缺、环境配置复杂、资源管理缺失等问题. ● 集群资源弹性管理 • 用户 / 硬件资源管理 • 用户 / 硬件资源监控 - 易用的模型 / 服务部署 • 商业级的模型服务平台 ![Image](/uploads/documents/6/9/d/b

Kubernetes API Server 极速交付 分时复用 弹性容量 资源画像 规模化调度 高可用容灾 可视化服务 Cluster Control Panel 蚂蚁 k8s 核心 CRI CSI CNI Device Plugin runc nanovisor kata 日志服务 云盘 本地多盘 弹性网卡 网络安全组 GPU 安全可信 基础服务 神龙裸金属 controllers 都应该使用 informers，并且对写操作配置合理限流 • DaemonSet 非常高阶，尽量不要采用这类设计，如果必需请在 Kubernetes 专家的辅导下使用； ## 弹性资源建站  ## 三、 展望未来，迎接挑战

[Image](/uploads/documents/8/c/c/6/8cc64edefe1062de7272506735c29556/p5_4.jpg) 容器编排引擎提供资源的管理和容器的调度技术，提供容器应用生命周期管理、弹性伸缩、监控运维的基本机制，决定容器之间如何进行交互。 - Kubernetes（简称K8S）是主流的容器编排部署管理平台。它基于Google Borg商用系统开发，具有轻量级，可移植性，高灵活性等特点。 Helm/Docker Hub 配置模板化 控制面 HA 跨AZ高可用 自动化构建 第三方服务&工具 Kafka/Nginx/APM/Monitor 容器优雅缩容 多策略弹性伸缩 自动化部署 节点自动伸缩 商业增强特性 镜像加速 GUI/CLI/API 计算（ECS/BMS/ARM） ![Image](/uploads/documents/8/c/c/6/8cc64ede 支持有状态应用，数据不丢失 etcd SFS mysql-ndb 自研Fuxi存储管理 轻松对接多种后端存储 全容器化Helm 一键完成中间件部署 ## 全球首发云容器实例服务CCI：更快的弹性，更高的资源利用率 挑战 传统虚机应用上线慢 业务扩容时间长 传统虚机应用交互性能低 同业务压力下资源利用率低 ![Image](/uploads/documents/8/c/c/6/8

有状态服务的需求越来越多  ## 问题 弹性伸缩能力不足 • 机器资源利用率不高 • 服务管理复杂 ![Image](/uploads/documents/4/7/d/d/47dd11b40241e0917f8cd627e1bdc741/p6_2 MySQL Operator 设计实践 4. 小结 Slave1 ## MySQL 容器化目标 - 快速部署 MySQL 主从集群 - 支持 MySQL 集群高可用 - 支持 MySQL 集群弹性伸缩 • 支持 MySQL 5.5 & 5.7 ![Image](/uploads/documents/4/7/d/d/47dd11b40241e0917f8cd627e1bdc741/p14_1

69 Agent 集成 ..... 71 3.5 弹性伸缩 ..... 72 3.5.1 背景 ..... 72 3.5.2 简介 ..... 72 3.5.3 挑战 ..... 72 3.5.4 目标 ..... 73 3.5.5 状态 ..... 73 3.5.6 核心概念 ..... 73 弹性伸缩作业 ..... 73 数据节点 ..... 73 der 279 5.9 分布式治理 279 5.9.1 RegistryCenterRepository 279 5.9.2 GovernanceWatcher 279 5.10 弹性伸缩 280 5.10.1 ScalingEntry 280 5.11 Proxy 280 5.11.1 DatabaseProtocolFrontendEngine 280 5.11 分片策略定制化 • 无中心化分布式主键 #### 1.2.2 分布式事务 ·标准化事务接口 · XA 强一致事务 · 柔性事务 #### 1.2.3 数据库治理 · 分布式治理 · 弹性伸缩 · 可视化链路追踪 · 数据加密 本章节以尽量短的时间，为使用者提供最简单的 Apache ShardingSphere 的快速入门。 ### 2.1 ShardingSphere-JDBC

容量合理规划  冗余机器与其他系统复用，弹性伸缩 ## 配套系统支撑 监控项分类：请选择分类 监控点：选择监控点 所属组件：选择组件 1 配置管理 / 管理配置 组件名称： 基础接口 - BaseInterface 环境名称： 系统能够任意水平扩容 ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 应用实践以及经验教训 • 未来规划 ## 未来规划 • 异地多活架构平台化 • 弹性伸缩完善 • 一致性要求较高场景 • 西部以及海外机房部署 ## Q & A ☐ ## ![Image](/uploads/documents/f/2/4/4/f244e3e91d6

|系统瓶颈|雪崩|资源不足| |最终一致性|成本控制|| |人为失误|安全风险|| ## 备战工具箱

服务化	敏捷调度	弹性	安全加固
离线计算	开发运维一体化	极致性能	故障演练
大数据	弹性伸缩  ![Image](/uploa 云原生实时计算与人工智能@微博 2.4倍性能提升 百亿实时样本 万亿维度模型 ## 云原生基础设施 新生态 新算力 新基石 ## 阿里云容器服务 容器云应用市场 合作伙伴计划 极速弹性 分钟级1000节点伸缩 异构算力 利用率提升5倍 沙箱容器 强隔离，90%原生性能 全链路安全架构 实时风险监测、告警、阻断 全球化部署 单集群万节点规模 云边端一体化 延时降低75% 混合云2 0 码力 | 17 页 | 17.74 MB | 1 年前 3 共 379 条 1 2 3 4 5 6 38 前往 页 相关搜索词 富媒体大数据深度学习弹性计算平台分布式系统模型训练与评估KubernetesTKEEKS多租户管理弹性伸缩AI容器编排GPU加速资源调度集群规模性能优化容器编排调度引擎容器技术混合云Kubernetes OperatorMySQL容器化高可用主从集群ShardingSphere-JDBCShardingSphere-Proxy分布式事务数据分片数据库治理读写分离分布式异地多活架构系统扩容流量调度数据同步容器服务高可用性全链路监控混合云架构