Kubernetes 运行大数据工作负 载的探索和实践 Leibo Wang(wang.platform@Hotmail.com) Huawei CloudBU Principal Engineer 王雷博 Principal Software Engineer • Huawei(Now) - Cloud Native batch system (Volcano) development

等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景 • Kubernetes 规模增大 10 倍以上  公司业务快速发展  存储、大数据、机器学习等场景云原生化 • 新场景对 Kubernetes 性能要求更高  离线场景，Pod 生命周期短、变更频率高 如何扩展 Kubernetes 集群 单个集群规模垂直扩展 多个集群横向扩展 事务 • 支持 CAS • 支持快照读 • 高性能 存储层 - 数据格式 etcd KubeBrain 能否使用类似的格式？ 1. 否 2. 底层存储引擎全局有序，有写热点那问题 Etcd 以 Revision 为 Key 内存 Btree 索引维护 key 和 revision 的映射关系 存储层 - 数据格式 KubeBrain 逻辑层 逻辑层 – 写 逻辑层 – Watch（1） 一定有一个单点对消息进行排序 采用主从架构 逻辑层 – Watch（2） 一主多从 1. 仅主节点负责写入和事件生成 2. 从节点只读 逻辑层 – Watch（3） • Master 内存中保留最近写入的 事件 • 写入滑动窗口记录并发写操作的 结果 • 消费滑动窗口中的数据实现有序 的 Event 推送 • 当前消费的最大位置为 Brain 层 的 Committed

applications ，也不区分应⽤程序和服务 。 Kubernetes旨在⽀持各种各样的⼯作负 载，包括⽆状态、有状态以及数据处理⼯作负载。 如果应⽤程序可在容器中运⾏，那么它应该能够很好地在 Kubernetes上运⾏。 不提供中间件（例如消息总线）、数据处理框架（例如Spark）、数据库（例如MySQL），也不提供分布式存储系 统（例如Ceph）作为内置服务。 这些应⽤可在Kubernetes上运⾏。 2 node5 Ready node 2m v1.11.2 每个node都是ready的，说明OK。 验证2：部署⼀个NGINX # 启动⼀个单节点nginx ]# kubectl run nginx --image=nginx:1.7.9 --port=80 # 为“nginx”服务暴露端⼝ ]# kubectl expose deployment 进⾏全局决策（例如调度），以及检测和响应集群事件（例如：当 replication controller所设置的 replicas 不够时，启动⼀个新的Pod）。 Master可在集群中的任意节点上运⾏。然⽽，简单起⻅，设置脚本通常在同⼀个VM上启动所有Master组件，并且不会 在该VM上运⾏⽤户的容器。请阅读 Building High-Availability Clusters 以实现多主机VM配置。

1 ⾸云容器产品Kubernetes操作指南 简介 �.产品简介 �.使⽤须知 集群管理 �.简介 �.使⽤须知 �.操作说明 节点管理 �.简介 �.使⽤须知 �.操作说明 存储管理 �.简介 �. 操作说明 应⽤管理 �. 简介 �. 前提条件 �. 操作说明 ⽹络管理 �.简介 �.操作说明 监控管理 �.简介 �.操作说明 （�）开启监控 ⽬前开放节点：⽆锡A，东京A，⾹港A，新加坡A，达拉斯A，法兰克福A。 注：根据客户需求可以⼀天内在新节点部署好容器服务。 ⾸云⽀持 集群管理操作，包括集群创建、删除和控制台访问集群 需通过⾸云集群管理⻚⾯进⾏上述操作 创建集群 进⼊集群⻚⾯ -> 右上⻆点击创建集群 设置集群名称 -> 选择虚拟数据中⼼ -> 选择集群私⽹ip⽹段 -> 选择计费⽅式-> 设置master节点 - > > 设置worker节点 -> 选择HA配置 -> 选择集群公⽹ip -> 设置集群ssh登录密码 -> 确认⽆误后点击 确认 2.使⽤须知 集群管理 1.简介 2.使⽤须知 3.操作说明 4 5 进⼊集群⻚⾯ -> 查看创建的集群，状态为正常代表创建成功 访问集群 进⼊集群⻚⾯ -> 选择集群，点击管理节点 选择要进⼊的节点 -> 点击控制台 删除集群 进⼊集群⻚⾯ ->

➔ 华为开源社区⼯工程师� ➔ KubeEdge社区Member� ➔ Kubernetes社区Member� ➔ OpenSDS社区Memeber� ➔ OpenStack社区数据保护项⽬目联合发起⼈人� Outline� ➔ 边缘计算 & 应⽤用场景 & ⾯面临的挑战� ➔ Why KubeEdge & 基础架构 & 设备管理理 & 实战� ➔ 后续规划 & 社区贡献 无法与云端相⽐比。在此情况下，边缘计算应运⽽而⽣生，将云端计算能⼒力力 延伸到靠近终端设备的边缘节点，就近提供服务。边缘计算不不是云计算的替代品，边缘计算减轻了了云计算架构的计算负担，是其补充和延伸。 云边协同才能够最⼤大程度的发挥作⽤用。连上云的边才有强⼤大的能⼒力力和灵活性。连上边的云才有数据引流上云和应⽤用服务落地点。� 边缘计算——快速发展的四⼤大因素� Gartner公布的201 少业务处理理时延。� ➔ 海海量量数据：物联⽹网时代边缘数据爆炸性增⻓长，难以直接回传⾄至云端且成本⾼高昂，数据在本地进⾏行行分析和过滤，节省⽹网络带宽。� ➔ 隐私安全：数据涉及到企业⽣生产和经营活动安全，在边缘处理理企业保密信息和个⼈人隐私。� ➔ 本地⾃自治：不不依赖云端的离线处理理能⼒力力和⾃自我恢复能⼒力力。� 低时延 海海量量数据 隐私安全 本地⾃自治 边缘计算应⽤用场景——智慧园区�

安装了containerd后，containerd的命令行工具为ctr，而k8s v1.24之后版本又新 增额外的辅助工具crictl crictl是遵循CRI接口规范的一个命令行工具，通常用它来检查和管理kubelet节点 上的容器运行时和镜像。（支持containerd/docker/crio） ★安装crictl工具 默认随kubeadm一起安装了，在cri-tools-xxxx.x86_64.rpm这个包里，如果想单独 com/k8s/pause:3.9" # systemctl daemon-reload # systemctl restart kubelet 所有节点都要安装docker及cri-docker 已加入集群的，所有节点都要修改 /var/lib/kubelet/kubeadm-flags.env 内容 未加入集群的，执行加入命令时添加--cri-socket选项： # kubeadm 在 刚 刚 安 装 好 的 master 结 点 上 有 操 作 整 个 k8s 集 群 的 认 证 文 件/etc/kubernetes/admin.conf 把它复制到需要使用kubectl命令的节点上的$HOME/.kube/目录下并命令为 config即可 # mkdir ~/.kube # cp /etc/kubernetes/admin.conf ~/.kube/config #

用Kubernetes部署Fabric 4 总结 SACC2017 超级账本项目概览 SACC2017 商用区块链的要求 5 共享账本 智能合约 隐私性 共识算法 多方共享数据 访问权限控制 交易具有合适的可见性 交易需认证身份 用代码描述业务 可验证和签名确认 多方共同认可交易 满足需求的吞吐量 SACC2017 公有链的不足之处 • 比特 数字货币系统 通用公有链平台 管理方式 Linux基金会 社区 社区（众筹） 货币 无 BTC 比特币 Ether 以太币 挖矿 无 有 有 状态数据方式 键值数据、文档数据 交易数据 帐号数据 共识网络 PBFT等 PoW PoW, PoS 网络 公开或私有 公开 公开 隐私性 有 无 无 智能合约 Go, Java等多种开发语言 • 5000+commits 13 SACC2017 Hyperledger Fabric 1.0 特点 • 提供了交易的机密性 • 权限管理和控制 • 分离了共识和记账职能 • 节点数动态伸缩 • 吞吐量有望提升 • 可升级的智能合约（chaincode） • 成员服务是高可用 14 SACC2017 供应链场景(1) 15 商店 农场 X A

年加入腾讯，现任数据平台部容器云开发组组长。 拥有多年分布式系统研发经验，对大数据、云计算、容器等有深刻理解。从事过自研容 器云平台，大数据云平台，以及面向公司内外的通用容器云平台，从无到有，从自研到 开源生态，从公司内部平台到同时面向To B市场。目前专注于容器云平台领域，负责腾 讯企业级容器云平台 。 2009年-2013年 2014年-今 2015年-今 自研容器云平台 腾讯大数据云 通用云平台 组件自身HA机制，如docker； • 多地域多可用区的容灾设计 • 管理机挂掉：对应用无影响 • 计算节点挂掉：跨机迁移 • 健康探针 ① 存活探针 ② 就绪探针 • 负载均衡 • 重启机制 ① 区分异常原因 ② 本地重启/跨机重启 • 黑名单机制 • 集群核心数据的备份和恢复 ① Etcd ② 核心数据库 • 云盘机制保护应用数据 • 举例：1.4升级1.9版本 • Pod Hash发生变化 • Contai restartCount改为 annotation.io.kubernetes.container.restartCoun • Cgroup目录结构发生变化，新增Pod层级 平台容灾 应用容灾 数据容灾 企业内部各个集群灰度运营。 可靠 资源管 理 CPU Memory Disk Space Network TX Network RX Disk IO (include

展和服务模式创新的集中体现，是信息化发展的重大变革和必然趋 势，是信息时代国际竞争的制高点和经济发展新动能的助燃剂。云 计算引发了软件开发部署模式的创新，成为承载各类应用的关键基 础设施，并为大数据、物联网、人工智能等新兴领域的发展提供基 础支撑。加快推动云计算创新发展，顺应新一轮科技革命和产业变 革趋势，是推进中国式现代化进程的关键。 过去一年，全球和我国云计算产业保持快速发展，并呈现出以 四、云计算加速催生算力服务新范式..................................................................... 32 （一）架构方面，云计算支撑算力服务以数据为中心.................................. 32 （二）功能方面，云计算持续驱动算力服务创新发展.................................. 济、军事、科技等方面的领先地位。2021 年 5 月，美国国防部公布 美国本土以外（OCONUS）的战术边缘云战略，明确提出将通过云 战略获取全球优势。美国国立卫生研究院（NIH）表示将在 2023 年 实施新的数据管理政策，促进更多的研究人员使用云计算。此外， 美国在 2022 年 9 月发布了《国家竞争力面临的十年中期挑战》，其 中提到通过发展云计算等高新科技，健全数字基础设施，以扩大其 在经济、军事、科技等方面的竞争优势。