云原⽣技术在2B软件交付的实践 曾庆国 北京好⾬科技有限公司 技术负责⼈ ⽬ 录 2B软件交付的困局 01 云原⽣与云原⽣应⽤ 02 ⾯向交付的应⽤模型 03 2B交付版本的DevOps 04 2B软件交付的困局 第⼀部分 SaaS 服务模式⾼速发展，但⽬前⼤多数2B领域的软件 交付，依然以传统交付模式为主。 产业互联⽹升级使得2B软件服务市场需求旺盛 什么是2B软件交付 01. 2B软件交付的困局 ⾯向企业⽤户交付软件价值的过程 （1）产品研发流程管理 （2）产品版本管理 （3）概念验证，POC 管理 （4）客户个性化定制（价值最⼤化的关键） （5）客户应⽤的持续交付 （6）客户应⽤⽣产稳定性保障 (SLA) 追求价值最⼤化 A. ⾼效的产品交付模式； B. ⾼效的产品定制开发模式； 微服务应⽤成为2B软件的架构主流 01. 2B软件交付的困局 64% SpringCloud Dubbo 其他微服务架构 传统架构 微服务应⽤成为2B软件的架构主流 01. 2B软件交付的困局 微服务是⽬前⼤多数B端业务的⾸选架构 组件复⽤ 按需运维 灵活定制 客户/项⽬要求 运维困难 交付困难 分布式难题 2B软件交付需求多样性 01. 2B 软件交付的困局 交付模式 定制化独⽴交付 标准独⽴交付 SaaS交付+定制交付

领 域 。 M e s o s 、 D o c k e r C o m p o s e 、 K 8 s 等 容 器 编 排 软 件 相 继 出 现 2 0 0 9 年 阿 里 云 飞 天 系 统 诞 生 聚焦于CapEx到OpEx的转变，但是应用依然需要自己解决稳定性问题 企业开始摸索大规模上云的可能性，而同时微服务架构开始出现。 2 0 0 0 年 F r e e B S D 提 出 容 器 以度量为基础，以NodeSelector算法来 决定在哪儿部署容器服务 • 运行时以期望与实际的差别进行动态调 整到期望的状态 标准化能力-分布式操作系统核心-容器服务-基本技术原理 事实标准的K8S容器服务设计 成应用与物理资源（IaaS，虚 拟机、物理，多云）的中间抽 象层，因为应用很复杂，很容 易陷入差异化定制市场，抽象 层的市场范围会更广，作为开 源平台，更容易成为通用性市 场选择。通用性才能做到普适 Kubectl Custom Controller Custom Resource(CR) Operator机制 Pod,Deployment, etc Spec (K8s Yaml) Custom Resource Spec (K8S yaml) 通过拓展实现自定义控制器来实现对非标准资源的纳 管，比如数据库的自动拓展能力或者自动化数据同步 能力等等。 标准化能力-分布式操作系统核心-容器服务-新发展

. 网络资源 VPC 子网 CIDR IP地址 NATGW ALB … ~30种资源标签，100+自定义微服务标签 理解云网络，自动标记端到端数据标签 Labels 自动同步云API、K8s apiserver DeepFlow support list 主机名、IP地址、VPC/隧道ID、对等连接、NAT/LB ➔ 资源标签 工作负载、容器服务、命名空间 ➔ 服务标签 容 器 云 tagint …… tagint tagint 云API、K8s apiserver GUI Data …… ① 采集 ① 采集 ② 存储 ② 存储 ③ 查询 ③ 查询 看云网更清晰 Simplify the growing complexity. Stage-1：采集时的编码 • Controller同步云API、K8s apiserver • 将所有标签编码为Int • Stage-2：存储时的编码 • Controller同步云API、K8s apiserver • 将所有标签编码为Int • Controller向Ingester下发编码后的Int标签 • 仅向Ingester下发需要持久化存储的标签 • 便于检索 • 如何选择需要随观测数据存储的标签 • 存储系统标签的：资源的标签、K8s的标签 • 不存储自定义标签：K8s label env=prod zone=ZoneA

Engineering is the discipline of experimenting on a system in order to build confidence in the system’s capability to withstand turbulent conditions in production. 2014 Netflix open position of Chaos 2019 2015 Principles of Chaos Engineering Chaos Engineering In TiDB TiD B TiD B TiD B Application via MySQL Protocol TiK V TiK V TiFlas h TiK V TiK V ... DistSQL API KV API ... Worker write data into the replica now ○ Other replicas will elect a new leader soon to service the client’s write again ○ The QPS will be recovered ● Run experiment ○ Kill one TiDB instance randomly ● Verify

https://i.cloudnative.to/observability/prologue/definition 阿里可观测性数据引擎的技术实践 https://mp.weixin.qq.com/s/0aVgtVCmBmtAgZE_oQkcPw © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 1. 可观测性的成熟度模型 complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 问题2：重复建设 业务团队A 业务团队B 业务团队C 业务团队D simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd Technology Co., Ltd. All rights reserved. 2.0 服务：统一的可观测性平台 可观测性平台（Metrics、Tracing、Logging） 基础设施团队 业务团队A 业务团队B 业务团队C 业务团队D …… 存储、检索服务 观测数据 观测数据 观测数据 观测数据 simplify the growing complexity © 2021, YUNSHAN Networks

3：编排工具攻击................................................................................26 2.4.1k8s 组件攻击.........................................................................................27 2.4 2.4.4 集群环境下的横向攻击........................................................................29 2.4.5k8s 管理平台攻击.................................................................................29 2.4.6 第三方组件攻击 攻击过程复现........................................................................................39 3.3k8s 权限提升攻击........................................................................................40 3

Data A B C D E Ledger stores Cursor changes Curso Subscription1 … Write Ack ManagedLedger + -/+ streamnative.io 跨地域复制 Topic (T1) Topic (T1) Topic (T1) Subscription (S1) Subscription (S1) Producer Summit StreamNative 和 Pulsar Summit streamnative.io 社区资源 • 微信公众号: • ApachePulsar / StreamNative • B站：https://space.bilibili.com/391380821 • 邮件列表 • dev@pulsar.apache.org • users@pulsar.apache.org • Slack

要 研 发 修 复 和 重 新 测 试 ， 严 重 影 响 效 率 传 统 安 全 流 程 强 调 上 线 前 解 决 一 切 问 题 ， 某 一 环 节 堵 塞 影 响 全 局 D e v O p s 效 率 。 依 赖 于 人 员 个 人 经 验 来 先 验 的 进 行 实 施 ， 而 很 多 入 侵 风 险 是 不 可 预 知 的 ！ 标准化能力-承载无忧-E2E云原生纵深安全保障-3-与传统安全方案的差 信执行环境内才进行明文计算。 • SSL+TDE+TEE=E2E云原生数据库安全方案。 RDMA 高级能力-云原生数据库-应用的基石-5-应用迁移 IDC 应用 A B C Oracle|MySQL 用于Oracle|MySQL 的JDBC Cloud 应用 A B C 多模云原生数据 库 用于云原生DB的 JDBC 极少量 改动 修改驱 动包 数据迁 移 • 由于云原生数据库支持多模，所以通过 ETL或者DTC等工具迁移数据是非常方便的 Yarn-ResourceManager Hadoop Yarn管理节点 已有的Hadoop集群 注册|任务下发 Yarn-NodeManager Yarn-NodeManager Hadoop Yarn计算节点 K8S集群 注册|任务下发 渐进式演进方案主要有弹性扩缩容和离在线混合部署两种模式，两个模式的侧重点略有不同 • 弹性扩缩容主要聚焦于如何利用云原生资源，借助serverless技术，快速扩容资源以补充算力，满足业务实时需

VG Scheduler ETCD Karmada Controllers K8s API Server Queue Controller Job Controller VG Controller VG API Server Cluster A K8s API Server Cluster B Agent Other Clusters Karmada API Server 支持业界主流计算框架，如Spark、TensorFlow等； • 多用户公平分配资源，快速响应高优先级作业 解决方案: • K8s + Volcano 统一调度所有工作负载； • Queue动态资源共享，DRF、优先级抢占 用户收益： • 大数据作业从Yarn平滑迁移至K8s； • 云原生DAP平台服务于17个国家/地区，1100用户，年增长率8.1%； • DAP平台运行项目450+ Vo Kubernetes + YARN Kubernetes + Volcano 静态划分资源池 统一资源池 Kubernetes + YARN Kubernetes + Volcano 集群低负载场景 K8s资源池空闲，大数据业务无法使用 大数据业务可以使用集群整体空闲资源， 提高整体资源利用率 集群高负载场景 通过静态划分的资源池保证大数据业务和通用 业务的资源配额 通过Volcano提供的队列保证各类业务资