KubeVela：以应用为中心的 渐进式发布最佳实践 孙健波 阿里云-云原生应用平台团队 技术专家 关于我 • 孙健波 • 阿里云 (@天元) • 云原生应用平台团队--应用管理和应用交付 • Github(@wonderflow) • OAM - Open Application Model (https://oam.dev/) • KubeVela (http://kubevela (http://kubevela.io/) 微信-欢迎交流 目 录 云原生时代的应用与发布挑战 01 KubeVela 简介 02 KubeVela 中的渐进式发布实践 03 云原生时代，应用是怎 么样的？ 以 K8s 资源组合为核心 kubernetes/StatefulSet Kubernetes/Deployment K8s 的原生资源组合 1. 复杂、难懂、门槛高 2. 能力局限，不同场景各不相同 helm upgrade 没有灰度 能力。 Helm Chart 基于 CRD 自定义实现 需要大量 K8s 经验才能开发 某游戏公司自定义workload Pinterest 构建一个渐进式发布能力需要解决哪些 问题？ • 版本化 • 分批发布 • 滚动发布/原地发布 • 发布暂停 • 发布回滚 • 日志监控 • 健康检查 • 多版本部署 • 多版本流量灰度 • 多集群/多环境灰度 •

• 从稳定性目标出发，首先需要有提示应用出问题的手段 • 当提示出现问题后，就需要有定位问题位置的手段，进 一步要有能够指出问题根因、甚至提前就预警的手段。 拓扑流量图：是不是按预期运行 分布式跟踪:哪些调用 故障或者拖慢了系统 监控与告警： 主动告诉我 问题发生了！ 微服务部署后就像个黑盒子，如何发现问题并在 远端运维是主要的课题，那么就需要从宏观告知 研发人员，并且提供日志、跟踪、问题根因分析 通过TraceId来 标识记录并还 原发生一次分 布式调用的完 整过程和细节 Logging 通过日志记录 执行过程、代 码调试、错误 异常微观信息 数据之间存在很多关联，通过 关联性数据分析可获得故障的 快速界定与定位，辅助人的决 策就会更加精确 根据运维场景和关注点的不同，以不同图表或者曲 线图来表示整体分布式应用的各维度情况，使得开 发人员可以清晰的观测到整体分布式应用的详细运 行情况，为高精度运维提供可视化支撑 行情况，为高精度运维提供可视化支撑 人工发展阶段：符合人分析问题的习惯 宏观->微观 精细化发展阶段：依靠数据赋能，加强可视化能力，进一步简化运维 监控告警 分布式跟踪链 日志查询 根因分析 响应动作 自动化 高端观察性 各维度统计分析 观察性 Prometheus Skywalking EFK Hadoop Spark Cortex ....... 传统交付方式的不足之处 手册文档 配置参数

数据库框架：从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件：从框架技术到分布式的数据库中间件技术 3.分布式数据库：从数据库中间件技术发展到分布式数据库 4.数据库网格：数据库与微服务、云原生的发展关系 5.数据库解决方案：如何基于 ShardingSphere 生态创建数据库解决方案 1.数据库框架 1.数据库框架 摩尔定律失效 分布式崛起 1.数据库框架 随着数据量的增大，读写并发的增加，系统可用性要求的提升，单机 数据库中间件使用的约束： 3.分布式数据库 3.分布式数据库 类库/框架 数据库中间件 分布式数据库 数据网格 TDDL Sharding-JDBC DRDS Sharding-Proxy MyCAT DBLE KingShard Vitess ? Spanner Aurora GaussDB PolarDB OceanBase TiDB Cockroach DB …… 3.分布式数据库 1.水平扩展性 水平扩展性 2.计算存储分离 3.分布式事务 4.多副本机制 5.SQL接入支持 6.云原生支持 容量 性能 一致性 可高用 易用性 伸缩性 代替单机数据库（注意，主要解决容量问题）。 3.分布式数据库 1、需要较多的机器资源； 2、对于替换数据库技术的公司，代价较大，放弃多年积累； 1）引入框架，研发人员 2）引入中间件，研发人员+运维人员=》研发团队 3）引入数据库，研

RASP应用安全、数据安全、态势感知与风险隔离 由于云原生托管的应用是碎片化的，环境变化也是碎片化的，而且其业务类型越来越多，比如已经延展到边 缘计算盒子，此时攻击面被放大，在云原生环境下安全是一个核心价值，需要立体纵深式的安全保障。 由于云原生DevOps环境追求效率以及运行态的动态治理能力，导致传统安全实施方法、角色、流程、技术 都发生了很多变化，适应这些变化是落地云原生安全的关键！ 标准化能力-承载无忧-E2E云原生纵深安全保障-2-商业价值 建议在业务低峰时进行。 IAST(交互式应用程序 安全测试) 结合了上面两种的优点并克服其缺点，将SAST和DAST相结合，通过插桩 等手段在运行时进行污点跟踪，进而精准的发现问题。是DevSecOps的一 种推荐方式。 如果在被动模式下运行IAST，那么开发测试过程 中就可以完成安全扫描，不会像DAST一样导致业 务报警进而干扰测试，同时由于污点跟踪测试模 式，IAST可以像SAST一样精准的发现问题点 按需分别订购计算与存储，成本低、故障恢复快 利用HTAP模式，可以将查询和分析合并 起来，更加节约成本，并提高了性能 高级能力-云原生数据库-应用的基石-4-端到端安全 DB计算层 分布式共享 存储 分布式 内存 DB计算层 分布式共享 存储 分布式 内存 TDE透明加密 SSL • 在SSL和TDE保护下，好像数据在传输和存储过程中得到了保护，但是TDE 是存储时加密、计算层读取时解密，否则计算层无法进行计算。

a l 提 出 云 原 生 概 念 P i v o t a l 、 C N C F 同 时 提 出 云 原 生 是 一 种 充 分 利 用 云 计 算 优 势 构 建 和 运 行 应 用 的 方 式 。 D o c k e r 被 认 为 是 能 够 适 应 于 云 原 生 理 念 的 技 术 ， 而 微 服 务 被 认 为 是 适 合 D o c k e r 这 种 环 境 ， 它 们 一 起 云原生应用相比传统应用的优势 低成本 高敏捷 高弹性 云原生应用 传统应用 部署可预测性 可预测性 不可预测 抽象性 操作系统抽象 依赖操作系统 弹性能力 弹性调度 资源冗余多 缺乏扩展能力 开发运维模式 DevOps 瀑布式开发 部门孤立 服务架构 微服务解耦架构 单体耦合架构 恢复能力 自动化运维 快速恢复 手工运维 恢复缓慢 云原生应用相比传统应用的优势(例子) 来实现计算资源向应用的无缝融合，以极简稳定的、 私有云市场规模 645.2亿 投 入 技 术 运 维 纳 管 规 模 9%客户投入占总IT投 入的一半以上 成为主要支出方向 中心集群规模为主 部署形态多元化、多云/混合云架构成为主流 自动化 用户软件发布方 式正在向自动化 转变 容器 60%以上用户已 经在生产环境应 用容器技术 微服务 微服务架构成为 主流，八成用户 已经使用或者计 划使用微服务 Serverless Serverless技术显 著升温，近三成

API 的协作和抗脆弱性。同一年，Google 作为发起方成立 CNCF，指出云原生应该包括容器化封装、自动化管理、面向 微服务。到了 2018 年，CNCF 又更新了云原生的定义，把服务网格和声明式 API 给加了进来。后来，随着云计算的不断发展，云原生的簇拥者越来越多，这 一体系在反复的修正与探索中逐渐成熟。VMware 关于云原生的介绍提出了四 个核心要点，包括 DevOps、微服务、容器和持续集成，如图 面 向云应用设计的一种思想理念，充分发挥云效能的最佳实践路径，帮助企业构建 弹性可靠、松耦合、易管理可观测的应用系统，提升交付效率，降低运维复杂度， 代表技术包括不可变基础设施、服务网格、声明式 API 及 Serverless 等。云 原生技术架构的典型特征包括：极致的弹性能力，不同于虚拟机分钟级的弹性响 应，以容器技术为基础的云原生技术架构可实现秒级甚至毫秒级的弹性响应；服 务自治 安全管理的边界扩展到了容器层面，需要采用新的安全策略和工具来保护容 器的安全性，如容器镜像的验证和加密、容器漏洞扫描和运行时监测等。  架构的变化 多云及混合云下的应用架构及工作负载更加复杂，需要采用分布式安全策略 和技术，如服务间的身份验证和授权、服务网格的加密通信、微服务的监测和异 常检测等。  管理模式的变化 云原生安全威胁分析与能力建设白皮书 15 云原生应用的快速迭代和部署频率也对安全治理模式提出了新的要求。传统

是一种以资源视角的云交付形式， 不同于混合云，底层云的资源使用 地位等同。 AWS Aliyun Azure 云中立 高级能力-分布式云(交付角度） 分布式云（Distributed Cloud）就是分布在不同地理位置的云，是公有云“进化”的最新形态 中心Region 传统公有云 分布式云 覆盖热点区域的 边缘数据中心 客户本地机房的边缘节点或者 边缘计算盒子 粗犷上云 低时延 高弹性 强合规 云边一体纳管 高级能力-去中心化云（服务角度） 中心Region 传统公有云 去中心云 靠近的小云相似 于混合云、多云 纳管或者分布式 整体服务对等 性能、安全可控， 满足可控信息互通 的要求 • 涵盖所有云，涵盖所有业务形态 • 满足性能、安全要求 • 满足云间通信 • 是未来下一代云，目前云厂商还在摸索阶段 • 有望成为云计算终极形式，云原生ServiceMesh以及 re-host • 运维模式升级 • 从传统面向操作规则的运维转变为面向观测数据的自动化运维 • 重新定义软件交付模式 • 整体打包交付 • Git=Single Version Of Truth • 声明式API • 尽量采用OpenAPI作为系统集成胶水 • 重塑研发流水线 • 任何变更都提交git，有迹可循 • 变更经过几层验证，生产验证后自动合并，保证Single Version Of Truth

Agenda 1. 服務網格是什麼? 簡要歷史回顧 2. 什麼是Consul，它如何工作? 3. 演示: 如何在非容器化的環境下使用Consul的服 務網格 4. 問&答 ⁄ 簡要歷史回顧: 從單體式軟件到微服務 The Dawn of Time (pre-2010) In the beginning was the monolith The Age of Enlightenment Breaking 2013 2014 2015 2016 2017 2018 enterprise service bus service oriented architecture service mesh 單體式與微服務軟體架構對比 The Reformation 服務網格是一個輕量級的基礎架構組件，用來解決以下問題： ▪ 服務都在哪裡運行? ▪ 它們都健康嗎? ▪ 怎樣保證服務之間客戶無障礙安全互聯 公有雲出現之前的軟件網絡安全 軟體所運行在企業的數據中心中固定的服務器 上，由防火牆和負載均衡器保護。 軟體的網絡安全是基於IP地址和端口，以及防 火牆來控制的。 軟體網絡安全-在雲上引入微服務後 單體式軟體被分割成了小的功能模塊（可能是 容器化了的微服務），這些模塊在雲上更容易 實施也更容易擴展 但是網絡邊界怎麼辦? 零信任網絡 安全 數據加密, 認證, 授 權 ⁄ How does Consul

• 配置UI化标准化 • 配置变更实时感知 • 部署全自动化 • 多Beats支持 • Beats运行时cpu/mem可控 • Agent监控视图 • 离线/容量/延时监控 • 分布式集群管理 • 异常快速定位 • 关联公司CMDB • 资源权限管理 • 配置灰度控制发布 • 配置一致性检测 • 日志覆盖率 12 案例:如何管控整个日志数据流相关资源性能与容量？ 资源限制 精准控制资源消耗防止异常减少抖动 Es写入性能调优 修改配置文件不断观察数据情况 基于ES压测报告给出专家级es参数优化建议 参数优化体验 修改配置文件、参数调优相对麻烦 全UI化、一站式处理 14 配置UI化 配置UI化开发思路 嵌套式表单 大表单套小表单，所有表单都是以angular组 件形式开发，保证代码的可复用性与质量 配置分级展现 把复杂配置独立成高级选择，并设置默认值， 并在复杂项给出有效帮助 18 日志AIOps探索 日志最佳实践、拨测系统、智能排障、 AIOps探索 19 案例: 基于Kibana的交互式排障 交互式排障，下钻分析，对比分析，快速定位异常 20 案例:如何基于ELK构建内网拨测系统? 基于Healthbeat与Metricbeat构建分布式、全region覆盖、协议支撑丰富的内网拨测平台 21 案例: 使用ES原生ML能力提供排障效率 深挖日志价值，提高故障感知与异常分析能力

传统架构 微服务应⽤成为2B软件的架构主流 01. 2B软件交付的困局 微服务是⽬前⼤多数B端业务的⾸选架构 组件复⽤ 按需运维 灵活定制 客户/项⽬要求 运维困难 交付困难 分布式难题 2B软件交付需求多样性 01. 2B 软件交付的困局 交付模式 定制化独⽴交付 标准独⽴交付 SaaS交付+定制交付 SaaS交付 客 单 价 越 ⾼ 交 付 效 率 越 ⾼ 云原⽣； 它是⼀个指导思想、实践思路和⾏为⽅式； 我们仅从2B软件交付领域来谈云原⽣技术； 云原⽣技术 云原⽣技术概要 02. 云原⽣与云原⽣应⽤ 云原⽣四要素 微服务 容器化 DevOps 持续交付 云原⽣发展的热点就是解决交付问题 云原⽣主要实践⽅式 模型化驱动 资源模型定义 模型使⽤定义 模型驱动器 模型关联 抽象化 申明式 ⽣命周期 上下游联动 按照云原⽣技术规范设计研发的业务应⽤，覆盖了应⽤