reserved. 构建统一的云原生应用 可观测性数据平台 DeepFlow在混合云中的实践总结 向阳@云杉网络 2022-04-09 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing 统一的可观测性数据平台 telegraf 看云网更清晰 Simplify the growing complexity. 挑战：数据孤岛、资源开销 数据 孤岛 资源消耗 telegraf 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ① Trace与「非Request scope」的Metrics 例如：响应Request A的实例在一段时间内做了多少次GC？ ① 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ② 应用、系统、网络的Metrics之间 例如：某个Servi

云原⽣图数据库解谜、容器化实 践与 Serverless 应⽤实操 古思为 ⽅阗 Graph DB on K8s Demystified and its Serverless applicaiton in actions. DEVELOPER ADVOCATE @ MAINTAINER OF KCD China 2021 Nov. 6th @Shanghai 古思为 wey-gu ⻘云科技研发⼯程师 Overview 了解 K8s 上的 Serverless 计算平台搭建实践：OpenFunction K8s 上的图数据库基于 KubeBuilder 的 Operator 实现，解谜图数据库的知识与应⽤ 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ siwei.io/talks/2021-KCD laminar.fun/talks/2021-KCD com/OpenFunction/samples 图数据库简介 什么是图？ 什么是图数据库？ 为什么我们需要⼀个专⻔的数据库？ 什么是图？ "以图结构、图语义来⽤点、边、属性来查询、表示存 储数据的数据库 wikipedia.org/wiki/graph_database 了解更多关于 什么是图数据库 什么是图数据库 为什么需要图数据库？ 传统数据库 图数据库 图模型的结构 图语义的查询 性能

Volcano加速金融行业大数据分析平台 云原生化改造的应用实践 汪 洋, 华为云 Volcano 社区核心贡献者 大数据平台云原生面临的挑战 传统大数据平台云原生化改造成为必然趋势 大数据分析、人工智能等批量计算场景深度应用于金融场景 作业管理缺失 • Pod级别调度，无法感知上层应用 • 缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 调度策略局限 计算密集，资源波动大，需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Volcano 架构 项目概况： • 业界首个云原生批量计算平台 • 2019年6月开源，2020年进入CNCF，目前是CNCF孵化级项目 Plugins on demand reclaim Re-construct JobInfo in Cache by PodGroup Job JobSpec 用户案例：荷兰ING银行大数据平台云原生化改造 • Platform Entry-point • Project Management Data Science in a box (Advanced analytics

从【数据库中间件】到【云原生】 ——Apache ShardingSphere 架构演进 Apache Dubbo/ShardingSphere PMC 秦金卫（kimmking） 2020-12-04 20:00 云 原 生 学 院 # 1 2 目录 1.数据库框架：从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件：从框架技术到分布式的数据库中间件技术 3.分布式数据库：从数据库中间件技术发展到分布式数据库 分布式数据库：从数据库中间件技术发展到分布式数据库 4.数据库网格：数据库与微服务、云原生的发展关系 5.数据库解决方案：如何基于 ShardingSphere 生态创建数据库解决方案 1.数据库框架 1.数据库框架 摩尔定律失效 分布式崛起 1.数据库框架 随着数据量的增大，读写并发的增加，系统可用性要求的提升，单机 MySQL面临： 1、容量有限，难以扩容 2、读写压力，QPS过大，特别是分析类需求会影响到业务事务 3、可用性不足，宕机问题 1.数据库框架 1.数据库框架 计算机领域的任何问题都可以通过增加一个中间层来解决。 数据库框架技术：在业务侧增强数据 库的能力。 直接在业务代码使用。 支持常见的数据库和JDBC。 轻量级，不需要额外的资源和机器。 1.数据库框架 1、改造对业务系统具有较大侵入性； 2、对于复杂的SQL，可能不支持； 3、对于跨库和跨分片的数据，需要额外机制保障一致性；

研发效能高 (GoLang、生态) 高性能、高研发效能、生态打通 MoE = MOSN + Envoy 相互融合，各取所长 在 Service Mesh 领域，Envoy 和 MOSN 作为其数据面 sidecar 之一 ，用于解决传统服务治理体系下的痛点如： 多语言，中间件组件开发适配成本高、SDK 升级困难、 技术复用度差、治理体系不统一等。 MoE 背景介绍 — 为什么做 用户痛点 • 扩展 Xprotocol 支持 • Debug 及 Admin 管理 • Metrics 监控统计 Envoy 复用基础能力 • 复用高效 Eventloop 模型 • 复用 xDS 服务元数据通道 • 复用 L4/L7 filter • 复用 Cluster LB • 复用 State 统计 Proxy-golang 扩展能力 • Proxy-golang API • Filter manager 此时 P 的数量如何管 理？M 从哪来？ G P M GMP 为 Envoy 每个 work thread 都预留对 应的 P，保证每个 G 都可以立刻找到 P MoE 方案介绍 — 服务相关元数据如何管理 Envoy MOSN MoE Data Plane HTTP(L7) HTTP Filter GoLang L7 extension Filter HTTP Filter

Deliver Anywhere 交付同学的烦恼 !"#$A 我们还是个创业公司运维 经验少，产品所有依赖的中 间件服务资源都想⽤阿⾥公 共云上的 %&#$B 我们⾃⼰的商业经营数据 必须存储在公司⾃建机房，其 他的数据为了节约运维管理成 本，还能享受云上的弹性能⼒， 可以考虑⽤云上服务 '()*#$C 我们主要服务国外客户， 根据当地政府的监管要求，我 们必须使⽤aws⼚商提供的中 间件服务 • Provisioning：Package、Image、helm、OpenAPI、… 交付环境 • 公有云: 阿里云、华为云、腾讯云、AWS、… • 专用云：政务、税务、电信、… • 自建机房：VMWare、OpenStack、…ost Effectiveness 云原生-应用交付的难题 1. 服务依赖关系复杂，编排困难 2. 云厂商林立，同一个款服务不同厂商的开通、 运维各不同相同， OwnerReference AliCloud OpenAPI AWS OpenAPI How to make it happen 张健川(聪言) 我需要一个MySQL数据库服务 MySQL 5.7版本 硬件规格4c8g 存储20G 交付不同客户依赖的数据库Provider不同 读写IOPS能力达到1W+ 面向用户友好的声明服务 Service Spec Component-oriented extension

自动化解决用户使用体验问题，计算量属于窄带范畴， 所以计算算力重点在于云端，云端计算体系架构成熟， 成本较低，在业务上本地的设备根据模式信号反馈一些 动作，比如下雨关窗帘，是自动化范畴，上传云端的数 据都是属性数据，比如谁什么时候干了什么，后续云端 根据个人喜好数据为用户提供比如按照个人喜好调节温 度、或者提送广告内容等 自动化特征 智能家居 智能办公室 智能信号灯... 远端控制 云端分析系统 设备端 (现场)边缘计算BOX 和硬件的要求，形成 一个通用计算平台， 更普遍的为客户场景 赋能。 • 一切围绕如何将算力 输送到业务场景为中 心思想，构建技术体 系。 高级能力-业务双引擎循环驱动-业务数据化、数据业务化 互联网业务、万物互联业务等等造就了海量数据，而海量数据应该也必须能够提炼出价值为业务反向赋能，形成正向业务价值循环 云原生平台(PaaS+Caas+IaaS) 业务系统连接一组人，或者说企业业务实际能力提供者，通过双中台可 内这类 伪低代码产品，靠着模板走量批发的模式。客户买的是人工，不是技术 • 低代码平台与企业技术 栈的融合能力成为一个 重要的考验指标 • 有的企业系统已经运行 了几十年，拥有自己的 UI 体系、数据库体系和 中台体系，完全更改是 不现实的，低代码平台 要做的是与这么多技术 融合，帮助企业更好地 改进。 • 降本增效是最初级的成 果，如果能够深入企业 业务当中，低代码平台 可以带来的东西会更多。

RPC 数据中心 Dubbo Gray Dubbo 基线版本 RPC RPC 微服务中心 app pos web MSE 云原生网关 认证鉴权服务 primweb web 订单中心 促销中心 商品中心 库存中心 渠道中心 用户中心 营销中心 会员中心 日志服务 安全 全链路监控 web服务 ES 云数据库 Rredis 版 RDS 云数据库 POLARDB 斯凯奇 云原生网关最佳实践 配置管理最佳实践 服务和路由规则 预案 限流 开关 动态UI 机房切流 文案、公告 前后端独立发布 布局、氛围调整 高可用平台配置 降级 开关 特性 开关 紧急预 案 提前预 案 白名单 日志级别 、采样率 超时、重试 流量调度 动态数据源 故障自动切库 DB大促预建联 密码定期修改 流量控 制 线程控 制 微服务生态 微服务生态 前端生态 Spring Sentinel 高可用生态 Dubbo Midway Switch 数据库生态 TDDL 服务鉴权 Pre-plan MSE（Nacos） 服务网格最佳实践 阿里服务网格（简称 ASM）是一个统一管理微服务应用流量、兼容Istio的托管式平台 ASM 中Istio通过标准 MCP协议跟MSE 中 Nacos打通； MSE服务治理基于ASM流量治理原子API

网易伏羲私有云简介 网易伏羲私有云简介 AI 模型 支撑游戏业务 云游戏 为什么混沌测试 为什么混沌测试 为什么混沌测试 理想下，系统用不 宕机，100%可用 比如机房突然断电 事故突然的到来 为什么混沌测试 通用指标 阶段性进阶衡量 标准 指标 量化 什么是混沌测试 什么是混沌测试 混沌工程旨在将故障扼杀在襁褓之中，也就是在