reserved. 构建统一的云原生应用 可观测性数据平台 DeepFlow在混合云中的实践总结 向阳@云杉网络 2022-04-09 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing 统一的可观测性数据平台 telegraf 看云网更清晰 Simplify the growing complexity. 挑战：数据孤岛、资源开销 数据 孤岛 资源消耗 telegraf 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ① Trace与「非Request scope」的Metrics 例如：响应Request A的实例在一段时间内做了多少次GC？ ① 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ② 应用、系统、网络的Metrics之间 例如：某个Servi

云原⽣图数据库解谜、容器化实 践与 Serverless 应⽤实操 古思为 ⽅阗 Graph DB on K8s Demystified and its Serverless applicaiton in actions. DEVELOPER ADVOCATE @ MAINTAINER OF KCD China 2021 Nov. 6th @Shanghai 古思为 wey-gu ⻘云科技研发⼯程师 Overview 了解 K8s 上的 Serverless 计算平台搭建实践：OpenFunction K8s 上的图数据库基于 KubeBuilder 的 Operator 实现，解谜图数据库的知识与应⽤ 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ siwei.io/talks/2021-KCD laminar.fun/talks/2021-KCD com/OpenFunction/samples 图数据库简介 什么是图？ 什么是图数据库？ 为什么我们需要⼀个专⻔的数据库？ 什么是图？ "以图结构、图语义来⽤点、边、属性来查询、表示存 储数据的数据库 wikipedia.org/wiki/graph_database 了解更多关于 什么是图数据库 什么是图数据库 为什么需要图数据库？ 传统数据库 图数据库 图模型的结构 图语义的查询 性能

Volcano加速金融行业大数据分析平台 云原生化改造的应用实践 汪 洋, 华为云 Volcano 社区核心贡献者 大数据平台云原生面临的挑战 传统大数据平台云原生化改造成为必然趋势 大数据分析、人工智能等批量计算场景深度应用于金融场景 作业管理缺失 • Pod级别调度，无法感知上层应用 • 缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 调度策略局限 计算密集，资源波动大，需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Volcano 架构 项目概况： • 业界首个云原生批量计算平台 • 2019年6月开源，2020年进入CNCF，目前是CNCF孵化级项目 Plugins on demand reclaim Re-construct JobInfo in Cache by PodGroup Job JobSpec 用户案例：荷兰ING银行大数据平台云原生化改造 • Platform Entry-point • Project Management Data Science in a box (Advanced analytics

从【数据库中间件】到【云原生】 ——Apache ShardingSphere 架构演进 Apache Dubbo/ShardingSphere PMC 秦金卫（kimmking） 2020-12-04 20:00 云 原 生 学 院 # 1 2 目录 1.数据库框架：从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件：从框架技术到分布式的数据库中间件技术 3.分布式数据库：从数据库中间件技术发展到分布式数据库 分布式数据库：从数据库中间件技术发展到分布式数据库 4.数据库网格：数据库与微服务、云原生的发展关系 5.数据库解决方案：如何基于 ShardingSphere 生态创建数据库解决方案 1.数据库框架 1.数据库框架 摩尔定律失效 分布式崛起 1.数据库框架 随着数据量的增大，读写并发的增加，系统可用性要求的提升，单机 MySQL面临： 1、容量有限，难以扩容 2、读写压力，QPS过大，特别是分析类需求会影响到业务事务 3、可用性不足，宕机问题 1.数据库框架 1.数据库框架 计算机领域的任何问题都可以通过增加一个中间层来解决。 数据库框架技术：在业务侧增强数据 库的能力。 直接在业务代码使用。 支持常见的数据库和JDBC。 轻量级，不需要额外的资源和机器。 1.数据库框架 1、改造对业务系统具有较大侵入性； 2、对于复杂的SQL，可能不支持； 3、对于跨库和跨分片的数据，需要额外机制保障一致性；

可观测性 - What & Why 云原生社区可观察性SIG-定义 https://i.cloudnative.to/observability/prologue/definition 阿里可观测性数据引擎的技术实践 https://mp.weixin.qq.com/s/0aVgtVCmBmtAgZE_oQkcPw © 2021, YUNSHAN Networks Technology Co. simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 问题1：数据割裂 数据如何关联？ ? ? simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All 业务团队B 业务团队C 业务团队D …… 存储、检索服务 观测数据 观测数据 观测数据 观测数据 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. OpenTelemetry - 数据采集传输的标准化 统一的上下文 simplify the growing

宿主的监控，比较常规和简单，无非就是 CPU、Mem、Disk、DiskIO、Net、Netstat、Processes、 System、Conntrack、Vmstat 等等。原理就是读取 OS 的数据（通过 /proc 和 syscall 等）做一些简 单计算。有很多采集器可以选择： Telegraf Grafana-agent Datadog-agent node-exporter Categraf Pod或者容器的负载情况，是一个需要关注的点，容器层面主要关注CPU和内存使用情况，Pod 层面主要 关注网络IO的情况，因为多个容器共享Pod的net namespace，Pod内多个容器的网络数据相同 • 容器的监控数据可以直接通过 docker 引擎的接口读取到，也可以直接读取 cAdvisor 的接口，Kubelet 里 内置了cAdvisor，cAdvisor 不管是 docker 还是 containerd 找所有node，通过 Kubernetes apiserver 的 proxy 接口，抓取各个node（即kubelet）的 /metrics/cadvisor 接口的 prometheus 协议的数据 • 这个抓取器只需要部署一个实例，调用 apiserver 的接口即可，维护较为简单，采集频率可以调的稍大，比 如30s或60s • 所有的拉取请求都走 apiserver，如果是几千个node的大集群，对

安全工具链 国产化 双平面调度 敏捷开 发过程 统一代 码仓库 依赖制 品仓库 统一 镜像库 云原生 验证环境 磐基 生产运行 核心价值 核心能力 灵活的低代码能力 实现页面组件、数据组件、功能组件的快 速编排，一线人员也能自助开发功能 双模敏态管理 以敏捷研发为引导，融合瀑布式管理需求， 形成普适、灵活的研发过程管理能力。 多用途制品库 兼容市面绝大多数开发语言制品，提供公 过程持续验证 !"#$%&'( !"#$)*+,- !"#$%&' 安全开发-代码扫描SAST 源代码审计针对源代码缺陷进行静态分析检测。它在对目标软件代码进行语法、语义分析的技术上，辅以数据流 分析、控制流分析和特有的缺陷分析算法等高级静态分析手段，能够高效的检测出软件源代码中的可能导致严重 缺陷漏洞和系统运行异常的安全问题和程序缺陷，并准确定位告警，从而有效的帮助开发人员消除代码中的缺陷、 污染过程 处理过程 变量2 污点变量3 如果程序在对输入变 量处理过程中，没有做 好过滤和验证措施，就 有可能导致有害的输入 被传入sink点执行 污点数据是指来自程 序外部的数据，污点数 据有可能包含恶意的攻 击数据 安全测试-镜像扫描 由于云原生“不可变基础设施”的特点，对容器风险的修复必须从镜像上处理才是最有效的。 因此对镜像的安全扫描变得尤其重要。 强大的漏洞扫描

信任 (Istio零信任、Calico零信任、Cilium零信任、WorkLoad鉴权、WorkLoad 间授权等)、DevSecOps（安全左右移等等，比如代码或者镜像扫描）、 RASP应用安全、数据安全、态势感知与风险隔离 由于云原生托管的应用是碎片化的，环境变化也是碎片化的，而且其业务类型越来越多，比如已经延展到边 缘计算盒子，此时攻击面被放大，在云原生环境下安全是一个核心价值，需要立体纵深式的安全保障。 程序安全测试) 黑盒测试，通过模拟业务流量发起请求，进行模糊测试，比如故障注入 或者混沌测试 语言无关性，很高的精确度。 难以覆盖复杂的交互场景，测试过程对业务造成 较大的干扰，会产生大量的报错和脏数据，所以 建议在业务低峰时进行。 IAST(交互式应用程序 安全测试) 结合了上面两种的优点并克服其缺点，将SAST和DAST相结合，通过插桩 等手段在运行时进行污点跟踪，进而精准的发现问题。是DevSecOps的一 修改时的阻断行为，另外可以将可信启动链的 Hash值上传云端管理，可以做到中心管控验证的 目的。 加密技术 数据的安全生命周期返程三种不同状态：存储中、传输中、使用中，但 是对第三种场景，一直以来缺少保护手段。通过加密技术建立的可信运 行环境TEE（比如IntelSGX，蚂蚁的KubeTEE等）可以保护运行中的数据和 代码，完成了安全闭环。 依赖于硬件和更高阶密码学，可以彻底阻断物理 设备以及软件的攻击，是高级的安全保障技术。

.......................................................................................34 2.6.2 敏感数据泄露攻击................................................................................34 2.6.3 身份认证攻击 千企业数字化转型换挡提速，企业对云计算的使用效能提出新的需求。云原生以 其独特的技术特点，很好地契合了云计算发展的本质需求，正在成为驱动云计算 质变的技术内核。 云原生作为云计算深入发展的产物，已经开始在 5G、人工智能、大数据等 各个技术领域得到广泛应用。中国联通研究院一直从事云原生及其安全技术的研 究，致力于推动云原生在通信行业落地实践，全面落实好“大安全”主责主业， 以实际行动践行“国家队、主力军、排头兵”的责任担当。2022 时代，云原生技术日趋成熟，并因大语言模型的推 动助力朝着云计算 3.0 智能时代迈进的背景下，分析云原生安全的发展情况和面 临的威胁，并研究云原生安全能力，能够为企业整体的云安全防护体系建立提供 帮助，从而保障企业业务和数据更安全的在云上运转。 1.1 云原生及云原生安全 过去十年，企业数字化转型加速推进，相继经历了服务器、云化到云原生化 三个阶段。在云化阶段，云主机是云计算的核心负载之一，云主机安全是云安全