云原⽣图数据库解谜、容器化实 践与 Serverless 应⽤实操 古思为 ⽅阗 Graph DB on K8s Demystified and its Serverless applicaiton in actions. DEVELOPER ADVOCATE @ MAINTAINER OF KCD China 2021 Nov. 6th @Shanghai 古思为 wey-gu ⽂档：Nebula 架构 官⽹：⽤户案例 ⼀个可靠的分布式、线性扩容、性能⾼效的图数据库 世界上唯⼀能够容纳千亿顶点和万亿条边，并提供毫秒级查询延时的图数据库解决⽅案 云原⽣时代的图数据库 容器化部署演进 Nebula Docker Nebula K8s Nebula Operator Nebula Operator 实现 Kubebuilder Scaffold CRD Control

NetWorking PaaS 硬件与虚拟化厂商提供，如果是HCI架构， 作为总体集成方，会降低安全集成成本 可信计算环境：OS安全、TPM加密、TEE可信环境 云原生安全：镜像安全、镜像仓库安全、容器加固隔离、通信零信任 (Istio零信任、Calico零信任、Cilium零信任、WorkLoad鉴权、WorkLoad 间授权等)、DevSecOps（安全左右移等等，比如代码或者镜像扫描）、 R Chunk，采用去中心存储，单体失败不影响数 据的完整性，并且自动自愈(Serverless)。 • 通过跨域数据同步能力，实现多地域数据多活。 这个例子，也给数据库云原生化上的技术架构演进提 供了一个范本，并不是原封不动的迁移就变成云原生 高级能力-云原生数据库-应用的基石-3-场景 数据源 数据日志 消息数据 订单数据 云原生 DB 高并发写入 用户 MR 云DB 用户 日志消息类数据实时分析 支持企业低成本、大 高级能力-云原生数据库-应用的基石-5-应用迁移 IDC 应用 A B C Oracle|MySQL 用于Oracle|MySQL 的JDBC Cloud 应用 A B C 多模云原生数据 库 用于云原生DB的 JDBC 极少量 改动 修改驱 动包 数据迁 移 • 由于云原生数据库支持多模，所以通过 ETL或者DTC等工具迁移数据是非常方便的 • 应用程序只需要修改JDBC的依赖即可以在 新环境中运行，迁移成本低。 • 或者由于云原生数据库支持多协议能力，

自动化的方式向上提供业务价值，并直面交付成本问题 企业管理层 业务架构师或者PM 产品|数据|应用|技术架构师 架构咨询团队 企业自己决定 云原生平台+架构咨询团队 数据平台 DevOps 微服务 PAAS 容器云 客户群体与规模 电信 制造 金融 服务业 政府 互联网 350.2亿 云原生采用规模占比与市场总规模 58% 11% 10% 8% 5% 5% 纳 管 规 模 9%客户投入占总IT投 入的一半以上 成为主要支出方向 中心集群规模为主 部署形态多元化、多云/混合云架构成为主流 自动化 用户软件发布方 式正在向自动化 转变 容器 60%以上用户已 经在生产环境应 用容器技术 微服务 微服务架构成为 主流，八成用户 已经使用或者计 划使用微服务 Serverless Serverless技术显 著升温，近三成 用户已在生产环 境中应用 云 侧，阿里云通过提 供容器服务ACK、云原生数据库PolarDB/Redis、消息队列RocketMQ、企业级分布式应用服务EDAS、微服务引擎MSE、应用监控服 务ARMS等数十款云原生产品全面支撑双11。技术侧，云原生四大核心技术实现规模和创新的双重突破，成为从技术能力向业务 价值成果转变的样本： • 支持全球最大容器集群、全球最大Mesh(ASM)集群，神龙架构和ACK容器的组合，可以实现1小时扩容1百万个容器，混部利用

•新一代监控系统更加关注应用侧的监控，没有维度标签玩不转，每个指标动辄几个、十几个标签 指标维度更为丰富 •Kubernetes体系庞大，组件众多，涉及underlay、overlay两层网络，容器内容器外两个namespace，搞懂需要花些时间 •Kubernetes的监控，缺少体系化的文档指导，关键指标是哪些？最佳实践是什么？不是随便搜索几个yaml文件能搞定的 平台侧自身复杂度变高， 监控难度加大 l 服务端组件，控制面：API Server、Scheduler、 Controller-Manager、ETCD l 工作负载节点，最核心就是监控Pod容器和节点本 身，也要关注 kubelet 和 kube-proxy l 业务程序，即部署在容器中的业务程序的监控，这 个其实是最重要的 随着 Kubernetes 越来越流行，几乎所有云厂商都提供 了托管服务，这就意味着，服务端组件的可用性保障交 Kubernetes Node 组 件的监控 Kubernetes Node - 容器负载监控 抓取方案 • Pod或者容器的负载情况，是一个需要关注的点，容器层面主要关注CPU和内存使用情况，Pod 层面主要 关注网络IO的情况，因为多个容器共享Pod的net namespace，Pod内多个容器的网络数据相同 • 容器的监控数据可以直接通过 docker 引擎的接口读取到，也可以直接读取 cAdvisor

实现端到端的智能自动 化。是种生态型平台。 高级能力-混合云（资源角度） 控制力 服务、位置、规则可控 高安全 安全自主可控 高性能 硬件加速、配置优化 固定工作负载 私有云 混合云 SLB 工作负载可迁移 敏捷 标准化、自动化、快速响 应 低成本 按需伸缩、按需使用付费 弹性 可弹性无限拓展 弹性工作负载 公有云 ETCD ETCD Image Image Data X • 企业可以在业务高峰时使用混合云补充 3 电商核心系统全面上云， 大规模集群支撑集团“双十 一”，日交易额2684亿元 2 0 1 9 T4项目启动，容器调度技 术开始支撑集团的在线业 务，云原生时代开启 2 0 1 1 在线和离线调度系统打通混合 部署，底层资源池统一，支撑 百万级电商交易活动。 云原生技术全面商业化，容器 技术对外开放 2 0 1 7 云原生技术全面升级，阿 里巴巴原生用云， Serverless时代开始。 2 0 稳定的容器运行时、节点自愈能力，结合发 布自动化、资源管理自动化等能力可以实现应用与基础设施层的全面解耦 统一化ServiceMesh 将应用的分布式复杂性问题托付给Mesh层的数据面和控制面组件，实现全链路精准流量控制、 资源动态隔离以及零信任的安全能力，保证应用架构的稳定性目标的实现。 Serverless化 极大地降低了开发人员，特别是服务于前端的后端开发人员的运维负担，亚秒级的容器启动 速

• 运维成本上升 • 可定位性变差 • 快速迭代难以控制风险 阿里微服务解法和优势 MSE微服务引擎 Nacos Ingress（Envoy） 云原⽣⽹关 Sentinel 用户容器 用户POD Tracing Prometheus 全链路压测 PTS AHAS ARMS ACK/ASK 调度+弹性 解法 • 提供完整微服务产品矩阵 • 通过 MSE 解决微服务最 十多年双十一洪峰考验， 默认高可用 • 阿里云成千上万用户的选 择，简单易用 • 专业的微服务团队保障 Dubbo/Spring-Cloud-Alibaba/Envoy 服务框架+服务⽹格 用户容器 用户容器 最佳实践 • 微服务最佳实践 • 服务治理最佳实践 • 日常环境隔离最佳实践 • 网关最佳实践 微服务最佳实践 MSE微服务引擎 Nacos/Zookeeper/Eureka 同Region，同AZ优先，Region内容灾； 跨Region异地容灾，通过网关打通跨region服务 云原⽣⽹关 云原⽣⽹关 Region1 Region2 AZ1 AZ2 AZ3 AZ4 注册中心平滑迁移最佳实践 ZK/Nacos/Eur eka/Consul Consumer Provider Dubbo/Spring Cloud MSE ZK/Nacos/Eure ka 方案一：双注册双订阅

22 2.2.5 针对镜像不安全配置的攻击................................................................ 22 2.3 路径 2：容器攻击....................................................................................... 23 2.3.1 守护进程攻击........................................................................................23 2.3.2 容器提权和逃逸攻击............................................................................24 2.3.3 拒绝服务攻击 ...................................................................25 云原生安全威胁分析与能力建设白皮书 2 2.3.4 容器网络攻击........................................................................................26 2.4

多用户公平分配资源，快速响应高优先级作业 解决方案: • K8s + Volcano 统一调度所有工作负载； • Queue动态资源共享，DRF、优先级抢占 用户收益： • 大数据作业从Yarn平滑迁移至K8s； • 云原生DAP平台服务于17个国家/地区，1100用户，年增长率8.1%； • DAP平台运行项目450+ Volcano大幅度提高大数据平台资源利用率 Kubernetes + from https://volcano.devstats.cncf.io Volcano communityTop contribution orgination 社区用户示例 加入社区 容器魔方公众号 加入微信群 Github: https://github.com/volcano-sh/volcano Slack Channel: https://volcano-sh.slack

• 端到端自动化交付流水线 • 开发过程自主可控 • 一键发布上磐基，实现“乘舟上云，稳如磐基” • 沉淀IT软件资产，核心代码掌控 • 提升开发交付效率 一键 上磐基 构建 打包 容器 化镜 像 自动化 部署 研发安 全扫描 需求 设计 敏捷 开发交付协同 云原生DevSecOps 安全工具链 国产化 双平面调度 敏捷开 发过程 统一代 码仓库 依赖制 品仓库 科技创新成果 中国移动作为国家级高新技术企业，在国内外行业中科技创新成果丰硕。磐舟与磐基团队重视自主创 新与生产融合，拥有多项专利、高新技术、软件著作权等研发成果，建立了领先和成熟的研发体系。 ü 可信云容器解决 方案认证 ü 2021年云安全守卫者 计划优秀案例 ü DevOps解决方案最高等 级先进级的现场认证 ü 2021年通信行业云计算领域风云团队奖 ü 创新解决方案证书 最高等级认证 安全测试-镜像扫描 由于云原生“不可变基础设施”的特点，对容器风险的修复必须从镜像上处理才是最有效的。 因此对镜像的安全扫描变得尤其重要。 强大的漏洞扫描 支持双料漏洞库，可检测 的漏洞数大于17w条，提 供 对 容器镜像的扫描能力 ，可扫描发现CNNVD、 CVE等漏洞信息 ， 提 供 详 细的漏洞分析能力联动。 安全风险发现 针对容器镜像内Webshell 、 病毒、木马进行检测；针

网络资源 VPC 子网 CIDR IP地址 NATGW ALB … 看云网更清晰 Simplify the growing complexity. 云原生应用的服务属性还有哪些 容器资源 容器集群 容器节点 命名空间 容器服务 Ingress Deployment StatefulSet ReplicaSet POD DeepFlow的典型客户环境中，两个微服务通信涉及到的标签多达上百个 Namespace Simplify the growing complexity. AutoTagging：自动同步资源和服务属性 资源池 区域 可用区 云平台 租户 云资源 宿主机 云服务器 容器资源 容器集群 容器节点 命名空间 容器服务 Ingress Deployment StatefulSet ReplicaSet POD 服务 app version env group owner stage commitId 理解云网络，自动标记端到端数据标签 Labels 自动同步云API、K8s apiserver DeepFlow support list 主机名、IP地址、VPC/隧道ID、对等连接、NAT/LB ➔ 资源标签 工作负载、容器服务、命名空间 ➔ 服务标签 容 器 云 TKE ACK env=prod zone=ZoneA releaseVer sion=12 deployType =canary group=iot