技术调研，到产品孵化，历经重重困难，最终通过双 11 规模化验证。借力开源、反哺开 源，进行 Cloud Native 生态融合，在实践的道路上一步步的走向云原生。 2018年3月 MOSN 诞生 支持 Service Mesh 核心支付链路覆 盖 MOSN 宣布独立运营 CNCF landscape V0.13.0 发布， 进行云原生组 件生态融合 Istio 官方推荐 数据面 MOSN Xprotocol 框架 • 支持 WASM • 区块链网络框架 • 代码热更新 • 高性能网络层扩展 • fastGRPC • 协程收敛 epoll 模型 • CGO 性能优化 • 支持 zipkin，Jaeger 等 • 支持 ZK，Nacos 等 • 支持 Dubbo 3.0 • 支持 thrift， kafka 等 协议 • 支持 Istio 1.10 • 支持 Ingress Lua 编写简单业务处理方便 Lua 脚本语言,开发复杂功能不 方便；支持的库（SDK）相对较 少 WASM Extension 跨语言语言支持 （C/C++/Rust）、隔离性、安 全性、敏捷性 处于试验阶段，性能损耗较大； WASM 目前仅对C/C++/Rust 友好，对 GoLang Runtime 还未 完全支持； 不能复用已有的 SDK，需要做网 络 IO 适配改造 External-Proc

缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 调度策略局限 • 不支持Gang-scheduling、Fair-share scheduling • 不支持多场景的Resource reservation，backfill • 不支持CPU/IO topology based scheduling 领域框架支持不足 • 1:1的operator部署运维复杂 • 不同框架对作业管理、并行计算等要求不通 不同框架对作业管理、并行计算等要求不通 • 计算密集，资源波动大，需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Volcano 架构 项目概况： • 业界首个云原生批量计算平台 • 2019年6月开 2019年6月开源，2020年进入CNCF，目前是CNCF孵化级项目 • 2.9k star，500+ 全球贡献者 • 50+ 企业生产落地 关键特性： 1. 统一的作业管理 提供完善作业生命周期管理，统一支持几乎所有主流的计算框架，如 Pytorch, MPI, Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、

开发复杂功能不方便 支持的库（SDK）相对较少 WASM Extension 跨语言语言支持（C/C++/Rust）、 隔离性、安全性、敏捷性 处于试验阶段，性能损耗较大； WASM 目前仅对C/C++/Rust 友好， 对 GoLang Runtime 还未完全支持； 不能复用已有的 SDK，需要做网络 IO 适配改造 External-Proc Extension 跨语言支持、隔离性 需要跨进程通信性能低（UDS gRPC server 能力， 多进程管理复杂 MOSN(GoLang) Extension 可复用 MOSN 现有的 filter 能力， 改造成本低； 研发效率高，灵活性高； GoLang 支持的库比较多（Consul、 Redis、Kafka etc），生态较好 引入 GoLang 扩展后,有一定性能损 耗,业务场景可接受，另外有优化 空间 扩展方案调研 MoE 背景介绍 — 方案分析 trailers, optionFlags} …… 同时，我们也会将其剥离出来形成一套 标准的扩展: proxy_golang，类似 proxy_wasm ，方便 Nginx、OpenResty 等也能够支持 GoLang 扩展。 MoE 方案介绍 — 功能职责 Envoy MOSN MoE Data Plane HTTP(L7) HTTP Filter GoLang L7 extension

台，去应对上述问题。 微服务应 用 大型 单体 应用 VM/服务器 VM/服务 器 VM/服务 器 VM/服务 器 目 标  支持微服务级别的细粒度资源隔离  支持快速扩缩容  支持热升级，服务更新不影响业务可用性  支持服务的快速地部署、扩展、故障转移  支持更细致、自动化的运维，快速恢复  …… 过去 现在 未来 云原生的业务承载平台？ 什么是云原生->为云而生 9 9 6 年 戴 尔 提 出 云 计 算 理 念 2006年亚马逊率先推出 了弹性计算云（EC2） 分水岭 云原生 Docker： 抽象云资源，使 得更容易使用 微服务： 加快业务迭代更新 从支持应用不同维度发展，最终走在了一起 2010年WSO2提出 类云原生的概念 云原生应用相比传统应用的优势 低成本 高敏捷 高弹性 云原生应用 传统应用 部署可预测性 可预测性 不可预测 抽象性 操作系统抽象 分布式应用服务EDAS、微服务引擎MSE、应用监控服 务ARMS等数十款云原生产品全面支撑双11。技术侧，云原生四大核心技术实现规模和创新的双重突破，成为从技术能力向业务 价值成果转变的样本： • 支持全球最大容器集群、全球最大Mesh(ASM)集群，神龙架构和ACK容器的组合，可以实现1小时扩容1百万个容器，混部利用 率提升50%，万笔交易成本4年下降80%。 • 拥有国内最大计算平台、顶级实时

目标为K8s集群 • 仅聚焦Harbor组件安装 • goharbor/harbor-helm 3 K8s Operator • 通过K8s CRD实现编排 • 目标为K8s集群 • 专注于HA模式支持 • goharbor/harbor- operator (开发中) 4 资源隔离与多租户管理 项目 存储 访问控制 制品资源 提供以项目为单位的逻辑隔离，存储共享 不同角色具有不同的访问权限，可以与其它用户系统集成 配额管理 制品的高效分发-复制 [1] 基于策略的内容复制机制：支持多种过滤器(镜像库、tag和标签）与多种触 发模式（手动，基于时间以及定时）且实现对推送和拉取模式的支持 初始全量复制 增量 过滤器 目标仓库 源仓库 目标项目 源项目 触发器 推送(push)或者拉取(pull)模式 过滤器 制品的高效分发-缓存 • 在项目级别提供“缓存”能力 • 已缓存下来的制品与“本地”制品无异 • 相关的管理策略可以应用到缓存的镜像上，比 如配额、扫描等 • 目前仅支持上游Dockerhub*和其它Harbor， 更多上游仓库的支持正在进行中（与复制共享 同样的仓库适配器） 注: 可有效解决Dockerhub 限速的问题 制品的高效分发-P2P预热 • 将所选镜像提前分发到(加热)P2P网络以便客户端拉取内容时从P2P网

数据源 数据日志 消息数据 订单数据 云原生 DB 高并发写入 用户 MR 云DB 用户 日志消息类数据实时分析 支持企业低成本、大容量存储和查询各类日志、消息、交易、用户行为、画像等 结构化/半结构化数据，支持高吞吐量实时入库及数据实时查询，实现数据资源 智慧化运营。 优势 低成本存储： 支持PB级数据存储 高并发： 千亿数据实时分析 数据源 设备监控 传感器 轨迹数据 车联网 业务集群 物联网套件写入 B C 多模云原生数据 库 用于云原生DB的 JDBC 极少量 改动 修改驱 动包 数据迁 移 • 由于云原生数据库支持多模，所以通过 ETL或者DTC等工具迁移数据是非常方便的 • 应用程序只需要修改JDBC的依赖即可以在 新环境中运行，迁移成本低。 • 或者由于云原生数据库支持多协议能力， 比如原生APP使用MYSQL协议访问传统数 据库，可以不加修改的，还是使用老的 MYSQL协议驱动，依然可以和云原生数据 一个服务进行部署，MON、OSD、MGR 守 护进程会以 pod 的形式在 Kubernetes 进行 部署，而 rook 核心组件对 ceph 集群进行 运维管理操作。 Rook 通过 ceph 可以对外提供完备的存储 能力，支持对象、块、文件存储服务，让 你通过一套系统实现对多种存储服务的需 求。同时 rook 默认部署云原生存储接口 的实现，通过 CSI / Flexvolume 驱动将应 用服务与底层存储进行衔接，其设计之初

云原生CI持续集成 使用Dockerfile进行云原生方式的CI构建， 拓展形成ARM、x86双架构流水线，底层 安全漏洞统一修复 全面云原生安全 支持代码安全扫描、镜像安全扫描、开源 协议扫描、依赖漏洞扫描。并可给出修复 建议。支持开源风险持续治理。 108 48 78 6 84 1 1 16 14 0 50 100 150 200 250 本单位 省公司 据有可能包含恶意的攻 击数据 安全测试-镜像扫描 由于云原生“不可变基础设施”的特点，对容器风险的修复必须从镜像上处理才是最有效的。 因此对镜像的安全扫描变得尤其重要。 强大的漏洞扫描 支持双料漏洞库，可检测 的漏洞数大于17w条，提 供 对 容器镜像的扫描能力 ，可扫描发现CNNVD、 CVE等漏洞信息 ， 提 供 详 细的漏洞分析能力联动。 安全风险发现 针对容器镜像内Webshell 或者依据检测结果对镜像 发布流程进行放行或者阻 断、忽略操作，防止危险 镜像通过发版。 安全测试-APP扫描 移动应用安全检测和个人信息合规检测能力，基于磐舟平台，容器化部署，紧邻租户业务系统，支持浏览器 访问及API。已对接磐舟CI/CD流程，资源可弹性管理，可满足高可用、高扩展、高容错等特征。 待检测APP APP自动化检测 APP安全检测报告 APP安全检测 个人信息保护专项检测

consul命令行 ● advertise：广告地址用于将我们通告的地址更改为群集中的其他节点。默认情况下，-bind通告地 。但是，在某些情况下，可能存在无法绑定的可路由地址。此标志允许闲聊不同的地址以支持此功能 如果此地址不可路由，则该节点将处于恒定的振荡状态，因为其他节点将不可路由性视为故障。在Co sul 1.0及更高版本中，可以将其设置为 go-sockaddr 模板。 ● -adverti data-dir：此标志为代理程序存储状态提供数据目录。这是所有代理商都需要的。该目录在重新启 后应该是持久的。这对于在服务器模式下运行的代理尤其重要，因为它们必须能够持久化群集状态。 外，该目录必须支持使用文件系统锁定，这意味着某些类型的已安装文件夹（例如VirtualBox共享文 夹）可能不适合。注意：服务器代理和非服务器代理都可以在此目录中的状态中存储ACL令牌，因此 访问可以授予对服务器上的 户执行。在Windows上，您应确保该目录具有适当的权限，因为这些权限将被继承。 ● datacenter：此标志控制代理程序运行的数据中心。如果未提供，则默认为“dc1”。Consul拥有 多个数据中心的一流支持，但它依赖于正确的配置。同一数据中心中的节点应位于单个LAN上。 ● dev：启用开发服务器模式。这对于快速启动Consul代理并关闭所有持久性选项非常有用，可以启 内存服务器，该服务器可用于快速

计算机领域的任何问题都可以通过增加一个中间层来解决。 数据库框架技术：在业务侧增强数据 库的能力。 直接在业务代码使用。 支持常见的数据库和JDBC。 轻量级，不需要额外的资源和机器。 1.数据库框架 1、改造对业务系统具有较大侵入性； 2、对于复杂的SQL，可能不支持； 3、对于跨库和跨分片的数据，需要额外机制保障一致性； 4、缺乏较好的数据平滑迁移和过渡方案； 5、Java Only（或其他）。 对业务系统侵入性小。 透明化的引入中间件，像一个数据库一样提供服务能力。 2.数据库中间件 1、框架本身的一些问题； 2、需要单独的资源部署，以及维护； 3、接入端需要实现数据库协议，对非开源数据库无法支持。 数据库中间件使用的约束： 3.分布式数据库 3.分布式数据库 类库/框架 数据库中间件 分布式数据库 数据网格 TDDL Sharding-JDBC DRDS Sharding-Proxy GaussDB PolarDB OceanBase TiDB Cockroach DB …… 3.分布式数据库 1.水平扩展性 2.计算存储分离 3.分布式事务 4.多副本机制 5.SQL接入支持 6.云原生支持 容量 性能 一致性 可高用 易用性 伸缩性 代替单机数据库（注意，主要解决容量问题）。 3.分布式数据库 1、需要较多的机器资源； 2、对于替换数据库技术的公司，代价较大，放弃多年积累；

结合监控，可以查看每个实例的运行情况 • 支持离线日志查看，减少对容器的理解 迭代历程 2017～2019 • 基于Helm包管理 • K8S java 客户端 • CI/CD流程耦合 2019～2020 • 使用 Go 重构 CD 流程 • 多云环境适配 • Service Mesh 落地 • Multi runtime 支持 2021～ • 多商家私有云适配 • HPA 支持 • …… https://github