Curve 分布式存储设计 程义 — Curve Maintainer XAgenda 第二 第三 第四 第一 Curve的由来 Curve的设计目标 Curve块存储 和 Curve文件存储 Curve社区Curve的由来 1. 代码复杂/代码量大 2. 运维难度高 3. 无法满足高的性能需求Curve的设计目标 1. Curve云原生软件定义存储 2. Curve块存储 Curve块存储 3. Curve文件存储 4. 高性能，易运维，云原生Curve块存储 1. 高性能分布式共享数据库场景 2. Curve块存储提供底层分布式共享存储 3. Polardb for PostgreSQL提供上层高性能数 据库服务 4. 性能测试 1. benchmarkSQL 每分钟事务数提升39% 2. pgbench 延迟降低21% TPS提升26% 研究现状Curve块存储 研究现状Curve块存储 1. 分布式块存储服务 2. KVM块存储服务 3. iSCSI协议 4. 容器云块存储(CSI) 应用场景Curve块存储 1. 高可用性/高可靠性 (易运维) 2. RAFT一致性协议 3. CopySet分配算法 4. 拓扑结构 5. 高性能 6. chunkfilepool (降低写放大) 7. data stripe (增大并发) 8. zerocopy

分布式存储系统，支持 块存储 和 文件存储 2018~2021 Curve块存储 2021~2022 Curve文件存储 • 基于Openstack构建云计算平台 • 底层存储使用Ceph块存储 • 稳定性挑战 • 算力平台kubernetes的迅速发展 • AI/大数据业务的快速增长 • 存储使用Ceph文件存储/HDFS • 成本/性能挑战 Curve块存储和文件存储均采用raft协议整体架构 对接OpenStack平台为云主机提供高性能块 存储服务 • 对接Kubernetes为其提供RWO、RWX等类 型的持久化存储卷 • 对接PolarFS作为云原生数据库的高性能存储 底座，完美支持云原生数据库的存算分离架 构 • Curve作为云存储中间件使用S3兼容的对象 存储作为数据存储引擎，为公有云用户提供 高性价比的共享文件存储 • 支持在物理机上挂载使用块设备或FUSE文件 致已经被提交，系统切换到新的配置(new)。RAFT协议简介 日志压缩 • 日志会不断增长，占用空间 • 采用快照的方式压缩日志 • 在某个时间点，整个系统的状态都以快照的形式写入 到稳定的持久化存储中 • 完成一次快照之后，删除时间点之前的所有日志和快 照。BRAFT简介 • raft协议提出之后，涌现出了非常多的实现，比如etcd，braft，tikv等。 • braft是raft的一

新一代云原生分布式存储—Curve 上 李小翠 网易数帆存储团队分布式存储介绍 01 存储的发展 | 分布式存储的分类 | 分布式存储的要素 02 03 04 Ceph 架构简介 | 场景介绍 | 使用中的问题 Curve 架构简介 | 数据对比 | 应用情况 FAQ 答疑存储的发展 互联网时代，数据大爆炸 大型主机 成本高 单点问题 扩容困难 各存储设备通过网络互联 各存储设备通过网络互联 大规模 弹性扩容 底层构建在分布式存储之上 云的概念 成本：共用基础设施 弹性：随意扩缩容 速度：更快的构建发布业务 底层构建在分布式存储之上 云原生的概念： 易用性：跨平台，超融合，弹性 小型主机 容量有限分布式存储的分类 按照各种应用场景所需的存储接口分类 对象 存储 文件 存储 块存储 接口为简单的 Get、PUT、DEL 和其他扩展 通常意义是支持 对指定地址空间进行随机读写 传统意义的块存储：磁盘分布式存储的要素 如何构建分布式文件系统？ 以分布式块存储为例。 •提供大容量的块设备 •可以在指定地址空间内随机读写 write(offset, len) •服务质量要求：数据不能丢、服务随时可用、弹性扩缩容 要什么 •成百上千台存储节点 •磁盘故障、机器故障、网络故障概率性发生 有什么 分布式存储系统需要满足接口需求，并且有持续监控、错误检测、容错与自动恢复的能力

........................................82 9 云弹性 IP 在线申请部署及操作变更回收........................................................................ 84 9.1 查看查找弹性 IP............................................ ........................... 84 9.2 申请新弹性 IP....................................................................................................... 85 9.3 绑定弹性 IP..................................... ...................86 9.4 解绑弹性 IP...........................................................................................................87 杭州飞致云信息科技有限公司 4 9.5 回收弹性 IP..........................

............................. 23 2.3.8 云弹性 IP 在线申请部署及操作、变更、回收............................................ 23 杭州飞致云信息科技有限公司 软件用起来才有价值，才有改进的机会 4 2.3.9 对象存储在线申请及文件上传下载管理............................. 一汽集团、华晨宝马、一汽大众、大众逸驾智能、吉利汽车、上汽乘用 车、东风本田、宇通客车 制造(24) 山东万华、联想集团、京东方、特变电工、新疆中泰、三一重工、树根 互联、海康威视、旺旺、大华、中控技术、长鑫存储、中国中冶、扬子 江药业、泰格医药、中国烟草、OPPO、立白、美的、无限极、深圳联 友、TCL、致欧家具、上海烟草 软件开发(4) 用友网络、爱数科技、容联七陌、同望科技 交通物流(12) 2: 支持场景列表 场景 子场景 是否支持 运行环境服务 虚拟机申请部署、变更 (单机、批量、集群、定时执行、克隆) 支持 磁盘申请部署、变更，快照创建及管理 支持 虚拟机申请时指定安全组、弹性 IP、负载均衡 支持 虚拟机部署后初始化操作系统环境、部署安全基线 支持 虚拟机部署后自动部署中间件数据库 支持 虚拟机部署后自动部署运维工具代理 支持 虚拟机部署后自动注入管理信息到堡垒机并配置授权

技术白皮书 平台架构 平台架构 05 openEuler 24.03 LTS 技术白皮书 openEuler 是覆盖全场景的创新平台，在引领内核创新，夯实云化基座的基础上，面向计算架构互联总线、存储介质发展新趋势， 创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基础设施的开源操作系统。 openEuler 24.03 LTS 发布面向服务器、云 BSP、应用场景等实际需求在 两个版本的内核中选择其一，同时开发了自定义内核的能力。嵌入式弹性底座支持多种解决方案，包括 Jailhouse 分区虚拟化方案、 openAMP 裸金属混合部署方案、基于 ZVM 和 Rust-Shyper 的实时虚拟化部署方案，用户可以根据自己的使用场景选择最优的部署 方案。在嵌入式弹性底座之上打造了混合关键性部署框架 MICA，对下屏蔽不同底座的差异，对上为不同运行时提供统一的接口。 等多种芯片架构，未来计划支持龙芯等架构， 24.03 LTS 版本的南向支持大幅改善，已经支持树莓派、海思、瑞芯微、瑞萨、德州仪器、飞腾、赛昉、全志等厂商的芯片。 openEuler Embedded 的弹性虚拟化底座是为了在多核片上系统（SoC, System On Chip）上实现多个操作系统共同运行的 一系列技术的集合，包含了裸金属、嵌入式虚拟化、轻量级容器、LibOS、可信执行环境（TEE）、异构部署等多种实现形态。不

09 技术白皮书 平台架构 平台架构 05 openEuler 23.09 技术白皮书 openEuler 是覆盖全场景的创新平台，在引领内核创新，夯实云化基座的基础上，面向计算架构互联总线、存储介质 发展新趋势，创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基 础设施的开源操作系统。 openEuler 23.09 发布面向服务器、云原生 openEuler Embedded 围绕工业和机器人领 域持续深耕，通过行业项目垂直打通，不断完善和丰富嵌入式技术栈和生态。openEuler 23.09 Embedded 支持嵌入式虚 拟化弹性底座，提供 Jailhouse 虚拟化方案、openAMP 轻量化混合部署方案，用户可以根据自己的使用场景选择最优的 部署方案。同时支持 ROS humble 版本，集成 ros-core、rosbase、SLAM 09 版本新增支持 RK3399、RK3588 芯片。初步支持了 ARM32、RISC-V 两种架构通过 QEMU 仿真来体现。未来还将支持龙芯、飞腾等芯片。 嵌入式弹性虚拟化底座 openEuler Embedded 的融合弹性底座是为了在多核片上系统（SoC,System On Chip）上实现多个操作系统共同运 行的一系列技术的集合，包含了裸金属、嵌入式虚拟化、轻量级容器、LibOS、可信执行环境（TEE）、异构部署等多种实

问题优化 正式上云 运营维护 上云各环节注意点 业务上云 测试 方案 迁移 混合 质量 功能、性能测试，云上云下对比 安全、容量、难度、风险、数据 接入服务、逻辑服务、数据存储、文件存储 混合云过度到全量公有云 服务调用质量、用户访问质量、 服务可用率 数据上公有云 • 冷迁移+增量 •同步中心数据同步 •切换过程停写 私有组件迁移上云 • 云上部署服务集群 从 磁盘 主 磁盘 同步中心混合云架构 业务写入 业务接入 代理 存储转发 存储转发 存储转发 失败备机 业务读SET dispatch 深圳到上海 桥头堡 深圳到广州 桥头堡 深圳到上海 桥头堡 深圳到广州 桥头堡 存储转发 存储转发 存储转发 存储转发 存储转发 存储转发 业务读SET dispatch 业务读SET dispatch 上海云 广州云 云原生 开发方法 敏捷开发、DevOps 团队 协作式DevOps团队 交付周期 短且持续 应用架构 微服务，基于API的通信 基础架构 以容器为中心 部署可预测性 可预测 弹性能力 弹性调度 恢复能力 自动化运维，快速恢复 蓝盾/TencentHub…… 每天可交付数十次 运维开发&应用开发 TSF,Service Mesh K8S（TKE） 云原生方法 业务最佳实践

灵活性 高 低 实时性、可靠性 高 低 过去 现在 Linux 应用处理器 (S3C2440) 应用 存储 外设 通信 RTOS 微控制器 (Cortex M3/M4) 应用 存储 外设 通信 Baremetal DSP/微控制器 应用 存储 外设 通信 片外通信:SPI, I2C, UART…. 问题：硬件复杂、通信效率低、软件灵活性低、开发效率低、升级困难 Kernel 软件包 基础设施 社区 生态 …… 多样化的非Linux行星 实时操作系统 （硬实时) 裸金属 (极致性能) 嵌入式虚拟机 (隔离与调度) 可信执行环境 （信息安全) 弹性融合底座 openEuler Embedded总体架构 应用领域 基础设施 CI/CD 构建 测试 UniProton/Zephyr/… (实时操作系统) 实时应用 维测 调优 APP APP 嵌入式虚拟化模式 弹性融合底座 Multi-Core SOC Core1 Core2 Embedded Linux RTOS APP APP APP APP 单一模式 Multi-Core SOC Core 1 Core 2 Embedded Linux APP APP RTOS APP 融合模式 弹性融合底座 RTOS APP • 典型硬件:

阿里云、华为云、腾讯云、UCloud、青云、金山云。 超融合平台 超融合基础架构（Hyper Converged Infrastructure，或简称“HCI”） 是指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等 资源和技术，而且还包括备份软件、快照技术、重复数据删除、在线数据 压缩等元素，而多套单元设备可以通过网络聚合起来，实现模块化的无缝 横向扩展（scale-out），形成统一的资源池。比较知名常见的超融合平台 操作系统、云磁盘、网络、安全组、弹性 IP，负载均衡、RDS、对象存储、 DNS 等。 虚拟机 Virtual Machine，指通过软件模拟的具有完整硬件系统功能的、运行在一 个完全隔离环境中的完整计算机系统。在实体计算机中能够完成的工作在 虚拟机中都能够实现。 云磁盘 云硬盘（Elastic Volume Service）是一种为 ECS 等计算服务提供持久性 块存储的服务，通过数据冗余和缓存加速等多项技术，提供高可用性和持 久性，以及稳定的低时延性能。您可以对云硬盘做格式化、创建文件系统 等操作，并对数据做持久化存储 安全组 安全组是一种虚拟防火墙，具备有状态的数据包过滤功能，用于设置云服 务器、负载均衡、云数据库等实例的网络访问控制，控制实例级别的出入 流量，是重要的网络安全隔离手段。可以通过配置安全组规则，允许或禁 止安全组内的实例的出流量和入流量。 弹性 IP 是私有云、公有云中租户能够申请获取保留专用的公网 IP 地址。在私有云、