Curve 分布式存储设计## Curve 分布式存储设计 程义 — Curve Maintainer   ## 第一 Curve的由来 ## Agenda  ## 第二 Curve的设计目标  第四 Curve社区 ## Curve的由来 1. 代码复杂/代码量大 2. 运维难度高 3. 无法满足高的性能需求 ## Curve的设计目标 1. Curve云原生软件定义存储0 码力 | 20 页 | 4.13 MB | 1 年前3- Raft在Curve存储中的工程实践raft在Curve存储中的工程实践 D I G I T A L S A I L 陈威 Curve Maintaner 网易资深服务端开发工程师 01 Curve介绍 项目背景 | Curve架构 | 使用场景 | Curve社区 raft和braft raft协议介绍 | braft介绍 raft在Curve中的应用 raft in Curve块存储 | raft in curve文件存储 | 配置变更 Curve对raft的优化 优化点1 | 优化点2 05 Q&A 答疑 ## 项目背景 ## Curve是一个高性能、更稳定、易运维的云原生分布式存储系统，支持块存储和文件存储 Curve块存储和文件存储均采用raft协议 ## 2021 ~2022 Curve文件存储 ## 2018 ~2021 Curve块存储 • • 基于Openstack构建云计算平台 • 底层存储使用Ceph块存储 • 稳定性挑战 • 算力平台kubernetes的迅速发展 AI/大数据业务的快速增长 • 存储使用Ceph文件存储/HDFS • 成本/性能挑战 ## 整体架构 0 码力 | 29 页 | 2.20 MB | 1 年前3
- Curve Cloud Native## Curve integrate to Cloud Native ## Curve intro - Curve is an distributed storage system • High performance • Easiser operation • Cloud native • Curve is composed of two parts • Curve Block Storage storage • Curve File System (CurveFS) • CurveFS: a high performance cloud native file system (Based on CurveBS / S3 compatible Storage) ## Operator capability Level |OPERATOR CAPABILITY LEVEL|CURVE|COMMENT| uninstall/ upgrade and configure CurveBS/CurveFS through helm chart • upgrade automation • Supporting Curve Cluster provisioning in helm chart • metadata backup and recovery • MDS / ChunkServer should respect0 码力 | 9 页 | 2.85 MB | 1 年前3
- Curve for CNCF Main## Curve ## Curve High performance Cloud native Distributed storage system https://www.opencurve.io/ ## Agenda • What is Curve • Use Cases • CurveBS • Key Features • Comparing to Ceph • CurveFS Roadmap ## What is Curve - Curve is an distributed storage system • Components - Curve Block Storage (CurveBS) - CurveBS: a high performance cloud native distributed block storage • Curve File System (CurveFS) file system - kubernetes Host / VM ↓ CSI / Storage Class NBD Curve Block API SSD three copies CurveBS HDD / HDD EC Curve Block API APPs  在 OpenShift Container Platform 中配置和管理存储 ## 法律通告 Copyright $ ^{©} $ 2023 Red Hat owners. ## 摘要 本文档提供了使用不同存储后端配置持久性卷以及通过 pod 管理动态分配存储的信息。 ## 目录 第1章 OPENSHIFT CONTAINER PLATFORM 存储概述 ..... 4 1.1. OPENSHIFT CONTAINER PLATFORM 存储的常见术语表 ..... 4 1.2. 存储类型 ..... 6 1.3. CONTAINER 1.4. 动态置备 ..... 6 第2章 了解临时存储 ..... 7 2.1. 概述 ..... 7 2.2. 临时存储的类型 ..... 7 2.3. 临时存储管理 ..... 7 2.4. 监控临时存储 ..... 8 第3章 了解持久性存储 ..... 10 3.1. 持久性存储概述 ..... 10 3.2. 卷和声明的生命周期 ....0 码力 | 215 页 | 2.56 MB | 2 年前3
- OpenShift Container Platform 4.8 存储### OpenShift Container Platform 4.8 ## 存储 在 OpenShift Container Platform 中配置和管理存储 Powered by TCPDF (www.tcpdf.org) 在 OpenShift Container Platform 中配置和管理存储 ## 法律通告 Copyright $ ^{©} $ 2023 Red Hat owners. ## 摘要 本文档提供了使用不同存储后端配置持久性卷以及通过 pod 管理动态分配存储的信息。 ## 目录 第1章 OPENSHIFT CONTAINER PLATFORM 存储概述 ..... 4 1.1. MODULES/OPENSHIFT-STORAGE-COMMON-TERMS.ADOC ..... 4 1.2. 存储类型 ..... 6 1.3. CONTAINER 1.4. 动态置备 ..... 6 第2章 了解临时存储 ..... 7 2.1. 概述 ..... 7 2.2. 临时存储的类型 ..... 7 2.3. 临时存储管理 ..... 7 2.4. 监控临时存储 ..... 7 第3章 了解持久性存储 ..... 9 3.1. 持久性存储概述 ..... 9 3.2. 卷和声明的生命周期 ..... 90 码力 | 118 页 | 1.60 MB | 2 年前3
- Curve Detail Introduction for CNCF## Curve High performance Cloud native Distributed storage system https://www.opencurve.io/ ## Agenda • CurveBS Architecture • CurveBS Topology • CurveBS Data Organization • MetaData Server (MDS) Application POD PVC Application POD PVC Application POD PVC PVC PV PV PV PV Curve Operator Curve CSI/Driver Curve Discover ![Image](/uploads/documents/3/6/d/1/36d12a333823f1a2a29fcb2a7fbb256d/p12_1 CRDs in public cloud and on-premises environments • Use the Curve operator to install, upgrade, backup, and expand CurveBS clusters • Use Curve Discover to discover resource changes and to collect the system’s0 码力 | 23 页 | 6.53 MB | 1 年前3
- Curve核心组件之snapshotclone## Curve核心组件 - SnapShotCloneServer D I G I T A L S A I L 许超杰 网易数帆存储团队 01 CURVE基本架构 Curve各个组成部分以及相互之间的关系 02 快照和克隆的特点 介绍curve的快照和克隆的定义以及特点 03 快照克隆服务器架构 介绍快照克隆服务器的架构和各模块实现的功能 介绍克隆的具体原理和实现，包括克隆的流程，Lazy克隆，数据组织和chunkserver端的实现。 ## CURVE基本架构 ## • 元数据节点 MDS • 管理和存储元数据信息 • 感知集群状态，合理调度 ## • 数据节点 Chunkserver • 数据存储 • 副本一致性，raft ## • 客户端 Client • 对元数据增删改查 • 对数据增删改查 ## 快照和克隆的特点 ## • 快照的定义 快照是云盘数据在某个时刻完整的只读拷贝，是一种便捷高效的数据容灾手段，常用于数据备份、制作自定义镜像、应用容灾等。 ## • 快照的特点 • 转储到s3对象存储 异步转储快照，底层使用copy-on-write技术，读写不影响转储 • 增量转储，第一次全量转储s3之后，后续只需转储增量部分 • 高可用，快照任务中断自动拉起继续转储 ## 快照和克隆的特点0 码力 | 23 页 | 1.32 MB | 1 年前3
- Curve核心组件之chunkserverCurve核心组件之ChunkServer DI 查日苏 网易数帆存储团队 ## CURVE CURVE是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟存储底座 - 可扩展存储场景：块存储、对象存储、云原生数据库、EC等 - 当前实现了高性能块存储，对接 openstack 和 k8s 网易内部线上无故障稳定运行500+天 • 已开源 - gi com/opencurve/curve 01 CURVE基本架构 Curve各个组成部分以及相互之间的关系 ChunkServer架构 ChunkServer各模块简介 ChunkServer核心模块 详细介绍ChunkServer的三个核心模块 04 新版本ChunkServer性能优化 介绍新版本ChunkServer性能优化的思路和结果 ## CURVE基本架构 ## ## • 元数据节点 MDS • 管理和存储元数据信息 • 感知集群状态，合理调度 ## • 数据节点 Chunkserver • 数据存储 • 副本一致性，raft ## • 客户端 Client • 对元数据增删改查 • 对数据增删改查 ## - 快照克隆服务器 ![Image](/uploads/documents/3/2/b/4/32b42961304d48bdf42a254fa15bd989/p4_30 码力 | 29 页 | 1.61 MB | 1 年前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100