## Curve核心组件 - SnapShotCloneServer D I G I T A L S A I L 许超杰 网易数帆存储团队 01 CURVE基本架构 Curve各个组成部分以及相互之间的关系 02 快照和克隆的特点 介绍curve的快照和克隆的定义以及特点 03 快照克隆服务器架构 介绍快照克隆服务器的架构和各模块实现的功能 [Image](/uploads/documents/7/7/1/5/7715d792a5d7a53b8118cefee409d717/p3_3.jpg) ## 快照和克隆的特点 ## • 快照的定义 快照是云盘数据在某个时刻完整的只读拷贝，是一种便捷高效的数据容灾手段，常用于数据备份、制作自定义镜像、应用容灾等。 ## • 快照的特点 • 转储到s3对象存储 异步转储快照，底层使用copy-on-write技术，读写不影响转储 |uuid1|file1|快照1| |uuid2|file1|快照2| |uuid3|file1|快照3| |...|...|...| 快照记录 ## 快照在CHUNKSERVER上的数据组织 ☐ 快照chunk和普通chunk，都是ChunkServer上的ext4文件系统中的文件，称为SnapFile和ChunkFile； ☐ SnapFile 与ChunkFile是同构的,都来自ChunkFilePool;

Curve核心组件之ChunkServer DI 查日苏 网易数帆存储团队 ## CURVE CURVE是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟存储底座 - 可扩展存储场景：块存储、对象存储、云原生数据库、EC等 - 当前实现了高性能块存储，对接 openstack 和 k8s 网易内部线上无故障稳定运行500+天 • 已开源 - gi CS3,CS4上，完成迁移后，CS1上的副本迁移到CS2上 ① CS1超时未向MDS上报心跳（默认半小时） ② MDS标记CS1状态为offline ③ MDS的recover scheduler发现copyset1, 2, 3的副本CS1 offline，生成change peer from CS1 to CS2的operator给这三个copyset ④ MDS通过RPC在CS2上创建copyset1 当CS2成功赶上进度时，本次raft成员变更成功完成，CS2成为了复制组的一员，CS1不再属于这个复制组。 ⑦ CS3在下一次心跳中向MDS报告本次raft成员变更已完成 ⑧ MDS在得知CS1上的所有copyset都成功迁移后，把CS1设置为retired，CS1下线完毕。 ## ChunkServer核心模块-CopysetNode 3 Generate new csid and token

[Image](/uploads/documents/0/0/1/9/0019b3603967ce7162a719aab077e4c7/p1_1.jpg) ## OpenShift Dedicated 4 ## 附加组件服务 在 OpenShift Dedicated 集群中添加服务 Powered by TCPDF (www.tcpdf.org) 在 OpenShift Dedicated 集群中添加服务 ## 控制台在集群中添加服务 ..... 3 1.1. 在集群中添加附加组件服务 ..... 3 1.2. 访问集群中安装的附加组件服务 ..... 3 1.3. 使用 RED HAT OPENSHIFT CLUSTER MANAGER 删除附加组件服务 ..... 4 第 2 章 适用于 OPENSHIFT DEDICATED 的附加组件服务 ..... 5 2.1. RED HAT OPENSHIFT #### 1.1. 在集群中添加附加组件服务 您可以使用 Red Hat OpenShift Cluster Manager 在现有的 OpenShift Dedicated 集群中添加附加组件服务。 ## 先决条件 - 您已为 OpenShift Dedicated 创建并置备了集群。 ● 您的集群满足您要添加到集群中的服务的所有先决条件。 ● 对于付费附加组件服务，请注意以下注意事项：

# Service Mesh Meetup #3 深圳站 ## I stio控制平面组件原理解析 朱经惠 2018.08.25 ## 关于我 • 朱经惠，ETC车宝平台工程师。 - 喜欢开源，个人开源项目”Jaeger PHP Client”。 - 喜欢研究源码，对NSQ，Jaeger，Istio（控制平面）等go语言开源项目进行过研究。 - 除了代码还喜欢爬山和第二天睡醒后全身酸疼的感觉。

## Curve核心组件之Client D I G I T A L S A I L 吴汉卿 网易数帆存储团队 ## CURVE CURVE是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟存储底座 - 可扩展存储场景：块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储，对接 OpenStack 和 k8s • 网易内部线上无故障稳定运行400+天 • 已开源 MDS：只有主MDS才会监听端口 ● ChunkServer：通过raft维护复制组内的主-从关系 ## CLIENT IO流程 用户下发一个写请求 off: 8M len: 16M 请求落在两个逻辑chunk上，所以请求会被拆分成两个子请求： ● ChunkIdx 1, off: 8M len 8M ● ChunkIdx 2, off: 0 len 8M ![Image](/uploads/docum 用户请求的所有子请求完成后，调用 IOTracker::Done 12. 调用异步请求回调，返回用户 ## CLIENT IO请求重试 IO分发线程将拆分后的子请求通过RPC请求发往指定的Chunkserver上，RPC有可能会失败，一般情况下处理逻辑是sleep一个较短时间后重试，但是存在两种特殊的场景： ## Chunkserver Overload: 这种情况下，对应的RPC Response中返回

Curve核心组件之 MDS Digital Sal 陈威 网易数帆存储团队 ## 概述 ## Curve 是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟 • 可支撑储场景：块存储、对象存储、云原生数据库、EC等 - 当前实现了高性能块存储，对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多 • 已开源 github主页：https://opencurve tar.gz Notes Downloads v0.1.3 on 30 Jul - f6425ad zip tar.gz Notes Downloads 01 整体架构 02 MDS各组件详细介绍 03 Q&A ## 基本架构 ## • 元数据节点 MDS 管理元数据信息 收集集群状态信息，自动调度 - 数据节点 Chunkserver 数据存储 副本一致性 jpg) ## MDS各个组件 MDS是中心节点，负责元数据管理、集群状态收集与调度。MDS包含以下几个部分： • Topology: 管理集群的 topo 元数据信息。 • Nameserver: 管理文件的元数据信息。 • Copyset: 副本放置策略。 - Heartbeat: 心跳模块。跟chunkserver进行交互，收集chunkserver上的负载信息、copyset信息等。