## Curve核心组件 - SnapShotCloneServer D I G I T A L S A I L 许超杰 网易数帆存储团队 01 CURVE基本架构 Curve各个组成部分以及相互之间的关系 02 快照和克隆的特点 介绍curve的快照和克隆的定义以及特点 03 快照克隆服务器架构 介绍快照克隆服务器的架构和各模块实现的功能 SnapshotCore CloneTaskManager CloneTask CloneCore CurveClient ## 快照总体流程 ## 快照流程： • 1. 用户发起快照，生成快照任务，并持久化到 etcd，开始执行快照任务。 • 2. 在curve中创建内部快照，并返回快照信息，然后将快照信息更新到etcd。此时，即返回用户快照成功，可以进行读写。 • 3. 向mds查询快照的元数据，转储快照元数据块metaObject。 18cefee409d717/p15_4.jpg) c) 卷从未写过， 两者都没有，返回NOTEXIST ## 克隆总体流程 ## 克隆流程： - 1. 用户发起克隆，生成克隆任务，并持久化任务元数据到etcd，开始执行克隆任务。 • 2. 调用mds接口创建clone卷信息，该clone卷是个临时卷，位于/clone目录下。 • 3. 调用mds接口为目的卷分配空间。 • 4. 根据目的卷的分配信息，调用

Curve核心组件之ChunkServer DI 查日苏 网易数帆存储团队 ## CURVE CURVE是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟存储底座 - 可扩展存储场景：块存储、对象存储、云原生数据库、EC等 - 当前实现了高性能块存储，对接 openstack 和 k8s 网易内部线上无故障稳定运行500+天 • 已开源 - gi CopysetNode封装了braft的Node，并实现了braft的状态机，完成与raft的交互。详细交互流程后面展开。 CopysetNodeManager负责管理 CopysetNode的创建、初始化、删除等  ## ChunkServer架构 ChunkServer核心模块-注册和心跳 ChunkServer注册：chunkserver第一次启动时，需要向mds注册，mds分配并返回 ChunkserverID，token，chunkserver持久化这些信息，并在后续心跳上报时携带这些信息。 

[Image](/uploads/documents/0/0/1/9/0019b3603967ce7162a719aab077e4c7/p1_1.jpg) ## OpenShift Dedicated 4 ## 附加组件服务 在 OpenShift Dedicated 集群中添加服务 Powered by TCPDF (www.tcpdf.org) 在 OpenShift Dedicated 集群中添加服务 ## 控制台在集群中添加服务 ..... 3 1.1. 在集群中添加附加组件服务 ..... 3 1.2. 访问集群中安装的附加组件服务 ..... 3 1.3. 使用 RED HAT OPENSHIFT CLUSTER MANAGER 删除附加组件服务 ..... 4 第 2 章 适用于 OPENSHIFT DEDICATED 的附加组件服务 ..... 5 2.1. RED HAT OPENSHIFT #### 1.1. 在集群中添加附加组件服务 您可以使用 Red Hat OpenShift Cluster Manager 在现有的 OpenShift Dedicated 集群中添加附加组件服务。 ## 先决条件 - 您已为 OpenShift Dedicated 创建并置备了集群。 ● 您的集群满足您要添加到集群中的服务的所有先决条件。 ● 对于付费附加组件服务，请注意以下注意事项：

# Service Mesh Meetup #3 深圳站 ## I stio控制平面组件原理解析 朱经惠 2018.08.25 ## 关于我 • 朱经惠，ETC车宝平台工程师。 - 喜欢开源，个人开源项目”Jaeger PHP Client”。 - 喜欢研究源码，对NSQ，Jaeger，Istio（控制平面）等go语言开源项目进行过研究。 - 除了代码还喜欢爬山和第二天睡醒后全身酸疼的感觉。 Envoy异步批量发送数据给Mixer ✓Mixer使用协程池处理Adapter ✓ 处理完成所有Adapter才响应Envoy 疑问 协程池堵塞是否会影响envoy性能？ ## Mixer协程池 ✓ 初始化一定量worker（协程） ✓ 监听同一队列 ✓ 任务放入队列 ✓ Worker处理任务 worker worker worker ## Jaeger架构设计 ![Image](/upl

## Curve核心组件之Client D I G I T A L S A I L 吴汉卿 网易数帆存储团队 ## CURVE CURVE是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟存储底座 - 可扩展存储场景：块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储，对接 OpenStack 和 k8s • 网易内部线上无故障稳定运行400+天 • 已开源 Chunkserver 2 Chunkserver 3 ## CLIENT IO流程 逻辑chunk与物理chunk映射关系 物理chunk所属的复制组(copyset) ● 由MDS分配并持久化，client拆分用户请求时会获取并进行缓存 ● 为了减少元数据量，MDS一次会连续分配1G范围内的映射关系，称为Segment ![Image](/uploads/documents/5/f/3

Curve核心组件之 MDS Digital Sal 陈威 网易数帆存储团队 ## 概述 ## Curve 是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟 • 可支撑储场景：块存储、对象存储、云原生数据库、EC等 - 当前实现了高性能块存储，对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多 • 已开源 github主页：https://opencurve tar.gz Notes Downloads v0.1.3 on 30 Jul - f6425ad zip tar.gz Notes Downloads 01 整体架构 02 MDS各组件详细介绍 03 Q&A ## 基本架构 ## • 元数据节点 MDS 管理元数据信息 收集集群状态信息，自动调度 - 数据节点 Chunkserver 数据存储 副本一致性 对数据增删改查 快照克隆服务器  ## MDS各个组件 MDS是中心节点，负责元数据管理、集群状态收集与调度。MDS包含以下几个部分： • Topology: 管理集群的 topo 元数据信息。 • Nameserver: 管理文件的元数据信息。

curvefs chunkid 持久化 ## 背景 1. 将原有的获取chunkid的方法从space迁入mds中，并持久化写入etcd中； 2. 只考虑单mds工作的情况； 3. chunkid全局递增。 ## 实现 1. proto/space.proto 中的 message AllocateS3ChunkRequest、message AllocateS3ChunkResponse AllocateS3Chunk 调用 ChunkIDGenerator 对象的 GenChunkID 方法； 6. ChunkIDGenerator 类 1. 构造函数 初始化 2. init 函数：用于初始化或者更改 ChunkIdAllocatorImpl 的一些配置。但是这些配置不会立即生效，而是等到当前 chunkId池枯竭时才会生效。 3. 析构函数 4. GenChunkID

s/b/3/b/8/b3b802f42fb4d43ec0b50b268a364ee4/p1_1.jpg) ## Red Hat OpenShift Service on AWS 4 ## 附加组件服务 为 Red Hat OpenShift Service on AWS 集群添加服务 Powered by TCPDF (www.tcpdf.org) 为 Red Hat OpenShift Service MANAGER 控制台在集群中添加服务 …… 3 1.1. 先决条件 …… 3 1.2. 在集群中添加附加组件服务 …… 3 1.3. 访问集群中安装的附加组件服务 …… 3 1.4. 使用 RED HAT OPENSHIFT CLUSTER MANAGER 删除附加组件服务 …… 4 1.5. 其他资源 …… 4 第2章 可用的 RED HAT OPENSHIFT SERVICE - 对于 Amazon CloudWatch 服务，您必须首先使用 ROSA CLI (rosa) 安装 cluster-logging-operator。 #### 1.2. 在集群中添加附加组件服务 您可以使用 Red Hat OpenShift Cluster Manager 在 AWS (ROSA) 集群上添加附加服务到 AWS (ROSA) 集群的现有 Red Hat OpenShift