Curve核心组件之snapshotclone高可用,快照任务中断自动拉起继续转储快照和克隆的特点 • 克隆的定义 • 克隆是指从卷复制出卷的功能,提供快速的复制卷的能力。 • 这里的克隆还包括从快照回滚的功能 • 克隆的特点 • 支持Lazy和非Lazy两种模式克隆 • 支持从快照克隆和从镜像(卷)克隆 • 支持从快照回滚 • 高可用,克隆任务中断自动拉起继续克隆快照克隆服务器架构 • 基于brpc提供restful API的对外http接口 元数据安装成功; • Lazy方式下可见,用户可用; • 非Lazy不可见。 MetaInstalled: • 数据拷贝完成; • 可提供所有服务。 Cloned:LAZY 克隆 Lazy克隆 较快,秒级克隆: MetaInstalled状态可用,即完成元数据安装,就 从临时目录rename,用户可见。 Lazy Alloc Chunk,利于超售: Lazy克隆不直接分配chunk,而是等到client来写 额外接口: 不进行数据复制,而是提供额外的Flatten接口, 完成数据复制。 适用场景: 适用于从镜像快速创建云主机场景 非Lazy克隆 较慢,分钟级: Cloned状态可用,即完成整个数据克隆,才从临 时目录rename,用户才可见。 无Lazy Alloc chunk: 安装元数据时即分配好chunk。 无额外接口: 无需Flatten接口。 适用场景: 适用于从云0 码力 | 23 页 | 1.32 MB | 6 月前3
Curve设计要点客户端 Client 对元数据增删改查 对数据增删改查基本架构 • 快照克隆服务器 独立于核心服务 储到支持S3接口的 对象存储,不限制数量 异步快照、增量快照 从快照/镜像克隆 ( lazy/非lazy ) 从快照回滚数据组织形式 • 底层 可用性 / 可靠性 扩展性 / 负载均衡 向上提供无差别文件流 • Application 块/对象/EC等 感知具体格式 提供不同文件类型支撑不同上层应用数据组织形式 PageFile • 地址空间到—>chunk: 1 : N chunk有先后关系 • 创建时指定大小,lazy分配chunk • 提供4kb随机读写能力数据组织形式 • PageFile • 地址空间到—>chunk: 1 : N chunk有先后关系 • 创建时指定大小,lazy分配chunk • 提供4kb随机读写能力 • 支撑块设备应用场景 块设备层面的快照功能 即为文件层面快照数据组织形式0 码力 | 35 页 | 2.03 MB | 6 月前3
CurveBS IO Processing Flowlimit of snapshots l Support asynchronous and incremental snapshot l Support lazy (pre-allocated space) and non-lazy (allocated space on needs) clones from snapshots/mirrors l Support rollback from0 码力 | 13 页 | 2.03 MB | 6 月前3
CurveFS方案设计中对应chunk添加一个快照结构 flist 表示该chunk新关联了一个fsnode© XXX Page 8 of 14 快照的cow© XXX Page 9 of 14 优势在于可以做lazy-copy,速度很快。 劣势在于当前的快照逻辑复用需要做较大变动 方案二:文件系统快照 复用当前的逻辑,文件系统快照就是当前卷的快照,因此数据的快照就已经有了,需要的就是元数据的快照。© XXX0 码力 | 14 页 | 619.32 KB | 6 月前3
Curve Cloud Nativefailure, recovery) DEEP INSIGHTS Plan to Support metrics, alerts, log processing and workload analysis AUTO PILOT Plan to Support horizontal/vertical scaling, auto config tuning, abnormal detection0 码力 | 9 页 | 2.85 MB | 6 月前3
OID CND Asia Slide: CurveFSfailure 4s Server failure 4s Server fake death 4s Slow response 1s frequentlyData availability analysis Copyset allocation algorithm cluster with 1200 disks (each have MTBF 1.2 million hours) 3 replicas0 码力 | 24 页 | 3.47 MB | 6 月前3
共 6 条
- 1













