CurveFS rename 接口实现方案rename 接口实现方案(已实现,选用方案二) 背景 • 方案调研 • Chubaofs • Juicefs • 方案实现 • 方案一:chubaofs • 方案二:事务方案 • 方案三:利用 KV 自带的分布式事务 • Q&A • 1. 是否需要实现跨文件系统的 rename 操作? • 2. 在多客户端情况下,是否需要加锁来保证其原子性? • 3. rename rename 接口,本文档是对 rename 接口实现的调研及方案设计。 rename 操作,主要操作的是 dentry,如 rename /dir1/file1 /dir2/file2,主要有 2 个步骤:(1)删除 file1 的 dentry,(2)增加 file2 的 dentry(该 dentry 的 inodeid 等同 file1 的 inode id)。关于 rename 接口的实现,主要调研了 dentry,相当于多了一个硬链接,Linux 和 POSIX 接口中表明这允许一段时间内存在,但是最终还是要原子性,所以这一步出错会导致和本地文件系统不一致的行为: 1. Linux 接口定义允许 rename 过程中某一段时间存在这样的硬链接(或者 rename 执行到一半断电也会存在) 2. 而 POSIX 接口中提到了该函数得是原子(不断电的情况下,rename 操作不能被其他操作打断,不存在中间状态)0 码力 | 15 页 | 555.93 KB | 1 年前3
OpenShift Container Platform 4.14 存储### OpenShift Container Platform 4.14 ## 存储 在 OpenShift Container Platform 中配置和管理存储 Powered by TCPDF (www.tcpdf.org) 在 OpenShift Container Platform 中配置和管理存储 ## 法律通告 Copyright $ ^{©} $ 2023 Red Hat owners. ## 摘要 本文档提供了使用不同存储后端配置持久性卷以及通过 pod 管理动态分配存储的信息。 ## 目录 第1章 OPENSHIFT CONTAINER PLATFORM 存储概述 ..... 4 1.1. OPENSHIFT CONTAINER PLATFORM 存储的常见术语表 ..... 4 1.2. 存储类型 ..... 6 1.3. CONTAINER INTERFACE (CSI) ..... 6 1.4. 动态置备 ..... 6 第2章 了解临时存储 ..... 7 2.1. 概述 ..... 7 2.2. 临时存储的类型 ..... 7 2.3. 临时存储管理 ..... 7 2.4. 监控临时存储 ..... 8 第3章 了解持久性存储 ..... 10 3.1. 持久性存储概述 ..... 100 码力 | 215 页 | 2.56 MB | 2 年前3
OpenShift Container Platform 4.8 存储### OpenShift Container Platform 4.8 ## 存储 在 OpenShift Container Platform 中配置和管理存储 Powered by TCPDF (www.tcpdf.org) 在 OpenShift Container Platform 中配置和管理存储 ## 法律通告 Copyright $ ^{©} $ 2023 Red Hat owners. ## 摘要 本文档提供了使用不同存储后端配置持久性卷以及通过 pod 管理动态分配存储的信息。 ## 目录 第1章 OPENSHIFT CONTAINER PLATFORM 存储概述 ..... 4 1.1. MODULES/OPENSHIFT-STORAGE-COMMON-TERMS.ADOC ..... 4 1.2. 存储类型 ..... 6 1.3. CONTAINER INTERFACE (CSI) ..... 6 1.4. 动态置备 ..... 6 第2章 了解临时存储 ..... 7 2.1. 概述 ..... 7 2.2. 临时存储的类型 ..... 7 2.3. 临时存储管理 ..... 7 2.4. 监控临时存储 ..... 7 第3章 了解持久性存储 ..... 9 3.1. 持久性存储概述 ..... 90 码力 | 118 页 | 1.60 MB | 2 年前3
SUSE Rancher and RKE Kubernetes cluster
using CSI Driver on DELL EMC PowerFlex# SUSE Rancher and RKE Kubernetes cluster using CSI Driver on DELL EMC PowerFlex September 2021 H18899 White Paper ## Abstract This white paper describes the deployment of a SUSE Rancher Kubernetes Kubernetes Cluster on the Dell EMC PowerFlex family and the integration of PowerFlex CSI driver 1.4 for persistent volume, for customers requiring an on-premises container platform solution. This white paper also Kubernetes cluster .....13 PowerFlex Container Storage Interface driver .....25 Steps to install CSI drives for PowerFlex .....26 Rancher Kubernetes Cluster Data Protection using PowerProtect Data Manager0 码力 | 45 页 | 3.07 MB | 2 年前3
Curve文件系统元数据Proto(接口定义)curve文件系统元数据proto(代码接口定义,已实现) ## 1、 代码结构和代码目录 curve文件系统是相对于curve块设备比较独立的一块,在当前curve项目的目录下,增加一个一级目录curvefs,curvefs下有自己独立的proto\src\test。   Curve块存储 和 Curve文件存储  第四 Curve社区 ## Curve的由来 1. 代码复杂/代码量大 2. 运维难度高 3. 无法满足高的性能需求 ## Curve的设计目标 1. Curve云原生软件定义存储 2. Curve块存储 3. Curve文件存储 4. 高性能,易运维,云原生  ## Curve块存储 ## 研究现状 1. 高性能分布式共享数据库场景 2. Curve块存储提供底层分布式共享存储 3. Polardb for0 码力 | 20 页 | 4.13 MB | 1 年前3
Raft在Curve存储中的工程实践raft在Curve存储中的工程实践 D I G I T A L S A I L 陈威 Curve Maintaner 网易资深服务端开发工程师 01 Curve介绍 项目背景 | Curve架构 | 使用场景 | Curve社区 raft和braft raft协议介绍 | braft介绍 raft在Curve中的应用 raft in Curve块存储 | raft curve文件存储 | 配置变更 Curve对raft的优化 优化点1 | 优化点2 05 Q&A 答疑 ## 项目背景 ## Curve是一个高性能、更稳定、易运维的云原生分布式存储系统,支持块存储和文件存储 Curve块存储和文件存储均采用raft协议 ## 2021 ~2022 Curve文件存储 ## 2018 ~2021 Curve块存储 • 基于Openstack构建云计算平台 基于Openstack构建云计算平台 • 底层存储使用Ceph块存储 • 稳定性挑战 • 算力平台kubernetes的迅速发展 AI/大数据业务的快速增长 • 存储使用Ceph文件存储/HDFS • 成本/性能挑战 ## 整体架构 0 码力 | 29 页 | 2.20 MB | 1 年前3
陈宗志:大容量redis存储方案--Pika## 大容量redis存储方案--Pika 陈宗志 360基础架构组技术经理 ## 简介 ## • 13年入职360 基础架构组 – Bada – Pika – Zeppelin – Mario, Pink, slash, floyd • https://github.com/Qihoo360 ## 概要 - 存在问题 - 分析问题 - 解决问题 - Pika vs redis More ## Pika 定位 Pika 的出现并不是为了替代 Redis,而是 Redis 的场景补充。 Pika 力求在完全兼容 Redis 协议、继承 Redis 便捷运维设计的前提下通过持久化存储的方式解决 Redis 在大容量场景下的问题 ## Redis 问题 - 恢复时间长 - 一主多从, 主从切换代价大 - 缓冲区写满问题 - 成本问题 ## Redis 问题 ## • ## 30 倍的差距 ## 问题分析 • 成本问题 • 可用性问题 • 同步问题 • 易用性问题 ## 问题分析 • 尽可能兼容redis 协议 - 使用基于磁盘的存储引擎rocksb实现多数据接口接口 • 网络库 • 添加binlog 模块 ## Pika 整体结构  Hadoop FS CSI 如果想及时了解Spark、Hadoop或者HBase相关的文章,欢迎关注微信公众号:iteblog_hadoop ## 背景 HDFS是业界默认的大数据存储系统,在业界的大数据集群中有非常广泛的使用。HDFS集群有着很高的稳定性,得益于它较简单的构架,集群也很容易扩展。业 DFS的元数据访问性能会受到影响。虽然可以通过各种Federation技术来扩展集群的节点规模,但单个HDFS集群仍然没法很好地解决小文件的限制。 基于这些背景,Hadoop 社区推出了新的分布式存储系统 Ozone,从构架上解决这个问题。 ## Ozone的设计原则 Ozone 由一群对大规模Hadoop集群有着丰富运维和管理经验的工程师和构架师设计和实现。他们对大数据有深刻的洞察力,清楚0 码力 | 10 页 | 1.24 MB | 1 年前3
分布式 KV 存储系统 Cellar 演进之路## 分布式KV存储Cellar演进之路 ## 美团点评·基础架构 齐泽斌 ## 促进软件开发领域知识与创新的传播  关注InfoQ官方信息 及时获取QCon软件开发者大会演讲视频信息 动态置备持久性卷声明存储类FlexVolumeContainer Storage Interface (CSI)持久性卷SUSE RancherRKE Kubernetes EngineCSI DriverDell EMC PowerFlexPowerProtect Data ManagerCurve文件系统元数据Protorpc接口文件系统proto定义Curve块存储Curve文件存储高性能云原生分布式存储Raft协议Curve存储ChunkServerCopyset快照机制PikaRedis大容量持久化存储主从切换OzoneHadoop小文件问题元数据管理分布式KV存储系统节点高可用异地容灾服务可用性数据迁移优化













