Raft在Curve存储中的工程实践## raft在Curve存储中的工程实践 D I G I T A L S A I L 陈威 Curve Maintaner 网易资深服务端开发工程师 01 Curve介绍 项目背景 | Curve架构 | 使用场景 | Curve社区 raft和braft raft协议介绍 | braft介绍 raft在Curve中的应用 raft in Curve块存储 Curve块存储 | raft in curve文件存储 | 配置变更 Curve对raft的优化 优化点1 | 优化点2 05 Q&A 答疑 ## 项目背景 ## Curve是一个高性能、更稳定、易运维的云原生分布式存储系统,支持块存储和文件存储 Curve块存储和文件存储均采用raft协议 ## 2021 ~2022 Curve文件存储 ## 2018 ~2021 Curve块存储 Curve社区 02 raft和braft raft协议介绍 | braft介绍 03 raft在Curve中的应用 raft in Curve块存储 | raft in curve文件存储 | 配置变更 04 Curve对raft的优化 优化点1 | 优化点2 05 Q&A 答疑 ## RAFT协议简介 ## 什么是raft - raft 是一种新型0 码力 | 29 页 | 2.20 MB | 1 年前3
高可用与一致性:构建强一致性分布式数据库 TiDB-沈泰宁## 构建强一致性分布式数据库 TiDB 沈泰宁 R & D Engineer @ PingCAP ## 极客时间 | 企业服务 ## 想做团队的领跑者 需要迈过这些“槛” 成长型企业,易忽视人才体系化培养企业转型加快,团队能力又跟不上 团队成员技能水平不一, 难以一“敌”百人需求 寻求外部培训,奈何价更高且集中式学习 学习效果难以统计,产生不良循环 VS VS VS Machine $$ A = 1 \quad B = 2 $$ Raft Module State Machine $$ \begin{array}{c|c} A = 1 \\ B = 2 \end{array} $$ Raft Module State Machine $$ A = 1 \quad B = 2 $$ Raft Module Log $$ A = 1 \quad \quad B = 2 $$ Log $$ A = 1 \quad B = 2 $$ Log $$ A = 1 \quad B = 2 $$ ## Raft: Key Points •Leader election • Voting for leader • Network isolation/node failure tiggers election ## •Log replication0 码力 | 45 页 | 4.63 MB | 2 年前3
Greenplum 排序算法## Greenplum内核揭秘之 ## ☐ ☐ ☐ ☐ ## 排序算法 钉钉直播 | 9月25日 16:00 - 17:00 #### Greenplum中文社区 https://cn.greenplum.org 博文·资料·文档·项目 ## GREENPLUM DATABASE $ ^{®} $ : if length(a)0 码力 | 52 页 | 2.05 MB | 2 年前3
Curve文件系统元数据持久化方案设计元数据持久化 • 前言 • Raft Log • Raft Snapshot - 持久化文件 - key value pairs - 其他说明 实现 • 1、inode、entry 的编码 • 2、KVStore • Q&A • 单靠 redis 的 AOF 机制能否保证数据不丢失? • redis 的高可用、高可扩方案? • redis + muliraft • 参考 • redis 中哈希表实现的优点? ## 前言 根据之前讨论的结果,元数据节点的架构如下图所示,这里涉及到两部分需要持久化/编码的内容: • Raft Log: 记录 operator log • Raft Snapshot:将内存中的数据结构以特定格式 dump 到文件进行持久化 copyset-2 copyset-1  Raft Log |字段|字节数|说明| |---|---|---| |type|1|操作类型,共有以下2类:• SET (OX01):ADD和UPDATE都可以转换成SET操作• DEL (OX00 码力 | 12 页 | 384.47 KB | 1 年前3
微服务场景下的数据一致性解决方案 - 殷湘和平统一 # 微服务场景下的数据一致性解决方案 殷湘 华为PaaS微服务架构师 开源能力中心  ## 大纲 • 离 数据一致性的起因 • 合 数据一致性的解决方案 • 断 方案选择建议 ## 离 数据一致性的起因  ## 单体应用 • 单体应用由于所有模块(A/B/C)使用同一个数据库 • 数据一致性通过数据库事务保证  ## 微服务场景 ## 数据一致性无法完全通过数据库保证 离 独立进程  独立部署 独立技术 独立团队 MongoDB Cassandra ## 合 数据一致性的解决方案 ## Saga • 1987年Hector & Kenneth 发表论文 Sagas • Saga = Long Live Transaction (LLT) • LLT =0 码力 | 31 页 | 4.28 MB | 2 年前3
Hello 算法 1.1.0 Python版FELLO FELLO FELLO FELLO FELLO FELLO FELLO FELLO FELLO FELLO >Hello算法 动画图解、一键运行的数据结构与算法教程 靳宇栋 (@krahets) Hello 算法 Python 语言版 作者:靳宇栋 (@krahets)  Hello 算法 Rust 语言版 作者:靳宇栋 (@krahets) 代码审阅:伍志豪 (@night-cruise)  Hello 算法 Swift 语言版 作者:靳宇栋 (@krahets) 代码审阅:@nuomi1  Hello 算法 TypeScript 语言版 作者:靳宇栋 (@krahets) 代码审阅:谢发 (@justin-tse)  # 前 GPT 时代作品 学习中总结探索 ## 写作动机 ## 数据结构与算法 (Rust 语言描述)  ## Rust bea326f/p7_4.jpg) ## 为什么 为什么讲这个话题? 为什么要讲数据结构和算法两部分? ## 算法相关知识  ## 算法相关知识 • 抽象数据类型 • 时空复杂度 • 复杂度计算 • 基本数据结构复杂度 ##0 码力 | 28 页 | 3.52 MB | 2 年前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100













