Curve 分布式存储设计 程义 — Curve Maintainer XAgenda 第二 第三 第四 第一 Curve的由来 Curve的设计目标 Curve块存储 和 Curve文件存储 Curve社区Curve的由来 1. 代码复杂/代码量大 2. 运维难度高 3. 无法满足高的性能需求Curve的设计目标 1. Curve云原生软件定义存储 2. Curve块存储 Curve块存储 3. Curve文件存储 4. 高性能，易运维，云原生Curve块存储 1. 高性能分布式共享数据库场景 2. Curve块存储提供底层分布式共享存储 3. Polardb for PostgreSQL提供上层高性能数 据库服务 4. 性能测试 1. benchmarkSQL 每分钟事务数提升39% 2. pgbench 延迟降低21% TPS提升26% 研究现状Curve块存储 研究现状Curve块存储 1. 分布式块存储服务 2. KVM块存储服务 3. iSCSI协议 4. 容器云块存储(CSI) 应用场景Curve块存储 1. 高可用性/高可靠性 (易运维) 2. RAFT一致性协议 3. CopySet分配算法 4. 拓扑结构 5. 高性能 6. chunkfilepool (降低写放大) 7. data stripe (增大并发) 8. zerocopy

分布式存储系统，支持 块存储 和 文件存储 2018~2021 Curve块存储 2021~2022 Curve文件存储 • 基于Openstack构建云计算平台 • 底层存储使用Ceph块存储 • 稳定性挑战 • 算力平台kubernetes的迅速发展 • AI/大数据业务的快速增长 • 存储使用Ceph文件存储/HDFS • 成本/性能挑战 Curve块存储和文件存储均采用raft协议整体架构 对接OpenStack平台为云主机提供高性能块 存储服务 • 对接Kubernetes为其提供RWO、RWX等类 型的持久化存储卷 • 对接PolarFS作为云原生数据库的高性能存储 底座，完美支持云原生数据库的存算分离架 构 • Curve作为云存储中间件使用S3兼容的对象 存储作为数据存储引擎，为公有云用户提供 高性价比的共享文件存储 • 支持在物理机上挂载使用块设备或FUSE文件 致已经被提交，系统切换到新的配置(new)。RAFT协议简介 日志压缩 • 日志会不断增长，占用空间 • 采用快照的方式压缩日志 • 在某个时间点，整个系统的状态都以快照的形式写入 到稳定的持久化存储中 • 完成一次快照之后，删除时间点之前的所有日志和快 照。BRAFT简介 • raft协议提出之后，涌现出了非常多的实现，比如etcd，braft，tikv等。 • braft是raft的一

新一代云原生分布式存储—Curve 上 李小翠 网易数帆存储团队分布式存储介绍 01 存储的发展 | 分布式存储的分类 | 分布式存储的要素 02 03 04 Ceph 架构简介 | 场景介绍 | 使用中的问题 Curve 架构简介 | 数据对比 | 应用情况 FAQ 答疑存储的发展 互联网时代，数据大爆炸 大型主机 成本高 单点问题 扩容困难 各存储设备通过网络互联 各存储设备通过网络互联 大规模 弹性扩容 底层构建在分布式存储之上 云的概念 成本：共用基础设施 弹性：随意扩缩容 速度：更快的构建发布业务 底层构建在分布式存储之上 云原生的概念： 易用性：跨平台，超融合，弹性 小型主机 容量有限分布式存储的分类 按照各种应用场景所需的存储接口分类 对象 存储 文件 存储 块存储 接口为简单的 Get、PUT、DEL 和其他扩展 通常意义是支持 对指定地址空间进行随机读写 传统意义的块存储：磁盘分布式存储的要素 如何构建分布式文件系统？ 以分布式块存储为例。 •提供大容量的块设备 •可以在指定地址空间内随机读写 write(offset, len) •服务质量要求：数据不能丢、服务随时可用、弹性扩缩容 要什么 •成百上千台存储节点 •磁盘故障、机器故障、网络故障概率性发生 有什么 分布式存储系统需要满足接口需求，并且有持续监控、错误检测、容错与自动恢复的能力

krahets、night‑cruise、nuomi1、Reanon 和 rongyi 完成（按照首字母顺序排列）。感谢他们付出的时间 与精力，正是他们确保了各语言代码的规范与统一。 在本书的创作过程中，我得到了许多人的帮助。 ‧ 感谢我在公司的导师李汐博士，在一次畅谈中你鼓励我“快行动起来”，坚定了我写这本书的决心； ‧ 感谢我的女朋友泡泡作为本书的首位读者，从算法小白的角度提出许多宝贵建议，使得本书更适合新 感谢苏潼为本书设计了精美的封面和 logo ，并在我的强迫症的驱使下多次耐心修改； ‧ 感谢 @squidfunk 提供的排版建议，以及他开发的开源文档主题 Material‑for‑MkDocs 。 在写作过程中，我阅读了许多关于数据结构与算法的教材和文章。这些作品为本书提供了优秀的范本，确保 了本书内容的准确性与品质。在此感谢所有老师和前辈的杰出贡献！ 本书倡导手脑并用的学习方式，在这一点上我深受《 本书的配套代码托管在 GitHub 仓库。如图 0‑3 所示，源代码附有测试样例，可一键运行。 如果时间允许，建议你参照代码自行敲一遍。如果学习时间有限，请至少通读并运行所有代码。 与阅读代码相比，编写代码的过程往往能带来更多收获。动手学，才是真的学。 第 0 章 前言 www.hello‑algo.com 6 图 0‑3 运行代码示例 运行代码的前置工作主要分为三步。 第一步：安装本地编程环境。请

krahets、night‑cruise、nuomi1、Reanon 和 rongyi 完成（按照首字母顺序排列）。感谢他们付出的时间 与精力，正是他们确保了各语言代码的规范与统一。 在本书的创作过程中，我得到了许多人的帮助。 ‧ 感谢我在公司的导师李汐博士，在一次畅谈中你鼓励我“快行动起来”，坚定了我写这本书的决心； ‧ 感谢我的女朋友泡泡作为本书的首位读者，从算法小白的角度提出许多宝贵建议，使得本书更适合新 感谢苏潼为本书设计了精美的封面和 logo ，并在我的强迫症的驱使下多次耐心修改； ‧ 感谢 @squidfunk 提供的排版建议，以及他开发的开源文档主题 Material‑for‑MkDocs 。 在写作过程中，我阅读了许多关于数据结构与算法的教材和文章。这些作品为本书提供了优秀的范本，确保 了本书内容的准确性与品质。在此感谢所有老师和前辈的杰出贡献！ 本书倡导手脑并用的学习方式，在这一点上我深受《 本书的配套代码托管在 GitHub 仓库。如图 0‑3 所示，源代码附有测试样例，可一键运行。 如果时间允许，建议你参照代码自行敲一遍。如果学习时间有限，请至少通读并运行所有代码。 与阅读代码相比，编写代码的过程往往能带来更多收获。动手学，才是真的学。 第 0 章 前言 www.hello‑algo.com 6 图 0‑3 运行代码示例 运行代码的前置工作主要分为三步。 第一步：安装本地编程环境。请

krahets、night‑cruise、nuomi1、Reanon 和 rongyi 完成（按照首字母顺序排列）。感谢他们付出的时间 与精力，正是他们确保了各语言代码的规范与统一。 在本书的创作过程中，我得到了许多人的帮助。 ‧ 感谢我在公司的导师李汐博士，在一次畅谈中你鼓励我“快行动起来”，坚定了我写这本书的决心； ‧ 感谢我的女朋友泡泡作为本书的首位读者，从算法小白的角度提出许多宝贵建议，使得本书更适合新 感谢苏潼为本书设计了精美的封面和 logo ，并在我的强迫症的驱使下多次耐心修改； ‧ 感谢 @squidfunk 提供的排版建议，以及他开发的开源文档主题 Material‑for‑MkDocs 。 在写作过程中，我阅读了许多关于数据结构与算法的教材和文章。这些作品为本书提供了优秀的范本，确保 了本书内容的准确性与品质。在此感谢所有老师和前辈的杰出贡献！ 本书倡导手脑并用的学习方式，在这一点上我深受《 本书的配套代码托管在 GitHub 仓库。如图 0‑3 所示，源代码附有测试样例，可一键运行。 如果时间允许，建议你参照代码自行敲一遍。如果学习时间有限，请至少通读并运行所有代码。 与阅读代码相比，编写代码的过程往往能带来更多收获。动手学，才是真的学。 第 0 章 前言 www.hello‑algo.com 6 图 0‑3 运行代码示例 运行代码的前置工作主要分为三步。 第一步：安装本地编程环境。请

krahets、night‑cruise、nuomi1、Reanon 和 rongyi 完成（按照首字母顺序排列）。感谢他们付出的时间 与精力，正是他们确保了各语言代码的规范与统一。 在本书的创作过程中，我得到了许多人的帮助。 ‧ 感谢我在公司的导师李汐博士，在一次畅谈中你鼓励我“快行动起来”，坚定了我写这本书的决心； ‧ 感谢我的女朋友泡泡作为本书的首位读者，从算法小白的角度提出许多宝贵建议，使得本书更适合新 感谢苏潼为本书设计了精美的封面和 logo ，并在我的强迫症的驱使下多次耐心修改； ‧ 感谢 @squidfunk 提供的排版建议，以及他开发的开源文档主题 Material‑for‑MkDocs 。 在写作过程中，我阅读了许多关于数据结构与算法的教材和文章。这些作品为本书提供了优秀的范本，确保 了本书内容的准确性与品质。在此感谢所有老师和前辈的杰出贡献！ 本书倡导手脑并用的学习方式，在这一点上我深受《 本书的配套代码托管在 GitHub 仓库。如图 0‑3 所示，源代码附有测试样例，可一键运行。 如果时间允许，建议你参照代码自行敲一遍。如果学习时间有限，请至少通读并运行所有代码。 与阅读代码相比，编写代码的过程往往能带来更多收获。动手学，才是真的学。 第 0 章 前言 www.hello‑algo.com 6 图 0‑3 运行代码示例 运行代码的前置工作主要分为三步。 第一步：安装本地编程环境。请

krahets、night‑cruise、nuomi1、Reanon 和 rongyi 完成（按照首字母顺序排列）。感谢他们付出的时间 与精力，正是他们确保了各语言代码的规范与统一。 在本书的创作过程中，我得到了许多人的帮助。 ‧ 感谢我在公司的导师李汐博士，在一次畅谈中你鼓励我“快行动起来”，坚定了我写这本书的决心； ‧ 感谢我的女朋友泡泡作为本书的首位读者，从算法小白的角度提出许多宝贵建议，使得本书更适合新 感谢苏潼为本书设计了精美的封面和 logo ，并在我的强迫症的驱使下多次耐心修改； ‧ 感谢 @squidfunk 提供的排版建议，以及他开发的开源文档主题 Material‑for‑MkDocs 。 在写作过程中，我阅读了许多关于数据结构与算法的教材和文章。这些作品为本书提供了优秀的范本，确保 了本书内容的准确性与品质。在此感谢所有老师和前辈的杰出贡献！ 本书倡导手脑并用的学习方式，在这一点上我深受《 本书的配套代码托管在 GitHub 仓库。如图 0‑3 所示，源代码附有测试样例，可一键运行。 如果时间允许，建议你参照代码自行敲一遍。如果学习时间有限，请至少通读并运行所有代码。 与阅读代码相比，编写代码的过程往往能带来更多收获。动手学，才是真的学。 第 0 章 前言 www.hello‑algo.com 6 图 0‑3 运行代码示例 运行代码的前置工作主要分为三步。 第一步：安装本地编程环境。请

krahets、night‑cruise、nuomi1、Reanon 和 rongyi 完成（按照首字母顺序排列）。感谢他们付出的时间 与精力，正是他们确保了各语言代码的规范与统一。 在本书的创作过程中，我得到了许多人的帮助。 ‧ 感谢我在公司的导师李汐博士，在一次畅谈中你鼓励我“快行动起来”，坚定了我写这本书的决心； ‧ 感谢我的女朋友泡泡作为本书的首位读者，从算法小白的角度提出许多宝贵建议，使得本书更适合新 感谢苏潼为本书设计了精美的封面和 logo ，并在我的强迫症的驱使下多次耐心修改； ‧ 感谢 @squidfunk 提供的排版建议，以及他开发的开源文档主题 Material‑for‑MkDocs 。 在写作过程中，我阅读了许多关于数据结构与算法的教材和文章。这些作品为本书提供了优秀的范本，确保 了本书内容的准确性与品质。在此感谢所有老师和前辈的杰出贡献！ 本书倡导手脑并用的学习方式，在这一点上我深受《 本书的配套代码托管在 GitHub 仓库。如图 0‑3 所示，源代码附有测试样例，可一键运行。 如果时间允许，建议你参照代码自行敲一遍。如果学习时间有限，请至少通读并运行所有代码。 与阅读代码相比，编写代码的过程往往能带来更多收获。动手学，才是真的学。 第 0 章 前言 www.hello‑algo.com 6 图 0‑3 运行代码示例 运行代码的前置工作主要分为三步。 第一步：安装本地编程环境。请

krahets、night‑cruise、nuomi1、Reanon 和 rongyi 完成（按照首字母顺序排列）。感谢他们付出的时间 与精力，正是他们确保了各语言代码的规范与统一。 在本书的创作过程中，我得到了许多人的帮助。 ‧ 感谢我在公司的导师李汐博士，在一次畅谈中你鼓励我“快行动起来”，坚定了我写这本书的决心； ‧ 感谢我的女朋友泡泡作为本书的首位读者，从算法小白的角度提出许多宝贵建议，使得本书更适合新 感谢苏潼为本书设计了精美的封面和 logo ，并在我的强迫症的驱使下多次耐心修改； ‧ 感谢 @squidfunk 提供的排版建议，以及他开发的开源文档主题 Material‑for‑MkDocs 。 在写作过程中，我阅读了许多关于数据结构与算法的教材和文章。这些作品为本书提供了优秀的范本，确保 了本书内容的准确性与品质。在此感谢所有老师和前辈的杰出贡献！ 本书倡导手脑并用的学习方式，在这一点上我深受《 本书的配套代码托管在 GitHub 仓库。如图 0‑3 所示，源代码附有测试样例，可一键运行。 如果时间允许，建议你参照代码自行敲一遍。如果学习时间有限，请至少通读并运行所有代码。 与阅读代码相比，编写代码的过程往往能带来更多收获。动手学，才是真的学。 第 0 章 前言 www.hello‑algo.com 6 图 0‑3 运行代码示例 运行代码的前置工作主要分为三步。 第一步：安装本地编程环境。请