Curve 分布式存储设计 程义 — Curve Maintainer XAgenda 第二 第三 第四 第一 Curve的由来 Curve的设计目标 Curve块存储 和 Curve文件存储 Curve社区Curve的由来 1. 代码复杂/代码量大 2. 运维难度高 3. 无法满足高的性能需求Curve的设计目标 1. Curve云原生软件定义存储 2. Curve块存储 高性能，易运维，云原生Curve块存储 1. 高性能分布式共享数据库场景 2. Curve块存储提供底层分布式共享存储 3. Polardb for PostgreSQL提供上层高性能数 据库服务 4. 性能测试 1. benchmarkSQL 每分钟事务数提升39% 2. pgbench 延迟降低21% TPS提升26% 研究现状Curve块存储 1. 分布式块存储服务 2. KVM块存储服务 快速跨云弹性发布的业务 3. 低成本大容量需求的业务 4. 中间件冷热数据自动分离 5. S3和POSIX统一访问需求 主要挑战和支持场景Curve Roadmap 1. 架构 1. 文件存储支持分布式缓存、完善冷热数据分层存储能力 2. 完善混合云、公有云上部署架构 3. 完善高性能3副本存储引擎，支持混合盘 4. 文件存储支持数据存储到HDFS、rados等引擎 2. 性能 1. 完善RDMA/SPDK方案，发布稳定版本

优刻得科技股份有限公司 版权所有 分布式 分布式NewSQL数据库 数据库 TiDB 产品⽂档 2 9 11 12 12 12 12 12 13 14 14 14 14 15 15 16 16 18 ⽬录 ⽬录 ⽬录 ⽬录 概览 概览 什么是 什么是TiDB 产品优势 产品优势 ⾼度兼容 MySQL 动态扩展 分布式事务 HTAP 真正⾦融级⾼可⽤ 适⽤场景 适⽤场景 对数据⼀致性及⾼可靠 场景 Real-time HTAP 场景 数据汇聚、⼆次加⼯处理的场景 真正⾦融级⾼可⽤ UCloud 云上 云上 TiDB 架构⽰意图 架构⽰意图 TiDB TiDB Serverless ⽬录 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 2/120 20 20 21 24 24 25 28 28 28 28 28 29 30 30 32 33 TiDB Serverless 删除 实例 实例 创建TiDB集群 查看TiDB实例列表 查看TiDB实例详情 删除TiDB实例 ⽤户 ⽤户 添加⽤⼾及权限 重置⽤⼾密码 删除⾮root⽤⼾ ⽬录 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 3/120 38 39 40 40 41 41 43 43 43 46 49 49 52 53 55 57

Service Mesh Meetup #4 上海站 蚂蚁金服Service Mesh 渐进式迁移方案 2018.11.25 敖小剑 @ 蚂蚁金服 中间件 龙轼 @UC 基础研发部1 Service Mesh演进路线 1 2 实现平滑迁移的关键 3 DNS寻址方案的演进 4 5 总结 DNS寻址方案的后续规划ü 对未来长期目标的认可 • Service Mesh（带控制平面，如Istio） 序列化 链路追踪 故障注入 日志 监控 Metrics 熔断 限流 服务降级 前置条件检查 身份认证 密钥管理 访问控制 …… 下沉到 Service Mesh 轻量级客户端 传统 侵入式 客户端 客户端应该尽可能的轻薄通用: 实现简单，方便跨语言，减少升级可能 最简单，最通用，支持最广 泛的寻址方式方式是什么？ 基于服务 发现的寻 址方式ü DNS寻址 • 支持度最好，使用最普遍

新一代云原生分布式存储—Curve 上 李小翠 网易数帆存储团队分布式存储介绍 01 存储的发展 | 分布式存储的分类 | 分布式存储的要素 02 03 04 Ceph 架构简介 | 场景介绍 | 使用中的问题 Curve 架构简介 | 数据对比 | 应用情况 FAQ 答疑存储的发展 互联网时代，数据大爆炸 大型主机 成本高 单点问题 扩容困难 各存储设备通过网络互联 各存储设备通过网络互联 大规模 弹性扩容 底层构建在分布式存储之上 云的概念 成本：共用基础设施 弹性：随意扩缩容 速度：更快的构建发布业务 底层构建在分布式存储之上 云原生的概念： 易用性：跨平台，超融合，弹性 小型主机 容量有限分布式存储的分类 按照各种应用场景所需的存储接口分类 对象 存储 文件 存储 块存储 接口为简单的 Get、PUT、DEL 和其他扩展 对指定地址空间进行随机读写 传统意义的块存储：磁盘分布式存储的要素 如何构建分布式文件系统？ 以分布式块存储为例。 •提供大容量的块设备 •可以在指定地址空间内随机读写 write(offset, len) •服务质量要求：数据不能丢、服务随时可用、弹性扩缩容 要什么 •成百上千台存储节点 •磁盘故障、机器故障、网络故障概率性发生 有什么 分布式存储系统需要满足接口需求，并且有持续监控、错误检测、容错与自动恢复的能力

7 例子和配方 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370 10 函数式编程模块 373 10.1 itertools --- 为高效循环创建迭代器的函数 . . . . . . . . . . . . . . . . . . . . . . . . . . 373 10 --- 新数据库管理器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 490 12.5.4 dbm.dumb --- 便携式 DBM 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491 12.6 sqlite3 --- SQLite 数据库的 DB-API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 567 14.1.2 变种与格式参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 571 14.1.3 Reader 对象

7 例子和配方 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373 10 函数式编程模块 377 10.1 itertools --- 为高效循环创建迭代器的函数 . . . . . . . . . . . . . . . . . . . . . . . . . . 377 10 --- 新数据库管理器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 494 12.5.4 dbm.dumb --- 便携式 DBM 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495 12.6 sqlite3 --- SQLite 数据库的 DB-API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 571 14.1.2 变种与格式参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 575 14.1.3 Reader 对象

7 例子和配方 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361 10 函数式编程模块 365 10.1 itertools --- 为高效循环创建迭代器的函数 . . . . . . . . . . . . . . . . . . . . . . . . . . 365 10 --- 新数据库管理器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475 12.5.3 dbm.dumb --- 便携式 DBM 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476 12.6 sqlite3 --- SQLite 数据库的 DB-API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 549 14.1.2 变种与格式参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553 14.1.3 Reader 对象

7 例子和配方 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361 10 函数式编程模块 365 10.1 itertools --- 为高效循环创建迭代器的函数 . . . . . . . . . . . . . . . . . . . . . . . . . . 365 10 --- 新数据库管理器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475 12.5.3 dbm.dumb --- 便携式 DBM 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476 12.6 sqlite3 --- SQLite 数据库的 DB-API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 549 14.1.2 变种与格式参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553 14.1.3 Reader 对象

打包（pickle） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270 8.14.12 函数式 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270 8.14.13 派生的枚举 7.6 NormalDist 对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339 10 函数式编程模块 343 10.1 itertools --- 为高效循环而创建迭代器的函数 . . . . . . . . . . . . . . . . . . . . . . . . 343 10.1 --- 基于 ndbm 的接口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442 12.5.3 dbm.dumb --- 便携式 DBM 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443 12.6 sqlite3 --- SQLite 数据库 DB-API

打包（pickle） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290 8.14.12 函数式 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290 8.14.13 NormalDist 对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363 10 函数式编程模块 367 10.1 itertools --- 为高效循环而创建迭代器的函数 . . . . . . . . . . . . . . . . . . . . . . . . . . 367 10 基于 ndbm 的接口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474 12.5.3 dbm.dumb --- 便携式 DBM 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475 12.6 sqlite3 --- SQLite 数据库