Curve 分布式存储设计 程义 — Curve Maintainer XAgenda 第二 第三 第四 第一 Curve的由来 Curve的设计目标 Curve块存储 和 Curve文件存储 Curve社区Curve的由来 1. 代码复杂/代码量大 2. 运维难度高 3. 无法满足高的性能需求Curve的设计目标 1. Curve云原生软件定义存储 2. Curve块存储 高性能，易运维，云原生Curve块存储 1. 高性能分布式共享数据库场景 2. Curve块存储提供底层分布式共享存储 3. Polardb for PostgreSQL提供上层高性能数 据库服务 4. 性能测试 1. benchmarkSQL 每分钟事务数提升39% 2. pgbench 延迟降低21% TPS提升26% 研究现状Curve块存储 1. 分布式块存储服务 2. KVM块存储服务 快速跨云弹性发布的业务 3. 低成本大容量需求的业务 4. 中间件冷热数据自动分离 5. S3和POSIX统一访问需求 主要挑战和支持场景Curve Roadmap 1. 架构 1. 文件存储支持分布式缓存、完善冷热数据分层存储能力 2. 完善混合云、公有云上部署架构 3. 完善高性能3副本存储引擎，支持混合盘 4. 文件存储支持数据存储到HDFS、rados等引擎 2. 性能 1. 完善RDMA/SPDK方案，发布稳定版本

优刻得科技股份有限公司 版权所有 分布式 分布式NewSQL数据库 数据库 TiDB 产品⽂档 2 9 11 12 12 12 12 12 13 14 14 14 14 15 15 16 16 18 ⽬录 ⽬录 ⽬录 ⽬录 概览 概览 什么是 什么是TiDB 产品优势 产品优势 ⾼度兼容 MySQL 动态扩展 分布式事务 HTAP 真正⾦融级⾼可⽤ 适⽤场景 适⽤场景 对数据⼀致性及⾼可靠 场景 Real-time HTAP 场景 数据汇聚、⼆次加⼯处理的场景 真正⾦融级⾼可⽤ UCloud 云上 云上 TiDB 架构⽰意图 架构⽰意图 TiDB TiDB Serverless ⽬录 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 2/120 20 20 21 24 24 25 28 28 28 28 28 29 30 30 32 33 TiDB Serverless 删除 实例 实例 创建TiDB集群 查看TiDB实例列表 查看TiDB实例详情 删除TiDB实例 ⽤户 ⽤户 添加⽤⼾及权限 重置⽤⼾密码 删除⾮root⽤⼾ ⽬录 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 3/120 38 39 40 40 41 41 43 43 43 46 49 49 52 53 55 57

Service Mesh Meetup #4 上海站 蚂蚁金服Service Mesh 渐进式迁移方案 2018.11.25 敖小剑 @ 蚂蚁金服 中间件 龙轼 @UC 基础研发部1 Service Mesh演进路线 1 2 实现平滑迁移的关键 3 DNS寻址方案的演进 4 5 总结 DNS寻址方案的后续规划ü 对未来长期目标的认可 • Service Mesh（带控制平面，如Istio） 序列化 链路追踪 故障注入 日志 监控 Metrics 熔断 限流 服务降级 前置条件检查 身份认证 密钥管理 访问控制 …… 下沉到 Service Mesh 轻量级客户端 传统 侵入式 客户端 客户端应该尽可能的轻薄通用: 实现简单，方便跨语言，减少升级可能 最简单，最通用，支持最广 泛的寻址方式方式是什么？ 基于服务 发现的寻 址方式ü DNS寻址 • 支持度最好，使用最普遍 所有编程语言/平台都支持的 ü 产品的长期方向 • SOFAMesh和SOFAMosn中已经基于x-protocol实现了DNS通用寻址方式 • 为了兼容RPC应用和k8s（微服务）的服务注册模型，需要为每个RPC接口提供DNS支持 • 未来Serverless中的Function也计划提供DNS寻址支持 • 可能会有更广泛的使用场景 ü 演进思路 • 简化原有SDK （短期需求）

新一代云原生分布式存储—Curve 上 李小翠 网易数帆存储团队分布式存储介绍 01 存储的发展 | 分布式存储的分类 | 分布式存储的要素 02 03 04 Ceph 架构简介 | 场景介绍 | 使用中的问题 Curve 架构简介 | 数据对比 | 应用情况 FAQ 答疑存储的发展 互联网时代，数据大爆炸 大型主机 成本高 单点问题 扩容困难 各存储设备通过网络互联 各存储设备通过网络互联 大规模 弹性扩容 底层构建在分布式存储之上 云的概念 成本：共用基础设施 弹性：随意扩缩容 速度：更快的构建发布业务 底层构建在分布式存储之上 云原生的概念： 易用性：跨平台，超融合，弹性 小型主机 容量有限分布式存储的分类 按照各种应用场景所需的存储接口分类 对象 存储 文件 存储 块存储 接口为简单的 Get、PUT、DEL 和其他扩展 对指定地址空间进行随机读写 传统意义的块存储：磁盘分布式存储的要素 如何构建分布式文件系统？ 以分布式块存储为例。 •提供大容量的块设备 •可以在指定地址空间内随机读写 write(offset, len) •服务质量要求：数据不能丢、服务随时可用、弹性扩缩容 要什么 •成百上千台存储节点 •磁盘故障、机器故障、网络故障概率性发生 有什么 分布式存储系统需要满足接口需求，并且有持续监控、错误检测、容错与自动恢复的能力

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1294 10.2.5 乐观事务模型下写写冲突问题排查· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1297 10 · · 2630 14.3.15 TiFlash Pipeline Model 执行模型 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2631 14.4 TiDB 分布式执行框架 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2633 14.4.1 TiDB 分布式执行框架 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1039 10.2.5 乐观事务模型下写写冲突问题排查· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1043 10 · · 2612 14.3.15 TiFlash Pipeline Model 执行模型 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2613 14.4 TiDB 分布式执行框架 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2615 14.4.1 TiDB 分布式执行框架 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

如计算路口交通事故预警，给予司机及时提示等，所 以将算力卸载在距离业务现场、设备最近的地方，就 是边缘计算的场景，它的价值空间远超AIoT，可以更 大范围为客户赋能，IoT和边缘计算一定走向融合。 定位为基于物模型的计算 定位为基于业务的计算 高级能力-自动化-AIoT以及赋能业务-边缘计算(Edge Cloud )-2 • 为了更好的为客户业 务场景赋能，比如路 口的交通事故识别和 预警等等需要低时延 是一种以资源视角的云交付形式， 不同于混合云，底层云的资源使用 地位等同。 AWS Aliyun Azure 云中立 高级能力-分布式云(交付角度） 分布式云（Distributed Cloud）就是分布在不同地理位置的云，是公有云“进化”的最新形态 中心Region 传统公有云 分布式云 覆盖热点区域的 边缘数据中心 客户本地机房的边缘节点或者 边缘计算盒子 粗犷上云 低时延 高弹性 强合规 云边一体纳管 高级能力-去中心化云（服务角度） 中心Region 传统公有云 去中心云 靠近的小云相似 于混合云、多云 纳管或者分布式 整体服务对等 性能、安全可控， 满足可控信息互通 的要求 • 涵盖所有云，涵盖所有业务形态 • 满足性能、安全要求 • 满足云间通信 • 是未来下一代云，目前云厂商还在摸索阶段 • 有望成为云计算终极形式，云原生ServiceMesh以及

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 975 10.2.5 乐观事务模型下写写冲突问题排查· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 979 10 · · 2603 14.3.15 TiFlash Pipeline Model 执行模型 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2604 14.4 TiDB 分布式执行框架 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2606 14.4.1 TiDB 分布式执行框架 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

7 例子和配方 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370 10 函数式编程模块 373 10.1 itertools --- 为高效循环创建迭代器的函数 . . . . . . . . . . . . . . . . . . . . . . . . . . 373 10 --- 新数据库管理器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 490 12.5.4 dbm.dumb --- 便携式 DBM 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491 12.6 sqlite3 --- SQLite 数据库的 DB-API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1232 20.6 xml.dom --- 文档对象模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1239 20.6.1 模块内容 . . . .

7 例子和配方 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373 10 函数式编程模块 377 10.1 itertools --- 为高效循环创建迭代器的函数 . . . . . . . . . . . . . . . . . . . . . . . . . . 377 10 --- 新数据库管理器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 494 12.5.4 dbm.dumb --- 便携式 DBM 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495 12.6 sqlite3 --- SQLite 数据库的 DB-API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1236 20.6 xml.dom --- 文档对象模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1243 20.6.1 模块内容 . . . .