TokuDB索引结构 网易杭州研究院---胡争（博客：openinx.github.io） TokuDB简介 • 基于分形树实现的MySQL存储引擎 • Tokutek公司2007年研发，2013年开源 • 2015年Percona公司收购Tokutek公司 • TokuDB内部的K-V存储引擎为ft-index • TokuMx: ft-index + MongoDB Server层代码 4M vs InnoDB 16K） 更高性能，更低成本！ 分形树索引结构（一） 分形树结构（二） • msg_buffer – 先进先出队列 • BasementNode（OMT） – 弱平衡二叉树 – 增删改查期望复杂度O(logN) • 页大小默认4M。 • 扇出fanout默认[4,16]区间。 分形树结构（三） 分形树Insert/Update/Delete • 步骤：

BigTable Map Reduce GFS Google 十年前基于内部分布式 处理框架发表的 三篇论文奠定了大数据分析 处理基石；开源社区 以此为基础打造了Hadoop F1 Data Flow Spanner Colossus Google 内部新一代分布式处理框架，于12/13年发表 相关论文，奠定下一代分布式 NewSQL的理论和工程 实践基石。PingCAP以此为基础打造了TiDB & TiKV 我们在做什么 新一代NewSQL分布式关系型数据库 Ti Project （TiDB + TiKV） ● 基于 2013 年 Google Spanner / F1 论文 ● 基于 2014 年 Stanford 工业级分布式一致性协议实现 Raft 论文 概括： 无限水平线性扩展、高并发高吞吐、跨数据中心多活、MySQL 兼容的真正意义上的分布式数据库 ● 我们是全球仅有的在该领域进行技术创新的两家公司之一（对标美国 无状态的分布式 SQL 层 ● MySQL 协议兼容 ● 针对分布式场景的执行计划，优化器 ○ Push-down / MPP ● Online DDL ○ 业务不中断，进行表结构变更 TiDB 逻辑架构 ● 支持关系型的表结构 ● 全局一致索引 ● 通过 Map-Reduce 或 SQL 并发无锁读 TiDB Server TiDB Worker TiDB Worker TiDB Worker TiKV

Conference China 2016 中国用户大会 HBase的历史 2006年 Google发表 了BigTable 论文 2006年底由 PowerSet 的 Chad Walters和 Jim Kellerman 发起了HBase 项目，依据 BigTable的论文 重构关系数据 库 2007年2月建立 了HBase的原型 版本 2007年10月建立 了第一个可用的 HBase版本 强一致性 • 无SQL语言支持 • 稀疏的多维映射表 – 列存储 – 只用row key来定位行 – 每行可以有不同的列 – 数据有多个版本（在不同的时间点的快照信息） • 分布式的多层次映射表结构（key-value形式，value有多个） – 固定一个数据模型（固定数据模型能得到高性能，同时满足应用 需求） – 无数据类型 Postgres Conference China 2016 支持一次性修改多行的API并不保证跨行的原 子性操作 – 一般情况下，API会在结果中分别返回执行成功、 失败以及超时的行操作列表 6 Postgres Conference China 2016 中国用户大会 HBase体系结构 7 Postgres Conference China 2016 中国用户大会 场景及应用 8 Postgres Conference China 2016 中国用户大会 9 HBase

Greenplum 7 丰富的 HTAP 特性，具备良好性能、可靠性和稳定性，使得 Greenplum 不仅可以作为全能的分析化平台，也能满足交易型业 务场景，能够处理多种并发混合工作负载，专为满足在多结构数据环境中进行实时分析的需求而设计。 欧拉开源操作系统是一款面向数字基础设施的操作系统，支持服务器、云计算、边缘计算、嵌入式等应用场景，支持多 样性计算，致力于提供安全、稳定、易用的操作系统。 10 白皮书 | 10 在 2021 年 4 月传来喜报，Greenplum 数据库团队的论文《Greenplum: A Hybrid Database for Transactional and Analytical Workloads》1成功入选 SIGMOD 的收录论文，ACM SIGMOD 数据管理国际会议是由美国计算机协会 (ACM) 数据管理专业委员会(SIGMOD 有最高学术地位的国际性学术会议，SIGMOD 和另外 两大数据库会议 VLDB、ICDE 构成了数据库领域的三个顶级会议，其论文录取率是很低的，平均录取率大约仅为 15%-17%，值得一提的是此论文主要由中国研发团队完成，也说明了中国研发团队实力处于世界一流水平。在论文 中 Greenplum 团队提出一种全新的全局死锁检测器来减少独占锁的使用，减少独占锁的使用可以极大的提高数据库 在高并发状态下的性能，这项技术已经在

1500 家企业提供服 务，涉及金融、运营商、制造、零售、互联网、政府等多个行业 1.2 创新成果 ，。 论文(TiDB:ARaftbased HTAP Database}被国际三大顶级数据库会议VLDB 2020 收录, 成为业界第 一篇 Real-time HTAP 分布式数据库工业实现的顶级论文 *。 ”发明专利:一种键值存储系统沙《一种基于共识算法的 HTAP 数据库》 *。 ”计算机软件著作权登记证书: 一体化数据同步平台TiDB Data Migration L0 GA发呈 2020年5月 TiDB40GA发版 2020年9月 CNCF宣布Tiky 正式从CNCF毕业 -则 PingCAP 论文(TiDB:ARaftbased HTAP Database》 -二 入造YLDB2020 平交星友和北京银行获得 2020 年度亚洲银行家大奖 -直 机 关于 PingCAP 2015年9月 SQL 语句的性能指标和执行情况,独特的热点可视化 诊断工具KeyWVizo 与 Navicat 商业工具类似地支持图形化查看和管理数据库用户,创建或油除数据库和数据表,编辑数据 表的列,索引和分区结构 查询表中数据,添加或删除数据行、在线导入导出等。 * ”支持全流程追踪 SQL 执行技术, 用于性能和问题诊断。 。 支持更细粒度的TiDB 集群状态可视化展示。 PingCAPCOM

进程启动参数 TiDB 系统数据库 TiDB 系统变量 TiDB 专用系统变量和语法 TiDB 访问权限管理 TiDB 用户账户管理 使用加密连接 SQL 优化 理解 TiDB 执行计划 统计信息 语言结构 字面值 数据库、表、索引、列和别名 关键字和保留字 用户变量 表达式语法 注释语法 字符集和时区 字符集支持 字符集配置 时区 数据类型 日期和时间类型 基本数据类型 函数和操作符 函数和操作符概述 系统数据库 TiDB 系统变量 TiDB 专用系统变量和语法 TiDB 服务器日志文件 TiDB 访问权限管理 TiDB 用户账户管理 使用加密连接 SQL 优化 理解 TiDB 执行计划 统计信息 语言结构 字面值 数据库、表、索引、列和别名 关键字和保留字 用户变量 表达式语法 注释语法 字符集和时区 字符集支持 字符集配置 时区 数据类型 数值类型 日期和时间类型 字符串类型 JSON 数据类型 TiDB 团队技术博客 知乎专栏 Weekly 英文文档 README - 10 - 本文档使用 书栈(BookStack.CN) 构建 TiDB 是 PingCAP 公司受 Google Spanner / F1 论文启发而设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库，结合了传统的 RDBMS 和 NoSQL 的最佳特性。 TiDB

output Online DDL 现状，锁表（有些数据支持读操作，但是也以消耗大量内存为代价） ● 架构师们在设计整个系统的时候都会很慎重的考虑表结构 ● DBA 在做此类操作前要做足准备 TiDB解决方案，参考 Google 动态变更 schema 的论文 absent --> delete only --> write only -- reorg --> public Online DDL false 2. The default value isn't nil TiDB 通过 TiKV 支持的特性: ● 分布式事务 ○ 2PC（二阶段提交），参考 Google percolator 的论文 ○ MVCC ○ 隔离级别 （SI ＋ 乐观锁） ○ 引擎 RocksDB ● 水平扩容/缩容 ○ raft 协议 ＋ PlacementDriver ● 容错 TiKV Store4 Raft

被全世界共享起来 互联网的规模也从单独 一个数据中心的部署方 式转变为多数据中心, 甚 至是跨区域的部署模式 多区域部署 Serverless 分布式存储 Redis 内存数 据库 支持多种 数据结构 支持主 从架构 缓存服务 分布式锁 消息队列 计数器 目前携程的 Redis 部署架构 通过携程的 X-Pipe 项目, 来达到 Redis 跨站点和跨区域的数据同步问题 目前已经支持上海到美国和德国的 左右 • 到美西站点, 平均延迟在 160ms 左右 携程业务开发的需求, 对于 Redis 的数 据存储有着强依赖. 机票的业务需要从 上游供应商处收集舱位信息, Redis 方便 的多种数据结构类型对于储存这种数据 比较方便. 同时由于供应商是在全球分布的特性, 就更需要一个能够多点写入的 Redis 集 群, 支持海外站点和国内站点同时进行读写; 并解决因此可能出现的数据一致性问题. 需求的产生 全量状态 发送给接收端, 接 收端执行 merge 操作, 来达到和发送端状态 一致的结果 State-base replication 适用于不稳定的网络 系统, 通常会有多次重传 要求数据结构能够支持 交换律/结合律/幂等 性 这些特性 State-based Replication Operation-based CRDTs are referred to as commutative

Scale-up 模式遇到了瓶颈， SMP（对称多处理）架构难于扩展，并且在 CPU 计算和 IO 吞吐上不 能满足海量数据的计算需求。 分布式存储和分布式计算理论刚刚被提出来，Google 的两篇著名论文 发表后引起业界的关注，一篇是关于 GFS 分布式文件系统，另外一篇 是关于 MapReduce 并行计算框架的理论，分布式计算模式在互联网 行业特别是收索引擎和分词检索等方面获得了巨大成功。 Big ACID 在内的所有特征。 从上图可以看到，Greenplum 的最小并行单元不是节点层级，而是在 实例层级。安装过 Greenplum 的同学应该都看到每个实例都有自己 的 Postgresql 目录结构，都有各自的一套 Postgresql 数据库守护进 程（甚至可以通过 UT 模式进行单个实例的访问）。正因为如此，甚 至一个运行在单节点上的 GreenplumDB 也是一个小型的并行计算架 构，一般一个节点配置

导览 本小节主要介绍数据分片的核心概念。 表 表是透明化数据分片的关键概念。Apache ShardingSphere 通过提供多样化的表类型，适配不同场景下 的数据分片需求。 逻辑表 相同结构的水平拆分数据库（表）的逻辑名称，是 SQL 中表的逻辑标识。例：订单数据根据主键尾数拆 分为 10 张表，分别是 t_order_0 到 t_order_9，他们的逻辑表名为 t_order。 将会以它作为整个绑定表的主表。所有路由计算将 会只使用主表的策略，那么 t_order_item 表的分片计算将会使用 t_order 的条件。因此，绑定表间 的分区键需要完全相同。 广播表 指所有的分片数据源中都存在的表，表结构及其数据在每个数据库中均完全一致。适用于数据量不大且 需要与海量数据的表进行关联查询的场景，例如：字典表。 单表 指所有的分片数据源中仅唯一存在的表。适用于数据量不大且无需分片的表。 数据节点 数据节点 对于均匀分布的数据节点，如果数据结构如下： db0 ├── t_order0 └── t_order1 db1 ├── t_order0 └── t_order1 用行表达式可以简化为： db${0..1}.t_order${0..1} 或者 db$->{0..1}.t_order$->{0..1} 对于自定义的数据节点，如果数据结构如下： db0 ├── t_order0