Go 搭建大型开源分布式数据库技术内幕 shenli@PingCAP 关于我 ● 申砾 (Shen Li) ● TiDB 技术负责人 ● 网易有道 / 360搜索 / PingCAP ● Infrastructure software engineer 为什么需要一个新的数据库？ 从单机数据库到 NewSQL ● 关系型数据库 ● NoSQL ● 中间件 ● NewSQL

中间件兴趣圈 RocketMQ 官微 扫一扫关注【阿里巴巴云原生】公众号 阿里云开发者“藏经阁” 获取第一手技术干货 海量免费电子书下载 作者简介 作者简介 丁威，《RocketMQ 技术内幕》作者，RocketMQ 官方社区优秀布道师，荣获 CSDN2020 博客之星亚军；担任中通快递研发中心资深架构师，维护『中间件兴趣圈』公 众号，主打成体系剖析 Java 主流中间件，尝试从源码分析、架构设计、实战、故障分析等 OK，非常 愿意效劳”。我备受鼓舞，在和出版社初步沟通后，将试读稿件再加上消息存储整章的内容 发给冯嘉大神后，经冯嘉大神认真审稿后，决定帮忙推荐作序，真的非常受鼓舞。 随着《RocketMQ 技术内幕》一书的正式出版上市，并得到广大读者朋友的认可，与 官方的联系也越来越多，后面在 RocketMQ 中国社区负责人青峰大佬的筹备下，我还参 与了 RocketMQ 官方社区的源码解析直播活动、官方文档审稿等工作，并在社区得到了 温馨提示：本文不会详细跟踪整个整个源码创建过程，只会点出代码的关键入口点，如 想详细了解 NameServer 路由消息、消息发送高可用的实现原理，建议查阅笔者的书籍《 RocketMQ 技术内幕》第二、三章。 Step1：在 Broker 启动流程中，会构建 TopicConfigManager 对象，其构造方法中 首先会判断是否开启了允许自动创建主题，如果启用了自动创建主题，则向 topicConfigT

对业务没有任何侵入性，能优雅的替换传统的数据库中间件、数据库分库分表等 Sharding 方案。同时它也 让开发运维人员不用关注数据库 Scale 的细节问题，专注于业务开发，极大的提升研发的生产力。 三篇文章了解 TiDB 技术内幕： 说存储 说计算 谈调度 TiDB 简介 TiDB 整体架构 README - 11 - 本文档使用 书栈(BookStack.CN) 构建 要深入了解 TiDB 的水平扩展和高可用特点，首先需要了解 的细节问题，专注于业务开发，极大的提升研发的生产力。 TiDB 简介与整体架构 TiDB 简介 TiDB 简介 - 14 - 本文档使用 书栈(BookStack.CN) 构建 三篇文章了解 TiDB 技术内幕： 说存储 说计算 谈调度 要深入了解 TiDB 的水平扩展和高可用特点，首先需要了解 TiDB 的整体架构。 TiDB 集群主要分为三个组件： TiDB Server 负责接收 SQL 请求，处理

Region 为单位，以 PD 配置的策略为调度 逻辑，自动完成。 10.5.1.2.5 SQL on KV TiDB 自动将 SQL 结构映射为 KV 结构。具体的可以参考《三篇文章了解 TiDB 技术内幕 - 说计算》这篇文档。简 单来说，TiDB 执行了以下操作： • 一行数据映射为一个 KV，Key 以 TableID 构造前缀，以行 ID 为后缀 • 一条索引映射为一个 KV，Key 以 TableID+IndexID 其中的FAQ 和故障诊断章节建议大家仔细阅读。另外 TiDB 还有一些不错的工具，也有配套的文档，具体的见 各项工具的 GitHub 页面。 除了文档之外，还有很多不错的文章介绍 TiDB 的各项技术细节内幕，大家可以关注下面这些文章发布渠道： • 公众号：微信搜索 PingCAP • 知乎专栏：TiDB 的后花园 • 官方博客 10.5.1.4 TiDB 的最佳适用场景 简单来说，TiDB 适合具备下面这些特点的场景： 在逻辑上是一个巨大且有序的 KV Map。 整个 Key-Value 空间分成很多 Region，每一个 Region 是一系列连续的 Key。 注意： 关于 Region 的详细介绍，请参考三篇文章了解 TiDB 技术内幕 - 说存储 1839 热点 在使用 TiDB 的过程中，热点是一个典型的现象，它表现为大量的流量都在读写一小块数据。由于连续的数据 往往由同一个 TiKV 实例处理，因此热点对应的 TiKV

Region 为单位，以 PD 配置的策略为调度 逻辑，自动完成。 10.4.1.2.5 SQL on KV TiDB 自动将 SQL 结构映射为 KV 结构。具体的可以参考《三篇文章了解 TiDB 技术内幕 - 说计算》这篇文档。简 单来说，TiDB 执行了以下操作： • 一行数据映射为一个 KV，Key 以 TableID 构造前缀，以行 ID 为后缀 • 一条索引映射为一个 KV，Key 以 TableID+IndexID 其中的FAQ 和故障诊断章节建议大家仔细阅读。另外 TiDB 还有一些不错的工具，也有配套的文档，具体的见 各项工具的 GitHub 页面。 除了文档之外，还有很多不错的文章介绍 TiDB 的各项技术细节内幕，大家可以关注下面这些文章发布渠道： • 公众号：微信搜索 PingCAP • 知乎专栏：TiDB 的后花园 • 官方博客 10.4.1.4 TiDB 的最佳适用场景 简单来说，TiDB 适合具备下面这些特点的场景： 在逻辑上是一个巨大且有序的 KV Map。 整个 Key-Value 空间分成很多 Region，每一个 Region 是一系列连续的 Key。 注意： 关于 Region 的详细介绍，请参考三篇文章了解 TiDB 技术内幕 - 说存储 1790 热点 在使用 TiDB 的过程中，热点是一个典型的现象，它表现为大量的流量都在读写一小块数据。由于连续的数据 往往由同一个 TiKV 实例处理，因此热点对应的 TiKV

Region 为单位，以 PD 配置的策略为调度 逻辑，自动完成。 10.5.1.2.5 SQL on KV TiDB 自动将 SQL 结构映射为 KV 结构。具体的可以参考《三篇文章了解 TiDB 技术内幕 - 说计算》这篇文档。简 单来说，TiDB 执行了以下操作： • 一行数据映射为一个 KV，Key 以 TableID 构造前缀，以行 ID 为后缀 • 一条索引映射为一个 KV，Key 以 TableID+IndexID 其中的FAQ 和故障诊断章节建议大家仔细阅读。另外 TiDB 还有一些不错的工具，也有配套的文档，具体的见 各项工具的 GitHub 页面。 除了文档之外，还有很多不错的文章介绍 TiDB 的各项技术细节内幕，大家可以关注下面这些文章发布渠道： • 公众号：微信搜索 PingCAP • 知乎专栏：TiDB 的后花园 • 官方博客 10.5.1.4 TiDB 的最佳适用场景 简单来说，TiDB 适合具备下面这些特点的场景： 在逻辑上是一个巨大且有序的 KV Map。 整个 Key-Value 空间分成很多 Region，每一个 Region 是一系列连续的 Key。 注意： 关于 Region 的详细介绍，请参考三篇文章了解 TiDB 技术内幕 - 说存储 1924 热点 在使用 TiDB 的过程中，热点是一个典型的现象，它表现为大量的流量都在读写一小块数据。由于连续的数据 往往由同一个 TiKV 实例处理，因此热点对应的 TiKV

Region 为单位，以 PD 配置的策略为调度 逻辑，自动完成。 10.5.1.2.5 SQL on KV TiDB 自动将 SQL 结构映射为 KV 结构。具体的可以参考《三篇文章了解 TiDB 技术内幕 - 说计算》这篇文档。简 单来说，TiDB 执行了以下操作： • 一行数据映射为一个 KV，Key 以 TableID 构造前缀，以行 ID 为后缀 • 一条索引映射为一个 KV，Key 以 TableID+IndexID 其中的FAQ 和故障诊断章节建议大家仔细阅读。另外 TiDB 还有一些不错的工具，也有配套的文档，具体的见 各项工具的 GitHub 页面。 除了文档之外，还有很多不错的文章介绍 TiDB 的各项技术细节内幕，大家可以关注下面这些文章发布渠道： • 公众号：微信搜索 PingCAP • 知乎专栏：TiDB 的后花园 • 官方博客 10.5.1.4 TiDB 的最佳适用场景 简单来说，TiDB 适合具备下面这些特点的场景： 在逻辑上是一个巨大且有序的 KV Map。 整个 Key-Value 空间分成很多 Region，每一个 Region 是一系列连续的 Key。 注意： 关于 Region 的详细介绍，请参考三篇文章了解 TiDB 技术内幕 - 说存储 2370 热点 在使用 TiDB 的过程中，热点是一个典型的现象，它表现为大量的流量都在读写一小块数据。由于连续的数据 往往由同一个 TiKV 实例处理，因此热点对应的 TiKV

Region 为单位，以 PD 配置的策略为调度 逻辑，自动完成。 12.5.1.2.5 SQL on KV TiDB 自动将 SQL 结构映射为 KV 结构。具体的可以参考《三篇文章了解 TiDB 技术内幕 - 说计算》这篇文档。简 单来说，TiDB 执行了以下操作： • 一行数据映射为一个 KV，Key 以 TableID 构造前缀，以行 ID 为后缀 • 一条索引映射为一个 KV，Key 以 TableID+IndexID 其中的FAQ 和故障诊断章节建议大家仔细阅读。另外 TiDB 还有一些不错的工具，也有配套的文档，具体的见 各项工具的 GitHub 页面。 除了文档之外，还有很多不错的文章介绍 TiDB 的各项技术细节内幕，大家可以关注下面这些文章发布渠道： • 公众号：微信搜索 PingCAP • 知乎专栏：TiDB 的后花园 • 官方博客 12.5.1.4 TiDB 的最佳适用场景 简单来说，TiDB 适合具备下面这些特点的场景： 在逻辑上是一个巨大且有序的 KV Map。 整个 Key-Value 空间分成很多 Region，每一个 Region 是一系列连续的 Key。 注意： 关于 Region 的详细介绍，请参考三篇文章了解 TiDB 技术内幕 - 说存储 3015 热点 在使用 TiDB 的过程中，热点是一个典型的现象，它表现为大量的流量都在读写一小块数据。由于连续的数据 往往由同一个 TiKV 实例处理，因此热点对应的 TiKV

Region 为单位，以 PD 配置的策略为调度 逻辑，自动完成。 12.5.1.2.5 SQL on KV TiDB 自动将 SQL 结构映射为 KV 结构。具体的可以参考《三篇文章了解 TiDB 技术内幕 - 说计算》这篇文档。简 单来说，TiDB 执行了以下操作： • 一行数据映射为一个 KV，Key 以 TableID 构造前缀，以行 ID 为后缀 • 一条索引映射为一个 KV，Key 以 TableID+IndexID 其中的FAQ 和故障诊断章节建议大家仔细阅读。另外 TiDB 还有一些不错的工具，也有配套的文档，具体的见 各项工具的 GitHub 页面。 除了文档之外，还有很多不错的文章介绍 TiDB 的各项技术细节内幕，大家可以关注下面这些文章发布渠道： • 公众号：微信搜索 PingCAP • 知乎专栏：TiDB 的后花园 • 官方博客 12.5.1.4 TiDB 的最佳适用场景 简单来说，TiDB 适合具备下面这些特点的场景： Map。 整个 Key-Value 空间分成很多 Region，每一个 Region 是一系列连续的 Key。 3529 注意： 关于 Region 的详细介绍，请参考三篇文章了解 TiDB 技术内幕 - 说存储 热点 在使用 TiDB 的过程中，热点是一个典型的现象，它表现为大量的流量都在读写一小块数据。由于连续的数据 往往由同一个 TiKV 实例处理，因此热点对应的 TiKV 实例的性能

Region 为单位，以 PD 配置的策略为调度 逻辑，自动完成。 12.5.1.2.5 SQL on KV TiDB 自动将 SQL 结构映射为 KV 结构。具体的可以参考《三篇文章了解 TiDB 技术内幕 - 说计算》这篇文档。简 单来说，TiDB 执行了以下操作： • 一行数据映射为一个 KV，Key 以 TableID 构造前缀，以行 ID 为后缀 • 一条索引映射为一个 KV，Key 以 TableID+IndexID 其中的FAQ 和故障诊断章节建议大家仔细阅读。另外 TiDB 还有一些不错的工具，也有配套的文档，具体的见 各项工具的 GitHub 页面。 除了文档之外，还有很多不错的文章介绍 TiDB 的各项技术细节内幕，大家可以关注下面这些文章发布渠道： • 公众号：微信搜索 PingCAP • 知乎专栏：TiDB 的后花园 • 官方博客 12.5.1.4 TiDB 的最佳适用场景 简单来说，TiDB 适合具备下面这些特点的场景： Map。 整个 Key-Value 空间分成很多 Region，每一个 Region 是一系列连续的 Key。 3339 注意： 关于 Region 的详细介绍，请参考三篇文章了解 TiDB 技术内幕 - 说存储 热点 在使用 TiDB 的过程中，热点是一个典型的现象，它表现为大量的流量都在读写一小块数据。由于连续的数据 往往由同一个 TiKV 实例处理，因此热点对应的 TiKV 实例的性能