PingCAP TiDB&TiKV Introduction OLTP统行业复杂业务逻辑场景中,以 Oracle 为代表 • 挑战:成本高,随着数据量增加, 只能通过购买更贵更好的服务器 ;无法线性扩容,海量数据下处 理能力大幅下降 单机关系型(SQL) 分布式非关系型(NoSQL) 分布式关系型(NewSQL) • 背景:随着搜索 / 社交的发展,数 据量爆发增长,传统数据库高成 本,无法线性扩容问题日益突显 ;分布式及 NoSQL 开始快速发 展,如 MongoDB • 挑战:擅长简单读写,无法处理 (TiDB + TiKV) ● 基于 2013 年 Google Spanner / F1 论文 ● 基于 2014 年 Stanford 工业级分布式一致性协议实现 Raft 论文 概括: 无限水平线性扩展、高并发高吞吐、跨数据中心多活、MySQL 兼容的真正意义上的分布式数据库 ● 我们是全球仅有的在该领域进行技术创新的两家公司之一(对标美国 CockroachDB) ● 完全从头打造,并非基于 ● 无限线性水平扩展(Scale Out) 无论多大的数据量,都可以轻松通过增加节点来解决,写入和读取时延固定(毫 秒级别),无需分库分表或者搭建复杂的 Hadoop 集群,完整的 MySQL 兼容接 口轻松处理高并发实时写入、实时查询和分析,极大的简化程序设计、应用维护 ,轻松应对大数据存储问题。 ● 高并发、高吞吐、完整的跨行事务支持、强一致性 通过简单的增加节点,提供无上限的、线性扩展的的高并发、高吞吐的处理能力0 码力 | 21 页 | 613.54 KB | 6 月前3
TiDB 开源分布式关系型数据库家》杂志 2018 年发布的“全球 1000 家大银行 排名中,中国光大银行位列第 39 位。 业务挑战 传统集中式数据库受到单点架构的限制,造成处理能力的受限与风险的集中。随着两地三中心的建设,光 太银行计划采用分布式的方案对外提供服务。 数据库作为金融科技的重器,需要匹配银行业务的发展,不 断提升的处理性能,并且满足金融监管的要求。 在分布式数据库技术日渐成熟的背景下,光大银行在关键业务系统引入0 码力 | 58 页 | 9.51 MB | 1 年前3
TiDB v5.2 中文手册TiFlash 集群可实现近似线性的扩展能力。TiFlash 节点数量应根据期待的性能和响应时间调 整。 75 * 当 OLTP 数据吞吐量较高时(例如写入或更新超过千万行/小时),由于网络和物理磁盘的写入 能力有限,内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈,也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系,需要根据具体系统状态调整节点数量。 systemctl status firewalld.service 4.2.4 检测及安装 NTP 服务 TiDB 是一套分布式数据库系统,需要节点间保证时间的同步,从而确保 ACID 模型的事务线性一致性。目前解 决授时的普遍方案是采用 NTP 服务,可以通过互联网中的 pool.ntp.org 授时服务来保证节点的时间同步,也 可以使用离线环境自己搭建的 NTP 服务来解决授时。 采用如下步骤检查是否安装 除了时刻同步数据准备着 failover 时投票切换成为 leader 外,没有办法对 TiDB 的请求提供任何帮助。 为了允许在 TiKV 的 follower 节点进行数据读取,同时又不破坏线性一致性和 Snapshot Isolation 的事务隔离, Region 的 follower 节点需要使用 Raft ReadIndex 协议确保当前读请求可以读到当前 leader 上已经 commit0 码力 | 2259 页 | 48.16 MB | 1 年前3
TiDB v8.0 中文手册计划在后续版本重新设计执行计划绑定的自动演进,相关的变量和行为会发生变化。 2.2.4 改进提升 • TiDB – DDL 创建表语句 CREATE TABLE 执行性能加速 10 倍,并且可线性扩展 #50052 @GMHDBJD – 支持同时提交 16 个 IMPORT INTO ... FROM FILE 任务,方便批量导入数据到目标表,极大地提升 了数据文件导入的效率和性能 #49008 样 TiFlash 集群可实现近似线性的扩展能力。TiFlash 节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时(例如写入或更新超过千万行/小时),由于网络和物理磁盘的写入 能力有限,内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈,也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系,需要根据具体系统状态调整节点数量。 systemctl status firewalld.service 5.2.5 检测及安装 NTP 服务 TiDB 是一套分布式数据库系统,需要节点间保证时间的同步,从而确保 ACID 模型的事务线性一致性。目前解 决授时的普遍方案是采用 NTP 服务,可以通过互联网中的 pool.ntp.org 授时服务来保证节点的时间同步,也 可以使用离线环境自己搭建的 NTP 服务来解决授时。 采用如下步骤检查是否安装0 码力 | 4805 页 | 101.28 MB | 1 年前3
TiDB v7.1 中文手册0 开始,在新的分布式并行执行框架下,多个 TiDB 节点可以并行执行同一项 DDL 任务,从而更好地 利用 TiDB 集群的资源,大幅提升 DDL 的性能。此外,你还可以通过增加 TiDB 节点来线性提升 DDL 的性 能。需要注意的是,该特性是实验性特性,目前仅支持 ADD INDEX 操作。 如果要使用分布式并行执行框架,只需将tidb_enable_dist_task 的值设置为 ON: 样 TiFlash 集群可实现近似线性的扩展能力。TiFlash 节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时(例如写入或更新超过千万行/小时),由于网络和物理磁盘的写入 能力有限,内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈,也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系,需要根据具体系统状态调整节点数量。 systemctl status firewalld.service 473 5.2.5 检测及安装 NTP 服务 TiDB 是一套分布式数据库系统,需要节点间保证时间的同步,从而确保 ACID 模型的事务线性一致性。目前解 决授时的普遍方案是采用 NTP 服务,可以通过互联网中的 pool.ntp.org 授时服务来保证节点的时间同步,也 可以使用离线环境自己搭建的 NTP 服务来解决授时。 采用如下步骤检查是否安装0 码力 | 4369 页 | 98.92 MB | 1 年前3
TiDB v5.3 中文手册TiFlash 集群可实现近似线性的扩展能力。TiFlash 节点数量应根据期待的性能和响应时间调 整。 83 * 当 OLTP 数据吞吐量较高时(例如写入或更新超过千万行/小时),由于网络和物理磁盘的写入 能力有限,内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈,也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系,需要根据具体系统状态调整节点数量。 systemctl status firewalld.service 4.2.4 检测及安装 NTP 服务 TiDB 是一套分布式数据库系统,需要节点间保证时间的同步,从而确保 ACID 模型的事务线性一致性。目前解 决授时的普遍方案是采用 NTP 服务,可以通过互联网中的 pool.ntp.org 授时服务来保证节点的时间同步,也 可以使用离线环境自己搭建的 NTP 服务来解决授时。 采用如下步骤检查是否安装 除了时刻同步数据准备着 failover 时投票切换成为 leader 外,没有办法对 TiDB 的请求提供任何帮助。 为了允许在 TiKV 的 follower 节点进行数据读取,同时又不破坏线性一致性和 Snapshot Isolation 的事务隔离, Region 的 follower 节点需要使用 Raft ReadIndex 协议确保当前读请求可以读到当前 leader 上已经 commit0 码力 | 2374 页 | 49.52 MB | 1 年前3
TiDB v8.1 中文手册样 TiFlash 集群可实现近似线性的扩展能力。TiFlash 节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时(例如写入或更新超过千万行/小时),由于网络和物理磁盘的写入 能力有限,内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈,也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系,需要根据具体系统状态调整节点数量。 systemctl status firewalld.service 458 5.2.5 检测及安装 NTP 服务 TiDB 是一套分布式数据库系统,需要节点间保证时间的同步,从而确保 ACID 模型的事务线性一致性。目前解 决授时的普遍方案是采用 NTP 服务,可以通过互联网中的 pool.ntp.org 授时服务来保证节点的时间同步,也 可以使用离线环境自己搭建的 NTP 服务来解决授时。 采用如下步骤检查是否安装 除了时刻同步数据准备着 failover 时投票切换成为 leader 外,没有办法对 TiDB 的请求提供任何帮助。 为了允许在 TiKV 的 follower 节点进行数据读取,同时又不破坏线性一致性和 Snapshot Isolation 的事务隔离, Region 的 follower 节点需要使用 Raft ReadIndex 协议确保当前读请求可以读到当前 leader 上已经 commit0 码力 | 4807 页 | 101.31 MB | 1 年前3
TiDB v7.6 中文手册样 TiFlash 集群可实现近似线性的扩展能力。TiFlash 节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时(例如写入或更新超过千万行/小时),由于网络和物理磁盘的写入 能力有限,内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈,也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系,需要根据具体系统状态调整节点数量。 systemctl status firewalld.service 5.2.5 检测及安装 NTP 服务 TiDB 是一套分布式数据库系统,需要节点间保证时间的同步,从而确保 ACID 模型的事务线性一致性。目前解 决授时的普遍方案是采用 NTP 服务,可以通过互联网中的 pool.ntp.org 授时服务来保证节点的时间同步,也 可以使用离线环境自己搭建的 NTP 服务来解决授时。 采用如下步骤检查是否安装 除了时刻同步数据准备着 failover 时投票切换成为 leader 外,没有办法对 TiDB 的请求提供任何帮助。 为了允许在 TiKV 的 follower 节点进行数据读取,同时又不破坏线性一致性和 Snapshot Isolation 的事务隔离, Region 的 follower 节点需要使用 Raft ReadIndex 协议确保当前读请求可以读到当前 leader 上已经 commit0 码力 | 4666 页 | 101.24 MB | 1 年前3
TiDB v7.5 中文手册节点并行执行同一个 IMPORT INTO 35 任务,从而更好地利用 TiDB 集群的资源,大幅提升 DDL 和 IMPORT INTO 任务的性能。此外,你还可以通 过增加 TiDB 节点来线性提升 DDL 和 IMPORT INTO 任务的性能。 如果要使用分布式并行执行框架,只需将tidb_enable_dist_task 的值设置为 ON: SET GLOBAL tidb_enable_dist_task 样 TiFlash 集群可实现近似线性的扩展能力。TiFlash 节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时(例如写入或更新超过千万行/小时),由于网络和物理磁盘的写入 能力有限,内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈,也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系,需要根据具体系统状态调整节点数量。 systemctl status firewalld.service 459 5.2.5 检测及安装 NTP 服务 TiDB 是一套分布式数据库系统,需要节点间保证时间的同步,从而确保 ACID 模型的事务线性一致性。目前解 决授时的普遍方案是采用 NTP 服务,可以通过互联网中的 pool.ntp.org 授时服务来保证节点的时间同步,也 可以使用离线环境自己搭建的 NTP 服务来解决授时。 采用如下步骤检查是否安装0 码力 | 4590 页 | 100.91 MB | 1 年前3
TiDB v8.2 中文手册样 TiFlash 集群可实现近似线性的扩展能力。TiFlash 节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时(例如写入或更新超过千万行/小时),由于网络和物理磁盘的写入 能力有限,内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈,也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系,需要根据具体系统状态调整节点数量。 systemctl status firewalld.service 462 5.2.5 检测及安装 NTP 服务 TiDB 是一套分布式数据库系统,需要节点间保证时间的同步,从而确保 ACID 模型的事务线性一致性。目前解 决授时的普遍方案是采用 NTP 服务,可以通过互联网中的 pool.ntp.org 授时服务来保证节点的时间同步,也 可以使用离线环境自己搭建的 NTP 服务来解决授时。 采用如下步骤检查是否安装 除了时刻同步数据准备着 failover 时投票切换成为 leader 外,没有办法对 TiDB 的请求提供任何帮助。 为了允许在 TiKV 的 follower 节点进行数据读取,同时又不破坏线性一致性和 Snapshot Isolation 的事务隔离, Region 的 follower 节点需要使用 Raft ReadIndex 协议确保当前读请求可以读到当前 leader 上已经 commit0 码力 | 4987 页 | 102.91 MB | 10 月前3
共 17 条
- 1
- 2













