PingCAP TiDB&TiKV Introduction OLTP
无限水平线性扩展、高并发高吞吐、跨数据中心多活、MySQL 兼容的真正意义上的分布式数据库 ● 我们是全球仅有的在该领域进行技术创新的两家公司之一(对标美国 CockroachDB) ● 完全从头打造,并非基于 MySQL 或数据库中间件进行改造、封装 ● 体系架构完全不同于传统的单机型数据库的理论,真正意义上的分布式架构 ● 开源模式保证技术创新、高效和领先性,天然的国际化基因 我们的数据库能解决什么问题 - 1 ● 无限线性水平扩展(Scale 2 Region 2 Region 3 Raft group for region 1 Raft group for region 2 Raft group for region 3 中间件 [0- 10] [10- 20] [20- 30] [30- 40] SQL Layer Transaction API MVCC NewKV NewSQL - 数据库无限水平扩展的完美解决方案 表(Sharding)方案 DB Sharding vs NewSQL DB Sharding NewSQL | TiDB 工作内容 工作量 工作内容 工作量 项目设计 阶段 分库分表设计 数据库中间件路由配置 数据库主从备份设计 月级别 类似单机数据库,不需要做任 何设计、修改 0 项目开发 阶段 事务处理机制 - 由应用保证 跨库、跨表查询 - 由应用保证 月级别 类似单机数据库,事务由底层 数据库提供,支持透明分布式0 码力 | 21 页 | 613.54 KB | 6 月前3[PingCAP Meetup SH 5.26]上海电信微信营业厅 TiDB 实践 v 1.6
上线 特性 业务介绍 ● 运营活动 ● 套餐查询 ● 业务办理 ● 话费充值 ● 账单缴费 当前粉丝:400万+ 月活跃人数:110万+ 7*24小时的服务 业务痛点 DBA 分表 分库 运维 中间件 稳定性 ... 选择 MyCat TIDB Mysql 分片 ... 选型测试 Mysql 主从分表:活动 延迟 Mycat :进行过 100 张分表处理,复杂度、可维护性高 TIDB:进行生产数据导入和实时同步进行数据测试。当时0 码力 | 9 页 | 188.20 KB | 6 月前3分布式NewSQL数据库TiDB
对存储容量、可扩展性、并发要求较⾼的海量数据及⾼并发的 OLTP 场景 场景 随着业务的⾼速发展,数据呈现爆炸性的增⻓,传统的单机数据库⽆法满⾜因数据爆炸性的增⻓对数据库的容量要求,可⾏⽅案是采⽤分库分表的中间件产品或者 NewSQL 数据库替代、 采⽤⾼端的存储设备等,其中性价⽐最⼤的是 NewSQL 数据库,例如:TiDB。TiDB 采⽤计算、存储分离的架构,可对计算、存储分别进⾏扩容和缩容,计算最⼤⽀持0 码力 | 120 页 | 7.42 MB | 6 月前3TiDB 开源分布式关系型数据库
业财一体化平台对接多点的店务 订单.POS 与进销存等十多个系统, 需要同时处理上百种业务 类型的单据, 面临着数据不及时、财务数据与业务数据志列以及异常数据难追涛等问题。随着系统数据量呈 指数级的增长, 通过数据库中间件实现的分库分表方案维护成本较高此外, 大数据 T+1 报表满足不了业务 需求,寻找一款成识的 NewSQL 数据库成为多点DMall 选型的方向。 解决方案 多点业财一体化平台采用三副本 TiDB、TiKV0 码力 | 58 页 | 9.51 MB | 1 年前3TiDB中文技术文档
的设计目标是 100% 的 OLTP 场景和 80% 的 OLAP 场景,更复杂的 OLAP 分析可以通过 TiSpark 项目 来完成。 TiDB 对业务没有任何侵入性,能优雅的替换传统的数据库中间件、数据库分库分表等 Sharding 方案。同时它也 让开发运维人员不用关注数据库 Scale 的细节问题,专注于业务开发,极大的提升研发的生产力。 三篇文章了解 TiDB 技术内幕: 说存储 说计算 的设计目标是 100% 的 OLTP 场景和 80% 的 OLAP 场景,更复杂的 OLAP 分析可以通过 TiSpark 项目 来完成。 TiDB 对业务没有任何侵入性,能优雅的替换传统的数据库中间件、数据库分库分表等 Sharding 方案。同时它也 让开发运维人员不用关注数据库 Scale 的细节问题,专注于业务开发,极大的提升研发的生产力。 TiDB 简介与整体架构 TiDB 简介 TiDB0 码力 | 444 页 | 4.89 MB | 6 月前3TiDB v6.1 中文手册
对存储容量、可扩展性、并发要求较高的海量数据及高并发的 OLTP 场景 随着业务的高速发展,数据呈现爆炸性的增长,传统的单机数据库无法满足因数据爆炸性的增长对数 据库的容量要求,可行方案是采用分库分表的中间件产品或者 NewSQL 数据库替代、采用高端的存储设 备等,其中性价比最大的是 NewSQL 数据库,例如:TiDB。TiDB 采用计算、存储分离的架构,可对计算、 存储分别进行扩容和缩容,计算最大支持 以获得更多信息。 4.3.4.6.2 项目配置 本节将简要介绍 example_project 包内 settings.py 的重要配置。这个文件包含了 Django 项目的配置,声明了 项目包含的应用、中间件、连接的数据库等信息。你可以通过创建相同依赖空白程序这一节来了解此配置文 件的生成流程,也可直接在项目中使用 settings.py 文件。关于 Django 配置的更多信息,参考 Django 配置文 'django.db.models.AutoField' ... 其中: • INSTALLED_APPS:启用的应用全限定名称列表。 • MIDDLEWARE:启用的中间件列表。由于本示例无需 CsrfViewMiddleware 中间件,因此其被注释。 • DATABASES:数据库配置。其中,ENGINE 一项被配置为 django_tidb,这遵循了 django-tidb 的配置要求。 40 码力 | 3572 页 | 84.36 MB | 1 年前3TiDB v6.5 中文手册
对存储容量、可扩展性、并发要求较高的海量数据及高并发的 OLTP 场景 随着业务的高速发展,数据呈现爆炸性的增长,传统的单机数据库无法满足因数据爆炸性的增长对数 据库的容量要求,可行方案是采用分库分表的中间件产品或者 NewSQL 数据库替代、采用高端的存储设 备等,其中性价比最大的是 NewSQL 数据库,例如:TiDB。TiDB 采用计算、存储分离的架构,可对计算、 存储分别进行扩容和缩容,计算最大支持 MySQL 的单一实例中全量和增量迁移数据到 TiDB • 将小数据量(小于 1 TB)分库分表 MySQL 合并迁移数据到 TiDB • 在业务数据中台、业务数据实时汇聚等数据中枢场景中,作为数据同步中间件来使用 本文档介绍了如何优雅高效地使用 DM,以及如何规避使用 DM 的常见误区。 13.6.4.1 性能边界定位 DM 的性能参数如下表所示。 参数 限制 最大同步节点(Work Nodes QPS/worker(不同 Schema 和 workload 会有所差异), 处理上游 Binlog 的能力最高为 20 MB/s/worker。 • 如果将 DM 作为需要长期使用的数据同步中间件,需要注意 DM 组件的部署架构。请参见DM-master 与 DM-woker 部署实践。 13.6.4.2 数据迁移前 在所有数据迁移之前,整体方案的设计是至关重要的。下面我们分别从业务侧要点及实施侧要点两个方面讲0 码力 | 4049 页 | 94.00 MB | 1 年前3TiDB v7.1 中文手册
MySQL 的单一实例中全量和增量迁移数据到 TiDB • 将小数据量(小于 1 TB)分库分表 MySQL 合并迁移数据到 TiDB • 在业务数据中台、业务数据实时汇聚等数据中枢场景中,作为数据同步中间件来使用 本文档介绍了如何优雅高效地使用 DM,以及如何规避使用 DM 的常见误区。 13.6.4.1 性能边界定位 DM 的性能参数如下表所示。 参数 限制 最大同步节点(Work Nodes QPS/worker(不同 Schema 和 workload 会有所差异), 处理上游 Binlog 的能力最高为 20 MB/s/worker。 • 如果将 DM 作为需要长期使用的数据同步中间件,需要注意 DM 组件的部署架构。请参见DM-master 与 DM-woker 部署实践。 13.6.4.2 数据迁移前 在所有数据迁移之前,整体方案的设计是至关重要的。下面我们分别从业务侧要点及实施侧要点两个方面讲 限制了单个事务的键值对的总数量不超过 30 万条,从 4.0 版本起 TiDB 取消了这项限制。 注意: 通常,用户会开启 TiDB Binlog 将数据向下游进行同步。某些场景下,用户会使用消息中间件 来消费同步到下游的 binlog,例如 Kafka。 以 Kafka 为例,Kafka 的单条消息处理能力的上限是 1 GB。因此,当把 txn-total-size-limit 设 置为 1 GB0 码力 | 4369 页 | 98.92 MB | 1 年前3TiDB v5.2 中文手册
对存储容量、可扩展性、并发要求较高的海量数据及高并发的 OLTP 场景 随着业务的高速发展,数据呈现爆炸性的增长,传统的单机数据库无法满足因数据爆炸性的增长对数 据库的容量要求,可行方案是采用分库分表的中间件产品或者 NewSQL 数据库替代、采用高端的存储设 备等,其中性价比最大的是 NewSQL 数据库,例如:TiDB。TiDB 采用计算、存储分离的架构,可对计算、 存储分别进行扩容和缩容,计算最大支持 限制了单个事务的键值对的总数量不超过 30 万条,从 4.0 版本起 TiDB 取消了这项限制。 注意: 通常,用户会开启 TiDB Binlog 将数据向下游进行同步。某些场景下,用户会使用消息中间件 来消费同步到下游的 binlog,例如 Kafka。 以 Kafka 为例,Kafka 的单条消息处理能力的上限是 1 GB。因此,当把 txn-total-size-limit 设 置为 1 GB0 码力 | 2259 页 | 48.16 MB | 1 年前3TiDB v5.1 中文手册
对存储容量、可扩展性、并发要求较高的海量数据及高并发的 OLTP 场景 随着业务的高速发展,数据呈现爆炸性的增长,传统的单机数据库无法满足因数据爆炸性的增长对数 据库的容量要求,可行方案是采用分库分表的中间件产品或者 NewSQL 数据库替代、采用高端的存储设 备等,其中性价比最大的是 NewSQL 数据库,例如:TiDB。TiDB 采用计算、存储分离的架构,可对计算、 存储分别进行扩容和缩容,计算最大支持 限制了单个事务的键值对的总数量不超过 30 万条,从 4.0 版本起 TiDB 取消了这项限制。 注意: 通常,用户会开启 TiDB Binlog 将数据向下游进行同步。某些场景下,用户会使用消息中间件 来消费同步到下游的 binlog,例如 Kafka。 以 Kafka 为例,Kafka 的单条消息处理能力的上限是 1 GB。因此,当把 txn-total-size-limit 设 置为 1 GB0 码力 | 2189 页 | 47.96 MB | 1 年前3
共 19 条
- 1
- 2