RDBMSとNoSQLのメリットを併せ持つクラウドネイティブなNewSQLデータベース
「TiDB」をKubernetesで動かしてみよう!Syntax (MySQL 互換) Distributed Transactions (分散トランザクション) Cloud Native (クラウドネイティブ志向) Minimize ETL (OLTP と OLAP のサポート) High Availability (高可用性) Open Source Conference 2022 Online/Spring 12 TiDB Syntax (MySQL 互換) Distributed Transactions (分散トランザクション) Cloud Native (クラウドネイティブ志向) Minimize ETL (OLTP と OLAP のサポート) High Availability (高可用性) Open Source Conference 2022 Online/Spring 13 TiDB Syntax (MySQL 互換) Distributed Transactions (分散トランザクション) Cloud Native (クラウドネイティブ志向) Minimize ETL (OLTP と OLAP のサポート) High Availability (高可用性) Open Source Conference 2022 Online/Spring 16 TiDB0 码力 | 71 页 | 6.65 MB | 1 年前3
TiDB 与 TiFlash扩展——向真 HTAP 平台前进 韦万Console Ad hoc Data Platform - What You Think It Is OLTP DBs App Data Warehouse / Data Lake ETL Analytical DBs Reporting BI Console Ad hoc Data Platform - What It Really Is VS Why ● Large database or NoSQL ○ For historical data, use Hadoop / analytical database ● Offload data via the ETL process into your Hadoop cluster or analytical database ○ Per hour or even per day ○ Complex offload Warehouse / Data Lake ETL Analytical DBs Reporting BI Console Ad hoc Traditional Data Platform Traditional data platform relies on complex architecture moving data around via ETL. This introduces maintenance0 码力 | 45 页 | 2.75 MB | 6 月前3
分布式NewSQL数据库TiDBHTAP 场景 场景 随着 5G、物联⽹、⼈⼯智能的⾼速发展,企业所⽣产的数据会越来越多,其规模可能达到数百 TB 甚⾄ PB 级别,传统的解决⽅案是通过 OLTP 型数据库处理在线联机交易业务,通过 ETL 适⽤场景 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 14/120 ⼯具将数据同步到 OLAP 型数据库进⾏数据分析,这种处理⽅案存在存 分散在各个系统的 数据汇聚在同⼀个系统并进⾏⼆次加⼯处理⽣成 T+0 或 T+1 的报表。传统常⻅的解决⽅案是采⽤ ETL + Hadoop 来完成,但 Hadoop 体系太复杂,运维、存储成本太⾼⽆法满⾜⽤⼾ 的需求。与 Hadoop 相⽐,TiDB 就简单得多,业务通过 ETL ⼯具或者 TiDB 的同步⼯具将数据同步到 TiDB,在 TiDB 中可通过 SQL 直接⽣成报表 真正⾦融级⾼可⽤0 码力 | 120 页 | 7.42 MB | 6 月前3
TIDB The Large Scale Relational Database Solutiondata transformation. Depending on the client’s need these could eliminate the need for expensive ETL tools. As well as its real-time data analytics system do give it a notable advantage over competitors0 码力 | 12 页 | 5.61 MB | 6 月前3
TiDB and Amazon Aurora-----------------------------------------------------------+ 6 rows in set (0.00 sec) Combine ETL pipeline I just want a simple join with 2 tables in my DB…. Analytics on Read-Replica? SELECT 1000 码力 | 57 页 | 2.52 MB | 6 月前3
TiDB中文技术文档解决方案 TiDB 作为典型的 OLTP 行存数据库,同时兼具强大的 OLAP 性能,配合 TiSpark,可提供一站式 HTAP 解决方案,一份存储同时处理 OLTP & OLAP,无需传统繁琐的 ETL 过程。 云原生 SQL 数据库 TiDB 是为云而设计的数据库,同 Kubernetes 深度耦合,支持公有云、私有云和混合云,使部署、配置和 维护变得十分简单。 TiDB 的设计目标是 100% 解决方案 TiDB 作为典型的 OLTP 行存数据库,同时兼具强大的 OLAP 性能,配合 TiSpark,可提供一站式 HTAP 解决方案,一份存储同时处理 OLTP & OLAP,无需传统繁琐的 ETL 过程。 云原生 SQL 数据库 TiDB 是为云而设计的数据库,同 Kubernetes 深度耦合,支持公有云、私有云和混合云,使部署、配置和 维护变得十分简单。 TiDB 的设计目标是 100% 从数据集群的角度看,TiSpark + TiDB 可以让用户无需进行脆弱和难以维护的 ETL,直接在同一个平台进 行事务和分析两种工作,简化了系统架构和运维。 除此之外,用户借助 TiSpark 项目可以在 TiDB 上使用 Spark 生态圈提供的多种工具进行数据处理。例 如使用 TiSpark 进行数据分析和 ETL;使用 TiKV 作为机器学习的数据源;借助调度系统产生定时报表等 TiSpark0 码力 | 444 页 | 4.89 MB | 6 月前3
TiDB v5.2 中文手册HTAP 场景 随着 5G、物联网、人工智能的高速发展,企业所生产的数据会越来越多,其规模可能达到数百 TB 甚 至 PB 级别,传统的解决方案是通过 OLTP 型数据库处理在线联机交易业务,通过 ETL 工具将数据同步到 OLAP 型数据库进行数据分析,这种处理方案存在存储成本高、实时性差等多方面的问题。TiDB 在 4.0 版 本中引入列存储引擎 TiFlash 结合行存储引擎 TiKV 构建真正的 分散在各个系统的数据汇聚在同 一个系统并进行二次加工处理生成 T+0 或 T+1 的报表。传统常见的解决方案是采用 ETL + Hadoop 来完成, 但 Hadoop 体系太复杂,运维、存储成本太高无法满足用户的需求。与 Hadoop 相比,TiDB 就简单得多, 业务通过 ETL 工具或者 TiDB 的同步工具将数据同步到 TiDB,在 TiDB 中可通过 SQL 直接生成报表。 2.1.3 从数据集群的角度看,TiSpark + TiDB 可以让用户无需进行脆弱和难以维护的 ETL,直接在同一个平台进 行事务和分析两种工作,简化了系统架构和运维。 • 用户借助 TiSpark 项目可以在 TiDB 上使用 Spark 生态圈提供的多种工具进行数据处理。例如,使用 TiSpark 进行数据分析和 ETL;使用 TiKV 作为机器学习的数据源;借助调度系统产生定时报表等等。 • 除此之外,TiSpark0 码力 | 2259 页 | 48.16 MB | 1 年前3
TiDB v5.1 中文手册HTAP 场景 随着 5G、物联网、人工智能的高速发展,企业所生产的数据会越来越多,其规模可能达到数百 TB 甚 至 PB 级别,传统的解决方案是通过 OLTP 型数据库处理在线联机交易业务,通过 ETL 工具将数据同步到 OLAP 型数据库进行数据分析,这种处理方案存在存储成本高、实时性差等多方面的问题。TiDB 在 4.0 版 本中引入列存储引擎 TiFlash 结合行存储引擎 TiKV 构建真正的 分散在各个系统的数据汇聚在同 一个系统并进行二次加工处理生成 T+0 或 T+1 的报表。传统常见的解决方案是采用 ETL + Hadoop 来完成, 但 Hadoop 体系太复杂,运维、存储成本太高无法满足用户的需求。与 Hadoop 相比,TiDB 就简单得多, 业务通过 ETL 工具或者 TiDB 的同步工具将数据同步到 TiDB,在 TiDB 中可通过 SQL 直接生成报表。 2.1.3 从数据集群的角度看,TiSpark + TiDB 可以让用户无需进行脆弱和难以维护的 ETL,直接在同一个平台进 行事务和分析两种工作,简化了系统架构和运维。 • 用户借助 TiSpark 项目可以在 TiDB 上使用 Spark 生态圈提供的多种工具进行数据处理。例如,使用 TiSpark 进行数据分析和 ETL;使用 TiKV 作为机器学习的数据源;借助调度系统产生定时报表等等。 • 除此之外,TiSpark0 码力 | 2189 页 | 47.96 MB | 1 年前3
TiDB v5.3 中文手册HTAP 场景 随着 5G、物联网、人工智能的高速发展,企业所生产的数据会越来越多,其规模可能达到数百 TB 甚 至 PB 级别,传统的解决方案是通过 OLTP 型数据库处理在线联机交易业务,通过 ETL 工具将数据同步到 OLAP 型数据库进行数据分析,这种处理方案存在存储成本高、实时性差等多方面的问题。TiDB 在 4.0 版 本中引入列存储引擎 TiFlash 结合行存储引擎 TiKV 构建真正的 分散在各个系统的数据汇聚在同 一个系统并进行二次加工处理生成 T+0 或 T+1 的报表。传统常见的解决方案是采用 ETL + Hadoop 来完成, 但 Hadoop 体系太复杂,运维、存储成本太高无法满足用户的需求。与 Hadoop 相比,TiDB 就简单得多, 业务通过 ETL 工具或者 TiDB 的同步工具将数据同步到 TiDB,在 TiDB 中可通过 SQL 直接生成报表。 关于 TiDB 内置 的统计信息选择最优的查询计划。 TiSpark 和 TiDB 可以让用户无需创建和维护 ETL,直接在同一个平台上进行事务和分析两种任务。这简化了系 统架构,降低了运维成本。 用户可以在 TiDB 上使用 Spark 生态圈的多种工具进行数据处理,例如: • TiSpark:数据分析和 ETL • TiKV:数据检索 1002 • 调度系统:生成报表 除此之外,TiSpark 还提供了分布式写入0 码力 | 2374 页 | 49.52 MB | 1 年前3
TiDB v6.5 中文手册HTAP 场景 随着 5G、物联网、人工智能的高速发展,企业所生产的数据会越来越多,其规模可能达到数百 TB 甚 至 PB 级别,传统的解决方案是通过 OLTP 型数据库处理在线联机交易业务,通过 ETL 工具将数据同步到 OLAP 型数据库进行数据分析,这种处理方案存在存储成本高、实时性差等多方面的问题。TiDB 在 4.0 版 本中引入列存储引擎 TiFlash 结合行存储引擎 TiKV 构建真正的 分散在各个系统的数据汇聚在同 一个系统并进行二次加工处理生成 T+0 或 T+1 的报表。传统常见的解决方案是采用 ETL + Hadoop 来完成, 但 Hadoop 体系太复杂,运维、存储成本太高无法满足用户的需求。与 Hadoop 相比,TiDB 就简单得多, 业务通过 ETL 工具或者 TiDB 的同步工具将数据同步到 TiDB,在 TiDB 中可通过 SQL 直接生成报表。 关于 TiDB 业务,同时还需要避免 OLAP 查询影响 OLTP 业务 性能,确保系统的整体稳定性。 • 简化 ETL 技术栈 当需要加工的数据量为中等规模(100 TB 以内)、数据加工调度流程相对简单、并发度不高(10 以内) 时,你可能希望简化技术栈,替换原本需要使用多个不同技术栈的 OLTP、ETL 和 OLAP 系统,使用一个数 据库同时满足交易系统以及分析系统的需求,降低技术门槛和运维人员需求。0 码力 | 4049 页 | 94.00 MB | 1 年前3
共 36 条
- 1
- 2
- 3
- 4













