Guangzhou, Silicon Valley, Home • Open-Source infrastructure software: Codis, RebornDB • TiDB, TiKV, TiSpark ## Agenda • Design Goals • Architecture Evolution • Lessons Learned • Open Source Community ## SparkSQL Worker TiDB TiKV TiKV Worker Spark Cluster TiDB Cluster TiKV Cluster (Storage) TiSpark ## Lessons Learned ## Make it right, theतक it fast ## Test matters • How to test a distributed database

Topology 139 4.3.3 TiCDC Deployment Topology 142 4.3.4 TiDB Binlog Deployment Topology 144 4.3.5 TiSpark Deployment Topology 149 4.3.6 Geo-Distributed Deployment Topology 152 4.3.7 Hybrid Deployment Topology Clusters ··· 1869 11.12.5 Data Check in the DM Replication Scenario ··· 1871 11.13 TiSpark ··· 1872 11.13.1 TiSpark User Guide ··· 1872 **12 Reference** **1883** 12.1 Cluster Architecture ··· 1883 importing to an existing table with data - Optimize the Continuous Profiling feature (experimental) - TiSpark supports user identification and authentication ![OCR图片](/uploads/documents/6/6/d/66d07764b010d3

兼容MySQL协议，方便开发与脚本迁移.  ## TiSpark 未来统一的分析引擎 ## 新版本的惊喜  |commodityCode|String|@word(32)||商品编码| ## 未来规划 ※ 数据中台接入更多业务 TP向业务使用TiDB 统一的流式/近实时数据抽取，加工调度平台 更加明确TiDB和TiSpark引擎的选择 ## 凡是过往，皆为序章 Thank you! 易果

以外的分析查询 → Data Science / Machine Learning ☐ 放问其他数据源 → 和现有 Hadoop 数据联合查询 那么只使用 TiDB 也还是歇菜 ## TiSpark • TiSpark 是运行于 TiDB 存储层上的 Apache Spark 连接器 对接 Apache Spark 生态 Apache Zeppelin，访问 Hive 仓库，机器学习，R 等等 等等 为 TiDB 提供分布式计算框架 ☐ 突破如大表 Join 的单机资源限制 和 TiDB 一样支持复杂计算下推以及索引 • 带有事务支持的分布式批量写入（WIP） ## TiSpark Spark Driver retrieve data location  - 通过 Raft Learner 独立同步一套列存 Raft Learner 提供异步低消耗的副本同步 Raft

Syncer Loader TiDB-Binlog PD Control TiKV Control TiDB Controller TiDB-Binlog 部署方案 TiSpark 快速入门指南 TiSpark 用户指南 常见问题与解答(FAQ) TiDB Sysbench 性能测试报告 - v1.0.0 TiDB TPC-H 50G 性能测试报告 - v2.0 TiDB Sysbench ○ PD Control ○ TiKV Control ○ TiDB Controller • TiSpark 文档 ○ TiSpark 快速入门指南 ○ TiSpark 用户指南 • 常见问题与解答(FAQ) • 最佳实践 • 版本发布历史 ○ 2.0.4 以实现故障的自动恢复（auto-failover），无需人工介入。 ## • 一站式 HTAP 解决方案 TiDB 作为典型的 OLTP 行存数据库，同时兼具强大的 OLAP 性能，配合 TiSpark，可提供一站式 HTAP 解决方案，一份存储同时处理 OLTP & OLAP，无需传统繁琐的 ETL 过程。 ## • 云原生 SQL 数据库 TiDB 是为云而设计的数据库，同 Kubernetes

Topology 115 4.3.3 TiCDC Deployment Topology 118 4.3.4 TiDB Binlog Deployment Topology 120 4.3.5 TiSpark Deployment Topology 125 4.3.6 Geo-Distributed Deployment Topology 128 4.3.7 Hybrid Deployment for TiDB Upstream and Downstream Clusters ..... 1207 11.13 TiSpark ..... 1208 11.13.1 TiSpark Quick Start Guide ..... 1208 11.13.2 TiSpark User Guide ..... 1212 2 Reference 12.1 Cluster Architecture pingcap/tidb-dashboard • pingcap/tiflow • pingcap/tidb-tools • pingcap/tidb-lightning • pingcap/tispark • pingcap/dumpling • tikv/client-java • tidb-incubator/TiBigData • ti-community-infra #### 2

Topology 135 4.3.3 TiCDC Deployment Topology 138 4.3.4 TiDB Binlog Deployment Topology 140 4.3.5 TiSpark Deployment Topology 145 4.3.6 Geo-Distributed Deployment Topology 148 4.3.7 Hybrid Deployment Downstream Clusters 1300 11.12.5 Data Check in the DM Replication Scenario 1302 11.13 TiSpark 1303 11.13.1 TiSpark User Guide 1303 12 Reference 1313 12.1 Cluster Architecture 1313 12.1.1 TiDB Architecture pingcap/tidb-dashboard • pingcap/tiflow • pingcap/tidb-tools • pingcap/tidb-lightning • pingcap/tispark • pingcap/dumpling • tikv/client-java • tidb-incubator/TiBigData • ti-community-infra #### 2

Topology 123 4.3.3 TiCDC Deployment Topology 126 4.3.4 TiDB Binlog Deployment Topology 128 4.3.5 TiSpark Deployment Topology 133 4.3.6 Geo-Distributed Deployment Topology 136 4.3.7 Hybrid Deployment Data Check for TiDB Upstream and Downstream Clusters 1254 11.13 TiSpark 1255 11.13.1 TiSpark Quick Start Guide 1255 11.13.2 TiSpark User Guide 1259 2 Reference 1269 12.1 Cluster Architecture 1269 pingcap/tidb-dashboard • pingcap/tiflow • pingcap/tidb-tools • pingcap/tidb-lightning • pingcap/tispark • pingcap/dumpling • tikv/client-java • tidb-incubator/TiBigData • ti-community-infra #### 2

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 501 5.3.5 TiSpark 部署拓扑 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1433 13.1.3 OLAP 分析工具 - TiSpark · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2272 13.12 TiSpark · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2277 13.12.1 TiSpark 用户指南 · · · · · · · ·

NewSQL database that supports Hybrid Transactional and Analytical Processing (HTAP) workloads. TiSpark is a thin layer built for running Apache Spark on top of TiDB/TiKV to answer complex OLAP queries Tip: This article assumes that you have mastered the basic knowledge and operation of TiDB and TiSpark. For the knowledge not mentioned in this article, you can obtain it from TiDB Official Documentation engine and TiDB through Apache Spark Datasource V2 and Catalog APIs, you need to: • Referencing the TiSpark dependencies • Setting the spark extension and catalog configurations ## Dependencies The classpath