2. $ cd /opt/spark/data/tispark-sample-data 3. $ mysql -h tidb -P 4000 -u root < dss.ddl 当样本数据加载到 TiDB 集群之后，可以使用 docker-compose exec tispark-master /opt/spark/bin/spark-shell 来访 问 Spark shell。 1. $ docker-compose exec tispark-master /opt/spark/bin/spark-shell 2. ... 3. Spark context available as 'sc' (master = local[*], app id = local-1527045927617). 4. Spark session available as 'spark'. 5. Welcome to 6. 16. scala> import org.apache.spark.sql.TiContext 17. ... 18. scala> val ti = new TiContext(spark) 19. ... 20. scala> ti.tidbMapDatabase("TPCH_001") 21. ... 22. scala> spark.sql("select count(*) from lineitem")

5.3 TiDB TPC-H 100GB Performance Test Report – TiDB v5.1 MPP mode vs. Greenplum 6.15.0 and Apache Spark 3.1.1 · · · · · · · · · · · · · · · · 59 2.6 MySQL Compatibility· · · · · · · · · · · · · · · · · Greenplum 6.15.0 and Apache Spark 3.1.1 2.5.3.1 Test overview This test aims at comparing the TPC-H 100GB performance of TiDB v5.1 in the MPP mode with that of Greenplum and Apache Spark, two mainstream analytics report are as follows: • TiDB v5.1 columnar storage in the MPP mode • Greenplum 6.15.0 • Apache Spark 3.1.1 + Parquet 2.5.3.2 Test environment 2.5.3.2.1 Hardware prerequisite • Node count: 3 • CPU:

5.3 TiDB TPC-H 100GB Performance Test Report – TiDB v5.2 MPP mode vs. Greenplum 6.15.0 and Apache Spark 3.1.1 · · · · · · · · · · · · · · · · 58 2.6 MySQL Compatibility· · · · · · · · · · · · · · · · · Greenplum 6.15.0 and Apache Spark 3.1.1 2.5.3.1 Test overview This test aims at comparing the TPC-H 100GB performance of TiDB v5.2 in the MPP mode with that of Greenplum and Apache Spark, two mainstream analytics report are as follows: • TiDB v5.2 columnar storage in the MPP mode • Greenplum 6.15.0 • Apache Spark 3.1.1 + Parquet 2.5.3.2 Test environment 2.5.3.2.1 Hardware prerequisite • Node count: 3 • CPU:

5.3 TiDB TPC-H 100GB Performance Test Report – TiDB v5.3 MPP mode vs. Greenplum 6.15.0 and Apache Spark 3.1.1 · · · · · · · · · · · · · · · · 70 2.6 MySQL Compatibility· · · · · · · · · · · · · · · · · Greenplum 6.15.0 and Apache Spark 3.1.1 2.5.3.1 Test overview This test aims at comparing the TPC-H 100GB performance of TiDB v5.3 in the MPP mode with that of Greenplum and Apache Spark, two mainstream analytics report are as follows: • TiDB v5.3 columnar storage in the MPP mode • Greenplum 6.15.0 • Apache Spark 3.1.1 + Parquet 2.5.3.2 Test environment 2.5.3.2.1 Hardware prerequisite • Node count: 3 70 •

· · · · · · · · · · · · 46 2.5.3 TiDB TPC-H 性能对比测试报告 - v5.2 MPP 模式对比 Greenplum 6.15.0 以及 Apache Spark 3.1.1 · · · · · · 48 2.6 与 MySQL 兼容性对比 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · TPC-H 性能对比测试报告 - v5.2 MPP 模式对比 Greenplum 6.15.0 以及 Apache Spark 3.1.1 2.5.3.1 测试概况 本次测试对比了 TiDB v5.2 MPP 模式下和主流分析引擎例如 Greenplum 和 Apache Spark 最新版在 TPC-H 100 下的性 能表现。结果显示，TiDB v5.2 MPP 模式下相对这些方案有 2-3 中进行了功能优化，这大大幅增强了 TiDB HTAP 形态。 本文的测试对象如下： • TiDB v5.2 MPP 执行模式下的列式存储 • Greenplum 6.15.0 • Apache Spark 3.1.1 + Parquet 48 2.5.3.2 测试环境 2.5.3.2.1 硬件配置 • 节点数量：3 • CPU：Intel(R) Xeon(R) CPU E5-2630 v4

· · · · · · · · · · · · 46 2.5.3 TiDB TPC-H 性能对比测试报告 - v5.1 MPP 模式对比 Greenplum 6.15.0 以及 Apache Spark 3.1.1 · · · · · · 48 2.6 与 MySQL 兼容性对比 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · TPC-H 性能对比测试报告 - v5.1 MPP 模式对比 Greenplum 6.15.0 以及 Apache Spark 3.1.1 2.5.3.1 测试概况 本次测试对比了 TiDB v5.1 MPP 模式下和主流分析引擎例如 Greenplum 和 Apache Spark 最新版在 TPC-H 100 下的性 能表现。结果显示，TiDB v5.1 MPP 模式下相对这些方案有 2-3 组件的 MPP 模式，这大幅增强了 TiDB HTAP 形态。本文的测试对象如下： • TiDB v5.1 MPP 执行模式下的列式存储 • Greenplum 6.15.0 • Apache Spark 3.1.1 + Parquet 2.5.3.2 测试环境 48 2.5.3.2.1 硬件配置 • 节点数量：3 • CPU：Intel(R) Xeon(R) CPU E5-2630 v4

Apache Spark ��� ● �� Apache Spark �� ○ Apache Zeppelin��� Hive ��������R �� ● � TiDB ��������� ○ ����� Join ������� ● � TiDB �������������� ● ���������������WIP� TiSpark Spark Exec Spark Exec Spark Driver Spark Exec TiKV TiKV TiKV TiKV TiSpark TiSpark TiSpark TiSpark TiKV Placement Driver (PD) gRPC Distributed Storage Layer gRPC retrieve data location retrieve data from TiKV ��� ������������������ ○ Binlog ���������������� ■ TiDB �������� MySQL ������� ○ ���������������� SQL �� ○ �� Spark �������� ○ ������������������ ���� - ���� Thank You !

70 2.5.3 TiDB TPC-H Performance Test Report – TiDB v5.4 MPP mode vs. Greenplum 6.15.0 and Apache Spark 3.1.1 · · · · · · · · · · · · · · · · · · · · · · 74 2.6 MySQL Compatibility· · · · · · · · · · · Greenplum 6.15.0 and Apache Spark 3.1.1 2.5.3.1 Test overview This test aims at comparing the TPC-H 100 GB performance of TiDB v5.4 in the MPP mode with that of Greenplum and Apache Spark, two mainstream analytics report are as follows: • TiDB v5.4 columnar storage in the MPP mode • Greenplum 6.15.0 • Apache Spark 3.1.1 + Parquet 2.5.3.2 Test environment 2.5.3.2.1 Hardware prerequisite 74 Instance type Instance

· · · · · · · · · · · · 53 2.5.3 TiDB TPC-H 性能对比测试报告 - v5.3 MPP 模式对比 Greenplum 6.15.0 以及 Apache Spark 3.1.1 · · · · · · 56 2.6 与 MySQL 兼容性对比 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · TPC-H 性能对比测试报告 - v5.3 MPP 模式对比 Greenplum 6.15.0 以及 Apache Spark 3.1.1 2.5.3.1 测试概况 本次测试对比了 TiDB v5.3 MPP 模式下和主流分析引擎例如 Greenplum 和 Apache Spark 最新版在 TPC-H 100 下的性 能表现。结果显示，TiDB v5.3 MPP 模式下相对这些方案有 2-3 组件的 MPP 模式大大幅增强了 TiDB HTAP 形态。本文的测试对象如下： • TiDB v5.3 MPP 执行模式下的列式存储 • Greenplum 6.15.0 • Apache Spark 3.1.1 + Parquet 2.5.3.2 测试环境 2.5.3.2.1 硬件配置 56 • 节点数量：3 • CPU：Intel(R) Xeon(R) CPU E5-2630 v4

nodes based on the actual status of the system. • TiSpark • If your data needs to be analyzed with Spark, deploy TiSpark. For specific process, see TiSpark User Guide. 3.4.4 Data preparation After TiFlash topology. TiSpark is a component built for running Apache Spark on top of TiDB/TiKV to answer complex OLAP queries. It brings benefits of both the Spark platform and the distributed TiKV cluster to TiDB and deployed in the home directory of the user. 5.3.5.3 Prerequisites TiSpark is based on the Apache Spark cluster, so before you start the TiDB cluster that contains TiSpark, you must ensure that Java Runtime