Ozone on NVMe Wei-Chiu Chuang (jojochuang) Ritesh Shukla (kerneltime) ## Agenda • Overview of how Ozone and how it scales • Why NVME is important for Ozone for scaling • Benefits of using NVME • Impala Impala performance results from NVME clusters • Write path improvements results from NVME clusters • Summary • Questions ## Ozone Architecture ![Image](/uploads/documents/7/2/6/a/726a4b8f876d2c53cacdbfc4c79c1139/p3_1 limitations, working set can be cached in memory and unused data can be destaged to disk • OM uses NVME to store RocksDBs - Future projects such as Snapshots leverage RocksDB to preserve simplicity of

bottlenecked by IO, meaning CPUs were constantly waiting on HDDs to respond. But when we replace HDDs with NVMe SSDs on a Dual Socket Server, the CPU becomes the bottleneck. In an attempt to minimize the CPU bottleneck |Percona Server|5.7.10-3|| |Storage||| |SAS HDD|2x SEAGATE ST600MP0005 15K rpm|| |SATA SSD|2x Samsung 850 PRO|| |NVMe SSD|2x Samsung XS1715|| Quad-socket (28 Core) Configuration

	Database SEAGATE ST600MP0005 15K rpm
SATA SSD	2x Samsung 850 Pro
SAS SSD	2x Samsung PM1633
NVMe	2x Samsung PM1725

connections: 得出的连接数大小。 - core_count: CPU 核心数。 - effective_spindle_count: 直译为有效主轴数，实际上是说你有多少个硬盘（非 SSD），因为每个旋转的硬盘可以被称为是一个旋转轴。例如，你使用的是一个有16个磁盘组成的RAID阵列的服务器，那么 effective_spindle_count应为16。此处经验公式，实际上是衡量你的 命中率的下降，会更加接近实际的HDD个数。 3. 这里没有任何基于 SSD的经验公式。 这里的说明让你在使用 SSD 时，需探求其他的经验公式。 可以参考CockroachDB对数据库连接池中的描述，推荐的连接数大小公式为： connections = (number of cores * 4) 因此，你在使用 SSD的情况下可以将连接数设置为CPU核心数 *4。以此来达到初始的连接池最 |TiKV|8核+|32GB+|SSD,200GB+|千兆网卡|3| |TiFlash|32核+|64GB+|SSD,200GB+|千兆网卡|1| |TiCDC|8核+|16GB+|SAS,200GB+|千兆网卡|1| ## 注意： - 验证测试环境中的TiDB和PD可以部署在同一台服务器上。 - 如进行性能相关的测试，避免采用低性能存储和网络硬件配置，防止对测试结果的正确性产生干扰。 - TiKV的SSD盘推荐使用NVME接口以保证读写更快。

disk via RocksDB - No block report load: Background processing is separated from foreground. NVME: OM uses NVME to store RocksDBs • Simplicity: Written with simplicity in mind Example: Snapshots leverage 2_1.jpg) ## HARDWARE TRENDS All NVME clusters are increasingly common Ozone’s metadata is stored on SATA SSD or NVME - Increasing number of customers using all NVME clusters (metadata and data) - High High density nodes with Ozone - High performance workloads – Effectively lower TCO for all NVME clusters. |<nl>| |---| org/apache/.. start_thread ## I MPALA + OZONE Data warehouse is popular

connections: 得出的连接数大小。 - core_count: CPU 核心数。 - effective_spindle_count: 直译为有效主轴数，实际上是说你有多少个硬盘（非 SSD），因为每个旋转的硬盘可以被称为是一个旋转轴。例如，你使用的是一个有16个磁盘组成的RAID阵列的服务器，那么effective_spindle_count应为16。此处经验公式，实际上是衡量你的服 着命中率的下降，会更加接近实际的HDD个数。 3. 这里没有任何基于 SSD的经验公式。 这里的说明让你在使用SSD时，需探求其他的经验公式。 可以参考CockroachDB对数据库连接池中的描述，推荐的连接数大小公式为： connections = (number of cores * 4) 因此，你在使用 SSD的情况下可以将连接数设置为CPU核心数 * 4。以此来达到初始的连接池最 |TiKV|8核+|32GB+|SSD,200GB+|千兆网卡|3| |TiFlash|32核+|64GB+|SSD,200GB+|千兆网卡|1| |TiCDC|8核+|16GB+|SAS,200GB+|千兆网卡|1| ## 注意： - 验证测试环境中的TiDB和PD可以部署在同一台服务器上。 - 如进行性能相关的测试，避免采用低性能存储和网络硬件配置，防止对测试结果的正确性产生干扰。 - TiKV的SSD盘推荐使用NVME接口以保证读写更快。

|TiFlash|3| - CPU: Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz, 40 cores - Memory: 189 GB - Disks: NVMe 3TB * 2 ## 2.5.3.2.2 Software version |Service type|Software version| |---|---| |TiDB|5.4| |Greenplum|6 using an additional master node. Each segment server contains 8 segments, which means 4 segments per NVMe SSD. So there are 24 segments in total. The storage format is append-only/column-oriented storage and consists of three nodes. Each node has two assigned NVMe SSD disks as the data disks. The Spark cluster is deployed in standalone mode, using NVMe SSD disks as the local directory of spark.local.dir to

connections: 得出的连接数大小。 - core_count: CPU 核心数。 - effective_spindle_count: 直译为有效主轴数，实际上是说你有多少个硬盘（非 SSD），因为每个旋转的硬盘可以被称为是一个旋转轴。例如，你使用的是一个有16个磁盘组成的RAID阵列的服务器，那么effective_spindle_count应为16。此处经验公式，实际上是衡量你的服 着命中率的下降，会更加接近实际的HDD个数。 3. 这里没有任何基于 SSD的经验公式。 这里的说明让你在使用SSD时，需探求其他的经验公式。 可以参考CockroachDB对数据库连接池中的描述，推荐的连接数大小公式为： connections = (number of cores * 4) 因此，你在使用 SSD的情况下可以将连接数设置为CPU核心数 *4。以此来达到初始的连接池最大 要求|千兆网卡|1(可与PD同机器)| |PD|4核+|8GB+|SAS,200GB+|千兆网卡|1(可与TiDB同机器)| |TiKV|8核+|32GB+|SSD,200GB+|千兆网卡|3| |TiFlash|32核+|64GB+|SSD,200GB+|千兆网卡|1| |TiCDC|8核+|16GB+|SAS,200GB+|千兆网卡|1| ## 注意： - 验证测试环境中的 TiDB 和 PD

connections: 得出的连接数大小。 - core_count: CPU 核心数。 - effective_spindle_count: 直译为有效主轴数，实际上是说你有多少个硬盘（非 SSD），因为每个旋转的硬盘可以被称为是一个旋转轴。例如，你使用的是一个有16个磁盘组成的RAID阵列的服务器，那么 effective_spindle_count应为16。此处经验公式，实际上是衡量你的 着命中率的下降，会更加接近实际的HDD个数。 3. 这里没有任何基于 SSD的经验公式。 这里的说明让你在使用SSD时，需探求其他的经验公式。 可以参考CockroachDB对数据库连接池中的描述，推荐的连接数大小公式为： connections = (number of cores * 4) 因此，你在使用 SSD的情况下可以将连接数设置为CPU核心数 *4。以此来达到初始的连接池最大 |TiKV|8核+|32GB+|SSD,200GB+|千兆网卡|3| |TiFlash|32核+|64GB+|SSD,200GB+|千兆网卡|1| |TiCDC|8核+|16GB+|SAS,200GB+|千兆网卡|1| ## 注意： - 验证测试环境中的TiDB和PD可以部署在同一台服务器上。 - 如进行性能相关的测试，避免采用低性能存储和网络硬件配置，防止对测试结果的正确性产生干扰。 - TiKV的SSD盘推荐使用NVME接口以保证读写更快。

中使用大量磁盘，请创建使用挂载点的工作负载。创建一个类似以下示例的 YAML 文件： apiVersion: v1 kind: Pod metadata: name: ssd-benchmark1 spec: containers: - name: ssd-benchmark1 image: nginx ports: - containerPort: 80 name: /dev/disk/by-path/pci-0000:87:00.0-nvme-1 - /dev/disk/by-path/pci-0000:88:00.0-nvme-1 optionalPaths: - /dev/disk/by-path/pci-0000:89:00.0-nvme-1 - /dev/disk /dev/disk/by-path/pci-0000:90:00.0-nvme-1 thinPoolConfig: name: thin-pool-1 sizePercent: 90 overprovisionRatio: 10 nodeSelector: nodeSelectorTerms: - matchExpressions:

connections: 得出的连接数大小。 - core_count: CPU 核心数。 - effective_spindle_count: 直译为有效主轴数，实际上是说你有多少个硬盘（非 SSD），因为每个旋转的硬盘可以被称为是一个旋转轴。例如，你使用的是一个有16个磁盘组成的RAID阵列的服务器，那么effective_spindle_count应为16。此处经验公式，实际上是衡量你的服 着命中率的下降，会更加接近实际的HDD个数。 3. 这里没有任何基于 SSD的经验公式。 这里的说明让你在使用SSD时，需探求其他的经验公式。 可以参考CockroachDB对数据库连接池中的描述，推荐的连接数大小公式为： connections = (number of cores * 4) 因此，你在使用 SSD的情况下可以将连接数设置为CPU核心数 * 4。以此来达到初始的连接池最 |TiKV|8核+|32GB+|SSD,200GB+|千兆网卡|3|  |组件|CPU|内存|本地存储|网络|实例数量(最低要求)| |---|---|---|---|---|---| |TiFlash|32核+|64GB+|SSD,200GB+|千兆网卡|1|