Michael A Maniscalco ○ Software Architect and Principal Developer at Lime Trading ○ We develop low latency market data and trading software for use in HFT ● Personal ○ github.com/buildingcpp ■ Work Contracts

2012 ... ● Latency in scheduler ■ case study: batching client requests ● Memory control ■ case study: transparent huge pages ● GC Related ■ case study: GC sweep caused latency jitter ■ case study: Lock Lock and NUMA aware Agenda Part I - Latency in scheduler ● The client consists of a goroutine and a channel ○ The channel batch the request ○ A goroutine run read-send-recv loop Background Description is reasonable ● But the RPC metrics show a high latency Investigation ● Network IO is ready => goroutine wake up == 4.3ms ○ Sometime even 10ms+ latency here! ○ The time spend on runtime schedule is

10 Does TiCDC support outputting data changes in the Canal protocol? · 1205 7.7.11 Why does the latency from TiCDC to Kafka become higher and higher?1206 7.7.12 When TiCDC replicates data to Kafka, can mode and BR from upstream? · 1210 7.7.26 After a changefeed resumes from pause, its replication latency gets higher and higher and returns to normal only after a few minutes. Why? · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1655 10.2.4 Troubleshoot Increased Read and Write Latency · · · · · · · · · · · · · · · · · · · 1667 10.2.5 Troubleshoot Write Conflicts in Optimistic Transactions·

· · · · · · · · · · · · · · · · · · · · · · · 1356 10.2.4 Troubleshoot Increased Read and Write Latency · · · · · · · · · · · · · · · · · · · 1368 10.2.5 Troubleshoot Write Conflicts in Optimistic Transactions· 10 TiCDC Performance Analysis and Tuning Methods · · · · · · · · · · · · · · · · · 1527 11.1.11 Latency Breakdown · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2.1.1 Performance • Introduce parallel batching modes for TSO requests, reducing TSO retrieval latency #54960 #8432 @MyonKeminta Before v8.4.0, when requesting TSO from PD, TiDB collects multiple TSO

· · · · · · · · · · · · · · · · · · · · · · · 1269 10.2.4 Troubleshoot Increased Read and Write Latency · · · · · · · · · · · · · · · · · · · 1280 10.2.5 Troubleshoot Write Conflicts in Optimistic Transactions· 1.5 TiCDC Performance Analysis and Tuning Methods · · · · · · · · · · · · · · · · · 1406 11.1.6 Latency Breakdown · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · statistics from multiple perspectives, such as the concurrency model and memory allocation, to reduce latency, improve throughput, and avoid slow loading of statistics that affect business scaling. Adaptive

· · · · · · · · · · · · · · · · · · · · · · · 1274 10.2.4 Troubleshoot Increased Read and Write Latency · · · · · · · · · · · · · · · · · · · 1285 10.2.5 Troubleshoot Write Conflicts in Optimistic Transactions· 1.5 TiCDC Performance Analysis and Tuning Methods · · · · · · · · · · · · · · · · · 1414 11.1.6 Latency Breakdown · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · analysis results to be completely consistent with the transactional data, you need to avoid data latency and inconsistency issues. 114 3.4.2 Architecture In TiDB, a row-based storage engine TiKV for

· · · · · · · · · · · · · · · · · · · · · · · 1266 10.2.4 Troubleshoot Increased Read and Write Latency · · · · · · · · · · · · · · · · · · · 1277 10.2.5 Troubleshoot Write Conflicts in Optimistic Transactions· 1.5 TiCDC Performance Analysis and Tuning Methods · · · · · · · · · · · · · · · · · 1403 11.1.6 Latency Breakdown · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · node to restart with an error #10799 @3AceShowHand • Fix the issue that high latency in the PD disk I/O causes severe latency in data replication #9054 @asddongmen • Fix the issue that the default value

SLOW STORAGE/DISK FAILURE INFLUENCE without I/O disruption I/O jitter occasionally CAN SYNC WITH REMOTE DISK SERVER Y NI/O Jitter (vs. Ceph) 3 replicas with 9 nodes cluster each node has 20 x SSD CURVE I/O JITTER CEPH I/O JITTER COMMENT ONE DISK FAILURE 4s 7s ONE SERVER FAILURE 4s 7s SERVER RESPONSE VERY SLOW 4s unrecoverable frequently delay of disk i/o are very long NETWORK LATENCY 50MS

Performance test vs CEPH ● BenchmarkSQL transactions per minute increased by 39% ● In PGBench tests, latency decreased by 21% and TPS improved by 26%Performance compare with CEPH The test environment ● throughput increases by 20%Availability testing in corner cases The impact of different faults on I/O jitter delay ● Disk failure ● Server failure ● Server fake death ● Slow response Faults case curve Community � You can take awayCURVE Roadmap ● Features ○ Supports RDMA and SPDK ○ Further reduce I/O latency and improve throughput ○ Support data lifecycle management ○ Curve block devices can be used as