Go runtime related problems in TiDB production environment About me ● Arthur Mao(毛康力), Senior Engineer@PingCAP ● TiDB core developer (top3 contributor) ● GitBook about golang internals (@tiancaiamao) case study: batching client requests ● Memory control ■ case study: transparent huge pages ● GC Related ■ case study: GC sweep caused latency jitter ■ case study: Lock and NUMA aware Agenda Part I - Compare with other nodes in the cluster with THP disabled Investigate ● So, the root cause must be related to THP (transparent huge pages) ● But … why? Analysis ● Go Runtime manage memory at 8K size granularity

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1743 11.1.4 Key settings for common workloads · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1744 11.1.5 Benchmark · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2384 12.9.3 DDL-related commands· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2385 12 open-source distributed SQL database that supports Hybrid Transactional and Analytical Processing (HTAP) workloads. It is MySQL compatible and features horizontal scalability, strong consistency, and high avail-

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1444 11.1.4 Key settings for common workloads · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1445 11.1.5 Benchmark · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2081 12.9.3 DDL-related commands· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2082 12 open-source distributed SQL database that supports Hybrid Transactional and Analytical Processing (HTAP) workloads. It is MySQL compatible and features horizontal scalability, strong consistency, and high avail-

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1891 12.9.3 DDL-related commands· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1892 12 open-source distributed SQL database that supports Hybrid Transactional and Analytical Processing (HTAP) workloads. It is MySQL compatible and features horizontal scalability, strong consistency, and high avail- the cloud platform. Users can elastically scale TiDB to meet the requirements of their changing workloads. In TiDB, each piece of data has at least 3 replicas, which can be scheduled in different cloud

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1966 12.9.3 DDL-related commands· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1967 12 open-source distributed SQL database that supports Hybrid Transactional and Analytical Processing (HTAP) workloads. It is MySQL compatible and features horizontal scalability, strong consistency, and high avail- the cloud platform. Users can elastically scale TiDB to meet the requirements of their changing workloads. In TiDB, each piece of data has at least 3 replicas, which can be scheduled in different cloud

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1959 12.9.3 DDL-related commands· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1960 12 open-source distributed SQL database that supports Hybrid Transactional and Analytical Processing (HTAP) workloads. It is MySQL compatible and features horizontal scalability, strong consistency, and high avail- the cloud platform. Users can elastically scale TiDB to meet the requirements of their changing workloads. In TiDB, each piece of data has at least 3 replicas, which can be scheduled in different cloud

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1872 12.9.3 DDL-related commands· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1873 12 open-source distributed SQL database that supports Hybrid Transactional and Analytical Processing (HTAP) workloads. It is MySQL compatible and features horizontal scalability, strong consistency, and high avail- the cloud platform. Users can elastically scale TiDB to meet the requirements of their changing workloads. In TiDB, each piece of data has at least 3 replicas, which can be scheduled in different cloud

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1954 12.9.3 DDL-related commands· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1955 12 open-source distributed SQL database that supports Hybrid Transactional and Analytical Processing (HTAP) workloads. It is MySQL compatible and features horizontal scalability, strong consistency, and high avail- the cloud platform. Users can elastically scale TiDB to meet the requirements of their changing workloads. In TiDB, each piece of data has at least 3 replicas, which can be scheduled in different cloud

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1938 12.9.3 DDL-related commands· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1939 12 open-source distributed SQL database that supports Hybrid Transactional and Analytical Processing (HTAP) workloads. It is MySQL compatible and features horizontal scalability, strong consistency, and high avail- the cloud platform. Users can elastically scale TiDB to meet the requirements of their changing workloads. In TiDB, each piece of data has at least 3 replicas, which can be scheduled in different cloud

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1905 12.9.3 DDL-related commands· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1906 12 open-source distributed SQL database that supports Hybrid Transactional and Analytical Processing (HTAP) workloads. It is MySQL compatible and features horizontal scalability, strong consistency, and high avail- the cloud platform. Users can elastically scale TiDB to meet the requirements of their changing workloads. In TiDB, each piece of data has at least 3 replicas, which can be scheduled in different cloud