Go runtime related problems in TiDB production environment About me ● Arthur Mao(毛康力), Senior Engineer@PingCAP ● TiDB core developer (top3 contributor) ● GitBook about golang internals (@tiancaiamao) not exhausted, but where is the bottleneck? Description ● The table is wide in the customer environment ○ CPU usage is higher with less columns ● The deployment does not consider NUMA ○ CPU usage is

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 137 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 137 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 635 4.13 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 638 4.13.1 Gitpod · · · · · · architecture · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 706 5.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 709 5.2.1 Mount the data

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 142 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 142 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 640 4.13 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 643 4.13.1 Gitpod · · · · · · architecture · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 711 5.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 714 5.2.1 Mount the data

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 109 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 109 requirements · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 123 4.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 123 4.2.1 Mount the data Significantly reduces the impact on the performance of TiDB clusters when you use TiCDC. In the test environment, the performance impact of TiCDC on TiDB can be reduced to less than 5%. 2.2.2.9 Deployment and

requirements · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 99 4.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 99 4.2.1 Mount the data features of TiDB in different versions. It is NOT recommended to use these features in the production environment. 2.4.1 Performance • Randomly sample about 10000 rows of data to quickly build statistics (Introduced 4%, and the perfor- mance of the Read Write and Update Index is slightly reduced. 2.5.1.2 Test environment (AWS EC2） 2.5.1.2.1 Hardware configuration Service type EC2 type Instance count PD m5.xlarge

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 92 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 93 3 requirements · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 107 4.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 107 4.2.1 Mount the data features of TiDB in different versions. It is NOT recommended to use these features in the production environment. 2.4.1 Performance • Randomly sample about 10000 rows of data to quickly build statistics (Introduced

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 121 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 121 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 555 4.12 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 557 4.12.1 Gitpod · · · · · · architecture · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 625 5.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 628 5.2.1 Mount the data

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 104 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 105 requirements · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 119 4.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 119 4.2.1 Mount the data experimental feature and disabled by default. It is not recommended to use it in a production environment. User document • TiDB Lightning Parallel Import TiDB Lightning provides parallel import capability

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 109 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 109 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 542 4.12 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 545 4.12.1 Gitpod · · · · · · architecture · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 613 5.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 616 5.2.1 Mount the data

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 129 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 129 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 561 4.12 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 564 4.12.1 Gitpod · · · · · · architecture · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 632 5.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 635 5.2.1 Mount the data