Go runtime related problems in TiDB production environment About me ● Arthur Mao(毛康力), Senior Engineer@PingCAP ● TiDB core developer (top3 contributor) ● GitBook about golang internals (@tiancaiamao) not exhausted, but where is the bottleneck? Description ● The table is wide in the customer environment ○ CPU usage is higher with less columns ● The deployment does not consider NUMA ○ CPU usage is

requirements · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 99 4.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 99 4.2.1 Mount the data · · · · · · · · · · · · · · · · · · · · · · · 666 10.3.2 Read Historical Data Using the System Variable tidb_snapshot · · · · · 673 10.4 Best Practices· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1278 12.4.1 Variable Reference · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 104 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 105 requirements · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 119 4.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 119 4.2.1 Mount the data · · · · · · · · · · · · · · · · · · · · · · · 724 10.4.2 Read Historical Data Using the System Variable tidb_snapshot · · · · · 731 10.5 Best Practices· · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 92 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 93 3 requirements · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 107 4.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 107 4.2.1 Mount the data · · · · · · · · · · · · · · · · · · · · · · · 698 10.4.2 Read Historical Data Using the System Variable tidb_snapshot · · · · · 705 10.5 Best Practices· · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 109 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 109 requirements · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 123 4.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 123 4.2.1 Mount the data · · · · · · · · · · · · · · · · · · · · · · · 832 10.4.2 Read Historical Data Using the System Variable tidb_snapshot · · · · · 842 10.5 Best Practices· · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 134 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 135 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 475 4.12 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 481 4.12.1 Gitpod · · · · · · requirements · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 551 5.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 551 5.2.1 Mount the data

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 127 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 128 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 547 4.12 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 550 4.12.1 Gitpod · · · · · · requirements · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 617 5 5.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 617 5.2.1 Mount the data

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 121 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 121 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 555 4.12 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 557 4.12.1 Gitpod · · · · · · architecture · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 625 5.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 628 5.2.1 Mount the data

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 109 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 109 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 542 4.12 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 545 4.12.1 Gitpod · · · · · · architecture · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 613 5.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 616 5.2.1 Mount the data

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 129 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 129 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 561 4.12 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 564 4.12.1 Gitpod · · · · · · architecture · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 632 5.2 TiDB Environment and System Configuration Check · · · · · · · · · · · · · · · · · · · · · 635 5.2.1 Mount the data