Go runtime related problems in TiDB production environment About me ● Arthur Mao(毛康力), Senior Engineer@PingCAP ● TiDB core developer (top3 contributor) ● GitBook about golang internals (@tiancaiamao) case study: batching client requests ● Memory control ■ case study: transparent huge pages ● GC Related ■ case study: GC sweep caused latency jitter ■ case study: Lock and NUMA aware Agenda Part I - Compare with other nodes in the cluster with THP disabled Investigate ● So, the root cause must be related to THP (transparent huge pages) ● But … why? Analysis ● Go Runtime manage memory at 8K size granularity

High-level data flow graph and optimizations Directly generate optimized program for new operator workloads and hardware Hardware FrameworksWhy Automation is the Future Clear winner on emerging models BatchMatMul CuDNN w/ TensorCores tvm w/ TensorCores 1.4x better on emerging workloads Transformer related workloads Credit: Siyuan FengWhere are we goingUnified Runtime For Heterogeneous Devices remote_mod[“npufunction0"] func(remote_a, remote_b)Virtual Machine: Supporting Dynamic Workload Dynamic shape workloads More runtime objects: Arrays, Tuples, Trees, ADTs Minimum runtime for dynamic models Credit:

Methodology Performance Results Live Demonstration A Persistent Hash Map for Graph Processing Workloads and a Methodology for Persistent Transactional Data Structures 2IntroductionIntroduction Persistent available through Intel® OptaneTM DC Persistent Memory A Persistent Hash Map for Graph Processing Workloads and a Methodology for Persistent Transactional Data Structures 4Introduction Persistent Hash Map Granularity Figure 1: Traditional Memory Hierarchy [1] A Persistent Hash Map for Graph Processing Workloads and a Methodology for Persistent Transactional Data Structures 5Introduction Persistent Hash Map

. . . . . . . . . 5 2.1 LLM 基础概念 . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.2 Transformer 基础架构 . . . . . . . . . . . . . . . . . . . . . . 6 2.3 LLM 基本训练方法 . . . . . . . . . . . . . . billion，意思是十亿，7b 就是 70 亿，8b 就 是 80 亿，70 亿、80 亿是指大模型的神经元参数（权重参数 weight+bias）的 总量。目前大模型都是基于 Transformer 架构，并且是很多层的 Transformer 结构，最后还有全连接层等，所有参数加起来 70 亿，80 亿，还有的上千亿。 教程作者：郭震，工作 8 年目前美国 AI 博士在读，公众号：郭震 AI，欢迎关注获取更多原创教程。资 元化，模型最后就会越通用；即使包括噪声数据，模型仍能通过扩展规律提 取出通用的知识。而 Transformer 这种架构正好完美做到了 Scaling Laws， Transformer 就是自然语言处理领域实现扩展规律的最好的网络结构。 2.2 Transformer 基础架构 LLM 依赖于 2017 年 Google 提出的 Transformer 模型，该架构相比传统的 RNN（递归神经网络）和 LSTM（长短时记忆网络）具有更高的训练效率和

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1743 11.1.4 Key settings for common workloads · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1744 11.1.5 Benchmark · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2384 12.9.3 DDL-related commands· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2385 12 open-source distributed SQL database that supports Hybrid Transactional and Analytical Processing (HTAP) workloads. It is MySQL compatible and features horizontal scalability, strong consistency, and high avail-

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1444 11.1.4 Key settings for common workloads · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1445 11.1.5 Benchmark · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2081 12.9.3 DDL-related commands· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2082 12 open-source distributed SQL database that supports Hybrid Transactional and Analytical Processing (HTAP) workloads. It is MySQL compatible and features horizontal scalability, strong consistency, and high avail-

Maas（Model as a service）、Aaas（Agent as a service）这样的平台，如玩乐高一般搭建自己的 AI 云原生应用。 2. 算力层深挖定制化、低能耗的可能性，但固化 transformer 可能不是最优解 虽说智能体不需要太大的模型，但其运营成本（模型推理计算成本）仍然较高。在短时间内， 算力、能源仍然会是大模型领域令人头疼的高墙。 根据报告【1】，能源消耗将会是 2030 型底层技术的特性，产出针对性的芯片，尤其是加速运算和降低能耗。这是未来 AI 芯片领域的 最优竞争力。 那么，把 transformer“焊死”到板子上就是最佳方案吗？我知道你很急，但你先别急。大 模型底层框架还存在底层路线之争。 32 / 111 我们知道，Transformer 架构呈现了 O(n²)的理论计算复杂度，这里的 n 指的是大模型输入 序列的 token 数量，但其前任语言模型担当 最近，以 Mamba、RWKV 为代表的类 RNN 结构死灰复燃，公开挑战 transformer 地位。 更有最新研究【13】从理论上表明，RNN 对比 Transformer 的表达力，只差一个 in-context-retrieval。 在这个方向的持续投入下，我们很可能会迎接一个介于 RNN 和 Transformer 之间的“新王”。 因此，算力层短时间内的主题仍然是“半通用化”“高算力”“低能耗”。

Jay Simons / Daegwon Chae / Alexander Krey2 Context We set out to compile foundational trends related to AI. A starting collection of several disparate datapoints turned into this beast. As soon as trending is ramping materially faster…and the machines can outpace us. The pace and scope of change related to the artificial intelligence technology evolution is indeed unprecedented, as supported by the toward AI in efforts to drive growth and fend off attackers. And global competition – especially related to China and USA tech developments – is acute. The outline for our document is on the next page

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1966 12.9.3 DDL-related commands· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1967 12 open-source distributed SQL database that supports Hybrid Transactional and Analytical Processing (HTAP) workloads. It is MySQL compatible and features horizontal scalability, strong consistency, and high avail- the cloud platform. Users can elastically scale TiDB to meet the requirements of their changing workloads. In TiDB, each piece of data has at least 3 replicas, which can be scheduled in different cloud

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1959 12.9.3 DDL-related commands· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1960 12 open-source distributed SQL database that supports Hybrid Transactional and Analytical Processing (HTAP) workloads. It is MySQL compatible and features horizontal scalability, strong consistency, and high avail- the cloud platform. Users can elastically scale TiDB to meet the requirements of their changing workloads. In TiDB, each piece of data has at least 3 replicas, which can be scheduled in different cloud