Go GC: Latency Problem Solved Rick Hudson Google Engineer GopherCon Denver July 8, 2015 Google Confidential and Proprietary My Codefendants: The Cambridge Runtime Gang https://upload.wikimedia.o #1 Barrier: GC Latency Google Confidential and Proprietary When is the best time to do a GC? When nobody is looking. Using camera to track eye movement When subject looks away do a GC. Recovering org/wiki/File:WIFI_icon.svg#globalusage Google Confidential and Proprietary Or Trade Throughput for Reduced GC Latency Google Confidential and Proprietary Latency Nanosecond 1: Grace Hopper Nanosecond

Async HBase Client ○ Implementation ○ Performance ● How do we tuning G1GC for HBase ○ CMS vs G1 ○ Tuning G1GC ○ G1GC in XiaoMi HBase Cluster Part-1 Async HBase Client Why Async HBase Client Stuck Availability: 66% Availability: 0% Why Async HBase Client ? ● Region Server / Master STW GC ● Slow RPC to HDFS ● Region Server Crash ● High Load ● Network Failure BTW: HBase may also suffer Part-2 HBase + G1GC Tuning CMS VS G1 OldGen GC (Before) OldGen GC (After) CMS Old Gen GC CMS VS G1 Mixed GC (Before) Mixed GC (After) G1 Old Gen GC CMS VS G1 ● STW Full GC ○ CMS can only compact

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2004 12.11.10Garbage Collection (GC) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2032 12.11.11Views write requests, TiKV Write Rate Limiter smoothes the write traffic of TiKV background tasks such as GC and Compaction. The default value of TiKV background task write rate limiter is “0MB”. It is recommended Solve the OOM issue caused by oversized Raft entries cache * Solve the OOM issue caused by stacked GC tasks * Solve the OOM issue caused by fetching too many Raft entries from the Raft log to memory at

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2155 12.11.11Garbage Collection (GC) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2183 12.11.12Views execution efficiency of the Exchange operator – Reduce write amplification and memory usage during GC of the storage engine (experimental feature) – Improve the stability and availability of TiFlash when * Optimize monitoring items and alert rules to improve observability of syn- chronous links, memory GC, and stock data scanning processes #2735 #1606 #3000 #2985 #2156 * When the sync task status is normal

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2072 12.11.10Garbage Collection (GC) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2100 12.11.11Views #25669 – Fix the data corruption issue in the IN expression’s arguments #25591 – Avoid the sessions of GC being affected by global variables #24976 – Fix the panic issue that occurs when using limit in the restoring table schemas #1362 – Dumpling * Fix a bug that the data export fails because the Dumpling GC safepoint is set too late #290 * Fix the Dumpling getting stuck issue when exporting table names from

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1660 12.11.10垃圾回收 (GC) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2.2.5 Bug 修复 • TiDB – 修复在 SET 类型列上 Merge Join 结果不正确的问题 #25669 – 修复 IN 表达式参数的数据腐蚀问题 #25591 – 避免 GC 的 session 受全局变量的影响 #24976 – 修复了在窗口函数查询中使用 Limit 时出现 panic 问题 #25344 – 修复查询分区表时使用 Limit 返回错误值的问题 #24636 #1403 * 修复 TiDB Lightning 恢复 table schema 时与 clustered index 不兼容的问题 #1362 – Dumpling * 修复 Dumpling GC safepoint 设置过晚导致数据导出失败的问题 #290 * 修复 Dumpling 在特定 MySQL 版本下获取上游表名时卡住的问题 #322 2.3 TiDB 基本功能 本文列出了

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1612 12.11.10垃圾回收 (GC) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · OOM 的可能性 30 • 新增 TiKV 后台任务写入限制 (TiKV Write Rate Limiter) TiKV Write Rate Limiter 通过平滑 TiKV 后台任务如 GC，Compaction 等的写入流量，保证读写请求的延迟稳定 性。TiKV 后台任务写入限制默认值为 “0MB”，建议将此限制设置为磁盘的最佳 I/O 带宽，例如云盘厂商 指定的最大 I/O 带宽。 的 问题 #10005 – 解决多种情况下的 OOM 问题 #10183 * 增加各模块内存使用情况追踪 * 解决 Raft entries cache 过大导致的 OOM 问题 * 解决 GC tasks 堆积导致的 OOM 问题 * 解决一次性从 Raft log 取太多 Raft entries 到内存导致 OOM 问题 – 让 Region 分裂更均匀，缓解有写入热点时 Region

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1150 11.2.9 Garbage Collection (GC) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1152 11.3 SQL Tuning stability. For detailed syntax, see BATCH. User document • TiDB supports configuring the maximum GC wait time The transaction of TiDB adopts the Multi-Version Concurrency Control (MVCC) mech- anism is cleaned up by the Garbage Collection (GC) task periodically, which helps reclaim storage space to im- prove the performance and stability of the cluster. GC is triggered every 10 minutes by default

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1729 12.11.11垃圾回收 (GC) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · #4093 – 优化调度器退出的速度 #4146 • TiFlash 37 – 显著优化了 TableScan 算子的执行效率 – 优化了 Exchange 算子的执行效率 – 减少了存储引擎的 GC 过程中的写放大和内存使用（实验功能） – 改进了 TiFlash 重启时的稳定性和可用性，减少了重启结束后短时间内查询可能失败的情况 – 增加支持下推多个新的字符串，时间等函数到 MPP 引擎 1 MB，以修复消息过大 会被 Kafka Broker 拒收的问题 #3104 * 减少同步链路中的内存占用 #2553#3037 #2726 * 优化监控项和告警规则，提升了同步链路、内存 GC、存量数据扫描过程的可观测性 #2735 #1606 #3000 #2985 #2156 * 当同步任务状态正常时，不再显示历史错误信息，避免误导用户 #2242 2.2.6 Bug 修复 •

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1446 11.2.9 Garbage Collection (GC) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1448 11.3 SQL Tuning supports periodic full compaction for TiKV. This feature serves as an enhancement to Garbage Collection (GC) to eliminate redundant data versions. In scenarios where application activity shows obvious peaks Change type Description TiKV gc.num- �→ threads �→ Newly added When enable- �→ compaction �→ - �→ filter �→ is set to false, this pa- rameter controls the number of GC threads. The default value is 1