## GCN ## 如何用Go模拟CPU  蒙卓 华为－2012实验室 工程师 ## 成为盘古？ 让这个世界里面的人（程序）无法察觉 这个世界是创造出来的 ## 目录 • 计算机的演化历史 - 硬件计算到冯诺伊曼架构 • 构建虚拟世界 • 6502汇编器与链接器 • 未来目标 1970年程序员 CPU 80KHz 单核 内存 64KB 手编磁芯  老娘把你送上月球 2021年程序员 CPU 2,400,000KHz 4核 内存 8,000,000KB DDR3 为啥现在程序员好像更弱了？ · 因为我们处在最好也是最坏的时代 • 抽象多且环环嵌套 • 硬件过于复杂 • 软件基于操作系统等复杂概念 · 真的快且便宜 ## Go模拟CPU • 如何用Go实现冯诺伊曼架构CPU? • 简单：一个循环+一个大数组 读取当前指令执行指令下一条指令 ## 模拟目标 - MOS 6502 • 诞生于1975年 • MOS 6502应用范围广 · 资料多且易获得

Programs for CPU and GPU ## THOMAS MEJSTRIK ## DIMETOR  FWF ## Bridging the Gap: Writing Portable Programs for CPU and GPU SYCL, ROCm, Vulkan, ... ☐ You can tell me about afterwards ## Why write programs for CPU and GPU ## ☐ Difference CPU/GPU Algorithms are designed differently ☐ Latency/Throughput ☐ Memory bandwidth ☐ radar” - Problem ☐ Why it makes sense? ☐ Scope of the talk ## Why write programs for CPU and GPU ## ☐ Difference CPU/GPU ☐ Why it makes sense? Library/Framework developers ☐ Embarrassingly parallel

## How and When You Should Measure CPU Overhead of eBPF Programs eBPF Summit ## Why should I profile eBPF programs? ## CI variance tracking ●●●● name TCPLatency/eBPF/kprobe/sys_bind TCPLatency/eB

|Event|Latency|Scaled| |---|---|---| |1 CPU cycle|0.3 ns|1 s| |Level 1 cache access|0.9 ns|3 s| |Level 2 cache access|3 ns|10 s| |Level 3 cache access|10 ns|33 s| |Main memory access (DRAM, from CPU)|100 ns|6 min| |Solid-state 逻辑优化 应用层优化 内存使用优化 CPU 使用优化 阻塞优化 底层优化 GC 优化 标准库优化 runtime 优化 • 越靠近应用层，优化带来的效果越好 • 涉及到底层优化的，大多数情况下还是修改应用代码 ## 第二部分 生产环境的优化 ## 首先，是发现问题 API 压测 全链路压测 进 pprof 寻找(可能的) 故障原因 CPU 用爆了？90%？ 内存用爆了？OOM？ 排除外部问题，例如依赖的上游服务(包括 DB、redis、MQ)延迟过高，在监控系统中查看 2. CPU 占用过高 -> 看 CPU profile -> 优化占用 CPU 较多的部分逻辑 3. 内存占用过高 -> 看 prometheus，内存 RSS 是多少，goroutine 数量多少，goroutine 栈占用多少 -> 如果 goroutine 不多，那么重点关注 heap profile

cd2064a1322/p12_1.jpg) 2.7 (Old) Startup CPU Usage  2.8 (New) Startup CPU Usage ## Startup Breakdown Enumerate asset 60110a4e5decd2064a1322/p17_1.jpg) ## High CPU Time Single threaded code Inefficient algorithms Branch misprediction, cache misses Spin locks ## High CPU Time Single threaded code Inefficient algorithms rouping:Function / Call StackFunction / Call StackCPU TimeWait Time by Utilization ▼Wait CountModule

0 码力 | 76 页 | 2.22 MB | 1 年前

3

technical details and surprising conclusions that virtual functions can be actually faster. Since CPU architectures are mentioned, I'd expect to see deep assembly profiling. ## Ok, some assembly is But I have another computer ## Different CPUs ## Laptop: Model name: Intel(R) Core(TM) i5-10310U CPU @ 1.70GHz Thread(s) per core: 2 Core(s) per socket: 4 Stepping: 12 ## Desktop: Thread(s) per core: /9/2/1092c89fc888067fdbc59ca7369237f9/p14_1.jpg) ## Conclusions ## Relevant factors • CPU manufacturer • CPU version • Precise code path • Temperature(?) • OS interrupts(?) - Compiler optimization

TVM@AliOS ## PRESENTATION AGENDA ☑ TVM @ AliOS Overview TVM @ AliOS ARM CPU TVM @ AliOS Hexagon DSP TVM @ AliOS Intel GPU ☑ Misc ## PART ONE TVM @ AliOS Overview ## AliOS Overview • AliOS (www.alios 驱动万物智能 ## PART TWO AliOS TVM @ ARM CPU ## AliOS TVM@ARM CPU • Support TFLite (Open Source and Upstream Master) • Optimize on INT8 & FP32 ## AliOS TVM @ ARM CPU INT8 Convolution • NHWC layout • AliOS TVM @ ARM CPU INT8 TVM / QNNPACK Speed Up @ Mobilenet V2 @ rasp 3b+ AARCH64  ## AliOS TVM @ ARM CPU INT8 Depthwise

经过这么多年大流量服务端架构设计的沉淀，go-zero 在保护服务的稳定性上下足了功夫，不管是 CPU 密集型还是 IO 密集型服务，go-zero 都能很好的保护服务在如下场景不被拖垮或卡死： 远超服务容量的突发大流量 CPU 打满 • 上下游故障或者超时 • MySQL、MongoDB、Redis 等中间件故障或者超负载（典型的是 CPU 飙高）  那我们想想，如果我们的服务 CPU 被打满了，是不是后面所有的请求也都被卡住了？等服务处理 不懂的话，可以来 go-zero 群里讨论讨论。。。 ### 2.1 模拟 CPU 密集型服务 有人可能会问 CPU 密集型服务怎么定义？你的服务 CPU 会打满吗？处理请求会包含复杂的计算逻辑吗？你经常需要通过 cpu profiling 来优化性能吗？可以理解为服务的 IO 比较快，或者比较少，瓶颈是在 CPU 消耗上。 你可以直接用 goctl quickstart -t mono 命令生成一个

benchmark::DoNotOptimize(a); } 测试结果（均为 gcc-03） |Benchmark|Time|CPU|Iterations| |---|---|---|---| |testSorted<upperTernary>|547329 ns|546965 ns|1279| |testSorte 排序为什么对有分支的版本影响那么大 ## 为什么需要流水线 - 为了高效，CPU 的内部其实是一个流水线 (pipeline)。流水线的目的是能把原本串行的一系列指令并行化。为了理解为什么需要流水线，我们先反过来，假设没有流水线，会有什么坏处。 例如，右边你今天早上的任务清单。 • 请问你这些任务总共需要多少时间？ |任务|时间|占用资源| |---|---|---| |洗脸|5 分钟|眼睛，嘴巴，手| 分钟嘛！可以，不过这是在你每次只做一件事的情况下，例如你烧开水时就站在旁边干瞪眼，什么也不做，其实完全可以在烧开水的同时洗脸刷牙呀！原始的 CPU 也是这样，ALU 在运算的时候指令解码单元就在旁边干瞪眼，要等 ALU 跑完写回寄存器来指令解码单元才开始继续工作，很低效。 |任务|时间|占用资源| |---|---|---| |洗脸|5 分钟|眼睛，嘴巴，手| |烧开水|10 分钟|煤气灶| |刷牙|5 分钟|嘴巴，手|

store：手动执行下线操作 TiKV 节点数量 。Store Status – Tombstone store：下线成功的 TiKV 节点数量 。Current storage usage : TiKV 集群存储空间占用率 超过 80% 应考虑添加 TiKV 节点 。99% completed_cmds_duration_seconds : 99% pd-server 请求完成时间 小于 5ms 。average 。Pending task：累积的任务数量 除了 pd worker，其他任何偏高都属于异常 。stall：RocksDB Stall时间 大于 0，表明 RocksDB 忙不过来，需要注意 IO 和 CPU 了 。channel full：channel 满了，表明线程太忙无法处理 如果大于 0，表明线程已经没法处理了 。95% send_message_duration_seconds：95% join-currency • join-concurrency 并发执行 join 的 goroutine 数量 • 默认：5 - 看数据量和数据分布情况，一般情况下是越多越好，数值越大对 CPU 开销越大 ## query-log-max-len • 日志中记录最大 sql 语句长度 • 默认：2048 • 过长的请求输出到 log 时会被截断 ## slow-threshold