Google™ Go GC: Latency Problem Solved Rick Hudson Google Engineer ## My Codefendants: The Cambridge Runtime Gang  facc/p3_1.jpg) #1 Barrier: GC Latency ## When is the best time to do a GC? When nobody is looking. Using camera to track eye movement When subject looks away do a GC.  ## Pop up a network wait icon ## Waiting ## Or Trade Throughput for Reduced GC Latency ## Google ## Latency ## Nanosecond 1: Grace Hopper Nanosecond 11.8 inches Microsecond 5

# vmware $ ^{®} $ EDUCATION SERVICES # VMware vSphere：优化和扩展 ## 培训方式 • 讲师指导培训 · 实时在线培训 ## 课程用时 • 为期五 (5) 天的讲师指导课堂培训 - 听课时间占 60%，动手实验时间占 40% ## 目标学员 经验丰富的系统管理员和系统集成人员 ## 课程适用对象 区管理员 □ 专家 ☒ $ ^{TM} $ 5.0 讲授。 ## 课程目标 课程结束后，您应能胜任以下工作： - 配置和管理大型成熟企业的 ESXi 网络和存储系统。 • 管理 vSphere 环境变更。 • 优化所有 vSphere 组件的性能。 ● 排除操作故障并找出造成这些故障的根本原因。 - 使用 VMware vSphere $ ^{®} $ ESXi $ ^{™} $ Shell 和 VMware 将虚拟机从标准交换机迁移到分布式交换机 - 了解分布式交换机的功能特性，例如 PVLAN、VMware vSphere $ ^{®} $ 网络 I/O 控制、端口镜像和 NetFlow ## 网络优化  • 了解网络适配器的性能特点 -

# Greenplum上云与优化 — ApsaraDB for Greenplum介绍 主办单位：Alibaba Group 阿里巴巴集团 战略合作伙伴：intel 杭州 张广舟（明虚） 阿里云高级专家 ## 目录 ApsaraDB for GP的定位 ApsaraDB for GP的内核优化 未来的规划 # ApsaraDB for GP的定位 ## ApsaraDB for GP的定位 GP的定位 GP的优势？ 与其他技术的对比？ 为什么上云？ ## ApsaraDB for GP的定位 MPP + 列存压缩 ApsaraDB for GP = 复杂SQL + 查询优化器 本地高效存储 + 高速网络 + 预置稳定资源 = 简单、高效解决大数据分析需求 ### GP vs. RDS? MPP处理举例 ## Select count(*) from customer group [Image](/uploads/documents/f/2/6/d/f26d9043d030148cb59ffb98d820fd24/p9_3.jpg) ### GP vs. Hadoop? Orca优化器 SQL Runtime # >5-30倍的性能优势 本地存储 ### ApsaraDB for GP vs. AWS Redshift? ## “有史以来卖的最好的云服务” |对比项目|ApsaraDB

## cloudera ## HBase最佳实践及优化 陈飚 cb@cloudera.com Cloudera ## 关于我 陈飚 Cloudera售前技术经理、资深方案架构师 http://biaobean.pro  原Intel 原Intel Hadoop发行版核心开发人员, 成功实施并运维多个上百节点Hadoop大数据集群。 – 曾在Intel编译器部门从事服务器中间件软件开发，擅长服务器软件调试与优化，与团队一起开发出世界上性能领先的XSLT语言处理器 – 2010 年后开始Hadoop 产品开发及方案顾问，先后负责Hadoop 产品化、HBase 性能调优，以及行业解决方案顾问 ## HBase的历史 HBase是Google 分布式的多层次映射表结构（key-value形式，value有多个） - 固定一个数据模型（固定数据模型能得到高性能，同时满足应用需求） - 无数据类型 ## HBase的实现特性 - 非常高的数据读写速度，为写特别优化 - 高效的随机读取 – 对于数据的某一个子集能够进行有效地扫描 - 具有容错特性，能够将数据持久化的非易失性存储中 – 使用HDFS做底层存储，可利用Hadoop的压缩Codec等减少空间占用

## GCN ## 业务性能优化概览  By Xargin 《Go 语言高级编程》合著者 Go contributor  ## 目录 优化的前置知识 ___ 01 生产环境的优化 ___ 02 Continuous profiling ___ 03 ## 第一部分 优化的前置知识 ## Latency numbers every programmer should know |Event|Latency|Scaled| |---|---|---| |1 CPU |Hardware (HW) virtualization system boot|40 s|4 millennia| |Physical system reboot|5 m|32 millennia| ## 优化的前置知识 • 要能读得懂基本的调用栈 • 了解 Go 语言内部原理(runtime，常用标准库) • 了解常见的网络协议(http、pb) https://github.com/bagder/http2-explained

## TGT 服务器的优化 ## 块设备协议 • NBD • Linux专有块设备协议 • iSCSI • 广泛支持的外部设备协议（块，磁带等） ## Curve云原生存储支持块设备 • 通过NBD，只支持Linux - 通过SDK API，目前只支持Linux - PFS · 扩大使用范围 - 通过iSCSI支持更多系统，例如Windows, 类UNIX系统等，使用两项基础技术 多个target时，如果挂的设备多，一旦客户端请求量大，就会忙不过来。 • 开源界有尝试修改 - 例如sheepdog的开发者提交过一个patch，但是测试效果不理想，分析原因，event loop依然是瓶颈 ## 对TGT的性能优化 • IO是使用多个epoll线程，充分发挥多CPU能力 - 当前策略是每个target一个epoll线程，负责Initiator发过来的I/O - 好处是各target上的CPU使用由OS负责分配，CPU分配粒度更细 管理面是主线程，登录，增、删、改target, lun, session, connection, params都在主线程，而target epoll线程也要使用这些数据，多线程冲突，数据一致性问题就来了 ## 对TGT的性能优化（续） ## • 为每一个target增加一把锁 • Target event loop (TEL) 线程和管理面线程使用这把锁互斥 • TEL在运行时锁住这把锁，管理面只能等待，等TEL线程进入epoll

_1.jpg)  # 深入浅出访存优化 by 彭于斌 (@archibate) 往期录播：https://www.bilibili.com/video/BV1fa411r7zp 课程 PPT 和代码：https://github.c f)); } benchmark::DoNotOptimize(a); } } ## 写入 1 比写入 0 更慢？ - 很简单，因为写入 0 被编译器自动优化成了 memset，而 memset 内部利用了 stream 指令得以更快写入。 |Benchmark|Time|CPU|Iterations| |---|---|---|---| |BM\_write0|22502422 ize(a); } } BENCHMARK(BM_write1); ## 写入 1 比写入 0 更慢？解决 - 解决办法就是，我们也用 stream 指令，这样就可以和标准库优化过的 memset 一样快了。 void BM_write1(benchmark::State &bm) { for (auto _: bm) { #pragma

0055537d7f9feafcf0f03f1/p1_2.jpg) PYTHON 30th ## Python机器学习性能优化 以BERT服务为例，从1到1000 刘欣 ## 目录 1. 优化的哲学 2. 了解你的资源 3. 定位性能瓶颈 4. 动手优化  PYTHON 30th ### 1. 优化的哲学 ## "There ain't no such thing as a free lunch" ## Ahmad's Law - 系统整体的优化，取决于热点部分的占比和该部分的加速程度 $$ Speedup=\frac{time_{old}}{t unc_{cost}} $$ ## No Free Lunch · 定位热点 & 热点加速 · 对于项目开发周期： 1. 先做出效果 2. 确定整体pipeline 3. 再考虑优化 · 对于人工智能项目：迭代周期更长，更是如此 ## 以BERT服务为例 • BERT: TODO: 一句话解释 · 横扫多项NLP任务的SOTA榜 ·惊人的3亿参数 ![Image](