郭峰 拓数派 云原生数据库PieCloudDB 性能优化之路 打造立足于国内 基础数据计算领域的世界级高科技创新驱动机构 杭州拓数派科技发展有限公司（又称“OpenPie”），以“Data Computing for New Discoveries”「数据计算，只为新发现」为使命， 成立后的短短10个月时间内，完成了包括头部产业基金、东吴证券、元 禾重元和政府科创平台在内的连续三轮战略融资。 禾重元和政府科创平台在内的连续三轮战略融资。 旗下云原生分析型数据库 PieCloudDB，以云计算架构为设计基础，首 创全新 eMPP 分布式技术，帮助企业建立竞争壁垒的同时，实现数据价 值最大化，并在新基建中承担可靠和可控的世界级云数据库底座。 PostgreSQL优化器简介 PieCloudDB优化器之分布式特性简介 PieCloudDB优化器之云原生特性简介 Q/A Contents 录 目 01 • PieCloudDB优化器拓展了PostgreSQL优化器，使其适用于分布式架构 • 引入了Motion的概念，使得数据可以在不同的工作节点之间移动 • 利用Motion产生分布式的查询计划 • 这些分布式的查询计划会被分为更小的单元，并被分发到不同的工作节点中并行执行 • 对于聚集操作，利用分布式的优势，在工作节点之间通过多阶段聚集来提升性能 # explain (costs off) select sum(b) from

从稀疏数据结构到量化数据类型 by 彭于斌（ @archibate ） 往期录播： https://www.bilibili.com/video/BV1fa411r7zp 课程 PPT 和代码： https://github.com/parallel101/course 本课涵盖：稀疏矩阵、 unordered_map 、空间稀 疏网格、位运算、浮点的二进制格式、内存带宽优 化 面向人群：图形学、 形怪状也不会浪费内存。 这些被写入的部分被称为激活元素 (active element) ，反之则是未激活 (inactive) 。 这就是稀疏的好处，按需分配，自动扩容。 分块则是利用了我们存储的数据常常有着空间局域性的特点，减轻哈希表的压 力，同时在每个块内部也可以快乐地 SIMD 矢量化， CPU 自动预取之类的。 第 2 章：位运算 稀疏的好处：坐标可以是负数 这样即使坐标为负数，或 是负数，则得到的模也是负数。 Python 的 % 就没问题 • 7 % 4 = 3 • -7 % 4 = 1 • Python 的模运算 a % b 的值始终是 [0, b) 区间内的正数，非常方便。 对稀疏数据结构造成的问题 • 如果这里的 x 是负数，则 x % B 也是负数，会造成对 m_block 的越界访问。 • 因此 % 会返回负数对 CFD 用户来说是个很大的坑点，很多人想当然地用 % 做循环边界，

KubeBrain 字节跳动高性能 K8s 元信息存储 许辰 字节跳动资深研发工程师 许 辰 字节跳动基础架构工程师  本科和硕士毕业于北京大学计算机系  负责大规模 Kubernetes 系统的构建和优化  KubeBrain/ KubeGateway/ KubeZoo 等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景 背景 • Kubernetes 规模增大 10 倍以上  公司业务快速发展  存储、大数据、机器学习等场景云原生化 • 新场景对 Kubernetes 性能要求更高  离线场景，Pod 生命周期短、变更频率高 如何扩展 Kubernetes 集群 单个集群规模垂直扩展 多个集群横向扩展  降低运维管理成本  减少资源碎片  提高资源利用率 Kubernetes 的架构特点 etcd 存在性能问题 apiserver etcd K8s 各组件 apiserver 元信息存储 etcd etcd 存在的问题 自研元信息存储 调优 etcd 参数 按照对象拆分 etcd 设计新的元信息存储 … 如何解决存储瓶颈？ KubeBrain 1. 大脑 2. 谐音科比 Kobe Bryant • 背景介绍 • 设计思路 • 性能优化 • 落地效果

数据迁移 数据迁移 存量 存量 MySQL 迁移到 迁移到 TiDB 服务 服务 UDTS 产品⽀持 MySQL(5.5/5.6/5.7/8.0) 到 TiDB 的全量数据迁移， 及增量数据同步。 可协助⽤⼾在不停机的情况下轻松将业务从MySQL 切换⾄ TiDB。 ⾃建 ⾃建 TiDB 迁移到 迁移到 TiDB 服务 服务 UDTS 产品⽀持 TiDB 全量数据迁移⾄ TiDB服务。 ⽤⼾在源TiDB开启Pump ⽤⼾在源TiDB开启Pump, Drainer 可进⾏数据增量同步。 UDTS与源端Pump, Drainer⼀起可协助⽤⼾在不停机的情况下轻松将业 务从⾃建TiDB 切换⾄ TiDB 服务。 为 为 TiDB 服务建⽴ 服务建⽴ MySQL 从库 从库 UDTS 产品⽀持 TiDB 全量数据迁移⾄ MySQL 数据库。 ⽤⼾在TiDB服务上开启 Binlog 可将数据增量同步⾄下游MySQL。 UDTS 与 TiDB 服务建⽴ TiDB 从库 从库 UDTS 产品⽀持 TiDB 全量数据迁移⾄ TiDB 数据库。 ⽤⼾在源TiDB服务上开启 Binlog 可将数据增量同步⾄下游TiDB。 UDTS 与 TiDB Binlog服务⼀起可协助⽤⼾轻松建⽴TiDB从 数据迁移 Copyright © 2012-2021 UCloud 优刻得 1/2 库。 数据迁移 Copyright © 2012-2021 UCloud

新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 企业级数据解决方案专家 为建行、工行、交行、招行、上交所、深交所、中国人寿等 70+ 银行证券保险 企业、公安部、上海市公安局、武汉市公安局等 100+ 公安机构，国家电网、 国信通产业集团等电力能源行业提供数据智能产品解决方案及长期服务。 海致专注为政府、金融、能源等客户提供大数据处理、分析、挖掘服务，在互 联网技术基础上，打造专业、易用的企业级大数据实战应用产品及解决方案。 北京中关村总部 专注于数据智能技术赋能中国数字经济发展 海致高性能图计算院士专家工作站 郑纬民 - 海致科技首席科学家 中国工程院院士、清华大学计算机科学与技术系教 授、中国计算机学会前理事长，中国计算机系统结构 的学科带头人，我国高性能计算和存储系统等方面的 泰斗和先行者。 2021 年 3 月 25 日，海致科技与清华大学计算机科学与技术系共同建设高性能图计算院士专家工作站 。 高性能图计算是高

移动APP性能监测实践（iOS篇） 杨凯 杨凯 杨凯@听云 iOS研发工程师 yangkai@tingyun.com 关于APM APM的终极使命 APM价值的直接体现 监测的根本在数据获取 监控 技术 NSURLProtocol Method swizzling Isa swizzling Isa swizzling+NSProxy Others NSURLProtocol 3、把目标对象的isa指向这个类 fishhook Runlook观察者／CADisplayLink sendEvent／addTarget：：： others • WKWebview • TCP数据 • 用一个入口拦截任意方法 听云产品试用群

业务性能优化概览 By Xargin 《Go 语⾔⾼级编程》合著者 Go contributor ⽬ 录 优化的前置知识 01 ⽣产环境的优化 02 Continuous profiling 03 优化的前置知识 第⼀部分 Latency numbers every programmer should know https://colin-scott.github.io/p go#L930 内存占⽤过⾼-堆分配导致内存过⾼ https://github.com/golang/go/pull/42036#issuecomment-715046540 怎么样说服官⽅接受性能优化的 PR 内存占⽤过⾼-goroutine 数量太多导致内存占⽤⾼ 这些内存的构成部分： 1. Goroutine 栈占⽤的内存(难优化，⼀条 tcp 连接⾄少对应⼀个 goroutine) 了)，可以使⽤ 下列库进⾏优化 • evio • gev • gnet • easygo • gaio • netpoll ⼀定要⽤⾃⼰的真实业务场景做压测 不要相信 readme ⾥的压测数据 总结⼀下 • CPU 使⽤太⾼ • 应⽤逻辑导致 • JSON 序列化 • 使⽤优化的 JSON 库替换标准库 • 使⽤⼆进制编码⽅式替代 JSON 编码 • 同物理节点通信，使⽤共享内存

SQLite 数据转 Mysql InsMsgServer 3.7.6 当前 InsMsgServer 环境 以下过程在 win7 sp1 x64 系统下完成，如果您的系统不能运行以下相关程序，请将服务器的 db/ 目录下的 IMBase.dat 文件复制到 win7 sp1 x64 系统下完成 利用 InsMsgServer 生成 Mysql 数据库 确保 确保 mysql 数据库中没有 IM 相关库 调整使用 Mysql 作为数据库，并点击启动 确认启动后数据库正确建立 退出 InsMsgServer，确保导入过程中不影响 InsMsgServer 运行 下载 SQLite Data Wizard 地址： http://www.sqlite.org/cvstrac/wiki?p=ConverterTools

APISEVEN
和
Kong
EE
的性能评测
--
GigaOm
⾼性能API管理测试
产品评估：API7和Kong企业版
1
-
摘要3
2
-
云上的API
管理5
API76
图1.
API7技术架构7
Kong
企业版7
3
-
GigaOm
API负载测试设置9
API
压⼒测试9
测试环境10
单节点10
环境清单10
软件版本信息11
应⽤程序开发，且能降低计算成本的开销。 更重要的是，许多组织也依赖API和微服务来实现⾼性能和可⽤性。在本⽂中，我们将“⾼性能”定义 为每秒负载超过1000个交易且在整个API环境中最⼤延迟⼩于30毫秒。对公司⽽⾔，对性能的需求和 对管理的需求⼀样，因为公司依靠API交易速率来跟上业务发展速度。
API管理解决⽅案不能成为性能瓶颈。许多公司都在寻找跨多个API端点的负载均衡和⾼交易量吞吐的 解决⽅案 解决⽅案。如果业务每秒有1000个交易，⼀个⽉内就会有30亿次
API
调⽤。拥有⼤流量的公司通常每 ⽉API调⽤次数超过100亿次。因此，在选择API管理解决⽅案时，性能是⼀个关键因素。
在本⽂中，我们展⽰了使⽤2个全⽣命周期API管理平台完成的性能测试结果：API7
和
Kong
企业版 （Kong
EE)。
在我们的单节点设置中，API7所有的压⼒测试结果都优于Kong
EE。在每秒10,000个请求的情况下，

Python机器学习性能优化 以BERT服务为例例，从1到1000 刘欣 ⽬目录 CONTENTS 1. 优化的哲学 2. 了解你的资源 3. 定位性能瓶颈 4. 动⼿优化 1. 优化的哲学 "There ain't no such thing as a free lunch" Ahmdal’s Law • 系统整体的优化，取决于热点部分的占⽐比和该部分的加速程度 No Free Flask Production Server • gunicorn 多进程解决多核利利⽤用率问题 • gevent 协程替代多线程⽹网络模型 • 更更⾼高效的序列列化lib 3 定位性能瓶颈 Profile before Optimizing Python Profilers • time.time() • cProfile • line profiler • pyflame 放个截图 cProfile • 倒序打印 & graph pyflame • 插桩 or 采样 • 放个flamegraph • 开源地址 wrk • 制造压⼒力力 • 挖掘整体性能瓶颈 • 实现⾮非常精妙的压⼒力力⼯工具，强烈烈安利利（要不不要写个py binding） 4 动⼿优化 多线程服务器的问题 • 每个请求单独进GPU，利利⽤用率不不⾼高 • ⼤大量量请求并⾏行行，CUDA会爆