MySQL 8.0.17 调优指南（openEuler 20.09） 发布日期 2020-10-15 ## 目录 1 调优概述.....1 1.1 MySQL 介绍.....1 1.2 调优原则.....1 1.3 调优思路.....2 2 硬件调优.....3 2.1 BIOS 配置.....3 3 操作系统调优.....4 3.1 关闭 irqbalance. ....6 3.5 关闭唤醒抢占.....6 3.6 网络参数调优.....6 3.7 IO 参数调优.....7 3.8 缓存参数调优.....7 3.9 内核优化.....8 3.10 mysql 进程绑核.....9 ### 1.1 MySQL介绍 ### 1.2 调优原则 ### 1.3 调优思路 ### 1.1 MySQL 介绍 MySQL是一个关系型数据库管理系统，由瑞典MySQL 型网站的开发都选择MySQL作为网站数据库。 ### 1.2 调优原则 性能调优从大的方面来说，在系统设计之初，需要考虑硬件的选择，操作系统的选择，基础软件的选择；从小的方面来说，包括每个子系统的设计，算法选择，如何使用编译器的选项，如何发挥硬件最大的性能等等。 在性能优化时，我们必须遵循一定的原则，否则，有可能得不到正确的调优结果。主要有以下几个方面： 对性能进行分析时，要多方面分析系统

# 尚硅谷大数据技术之 Hadoop（生产调优手 # 册） (作者：尚硅谷大数据研发部) 版本：V3.3 ## 第 1 章 HDFS—核心参数 ### 1.1 NameNode 内存生产配置 ## 1 ）NameNode 内存计算 每个文件块大概占用 150byte，一台服务器 128G 内存为例，能存储多少文件块呢？ 128 * 1024 * 1024 * 1024 / 150Byte JobHistoryServer 2744 DataNode 更多 Java – 大数据 – 前端 – python 人工智能资料下载，可百度访问：尚硅谷官网 ## 尚硅谷大数据技术之 Hadoop（生产调优手册） 3579 Jps [atguigu@hadoop102 ~]$ jmap -heap 2611 Heap Configuration: MaxHeapSize = 1031798784 (984 前端 – python 人工智能资料下载，可百度访问：尚硅谷官网 ## 第 2 章 HDFS—集群压测 在企业中非常关心每天从 Java 后台拉取过来的数据，需要多久能上传到集群？消费者关心多久能从 HDFS 上拉取需要的数据？ 为了搞清楚 HDFS 的读写性能，生产环境上非常需要对集群进行压测。 ![Image](/uploads/documents/5/6/a/7/56a7a02c15c

Go在Grab地理服务中的实践 ’ alt=‘OCR图片’/> 大纲 What’s Grab 一个典型的派单流程 一个核心地理服务系统演进历程 Why go 压测与调优 QA What’s Grab 东南亚最大的出行平台 GopherChina2018 连接供（Supply，司机）需（Demand，乘客） GopherChina2018 从派单流程说起 派单流程 如何支持多引擎 比如S2 永远在路上 ’ alt=‘OCR图片’/> 大纲 What’s Grab 一个典型的派单流程 Nearby这个核心地理服务系统演进历程 Why go 压测与调优 QA Why Go? 业务场景 大量的几何运算 大流量网络吞吐 CPU-Bound & I/O-Bound 业务场景 大量的几何运算 大流量网络吞吐 CPU-Bound What’s Grab 一个典型的派单流程 Nearby这个核心地理服务系统演进历程 Why go 压测与调优 QA 基于生产数据的测试 GoReplay 流量重放 格式易读 无侵入 Golang GREPLAY ’ alt=‘OCR图片’/> 分布式并行压测 Vegeta + Fabric Vegeta Golang ○ 不只是命令行 也可以作为Library

首先，是发现问题 API 压测 全链路压测 进 pprof 寻找(可能的) 故障原因 CPU 用爆了？90%？ 内存用爆了？OOM？ Goroutine 用爆了？80w？ 线程数爆了？ 延迟太高？ 按照不同的情况 选择不同的方案 生产环境被 高峰流量打爆了 线上一定要开 pprof 如果有安全考虑 那也一定要有能通过配置开启的能力 ## 压测时关注哪些服务指标 ## distribution statistics such as per-centiles in addition to the average: see Section 2.8, Statistics) ## 压测时关注哪些服务指标 因为我们是 Go 的服务，还可以额外看看： • Goroutine 数，线程数 - 如果 Goroutine 数很多，那这些 Goroutine 在干什么？ • GC 频率，gctrace 4. goroutine 数量过多 -> 从 profile 网页进去看看 goroutine 都在干什么 -> 查死锁、阻塞等问题 -> 个别不在意延迟的选择第三方库优化 ## 压测手段 ## & wrk - a HTTP benchmarking tool ## HEY Vegeta CI passing go report C reference gitter

INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 大规模分布式系统架构下调测能力构建之道 天弘基金 李鑫 主办方 Geekbang. InfoQ ## 促进软件开发领域知识与创新的传播 大型规模应用+契约协同 ## 服务化后的问题 多团队协同的分布式环境下，不仅环境“重”，而且外部的服务是别的团队开发的，你很难得到一个稳定、快速的外部服务提供环境，在此背景下进行功能/接口调测存在如下困难： 开发依赖重  解决

From Alibaba to Apache: RocketMQ's Past, Present, and Future. InfoQ 2. Apache RocketMQ背后的设计思路与最佳实践. 云栖社区 3. 专访RocketMQ联合创始人：项目思路、技术细节和未来规划. InfoQ 4. 万亿级数据洪峰下的分布式消息引擎. 电子书节选章节 5. 捐赠Apache背后那些鲜为人知的故事

支持聊天场景业务，稳定支持多款聊天业务app 单通道多app复用 上行通道，回调支持 对智能硬件产品，提供定制化消息推送与转发服务 ## 性能满足需要： 线上单机最高160w长连接（24核 E5-2630 @ 2.30GHz 64G内存）qps在2~5w（取决于协议版本，业务逻辑，接入端网络状况） 测试环境，可以通过300w长连接压测（网络，连接稳定，无带宽限制，实际可以更高，决定于广播时候 行调度，deadline到了，阻塞解除，超时出错|对于所有io操作建立的fd映射到指定loop，同时记录上下文关系进行回调设置，超时控制使用timefd| |通过channel与其他用户通信|使用eventfd事件通知的方式，根据epoll获取的fd绑定的回调函数和参数进行回调操作| |对外的通信采取阻io或者也可以go出去，不阻塞主循环|对外通信信全局消息list，在映射到的eventloop上开连接池进行消耗| 具有go特色的运维 ## 问题与瓶颈   ## 问题与瓶颈 |10.108.83

日志行数：1000+ ’ alt=‘OCR图片’/> 服务治理的难题 微服务过多带来的问题 ’ alt=‘OCR图片’/> 异常定位 滴滴如何定位业务问题 日志格式混乱 大量adaptor 人工配置与分析 处理性能低，资源消耗巨大 服务串联困难 上下游定位困难 跨业务线定位效率低 缺乏服务调用拓扑关系 链路难以分析 日志孤立 性能要素缺失 404 ’ alt=‘OCR图片’/> ’ alt=‘OCR图片’/> 链路优化-压测 如何为诊断系统瓶颈 系统能够承载多少流量？ 需要回答的问题 吞吐瓶颈在什么地方？ 新建机房是否可用？ 灾备预案是否可行？ 非“函数式“业务 传统压测的问题 难以通过流量回放压测 难以通过线下等比放大估计 ’ alt=‘OCR图片’/> 全链路压测 滴滴如何在线上环境压测 方案 流量标识方案 实施基础 全局流量标识 alt=‘OCR图片’/> 全链路压测 滴滴如何在线上环境压测 压测频率 新机房容量测试 周期业务流程压测 压测范围 涉及所有业务模块 峰值压力的 150%+ 压测数据 抓取线上日志 Agent模拟 ’ alt=‘OCR图片’/> 全链路压测 滴滴如何在线上环境压测 ’ alt=‘OCR图片’/> 全链路压测 滴滴如何在线上环境压测 详尽系统数据 机房流量上限

comments| ## API |接口|内容| |---|---| |customers|CRUD| |qualifications|CRUD| ## 最简单的微服务 ## 目标： • 服务与物理地址解耦 • 基本的健康检测 ## 组件 1个服务（应用+数据库） 服务注册中心 a) https://github.com/apache/servicecomb-center 服务注册中心 可以使用JMeter集群进行压测，不断调优，每台最高约1250线程，同时发请求。JMeter需要调高 $ X_{mx} $ / $ X_{ms} $ 。 2. 需要迅速伸缩，用了docker-compose。注意NAT的性能问题。启发：不一定要K8s，Istio，一定是需求驱动。 3. 设置一定的冗余，防止性能波动。 4. 配置重试，提高可用性。 5. 在压测状态，使用kill -9 模拟宕机，观察客户端异常情况。 可以使用JMeter集群进行压测，不断调优，每台最高约1250线程，同时发请求。JMeter需要调高 $ X_{mx} $ / $ X_{ms} $ 。 2. 需要迅速伸缩，用了docker-compose。注意NAT的性能问题。启发：不一定要K8s，Istio，一定是需求驱动。 3. 设置一定的冗余，防止性能波动。 4. 配置重试，提高可用性。 5. 在压测状态，使用kill -9 模拟宕机，观察客户端异常情况。

美团搜索粗排优化的探索与实践 美团外卖推荐情境化智能流量分发的实践与探索 大众点评搜索相关性技术探索与实践 美团 SemEval2022 结构化情感分析跨语言赛道冠军方法总结 检索式对话系统在美团客服场景的探索与实践 端智能在大众点评搜索重排序的应用实践 对话摘要技术在美团的探索（SIGIR） 异构广告混排在美团到店业务的探索与实践 短视频内容理解与生成技术在美团的创新实践 短视频内容理解与生成技术在美团的创新实践 美团搜索中查询改写技术的探索与实践 美团内部讲座 | 清华大学崔鹏：因果启发的学习、推断和决策 NeurIPS 2021 | Twins：重新思考高效的视觉注意力模型设计 美团获得小样本学习榜单 FewCLUE 第一！ Prompt Learning+ 自训练实战 353 DSTC10 开放领域对话评估比赛冠军方法总结 368 KDD 2022 | 美团技术团队精选论文解读 8 篇论文揭秘内容领域的智能科技 413 前端 知识图谱可视化技术在美团的实践与探索 427 终端新玩法：技术栈无关的剧本式引导 459 自动化测试在美团外卖的实践与落地 483 深入理解函数式编程（上） 512 深入理解函数式编程（下） 541 Android 对 so 体积优化的探索与实践 568 从 0 到 1：美团端侧 CDN 容灾解决方案 589 美团高性能终端实时日志系统建设实践