C u r v e 质 量 、 监 控 与 运 维 秦 亦 1/33背景 01 02 03 04 Curve质量控制 Curve监控体系 Curve运维体系Curve 是网易针对块存储、对象存储、云原生数据库、EC等 多种场景自研的分布式存储系统：  高性能、低延迟  当前实现了高性能块存储，对接OpenStack和 K8s  网易内部线上无故障稳定运行近两年  已完整开源 需要利用科学的方法论和专业的工具，在整个 软件生命周期内更好地为用户服务：  质量——向用户交付稳定可靠的软件；  监控——直观地展示Curve运行状态；  运维——保障Curve始终稳定高效运行。 质量 ✓ 质量管理体系（设计、开发、review、CI） ✓ 测试方法论（单元测试、集成测试、系统测试） 监控 ✓ 监控架构 ✓ 指标采集、后端处理、可视化展示 运维 ✓ 运维特性 （易部署、易升级、自治） （易部署、易升级、自治） ✓ 运维工具（部署工具、管理工具） 4/33背景 01 02 03 04 Curve质量控制 Curve监控体系 Curve运维体系软件质量 软件质量的定义是：软件与明确地和隐含地定义的需求相一致的程度。 为了确保最终交付的软件满足需求，必须将质量控制贯穿于设计、开发到测试的整个流程中。 设计  设计流程  文档规范 开发  编码规范与提交流程  版本管理

在 k8s 上部署高可用的 service mesh 监控 pctang@caicloud.io 唐鹏程 才云科技TOC Solving issues in a new way Monitoring your service mesh Old-school monitoringPrometheus + Kubernetes ● A time series based monitoring

云原生监控体系建设 秦晓辉 快猫星云 联合创始人 个人介绍 秦晓辉，常用网名龙渊秦五、UlricQin，山东人，12年 毕业自山东大学，10年经验一直是在运维研发相关方向， 是Open-Falcon、Nightingale、Categraf 等开源软件 的核心研发，快猫星云联合创始人，当前在创业，为客 户提供稳定性保障相关的产品 个人主页：https://ulricqin.github.io/ io/ 大纲 • 云原生之后监控需求的变化 • 从Kubernetes架构来看要监控的组件 • Kubernetes所在宿主的监控 • Kubernetes Node组件监控 • Kubernetes控制面组件监控 • Kubernetes资源对象的监控 • Pod内的业务应用的监控 • 业务应用依赖的中间件的监控 云原生之后监控需求的 变化 云原生之后监控需求的变化 •相比物理机虚拟机时 •原来使用资产视角管理监控对象的系统不再适用 •要么使用注册中心来自动发现，要么就是采集器和被监控对象通过sidecar模式捆绑一体 指标生命周期变短 •微服务的流行，要监控的服务数量大幅增长，是之前的指标数量十倍都不止 •广大研发工程师也更加重视可观测能力的建设，更愿意埋点 •各种采集器层出不穷，都是本着可采尽采的原则，一个中间件实例动辄采集几千个指标 指标数量大幅增长 •老一代监控系统更多的是关注机

探讨和实践基于Istio的微服务治理事件监控 2018.11.25 徐运元关于我 2008年毕业于浙江大学，曾在思科和浙大网新有超过 9年的工作经验和5年的云计算领域工作经验，带领团 队完成公司第一代基于Kubernetes的云平台开发和第 二代基于Kubernetes的DevOps云平台开发。目前致力 于公司基于Istio的微服务平台打造。 来自于浙江大学SEL实验室目录 CONTENTS 微服务平台的监控演进 Mixer组件的功能介绍 Mixer组件的功能介绍 基于Mixer的开发流程和实例微服务平台的监控演进典型的运维场景 传统的监控面临容器化和微服务化的困境 测试运维沟通鸿沟，如何提升沟通效率 监控工具繁杂，如何快速找到合适工具进行问题定位 偶发性问题场景复杂，如何保留发生现场 如何在错综复杂的未服用调用链路中找到错误源头监控场景转换 帮助运维人员快速的定位问题，解决问题 基于容器化和微服务化的监 控场景 • 基于请求的依赖追踪监控 基于虚拟化的监控场景 • 应用规模大 • 服务之间依赖呈现为线型 • 日志、性能指标需要集中化 存储 基于主机的监控场景 • 应用规模较小 • 服务之间没有互相依赖 • 日志、性能指标都在单个主 机问题一：什么是用户想要的监控 什么是用户想要的监控？分布式监控的三个维度 Metrics Logging Tracing 指标监控 • 指标可被聚合

部署方案 Docker 部署方案 Docker Compose 部署方案 跨机房部署方案 配置集群 参数解释 TiDB 配置项解释 开启 TLS 验证 生成自签名证书 监控集群 整体监控框架概述 重要监控指标详解 组件状态 API & 监控 扩容缩容 集群扩容缩容方案 使用 Ansible 扩容缩容 升级 升级组件版本 TiDB 2.0 升级操作指南 性能调优 备份与迁移 备份与恢复 数据迁移 数据迁移概述 README - 8 - 本文档使用 书栈(BookStack.CN) 构建 TiDB 配置项解释 使用 Ansible 变更组件配置 开启 TLS 验证 生成自签名证书 监控集群 整体监控框架概述 重要监控指标详解 组件状态 API & 监控 扩容缩容 集群扩容缩容方案 使用 Ansible 扩容缩容 升级 升级组件版本 TiDB 2.0 升级操作指南 性能调优 备份与迁移 备份与恢复 数据迁移 数据迁移概述 创建、授权和删除用户 TiDB 快速入门指南 - 20 - 本文档使用 书栈(BookStack.CN) 构建 1. DROP USER 'tiuser'@'localhost'; 打开浏览器，访问以下监控平台： 地址： http://172.16.10.3:3000 ， 默认帐户和密码为： admin @ admin 。 PD Storage Capacity : TiDB 集群总可用数据库空间大小

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 82 3.4.6 HTAP 性能监控 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 805 8.6.8 监控与图表 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 871 9 监控与告警 872 9.1 TiDB 监控框架概述· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 102 3.4.6 HTAP 性能监控 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 764 7.4 监控告警 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 768 7.4.1 TiCDC 基本监控指标 · · · · · · · · · · · · · · · · · · · 768 7.4.2 TiCDC 详细监控指标 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 773 7.4.3 TiCDC 集群监控报警规则 · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 98 3.4.6 HTAP 性能监控 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 869 8.6.8 监控与图表 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 937 9 监控与告警 938 9.1 TiDB 监控框架概述· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

43 43 43 46 49 49 52 53 55 57 57 58 58 59 60 备份恢复 备份恢复 设置备份策略 调整⾃动备份策略 ⼿动备份 删除备份数据 备份恢复 Dashboard/监控访问 监控访问 代理节点 配置访问代理 访问 实例 实例 创建TiDB Serverless实例 查看TiDB实例列表 查看TiDB实例详情 删除TiDB实例 ⽤户 ⽤户 添加⽤⼾及权限 调整⽤⼾权限 重制⽤⼾密码 如何查看当前版本 ⽬录 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 7/120 119 119 119 119 Q17: 如何查看慢查询 Q18: 监控图看有慢查询， 但是information_schema.cluster_slow_query表中⽆法查询到？ Q19: 如何处理 TiCDC 创建同步任务或同步到 MySQL 时遇到 Error 1298: UCloud 优刻得 8/120 概览 概览 产品简介 什么是TiDB 产品优势 适⽤场景 整体架构 实例类型 计费说明 计费指南 回收 操作指南 TiDB 实例 ⽤⼾ 备份恢复 Dashboard/监控访问 TiDB Serverless 实例 ⽤⼾ Binlog同步 TiFlash管理 备份恢复 参数配置调整 告警通知 证书管理 数据库审计 安全组 数据迁移 性能数据 概览 分布式NewSQL数据库

complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 业界动向 —— 云监控扛把子 Datadog 零侵入 == 全覆盖 == 监控入口 Datadog Universal Service Monitoring 要点： 1、Alerts and SLOs for every service 2、No code the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 业界动向 —— 云厂商监控 阿里云ARMS 问题：依赖于eBPF，仅支持Kernel 4.15+、仅阿里云（K8s需托管） simplify the growing complexity © 2021, YUNSHAN 应用连接方式的变化 应用监控的变化 传统的方法： 开发人员埋点， 标准SDK/JavaAgent， 流量分光镜像。 云原生下的难题： 微服务迭代快， 侵入式监控效率低； 云网络虚拟化， 东西向流量监控难。 挑战/必要性：网络的动态性和复杂性，不监控流量谈何应用可观测 机遇/有效性：云网络连接API/函数，监控流量可零侵入实现应用可观测 è 云原生应用可观测“原力”，流量监控能力是机遇、基石 simplify