高可用方案探究 1 前言........................................................................................................................................... 3 2 Lvs+Keepalived+Mysql 单点写入主主同步高可用方案 ... ....................... 3 2.1 方案简介 ....................................................................................................................... 3 2.2 方案架构图 ............................ ....................... 3 2.3 方案优缺点 ................................................................................................................... 4 2.4 方案实战 ...............................

MySQL 数据库架构 灾难恢复解决方案 MySQL InnoDBClusterSet 介绍 MySQL SE 罗伟文 2 / 55 Safe Harbor Statement 以下内容旨在概述我们的一般产品方向。它仅供参考，不得纳入任何合同。它并不提供任何材料、代码或功能的承诺，不应据此做出购买决策。 Oracle 产品描述的任何特性或功能的开发、发布和时间安排仍由 Oracle 自行决定。 its affiliates. 9 / 55 Present - Solutions! 2020 - MySQL InnoDB Replicaset • "经典"、"异步"的基于复制的解决方案，完全集成 • MySQL Shell • MySQL Router • MySQL Server RPO !=0 RTO =minutes (manual failover)

MySQL 高可用性解决方案 4/16/2017 9 9 . 9 9 9 % 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 5 并不仅仅是可靠地存储数据 支持高可用性的各个层 数据的冗余访问路径 数据冗余存储 冗余应用服务器 数据路由 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 6 并不仅仅是可靠地存储数据 支持高可用性的各个层 支持高可用性的各个层 数据的冗余访问路径 数据冗余存储 冗余应用服务器 数据路由 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 7 • MySQL Replication • Shared Storage • Group Replication • MySQL Cluster 从数据库 • 会话线程：处理来自应用程序的查询 － 将 数据写入主数据库，将关联事件写入二进制 数据写入主数据库，将关联事件写入二进制 日志 • 转储线程：读取二进制日志中的事件，然后 将其发送到从数据库 • I/O 线程：接收复制事件，并将其存储在从 数据库的中继日志中 • SQL 线程：读取从数据库的中继日志中的复 制事件，然后将其应用到从数据库 MySQL 复制工作流 会话 二进制 日志 主数据库 转储 I/O 中继 日志 SQL 4/16/2017 8 版权所有 2015，Oracle

MySQL Operator 设计实践 4. 小结 无状态服务 服务调度 有状态服务集群 服务调度 状态保存 集群管理 有状态服务 服务调度 状态保存 带来的新挑战 服务调度 状态存储 集群管理 成员管理 扩缩容 故障迁移 高可用 CoreOS 提出了 operator Deployment StatefulSet PV/PVC StorageClass ？？ WorkQueue：事件合并、过滤、延时、限速 Operator CRD 里有什么 MySQL CRD • Spec：配置 & 期望状态 • Status：当前状态 MySQL 配置 • 版本 • 端口 • 存储信息 • 配置文件 集群配置 • 副本数 • 高可用模式 K8s 调度信息 • 资源套餐 • 亲和性信息 • NodeSelector 使用 CRD 2. client-go 配套工具 0. 创建 CRD 3. 集群管理 2. 调度 pod Ceph MySQL-Operator 数据存储 分布式存储 • 使用 Ceph RBD，基于产品线 创建 StorageClass • 优点：可靠性高，容器漂移时 数据不变 • 缺点：读写延迟较高 本地存储 • 基于 Host Path Volumes • 优点：读写延迟低 • 缺点：单点数据，容器漂移时 数据丢失

数 据 库 及 实 例 迁 移 过 载 保 护 机 制 总体架构 分 布 式 监 控 资源管理|资源调度 复制与迁移|高可用保障|备份恢复 自 动 化 运 维 应用 DB中间件 数据存储 应用 VIP 告警分析 告警发送 指标画图 趋势预测 自定义脚本 Open API 数据校验 实例迁移 秒级监控诊断 慢日志分析 资源池调度 调度规则 容器调度 资源池 若宿主机剩余空间不足会启动迁移扩容流程 。 目前使用的host模式，无法隔离网络。但是考虑到10G接入，且单机密度可控的情况下，网 络消耗不会过载。另外目前我们已经在线下尝试结合Ovs+Dpdk的方案实现网络隔离。 容器的调度 •提供两种API： •Docker API的封装，用于创建,删除,修改。 •集群管理API，用于集群管理。 •Scheduler调度：选择最优节点创建容器。 这种方式的优势是IO性能最佳，随之而来的缺点是磁盘容量不好估算，有可能在使用了一段时间后出现磁 盘空间不足的问题，这个时候则会启动迁移扩容的流程。 已经在和提供高密度IO分布式存储解决方案厂商接触，计划测试平台接入分布式存储的方案。 磁盘挂载 3301 3302 3303 3304 3305 宿主机磁盘 集群扩容 本地CPU、 memory、disk 是否满足 扩容 原地扩容 迁移升级

、 监视和调优等管理任务。多层安全可以保护您的数据免受外部攻击，同时帮助您实现合规性。自 助式供应可创建预配置的 MySQL 数据库，针对性能进行优化；而自动扩展能够让用户弹性扩展 计算资源、存储资源和 MySQL 副本。 MySQL 数据库 MySQL 凭借经济高效、可靠、高性能且可扩展的电子商务、联机事务处理和嵌入式数据库应用 成为全球使用广泛的开源数据库。它是一种事务安全、符合 访问有助于执行复杂的查询以及快速完成简单快速的键值操作。  平台独立性让您可以灵活地在多个操作系统上开展开发和部署工作。  使用 MySQL 作为 Hadoop 和 Cassandra 的业务数据存储，支持大数据互操作性。 MySQL 企业级备份 MySQL 企业级备份能够执行 MySQL 数据库无阻塞联机备份。除了对所有 InnoDB 数据执行完整、 增量和部分备份以外，MySQL 管理和使用现有安全规则和流程。 MySQL 企业级透明数据加密 (TDE) MySQL 企业级透明数据加密 (TDE) 通过加密数据库的物理文件来实现静止数据加密。数据在写 入存储之前实时自动加密，从存储读取时自动解密。因此，黑客和恶意用户无法从表空间文件、 数据库备份或磁盘中读取敏感数据。MySQL 企业级 TDE 使用双层加密密钥体系结构，包括主加 密密钥和表空间密钥，可轻松实现密钥管理和轮换。

技巧分享 技巧分享  Q Q & & AA MyISAM MyISAM 特点 特点 MyISAM vs MyISAM vs InnoDB InnoDB • 数据存储方式简单，使用 数据存储方式简单，使用 B+ Tree B+ Tree 进行索引 进行索引 • 使用三个文件定义一个表： 使用三个文件定义一个表： .MYI .MYD .frm .MYI .MYD 的方式来进行数据存储 的方式来进行数据存储 (ibdata1, ib_logfile0) (ibdata1, ib_logfile0) • 支持 事务、外键约束等数据库特性 支持 事务、外键约束等数据库特性 • Rows level lock , Rows level lock , 读写性能都非常优秀 读写性能都非常优秀 • 能够承载大数据量的存储和访问 能够承载大数据量的存储和访问 • 数据分布 网络 网络 操作系统 操作系统 硬件 硬件  使用好的硬件，更快的硬盘、大内存、多核 使用好的硬件，更快的硬盘、大内存、多核 CPU CPU ，专业的 ，专业的 存储服务器（ 存储服务器（ NAS NAS 、 、 SAN SAN ） ）  设计合理架构，如果 设计合理架构，如果 MySQL MySQL 访问频繁，考虑 访问频繁，考虑 Master/Slave

网易杭州研究院---胡争（博客：openinx.github.io） TokuDB简介 • 基于分形树实现的MySQL存储引擎 • Tokutek公司2007年研发，2013年开源 • 2015年Percona公司收购Tokutek公司 • TokuDB内部的K-V存储引擎为ft-index • TokuMx: ft-index + MongoDB Server层代码 InnoDB InnoDB TokuDB MyISAM MySQL Server层 MySQL Storage层 Linux 文件系统层 TokuDB特点 • 支持事务（ACID）的MySQL存储引擎 • 插入性能大大高于InnoDB（分形树vs B+树） • 查询性能略低于InnoDB • 在线执行DDL操作（不阻塞写操作） • 超高压缩率（TokuDB 4M vs InnoDB 16K） 更高性能，更低成本！

swizzling 原理 基本步骤 应用场景 优点／缺点／坑 method swizzling（改进版） 原理 基本步骤 小例子 优点 • 利用block作为IMP • 利用自动变量的截取 存储原始IMP 原理：修改isa指针 isa swizzling 特点：针对一个对象 原理：修改isa指针 isa swizzling 特点：针对一个对象 原理：修改isa指针 isa swizzling

/sys/ block/${device}/queue/ scheduler /sys/block/$ {device}/queue/ nr_requests 提升磁盘吞吐量，尤其对myisam 存储引擎，可以调整到更大。命令 中的${device}为数据盘名称，根据 实际磁盘名称进行修改。 echo 2048 > /sys/ block/${device}/queue/ nr_requests