MySQL 数据库架构灾难恢复解决方案
Oracle and/or its affiliates. 9 / 55 Present - Solutions! 2020 - MySQL InnoDB Replicaset • "经典"、"异步"的基于复制的解决方案,完全集成 • MySQL Shell • MySQL Router • MySQL Server RPO !=0 RTO =minutes (manual failover) 8.0.22 :异步复制通道的自动连接故障转移 8.0.23 :使用组复制的异步复制通道进行自动连接故障转移 8.0.24 :使skip-slave-start 成为全局、持久、只读的系统变量。 8.0.26 :组复制成员操作(主成员上可配置super_read_only) 8.0.26:指定用于记录View_change_log_event 的UUID 8.0.27:异步复制通道配置自动跟随主成员 自动处理 InnoDB 集群状态更改 • 异步复制在主更改后自动重新配置 Copyright @ 2021 Oracle and/or its affiliates. 39 / 55 主集群 主成员崩溃/分区 - 自动! • 当集群中有新当选的主成员时 • 适用于主集群和副本集群中的故障 自动处理 InnoDB 集群状态更改 • 异步复制在主更改后自动重新配置 Copyright0 码力 | 52 页 | 3.07 MB | 1 年前3Doris的数据导入机制以及原子性保证
使用案例 导入方式 04 使用案例 导入方式 同步/异步 场景 接口 Broker Load 异步 HDFS、BOS对象存储 MySQL Routine Load 异步 Kafka MySQL Stream load 同步 本地文件,数据流 HTTP Insert into 同步 命令行 MySQL Spark Load 异步 Spark MySQL 最佳实践 04 使用案例 • • 根据数据源所在位置选择导入方式。 选择合适的导入方式 • 使用 MySQL 协议定期提交和查看导入作业。 确定导入方式的协议 • 导入方式为同步或异步。 确定导入方式的类型 • 每一批次数据唯一且固定,保证 At-Most-Once 制定 Label 生成策略 • 外部系统需要保证自身的 At-Least-Once,这样就可以保证 导入流程的 Exactly-Once。 程序自身保证0 码力 | 33 页 | 21.95 MB | 1 年前3《Redis使用手册》(试读版)
使⽤消息队列实现实时提醒 消息队列除了可以在应⽤程序的内部中使⽤, 还可以⽤于实现⾯向⽤户的实时提醒系统。 ⽐如说, 如果我们在构建⼀个社交⽹站的话, 那么可以使⽤ JavaScript 脚本, 让客户端以异步的⽅式调⽤ MessageQueue 类的 get_message() ⽅法, 然后程序就可以在⽤户被关注的时候、收到了新回复的时候⼜或者收到 新私信的时候, 通过调⽤ add_message() 本次操作没有移除任何键 11.13.1 其他信息 属性 值 复杂度 O(N) ,其中 N 为被移除键的数量。 版本要求 DEL 命令从 Redis 1.0.0 版本开始可⽤。 11.14 UNLINK:以异步⽅式移除指定的键 在前⾯⼀节, 我们介绍了如何使⽤ DEL 命令去移除指定的键, 但这个命令实际上隐含着⼀个性能问题: 因为 DEL 命令会以同步⽅式执⾏移除操作, 所以如果待移除的键⾮常庞⼤⼜或者数量众多, 操作则会交给后台线程执⾏, 因此 UNLINK 命令将不会造成服务器阻塞。 跟 DEL 命令⼀样, UNLINK 命令也会返回被移除键的数量作为结果。 此外, 由于兼容⽅⾯的原因, Redis 将在提 供异步移除操作 UNLINK 命令的同时, 继续提供同步移除操作 DEL 命令。 以下是⼀个使⽤ UNLINK 命令的例⼦: redis> MGET k1 k2 k3 1) "v1" 2) "v2" 3)0 码力 | 352 页 | 6.57 MB | 1 年前3TiDB v7.1 中文手册
TiKV 节点,可以按照如下步骤进行操作。 注意: • 移除 TiDB、PD 节点和移除 TiKV 节点的步骤类似。 662 • 由于 TiKV、TiFlash 和 TiDB Binlog 组件是异步下线的,且下线过程耗时较长,所以 TiUP 对 TiKV、TiFlash 和 TiDB Binlog 组件做了特殊处理,详情参考下线特殊处理。 注意: TiKV 中的 PD Client 会缓存 readahead- size Compaction 时候 reada- head 的大 小 799 配置 项 简介 {db- name}.bytes- per- sync 异步 同步 的限 速速 率 {db- name}.wal- bytes- per- sync WAL 同步 的限 速速 率 {db- name}.writable- file- max- REPLAYER CONTINUOUS CAPTURE 开启 PLAN REPLAYER CONTINUOUS CAPTURE 功能后,TiDB 将以 SQL DIGEST 和 PLAN DIGEST 为维度异步地将业务 SQL 语句以 PLAN REPLAYER 的方式进行记录,对于相同 DIGEST 的 SQL 语句与执行计划,PLAN REPLAYER CONTINUOUS �→ CAPTURE 不会重复记录。0 码力 | 4369 页 | 98.92 MB | 1 年前3TiDB v8.0 中文手册
的一个 TiKV 节点,可以按照如下步骤进行操作。 注意: • 移除 TiDB、PD 节点和移除 TiKV 节点的步骤类似。 • 由于 TiKV、TiFlash 和 TiDB Binlog 组件是异步下线的,且下线过程耗时较长,所以 TiUP 对 TiKV、TiFlash 和 TiDB Binlog 组件做了特殊处理,详情参考下线特殊处理。 注意: TiKV 中的 PD Client 会缓存 name}.compaction- readahead- size Compaction 时候 reada- head 的大 小 {db- name}.bytes- per- sync 异步 同步 的限 速速 率 {db- name}.wal- bytes- per- sync WAL 同步 的限 速速 率 {db- name}.writable- file- max- REPLAYER CONTINUOUS CAPTURE 开启 PLAN REPLAYER CONTINUOUS CAPTURE 功能后,TiDB 将以 SQL DIGEST 和 PLAN DIGEST 为维度异步地将业务 SQL 语句以 PLAN REPLAYER 的方式进行记录,对于相同 DIGEST 的 SQL 语句与执行计划,PLAN REPLAYER CONTINUOUS �→ CAPTURE 不会重复记录。0 码力 | 4805 页 | 101.28 MB | 1 年前3TiDB v7.6 中文手册
版本时,默认使用 KV timeout 特性读取,减少 meta Region leader 读取慢对 schema 版本 更新的影响 #48125 @cfzjywxk • TiKV – 增加查询异步任务的 API endpoint /async_tasks #15759 @YuJuncen – 给 gRPC 监控增加优先级的标签,从而显示资源管理中的各个不同优先级的资源组的数据 #49318 TiKV 节点,可以按照如下步骤进行操作。 注意: • 移除 TiDB、PD 节点和移除 TiKV 节点的步骤类似。 669 • 由于 TiKV、TiFlash 和 TiDB Binlog 组件是异步下线的,且下线过程耗时较长,所以 TiUP 对 TiKV、TiFlash 和 TiDB Binlog 组件做了特殊处理,详情参考下线特殊处理。 注意: TiKV 中的 PD Client 会缓存 name}.compaction- readahead- size Compaction 时候 reada- head 的大 小 {db- name}.bytes- per- sync 异步 同步 的限 速速 率 {db- name}.wal- bytes- per- sync WAL 同步 的限 速速 率 {db- name}.writable- file- max-0 码力 | 4666 页 | 101.24 MB | 1 年前3TiDB v8.1 中文手册
的一个 TiKV 节点,可以按照如下步骤进行操作。 注意: • 移除 TiDB、PD 节点和移除 TiKV 节点的步骤类似。 • 由于 TiKV、TiFlash 和 TiDB Binlog 组件是异步下线的,且下线过程耗时较长,所以 TiUP 对 TiKV、TiFlash 和 TiDB Binlog 组件做了特殊处理,详情参考下线特殊处理。 注意: TiKV 中的 PD Client 会缓存 name}.compaction- readahead- size Compaction 时候 reada- head 的大 小 {db- name}.bytes- per- sync 异步 同步 的限 速速 率 {db- name}.wal- bytes- per- sync WAL 同步 的限 速速 率 {db- name}.writable- file- max- REPLAYER CONTINUOUS CAPTURE 开启 PLAN REPLAYER CONTINUOUS CAPTURE 功能后,TiDB 将以 SQL DIGEST 和 PLAN DIGEST 为维度异步地将业务 SQL 语句以 PLAN REPLAYER 的方式进行记录,对于相同 DIGEST 的 SQL 语句与执行计划,PLAN REPLAYER CONTINUOUS �→ CAPTURE 不会重复记录。0 码力 | 4807 页 | 101.31 MB | 1 年前3TiDB v7.5 中文手册
ANALYZE 过程中 的采样 并发度。 tidb_ �→ enable �→ _async �→ _merge �→ _ �→ global �→ _stats 新增 设置 TiDB 使 用异步 方式合 并统计 信息, 以避免 OOM 问 题。 tidb_gogc �→ _tuner �→ _max_ �→ value 新增 控制 GOGC Tuner 可 调节 GOGC 的 最大值。 TiKV 节点,可以按照如下步骤进行操作。 注意: • 移除 TiDB、PD 节点和移除 TiKV 节点的步骤类似。 658 • 由于 TiKV、TiFlash 和 TiDB Binlog 组件是异步下线的,且下线过程耗时较长,所以 TiUP 对 TiKV、TiFlash 和 TiDB Binlog 组件做了特殊处理,详情参考下线特殊处理。 注意: TiKV 中的 PD Client 会缓存 readahead- size Compaction 时候 reada- head 的大 小 803 配置 项 简介 {db- name}.bytes- per- sync 异步 同步 的限 速速 率 {db- name}.wal- bytes- per- sync WAL 同步 的限 速速 率 {db- name}.writable- file- max-0 码力 | 4590 页 | 100.91 MB | 1 年前3TiDB v6.5 中文手册
@3AceShowHand @sdojjy – TiDB Data Migration (DM) * 通过不再解析黑名单中表的数据提升 DM 同步数据的性能 #7622 @GMHDBJD * 通过异步写与批量写的方式提升 DM relay 的写数据效率 #7580 @GMHDBJD * 改进 DM 前置检查的错误提示信息 #7621 @buchuitoudegou * 改进 DM 针对老版本 TiKV 节点,可以按照如下步骤进行操作。 注意: • 移除 TiDB、PD 节点和移除 TiKV 节点的步骤类似。 616 • 由于 TiKV、TiFlash 和 TiDB Binlog 组件是异步下线的,且下线过程耗时较长,所以 TiUP 对 TiKV、TiFlash 和 TiDB Binlog 组件做了特殊处理,详情参考下线特殊处理。 注意: TiKV 中的 PD Client 会缓存 name}.compaction- readahead- size Compaction 时候 reada- head 的大 小 {db- name}.bytes- per- sync 异步 同步 的限 速速 率 {db- name}.wal- bytes- per- sync WAL 同步 的限 速速 率 {db- name}.writable- file- max-0 码力 | 4049 页 | 94.00 MB | 1 年前3TiDB v8.4 中文手册
将被废弃。 • TiDB 在 v7.5.0 引入了系统变量tidb_enable_async_merge_global_stats,用于设置 TiDB 使用异步方式合 并分区统计信息,以避免 OOM 问题。在未来版本中,分区统计信息将统一使用异步方式进行合并,系 统变量tidb_enable_async_merge_global_stats 将被废弃。 • 计划在后续版本重新设计执行计划绑定的自动演进,相关的变量和行为会发生变化。 地址为 10.0.1.5 的一个 TiKV 节点,可以按照如下步骤进行操作。 注意: • 移除 TiDB、PD 节点和移除 TiKV 节点的步骤类似。 • 由于 TiKV 和 TiFlash 组件是异步下线的,且下线过程耗时较长,所以 TiUP 对 TiKV 和 TiFlash 组件做了特殊处理,详情参考下线特殊处理。 • TiKV 中的 PD Client 会缓存 PD 节点的列表。当前版本的 name}.compaction- readahead- size Compaction 时候 reada- head 的大 小 {db- name}.bytes- per- sync 异步 同步 的限 速速 率 {db- name}.wal- bytes- per- sync WAL 同步 的限 速速 率 {db- name}.writable- file- max-0 码力 | 5072 页 | 104.05 MB | 9 月前3
共 44 条
- 1
- 2
- 3
- 4
- 5