Greenplum Database 管理员指南 6.2.1会有很多用户问,Master 和 Standby 在绝大多数时间内,资源非常空闲,跟 Instance 主机相比,相当于完全空闲,那么是否可以将 Master 和 Standy 设置到 Instance 主机上呢?从理论的角度来说,答案是肯定的,因为 GP 数据库的集群概念 是虚拟的,并没有严格限制不同角色必须分离,但,对于生产环境来说,除非可以 100% 确保计算节点机器的资源不会被耗尽,否则,都应该尽最大可能避免 Master Master 和 Standby 设置到 Instance 主机上,因为,这种模式下,一旦系统在处理负载很高的 任务,Master 将很难获得足够的资源,其响应会变慢,稳定性会下降。从两一个角度 来说,如果可以确保集群是非常良性的运转,不会有任务造成 Master 很大的压力, 可以适当配置计算能力稍差的机器。 网络层冗余 网络层关系到 Instance 之间的通信,其依靠基础网络设备,高可用网络层可以 64 - 排队情况以及实时的 CPU 和内存的使用量: =# SELECT * FROM gp_toolkit.gp_resgroup_status; 不过,编者觉得这个视图没法看,CPU 和内存使用量的字段是个很大的 Json,难 以阅读。像下面这样可能会容易阅读一些: =# SELECT rsgname,groupid,num_running,num_queueing0 码力 | 416 页 | 6.08 MB | 1 年前3
TiDB中文技术文档group leader 的迁 移等);三是分配全局唯一且递增的事务 ID。 PD 是一个集群,需要部署奇数个节点,一般线上推荐至少部署 3 个节点。 TiKV Server 负责存储数据,从外部看 TiKV 是一个分布式的提供事务的 Key-Value 存储引擎。存储数据的基 本单位是 Region,每个 Region 负责存储一个 Key Range (从 StartKey 到 EndKey 面分别说明这三个组件的可用性、单个实例失效后的后果以及如何恢复。 TiDB TiDB 是无状态的,推荐至少部署两个实例,前端通过负载均衡组件对外提供服务。当单个实例失效时,会影响 正在这个实例上进行的 Session,从应用的角度看,会出现单次请求失败的情况,重新连接后即可继续获得服 务。单个实例失效后,可以重启这个实例或者部署一个新的实例。 PD PD 是一个集群,通过 Raft 协议保持数据的一致性,单个实例失效时,如果这个实例不是 group leader 的迁 移等);三是分配全局唯一且递增的事务 ID。 PD 是一个集群,需要部署奇数个节点,一般线上推荐至少部署 3 个节点。 TiKV Server 负责存储数据,从外部看 TiKV 是一个分布式的提供事务的 Key-Value 存储引擎。存储数据的基 本单位是 Region,每个 Region 负责存储一个 Key Range (从 StartKey 到 EndKey0 码力 | 444 页 | 4.89 MB | 6 月前3
Apache ShardingSphere 中文文档 5.0.0-alpha从资源控制的角度看,业务方访问数据库的连接数量应当有所限制。它能够有效地防止某一业务操作过 多的占用资源,从而将数据库连接的资源耗尽,以致于影响其他业务的正常访问。特别是在一个数据库实 例中存在较多分表的情况下,一条不包含分片键的逻辑 SQL 将产生落在同库不同表的大量真实 SQL ,如 果每条真实 SQL 都占用一个独立的连接,那么一次查询无疑将会占用过多的资源。 从执行效率的角度看,为每个 整体无序的情况下,ShardingSphere 无 需将所有的数据都加载至内存即可排序。它使用的是流式归并的方式,每次 next 仅获取唯一正确的一条 数据,极大的节省了内存的消耗。 从另一个角度来说,ShardingSphere 的排序归并,是在维护数据结果集的纵轴和横轴这两个维度的有序 性。纵轴是指每个数据结果集本身,它是天然有序的,它通过包含 ORDER BY 的 SQL 所获取。横轴是指 代码的情况 下校验对应的 SQL 了。 3.10.4 性能测试 目标 对 ShardingSphere‐JDBC,ShardingSphere‐Proxy 及 MySQL 进行性能对比。从业务角度考虑,在基本应 用场景(单路由,主从 + 加密 + 分库分表,全路由)下,INSERT+UPDATE+DELETE 通常用作一个完整的 关联操作,用于性能评估,而 SELECT 关注分片优化可用0 码力 | 301 页 | 3.44 MB | 1 年前3
TiDB v5.2 中文手册的目录路径添加到环境变量 LD_LIBRARY_PATH 后,上述命令才能正常执行。 例如,当 tiflash 和 libtiflash_proxy.so 在同一个目录下时,切换到该目录后,可以通过如下命令查 看 TiFlash 版本: LD_LIBRARY_PATH=./ ./tiflash version • 在 TiFlash 日志(日志路径见配置文件 tiflash.toml [logger] 部分)中查看 高很多。如果是,表明这个 TiKV 上有热点,需要检查热点调度是否能正常工作。 2. 观察 Raft IO 监控,看延迟是否升高。如果延迟很高,表明磁盘可能有瓶颈。一个能缓解但不怎么 安全的办法是将 sync-log 改成 false。 3. 观察 Raft Process 监控,看 tick duration 是否很高。如果是,需要在 [raftstore] 配置下加上 raft-base �→ delta(tikv_engine_write_stall[10m])> 0 • 规则描述: RocksDB 写入压力太大,出现了 stall。 • 处理方法: 1. 观察磁盘监控,排除磁盘问题。 2. 看 TiKV 是否有写入热点。 3. 在 [rocksdb] 和 [raftdb] 配置下调大 max-sub-compactions 的值。 7.5.3.2.4 TiKV_raft_log_lag0 码力 | 2259 页 | 48.16 MB | 1 年前3
TiDB v5.1 中文手册的目录路径添加到环境变量 LD_LIBRARY_PATH 后,上述命令才能正常执行。 例如,当 tiflash 和 libtiflash_proxy.so 在同一个目录下时,切换到该目录后,可以通过如下命令查 看 TiFlash 版本: LD_LIBRARY_PATH=./ ./tiflash version • 在 TiFlash 日志(日志路径见配置文件 tiflash.toml [logger] 部分)中查看 高很多。如果是,表明这个 TiKV 上有热点,需要检查热点调度是否能正常工作。 2. 观察 Raft IO 监控,看延迟是否升高。如果延迟很高,表明磁盘可能有瓶颈。一个能缓解但不怎么 安全的办法是将 sync-log 改成 false。 3. 观察 Raft Process 监控,看 tick duration 是否很高。如果是,需要在 [raftstore] 配置下加上 raft-base �→ delta(tikv_engine_write_stall[10m])> 0 • 规则描述: RocksDB 写入压力太大,出现了 stall。 • 处理方法: 1. 观察磁盘监控,排除磁盘问题。 2. 看 TiKV 是否有写入热点。 3. 在 [rocksdb] 和 [raftdb] 配置下调大 max-sub-compactions 的值。 255 7.5.3.2.4 TiKV_raft_log_lag0 码力 | 2189 页 | 47.96 MB | 1 年前3
Apache ShardingSphere 中文文档 5.0.0从资源控制的角度看,业务方访问数据库的连接数量应当有所限制。它能够有效地防止某一业务操作过 多的占用资源,从而将数据库连接的资源耗尽,以致于影响其他业务的正常访问。特别是在一个数据库实 例中存在较多分表的情况下,一条不包含分片键的逻辑 SQL 将产生落在同库不同表的大量真实 SQL ,如 果每条真实 SQL 都占用一个独立的连接,那么一次查询无疑将会占用过多的资源。 从执行效率的角度看,为每个 整体无序的情况下,ShardingSphere 无 需将所有的数据都加载至内存即可排序。它使用的是流式归并的方式,每次 next 仅获取唯一正确的一条 数据,极大的节省了内存的消耗。 从另一个角度来说,ShardingSphere 的排序归并,是在维护数据结果集的纵轴和横轴这两个维度的有序 性。纵轴是指每个数据结果集本身,它是天然有序的,它通过包含 ORDER BY 的 SQL 所获取。横轴是指 提供各个压测工具的性能测试结果。 Sysbench 性能测试 目标 对 ShardingSphere‐JDBC,ShardingSphere‐Proxy 及 MySQL 进行性能对比。从业务角度考虑,在基本应 用场景(单路由,主从 + 加密 + 分库分表,全路由)下,INSERT+UPDATE+DELETE 通常用作一个完整的 关联操作,用于性能评估,而 SELECT 关注分片优化可用0 码力 | 385 页 | 4.26 MB | 1 年前3
Apache ShardingSphere 中文文档 5.4.1SHOW PROCESSLIST 命令和 KILL 命令。 相关操作 查看会话 针对不同关联数据库支持不同的查看会话方法,关联 MySQL 数据库可使用 SHOW PROCESSLIST 命令查 看会话。ShardingSphere 会自动生成唯一的 UUID 标识作为 ID,并将 SQL 执行信息存储在各个实例中。 当执行此命令时,ShardingSphere 会通过治理中心收集并同步各个计算节点的 从资源控制的角度看,业务方访问数据库的连接数量应当有所限制。它能够有效地防止某一业务操作过 多的占用资源,从而将数据库连接的资源耗尽,以致于影响其他业务的正常访问。特别是在一个数据库实 例中存在较多分表的情况下,一条不包含分片键的逻辑 SQL 将产生落在同库不同表的大量真实 SQL ,如 果每条真实 SQL 都占用一个独立的连接,那么一次查询无疑将会占用过多的资源。 从执行效率的角度看,为每个 整体无序的情况下,ShardingSphere 无 需将所有的数据都加载至内存即可排序。它使用的是流式归并的方式,每次 next 仅获取唯一正确的一条 数据,极大的节省了内存的消耗。 从另一个角度来说,ShardingSphere 的排序归并,是在维护数据结果集的纵轴和横轴这两个维度的有序 性。纵轴是指每个数据结果集本身,它是天然有序的,它通过包含 ORDER BY 的 SQL 所获取。横轴是指0 码力 | 530 页 | 4.49 MB | 1 年前3
Apache ShardingSphere 中文文档 5.3.2SHOW PROCESSLIST 命令和 KILL 命令。 相关操作 查看会话 针对不同关联数据库支持不同的查看会话方法,关联 MySQL 数据库可使用 SHOW PROCESSLIST 命令查 看会话。ShardingSphere 会自动生成唯一的 UUID 标识作为 ID,并将 SQL 执行信息存储在各个实例中。 当执行此命令时,ShardingSphere 会通过治理中心收集并同步各个计算节点的 从资源控制的角度看,业务方访问数据库的连接数量应当有所限制。它能够有效地防止某一业务操作过 多的占用资源,从而将数据库连接的资源耗尽,以致于影响其他业务的正常访问。特别是在一个数据库实 例中存在较多分表的情况下,一条不包含分片键的逻辑 SQL 将产生落在同库不同表的大量真实 SQL ,如 果每条真实 SQL 都占用一个独立的连接,那么一次查询无疑将会占用过多的资源。 从执行效率的角度看,为每个 整体无序的情况下,ShardingSphere 无 需将所有的数据都加载至内存即可排序。它使用的是流式归并的方式,每次 next 仅获取唯一正确的一条 数据,极大的节省了内存的消耗。 从另一个角度来说,ShardingSphere 的排序归并,是在维护数据结果集的纵轴和横轴这两个维度的有序 性。纵轴是指每个数据结果集本身,它是天然有序的,它通过包含 ORDER BY 的 SQL 所获取。横轴是指0 码力 | 508 页 | 4.44 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.1从资源控制的角度看,业务方访问数据库的连接数量应当有所限制。它能够有效地防止某一业务操作过 多的占用资源,从而将数据库连接的资源耗尽,以致于影响其他业务的正常访问。特别是在一个数据库实 例中存在较多分表的情况下,一条不包含分片键的逻辑 SQL 将产生落在同库不同表的大量真实 SQL ,如 果每条真实 SQL 都占用一个独立的连接,那么一次查询无疑将会占用过多的资源。 从执行效率的角度看,为每个 整体无序的情况下,ShardingSphere 无 需将所有的数据都加载至内存即可排序。它使用的是流式归并的方式,每次 next 仅获取唯一正确的一条 数据,极大的节省了内存的消耗。 从另一个角度来说,ShardingSphere 的排序归并,是在维护数据结果集的纵轴和横轴这两个维度的有序 性。纵轴是指每个数据结果集本身,它是天然有序的,它通过包含 ORDER BY 的 SQL 所获取。横轴是指 提供各个压测工具的性能测试结果。 Sysbench 性能测试 目标 对 ShardingSphere‐JDBC,ShardingSphere‐Proxy 及 MySQL 进行性能对比。从业务角度考虑,在基本应 用场景(单路由,主从 + 加密 + 分库分表,全路由)下,INSERT+UPDATE+DELETE 通常用作一个完整的 关联操作,用于性能评估,而 SELECT 关注分片优化可用0 码力 | 409 页 | 4.47 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.0从资源控制的角度看,业务方访问数据库的连接数量应当有所限制。它能够有效地防止某一业务操作过 多的占用资源,从而将数据库连接的资源耗尽,以致于影响其他业务的正常访问。特别是在一个数据库实 例中存在较多分表的情况下,一条不包含分片键的逻辑 SQL 将产生落在同库不同表的大量真实 SQL ,如 果每条真实 SQL 都占用一个独立的连接,那么一次查询无疑将会占用过多的资源。 从执行效率的角度看,为每个 整体无序的情况下,ShardingSphere 无 需将所有的数据都加载至内存即可排序。它使用的是流式归并的方式,每次 next 仅获取唯一正确的一条 数据,极大的节省了内存的消耗。 从另一个角度来说,ShardingSphere 的排序归并,是在维护数据结果集的纵轴和横轴这两个维度的有序 性。纵轴是指每个数据结果集本身,它是天然有序的,它通过包含 ORDER BY 的 SQL 所获取。横轴是指 提供各个压测工具的性能测试结果。 Sysbench 性能测试 目标 对 ShardingSphere‐JDBC,ShardingSphere‐Proxy 及 MySQL 进行性能对比。从业务角度考虑,在基本应 用场景(单路由,主从 + 加密 + 分库分表,全路由)下,INSERT+UPDATE+DELETE 通常用作一个完整的 关联操作,用于性能评估,而 SELECT 关注分片优化可用0 码力 | 406 页 | 4.40 MB | 1 年前3
共 43 条
- 1
- 2
- 3
- 4
- 5













