Pivotal Greenplum 最佳实践分享现象-系统突然运行缓慢 对于此类问题,问题原因可能是多方面的,定位比较困难,首先需要判断是硬件原因导致还是应用本身的原因导致,是某一SQL导致还是整体运 行变慢,找到具体的原因后,才能确定应对措施  检查當前所有设备IO,CPU使用情況: – CPU是否繁忙(gpssh –f allhosts -e“uptime”) – IO是否繁忙,Wait是否较高 – 是单一服务器繁忙还是所有服务器繁忙 – gdb(在support指导下使用) – dstat – vmstat – nmon – tcpdump 应急处理措施  数据库重启 当数据库出现异常,不能正常使用时,此时可以重启数据库 建议每次关闭数据库前,执行一次checkpoint,或者UTILITY进入到每一个实例,执行checkpoint;0 码力 | 41 页 | 1.42 MB | 1 年前3
 SelectDB案例 从 ClickHouse 到 Apache Doriscom/apache/doris-spark-connector/pull/60  https://github.com/apache/doris-spark-connector/pull/61 通过以上数据导入的优化措施,使得整体导入链路更加稳定,每日离线导入时长下降了 75% ,数据版本累积情况也有所改善,其中 cumu compaction 的合并分数更是从 600+直 降到 100 左右,优化效果十分明显。 开销;  Doris BE 只拉取和本地 Doris 指标表相关 Bucket 的数据,直接进行本地 Join,避 免 Doris BE 间数据再 Shuffle 的过程。 通过以上优化措施,百万分群圈选洞察查询时间从最初的 60 秒缩短到 3.7 秒,性能显著 提升! 经过与社区沟通交流,Apache Doris 从 2.0.0 版本开始,将支持倒排索引。可进行文本类 型的全文检索0 码力 | 12 页 | 1.55 MB | 1 年前3
 Greenplum 新一代数据管理和数据分析解决方案企业数据集合:主要的优势 • 实体整合 • 提高服务器使用率 • 降低总硬件成本 • 降低能量成本 • 可以预估的服务等级 • 确保关键任务的可靠性 • 最出色的性能 • 高度灵活性 • 逐步扩展计算能力 • 动态措施 • 数据访问: • 在一个系统中协调所有企业数据的位置 • 可以通过任何语言(SQL、M/R等)进行分析 14 强大并且不断扩展的合作伙伴网络 硬件供应商 商务智能工具 15 服务供应商0 码力 | 45 页 | 2.07 MB | 1 年前3
 Greenplum Database 管理员指南 6.2.1Master 无法连接到 Primary 时,该 Primary 在 GP 的系统表中将被标记 为失败状态,Master 会激活/唤醒对应的 Mirror 取代原有的 Primary。在采取相应 的措施将失败的 Primary 恢复到健康状态之前,该 Primary 一直保持失败状态。失 败的 Primary 可以在系统处于运行状态下被恢复回来。恢复进程仅仅复制失败期间发 生变化的增量差异,当然,如果失败时间太久或者因失败的 记为Down状态。 Greenplum Database 管理员指南 V6.2.1 版权所有:Esena(陈淼 +86 18616691889) 编写:陈淼 - 318 - 直到采取恢复措施之前,被标记为Down状态的Instance将一直处于离线状态。恢复 Instance的具体流程取决于故障发生的原因和是否启用了镜像。Instance失败的原 因有很多种可能:  主机不 体信息来判断问题,并采取合 Greenplum Database 管理员指南 V6.2.1 版权所有:Esena(陈淼 +86 18616691889) 编写:陈淼 - 368 - 适的措施来解决故障。当然,如果升级失败,还可以考虑降回之前的版本。 大版本升级 要实施大版本升级,将是一个复杂的工程,编者建议,如果有可能,最好获得专业 技术支持的帮助。从4.3版本0 码力 | 416 页 | 6.08 MB | 1 年前3
 πDataCS赋能工业软件创新与实践损其收集的个⼈信息;未经被收集者同意,不得向他⼈提供个⼈ 信息。 但是,经过处理⽆法识别特定个⼈且不能复原的除外。 • 《中国银⾏业“⼗⼆五”信息科技发展规则监管指导意见》中提出, 完善敏感信息存储与传输等⾼风险环节的控制措施,对数据、⽂ 档的访问应建立严格的审批机制,对用于测试的⽣产数据要进⾏ 脱敏处理,严格防⽌敏感信息泄露。 存 储 层 Table Log … 密⽂ 存储 ⼀级密钥 ⼆级密钥 三级密钥0 码力 | 36 页 | 4.25 MB | 1 年前3
 TiDB 开源分布式关系型数据库2020 年度亚洲银行家“中国最佳核心银行技术实施"大奖,从四个 方面全面提升北京银行的金融服务能力: *。 提升系统性能: 选择微服务架构与分布式数据库,通过分离处理功能、分散处理压力、扩展处理能 力等措施,保障海唱数据、高并发的业务场景对接,大幅提升交易处理效率。 。 满足安全需求: 基于一致性算法保证交易数据的强一致性,依托数据日志的备份恢复能力,提升数 据可追溯性,满足监管要求,提高自动化运维能力。0 码力 | 58 页 | 9.51 MB | 1 年前3
 Greenplum 精粹文集通过这种方式改造后,达到了很好的效果。 ·预留一台硬件服务器作为整个集群的灾备机,提前装好操作系统和 数据库软件,并放在与现有集群相同的网络环境中,一旦硬件出现 故障,我们可以迅速采取相应的修复措施,如果底层 RAID 没有损坏, 在单台机器数据量过大比如接近 10T 的情况下,我们可以直接将磁 盘插入到灾备机,由于 RAID 信息写在磁盘上,对调磁盘后,所有 数据信息仍然保留,这样就能避免数据同步带来的性能损耗,这种0 码力 | 64 页 | 2.73 MB | 1 年前3
 TiDB v8.4 中文手册6.4.6.2.1 认证 与 MySQL 安全特性差异文档列举了 TiDB 支持的认证方式。TiDB 不支持 MariaDB 中的某些认证方式,你可能需 要为账号创建新的密码哈希,或采取其他相应措施。 你可以执行以下语句检查使用的认证方式: SELECT plugin, COUNT(*) FROM mysql.user GROUP BY plugin; +---------- Dashboard 设计为供受信任的用户访问。默认端口将包含除 TiDB Dashboard 外的其他 API 接口。 如果你希望让外部网络用户或不受信任的用户访问 TiDB Dashboard,需要采取以下的措施以避免安全漏洞的出 现: • 使用防火墙等手段将默认的 2379 端口限制在可信域内,禁止外部用户进行访问。 注意: TiDB、TiKV 等组件需要通过 PD Client 端口与 PD 组件进行通信。请勿对组件内部网络阻止访 Cluster 组件版本等准备工作。 8.2.1.2.1 2.1 查阅兼容性变更 查阅 TiDB v8.4.0 release notes 中的兼容性变更。如果有任何变更影响到了你的升级,请采取相应的措施。 8.2.1.2.2 2.2 升级 TiUP 或更新 TiUP 离线镜像 升级 TiUP 和 TiUP Cluster 注意: 如果原集群中控机不能访问 https://tiup-mirrors0 码力 | 5072 页 | 104.05 MB | 10 月前3
 TiDB v8.5 中文手册6.4.7.2.1 认证 与 MySQL 安全特性差异文档列举了 TiDB 支持的认证方式。TiDB 不支持 MariaDB 中的某些认证方式,你可能需 要为账号创建新的密码哈希,或采取其他相应措施。 你可以执行以下语句检查使用的认证方式: SELECT plugin, COUNT(*) FROM mysql.user GROUP BY plugin; +---------- Dashboard 设计为供受信任的用户访问。默认端口将包含除 TiDB Dashboard 外的其他 API 接口。 如果你希望让外部网络用户或不受信任的用户访问 TiDB Dashboard,需要采取以下的措施以避免安全漏洞的出 现: • 使用防火墙等手段将默认的 2379 端口限制在可信域内,禁止外部用户进行访问。 注意: TiDB、TiKV 等组件需要通过 PD Client 端口与 PD 组件进行通信。请勿对组件内部网络阻止访 Cluster 组件版本等准备工作。 8.2.1.2.1 2.1 查阅兼容性变更 查阅 TiDB v8.4.0 release notes 中的兼容性变更。如果有任何变更影响到了你的升级,请采取相应的措施。 8.2.1.2.2 2.2 升级 TiUP 或更新 TiUP 离线镜像 升级 TiUP 和 TiUP Cluster 注意: 如果原集群中控机不能访问 https://tiup-mirrors0 码力 | 5095 页 | 104.54 MB | 10 月前3
 TiDB v8.2 中文手册6.4.6.2.1 认证 与 MySQL 安全特性差异文档列举了 TiDB 支持的认证方式。TiDB 不支持 MariaDB 中的某些认证方式,你可能需 要为账号创建新的密码哈希,或采取其他相应措施。 你可以执行以下语句检查使用的认证方式: SELECT plugin, COUNT(*) FROM mysql.user GROUP BY plugin; +---------- Dashboard 设计为供受信任的用户访问。默认端口将包含除 TiDB Dashboard 外的其他 API 接口。 如果你希望让外部网络用户或不受信任的用户访问 TiDB Dashboard,需要采取以下的措施以避免安全漏洞的出 现: • 使用防火墙等手段将默认的 2379 端口限制在可信域内,禁止外部用户进行访问。 注意: TiDB、TiKV 等组件需要通过 PD Client 端口与 PD 组件进行通信。请勿对组件内部网络阻止访 Cluster 组件版本等准备工作。 8.2.1.2.1 2.1 查阅兼容性变更 查阅 TiDB v8.2.0 release notes 中的兼容性变更。如果有任何变更影响到了你的升级,请采取相应的措施。 8.2.1.2.2 2.2 升级 TiUP 或更新 TiUP 离线镜像 升级 TiUP 和 TiUP Cluster 注意: 如果原集群中控机不能访问 https://tiup-mirrors0 码力 | 4987 页 | 102.91 MB | 10 月前3
共 24 条
- 1
 - 2
 - 3
 













