Greenplum Database 管理员指南 6.2.1会有很多用户问,Master 和 Standby 在绝大多数时间内,资源非常空闲,跟 Instance 主机相比,相当于完全空闲,那么是否可以将 Master 和 Standy 设置到 Instance 主机上呢?从理论的角度来说,答案是肯定的,因为 GP 数据库的集群概念 是虚拟的,并没有严格限制不同角色必须分离,但,对于生产环境来说,除非可以 100% 确保计算节点机器的资源不会被耗尽,否则,都应该尽最大可能避免 Master Master 和 Standby 设置到 Instance 主机上,因为,这种模式下,一旦系统在处理负载很高的 任务,Master 将很难获得足够的资源,其响应会变慢,稳定性会下降。从两一个角度 来说,如果可以确保集群是非常良性的运转,不会有任务造成 Master 很大的压力, 可以适当配置计算能力稍差的机器。 网络层冗余 网络层关系到 Instance 之间的通信,其依靠基础网络设备,高可用网络层可以 64 - 排队情况以及实时的 CPU 和内存的使用量: =# SELECT * FROM gp_toolkit.gp_resgroup_status; 不过,编者觉得这个视图没法看,CPU 和内存使用量的字段是个很大的 Json,难 以阅读。像下面这样可能会容易阅读一些: =# SELECT rsgname,groupid,num_running,num_queueing0 码力 | 416 页 | 6.08 MB | 1 年前3
Greenplum 精粹文集上的资源消耗很少有超过 20% 情况发生,因为 Segment 才是计算和加载发生的场所(当然, 在 HA 方面,Greenplum 提供 Standby Master 机制进行保证)。 再进一步看,Master-Slave 架构在业界的大数据分布式计算和云计 算体系中被广泛应用,大家可以看到,现在主流分布式系统都是采 用 Master-Slave 架 构, 包 括:Hadoop FS、Hbase、MapReduce、 了一个新数据库,将数据从旧库导出后,再导入新库。该方案在 2 天 之内完成 57TB 压缩数据的加载和 130TB 索引数据的创建。 随着中国大数据市场的井喷 趋势,作为中国第一代大数 据 的 实 践 者,Pivotal 已 经 看 到 并 且 能 够 深 刻 的 感 觉 到,Pivotal Greenplum 必 将 成 为 更 多 客 户 的 选 择, Greenplum 的 开 源 也 将 让 全世界的企业都可以立刻享 用到开放技术的卓越之处, 机器,这是由于 MPP 架构本身存在木桶效应,单台机器的性能短板, 很可能导致整体集群变慢,虽然 Greenplum 可以根据具体的硬件配置, 初始化的时候调整每台计算节点部署的实例数,但从具体实施看,极 少有客户这么做。 Segment 节点推荐采用硬件规格如下:两块万兆网卡(一般多为单网 卡双网口)用于内部互连,1-2 块千兆网卡用于带外管理和接入客户 网络,内存 DDR4 64GB 以上(推荐0 码力 | 64 页 | 2.73 MB | 1 年前3
Greenplum 编译安装和调试函数为 ExecAgg 获得下一个 tuple。 ExecMotion() 等待来自于 Segment 的结果。结果类型为 TupleTableSlot,执行到 ExecMotion 返回时可以看 返回的结果内容。 (lldb) print tup2str(result) (char *) $16 = 0x00007fe7e3014060 "\t 1:0 码力 | 15 页 | 2.07 MB | 1 年前3
共 3 条
- 1













