Greenplum运维常用命令  Greenplum日常检查和故障处理  Greenplum项目经验分享 目录  Greenplum运维常见问题  Greenplum运维常用命令  Greenplum日常检查和故障处理  Greenplum项目经验分享 内核参数  通常情况下，内核参数按照GPDB安装手册配置，如需要增加连接数支持，以下参数需要增大 系统表（pg_class,pg_attribute）太大，影响系统工作效率 – 系统元数据检查pg_checkcat等工具运行时间比较长 物理模型经验分享 物理模型对于系统性能有很大影响，因此需要我们特别关注。 以下来自于在某大型银行的使用经验： 行存储和列存储： • 避免过多使用列存储的原因是防止小档数过多。 • 列存储能够提升查询性能，对于更新和全字段类操作性能反而会下降 ，这个可以提高关联条件的命中率，减少关联时数据重分布 （主要对大表） • 选用分布键同时考虑数据平均分布（一个例子，日志号不是最好的分布键，大量的空值导致资料倾斜） 物理模型经验分享（续） 分区表使用： • 不建议使用二级分区，二级分区不便于管理，而且Parser效率较低； • 二级分区可以用一级分区+Bitmap方式替代，例如按照“发生日期”做分区，然后在机构字段上将bitmap索引

master 架构业界一直 有所争论。 从功能上而言 master 节点是对外服务的入口，用户所有的请求都必须 先经过 master，所以 master 节点的可用性直接关系到集群的稳定， 但从实践经验来看，由于 master 节点只存元数据，只负责 SQL 的解析、 分发以及最终计算结果的展现，所以承担的负载一般都非常小，故障 率也极低，在我们维护阿里 Greenplum 集群 3 年的时间里，以及接触 卡（单块 RAID 卡的 cache 大小 1GB 以上，并带有掉电保护 功能，RAID 卡应为多通道，目前接触的硬件厂商中，单通道支持的最 大磁盘数为 16 块） ·硬盘尽量选 用 SAS 盘，从实践经验看，硬盘故障是 Greenplum 集群中最为常见的故障类型，而 SAS 盘相比 SATA 盘在性能和稳定 性上都明显的高于 SATA 盘 。 ·RAID 卡一定要带 cache，否则做完 RAID 维护加上完善的软硬件监控，才是真正保证企业级数据仓库成功实 施关键。 Big Date2.indd 28 16-11-22 下午3:38 Greenplum 精粹文集 29 四、Greenplum 实施经验谈 近两年，国内的大数据市场逐渐成熟，有真实的大数据处理需求的企 业数量呈现爆炸性的增长，从传统的数据库产品往 MPP 数据库转型 的增长势头十分迅猛。Greenplum 作为 MPP 产品的领头羊，具有较

资源，具体的比例需要根据数据库的适用场景进行综合评估。例如在生产环境，每个 Instance 所在的主机配置了 2 个 16 Core 的 CPU，可根据不同的场景，配置 4 ~ 12 个不等的 Primary，这个数字的选择需要由富有经验的专业技术支持人员进行评估， 每个 Instance 所在主机配置的 Primary 越多，响应并发的能力越弱，但单个任务的 处理能力越强(这也不是绝对的，当 Primary 数量多到，即便运行单个任务时都会出 pg_hba.conf 文件控制着客户端连接到 GP 系统的认证。 在 Instance 上也存在 pg_hba.conf 文件，通常此文件已经被正确配置为允许从 Master 访问。不过根据以往的经验来看，也出现过配置错误的情况，该情况会导致 gpexpand 之类的操作报错失败。通常来说，Instance 是不需要接受外部客户端连 接的(如果需要，必须通过 Utility 模式连接)，不太有必要去修改 实用意义，忘记这个事情就好了， 好好使用ZSTD就对了。 在列上设置压缩 注意：编者不希望读者浪费很多时间来学习这部分的知识，所以，先把观点列出来，编 者根据10年的经验判断，除了作为一块知识来学习外，可能永远也不需要在每个字段 上设置压缩，因为那是极其多余和毫无意义的。在真实的使用环境中，往往列存储的选 择都应该是极其少见的，因为列存储的选择需要满足多方面条件，选择列存的往往是那

基于GP打造SaaS化电商服务平台 聚水潭 秃鹰 赵坚密 2019.08.10 聚水潭成立于2014年1月，创始人兼CEO骆海东拥有超过二十年传统 及电商ERP的研发和实施部署经验，公司核心管理团队来自于阿里巴 巴、亚马逊、中国平安和麦包包等知名公司。 聚水潭创建之初，以电商SaaS ERP切入市场，凭借出色的产品和服务， 快速获得市场领先地位。随着客户需求的不断变化，如今聚水潭已经 发展成为以SaaS

1 2 • 中国科学技术大学计算机科学学士 • 上海交通大学MBA • 20年+IT从业经验， 专注于数据库技术领域 • 自2003年始从事数据库实时复制技术的解决方案 • 2013年至2015年在SAP 担任大数据和BI解决方案 资深技术顾问 • 2015年加入HVR中国公司担任技术总监 • 微信号: gu9060 个人介绍 3 HVR moves high volumes