Pivotal Greenplum 最佳实践分享http://gptext.docs.pivotal.io/ Download GPText 2.0: https://network.pivotal.io/ 阿里云 Pivotal Greenplum 最佳实践分享 陈淼 Pivotal大中华区大数据资深架构师 目录 Greenplum运维常见问题 Greenplum运维常用命令 xid_stop_limit: 1000000000, AGE大于10亿停止工作,等待vacuum执行 数据库对象数上限的最佳实践 GPDB内部的对象:所有的表(包括分区表)、索引、视图等都称为对象 GPDB最佳实践所推荐的对象管理要求是:一个数据库内对象不要超过10 0000个 最佳实践是出于对系统性能和稳定性因素建议对pg_class 所维护的对象数进行约束 减少对象数的方法:0 码力 | 41 页 | 1.42 MB | 1 年前3
并行不悖- OLAP 在互联网公司的实践与思考1 并行不悖 – OLAP 在互联网公司的实践与思考 赵飞祥 2 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 3 数据仓库体系架构 业务数据与数据使用归类 时间维度:过去 - 现在 - 未来 (数据的生命周期) • “现在”的数据 —— 业务数据的中转 —— ETL服务器 • 3 数据的存储和计算 —— OLAP集群 • 4 结果数据的展现 —— 数据集市 • 5 访问接口的封装 —— API接口服务器 • 6 最终数据的显示 —— 前端界面 • 7 结果数据的交互 —— OLTP,趋势分析 • 8 OLAP数据流转 —— dbsync平台 7 数据仓库体系架构 数据架构示意图 8 数据仓库体系架构 架构的具体技术实现0 码力 | 43 页 | 9.66 MB | 1 年前3
Greenplum数据仓库UDW - UCloud中立云计算服务商item_id=17 and time > 1481472000 and time < 1482076800; 耗时平均为 260ms。 时间范围为 1 天的查询耗时平均为 120ms。 将查询到的数据返回给前端,前端解析数据,绘出图形,展⽰在⻚⾯上。 数据可视化 数据可视化 UDW 使⽤案例 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 187/2060 码力 | 206 页 | 5.35 MB | 1 年前3
Greenplum Database 管理员指南 6.2.1致读者 如果您在阅读和参考本书的过程中发现有任何不妥之处,或者有任何的建议和意见, 欢迎联系编者,本书主要针对 GP 数据库的爱好者进行编写,包括产品的安装和使用说 明,以及最佳实践等内容。本书的发布更新情况与编者的时间有关,不做承诺。 编写: 陈淼 电邮: miaochen@mail.ustc.edu.cn Greenplum Database 管理员指南 V6 ................................................................................ - 24 - 角色与权限安全的最佳实践 ............................................................................................ - 24 - .................................................................................. - 150 - 创建视图的最佳实践 .............................................................................................. - 1510 码力 | 416 页 | 6.08 MB | 1 年前3
Greenplum 新一代数据管理和数据分析解决方案系统 源系统 Oracle GreenPlum 结算 ETL Staging ETL 结算 ODS Export 文 本 Query (oracle native driver) BO前端 呼叫 中心 航线 分析 其他 ETL ETL ETL 原有数据仓 库部分(包 括EDW, DM, ODS。不含 结算ODS ) Query (ODBC) Load Universe0 码力 | 45 页 | 2.07 MB | 1 年前3
Greenplum 精粹文集们 通 过 某 金 融 行 业 客 户 Greenplum 的 使 用 案 例 介 绍 了 Greenplum 产品在高吞吐、开放性、 易扩展等方面的卓越表现及其带 给客户的高价值。下面我们将从最佳实践方面介绍下 Greenplum 在具 体规划实施时,如何选取硬件。 Greenplum 是 通 过 软 件将多台 x86 服务器的 硬件组织在一起同时对 外提供服务,从而达到 高速处理的能力,为了 架构,关于有、无 master 架构业界一直 有所争论。 从功能上而言 master 节点是对外服务的入口,用户所有的请求都必须 先经过 master,所以 master 节点的可用性直接关系到集群的稳定, 但从实践经验来看,由于 master 节点只存元数据,只负责 SQL 的解析、 分发以及最终计算结果的展现,所以承担的负载一般都非常小,故障 率也极低,在我们维护阿里 Greenplum 集群 3 年的时间里,以及接触 卡(单块 RAID 卡的 cache 大小 1GB 以上,并带有掉电保护 功能,RAID 卡应为多通道,目前接触的硬件厂商中,单通道支持的最 大磁盘数为 16 块) ·硬盘尽量选 用 SAS 盘,从实践经验看,硬盘故障是 Greenplum 集群中最为常见的故障类型,而 SAS 盘相比 SATA 盘在性能和稳定 性上都明显的高于 SATA 盘 。 ·RAID 卡一定要带 cache,否则做完 RAID0 码力 | 64 页 | 2.73 MB | 1 年前3
完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum白皮书 | 4 关于本白皮书 近日,Greenplum 社区和欧拉开源社区深化合作,在欧拉开源操作系统(openEuler, 简称“欧拉”)编译测试了高级分 析数据平台 Greenplum,用实践证明了 Greenplum 与支持多样性计算的欧拉开源操作系统完全兼容,是 Greenplum 与中国本地 IT 厂商的深入合作的典型模板,大大丰富了中国本地国产化应用生态。本白皮书着眼介绍了欧拉开源操作系 全部开源,社区人员或客户 可最大化自由利用和借鉴 Greenplum 的优秀功能的同时,又可以反哺及影响总体产品研发方向,可以加快产品创新, 基于此 Greenplum 有适用于多种环境的使用及实践,非常契合如今中国本土客户越来越多样化的应用业务基础环境。 以开源创新替代专有分析环境 作为技术领先的成熟的商业产品,Greenplum 在 2015 年开源,在得到商业客户的支持后,也获得0 码力 | 17 页 | 2.04 MB | 1 年前3
Brin Index主Greenplum 7中的理论与实现Confidential │ ©2021 VMware, Inc. 3 Confidential │ ©2021 VMware, Inc. Brin Index 在Greenplum 7中的 理论与实践 陈金豹,VMWare内核工程师 Confidential │ ©2021 VMware, Inc. 目录 Brin Index On Heap AppendOnly Table Brin在AppendOnly0 码力 | 32 页 | 1.04 MB | 1 年前3
Pivotal Greenplum 5: 新一代数据平台还获得了其他几种云平台的认证。它提供了一个同时支持传统和新型分析工作负载的环境,可帮助客户消除分析孤岛。此外, 它通过有助于加快创新的集成环境,为数据科学家和业务分析师提供多种分析功能。通过新型开发实践、持续交付和开源 软件分发方法,Pivotal Greenplum 5 带来了最新一代的数据管理和数据分析功能,这有助于其实现长远成功。 关注 Pivotal 官方微信号 ® 关 注 Pivotal0 码力 | 9 页 | 690.33 KB | 1 年前3
共 9 条
- 1













