Greenplum 精粹文集就像使用关系型数据库一样使用 Hadoop。底层存储采用 HDFS, HAWQ 实现了计算节点和 HDFS 数据节点的解耦,采用 MR2.0 的 YARN 来进行资源调度,同时具有 Hadoop 的灵活伸缩的架构特性 和 MPP 的高效能计算能力。 当然,有得也有所失,虽然 HAWQ 的架构比 GreenplumMPP 数据 库灵活,但在获得架构优越性的同时,其性能比 Greenplum MPP 数据库要低一倍左右。不过,得益于 技术,从硬件到软件到服务,都逃不过要接受云计算 的洗礼,不能赶上时代潮流的技术和公司都将被无情的淘汰。大数据 也要拥抱云计算,大数据将作为一种数据服务来提供(DaaS-Dataas A Service),依靠云提供共享的、弹性、按需分配的大数据计算和存 储的服务。 Greenplum MPP 数据库从已一开始就是开放的技术,并且在 2015 年 年底已经开源和成立社区(在开源第一天就有上千个 Download), 可以说,Greenplum0 码力 | 64 页 | 2.73 MB | 1 年前3
Greenplum on Kubernetes
容器化MPP数据库→ 云 ○ 静态资源 → 弹性需求 ● 数据变化 ○ 内部数据 → 多数据源 ○ 数据规模 → 不易预测 ○ 数据格式 → 半结构化/无模式 ○ 数据隔离 → 数据共享 ● 云数据库市场巨大 ● 云数据库增速巨大 ● DBasS的需求 ● 跨云的需求 云数据库实现方案 云数据库需求 ● DBasS ○ 自动化运维 ○ 自动化调优 ● 弹性资源管理 ○ 存储资源 ○ Segment节点示例 Greenplum on Kubernetes Greenplum on Kubernetes ● 存储计算分离 ○ PV持久化存储资源 ○ StatefulSet/Pod弹性扩展计算资源 ● 数据库服务层 ○ Service统一Master & Standby Master地址 ● 服务发现机制 ○ 所有节点地址名不变 ● 跨云能力 ○ 容器应用对基础设施透明0 码力 | 33 页 | 1.93 MB | 1 年前3
Greenplum 介绍含实时处理、弹性扩容、混合负载、云 原生和集成数据分析等强大功能的大数据引擎。 著名分析机构 Gartner 2019 年报告中,在经典数据分析领域 Greenplum 全球排名第三,实时分 析领域全球排名并列第四。Greenplum 是两个领域中排名前十的产品中的唯一一款开源产品。 Greenplum 基于 MPP(大规模并行处理)架构构建,具有良好的弹性和线性扩展能力,并内置0 码力 | 3 页 | 220.42 KB | 1 年前3
Greenplum 新一代数据管理和数据分析解决方案通过Greenplum超级数据处 理引擎增强竞争优势 Greenplum数据引擎:内容和方式 价值主张 – 性价比: 性能可达到传统方案(Oracle、Teradata)的 10到100倍, 而成本只是其一小部分 – 可伸缩性:从较低的万亿字节扩展到千万亿字节 – 开放式系统:在通用系统和开放源软件的基础上创建 前提条件 – 硬件:基于开放式标准硬件 – 软件:Postgres和Greenplum – 体系0 码力 | 45 页 | 2.07 MB | 1 年前3
基于 Greenplum 打造SaaS化电商服务平台2018.3HDB4PG 2017.1报表全面迁移至GP 2017.6集群拆分 2018.9全面切换HDB4PG 2018.6ADB储备、2019.7上线 HDB4PG •数据压缩 •弹性扩容 •成熟稳定 •性能良好 •阿里云支持 THANKS 谢 谢 聆 听 2018.06.26 by 花名 www.jushuitan.com0 码力 | 7 页 | 547.94 KB | 1 年前3
Greenplum 分布式数据库内核揭秘Features Confidential │ ©2021 VMware, Inc. 4 Greenplum 是基于 PostgreSQL 所实现的大规模并行处理(MPP)开源数据平台,具有良好的弹性 和线性拓展能力,内置并行存储、并行通信、并行计算和并行优化功能,兼容 SQL 标准。拥有独 特的高效的 ORCA 优化器,具有强大、高效的 PB 级数据存储、处理和实时分析能力,同时支持 OLTP0 码力 | 31 页 | 3.95 MB | 1 年前3
Greenplum Database 管理员指南 6.2.1资源百分比也需要从总数中扣 除,只不过,资源的配额,采用的是固定 CPU Core 的方式来实现,目的是避免与其 他资源组的争抢。 通过 CPU_RATE_LIMIT 配置的资源组,其可以使用的 CPU 资源是弹性的,不是 固定的,数据库可能会将空闲的资源组的 CPU 资源分配给其他繁忙的资源组使用,不 过,一旦被划走 CPU 资源的资源组开始有事务执行,CPU 资源将会重新分配回去,需 要注意的是,CPUSET0 码力 | 416 页 | 6.08 MB | 1 年前3
共 7 条
- 1













