完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum.................................................................................... 5 openEuler 面向多样性算计算的创新 ......................................................................................... 特性,具备良好性能、可靠性和稳定性,使得 Greenplum 不仅可以作为全能的分析化平台,也能满足交易型业 务场景,能够处理多种并发混合工作负载,专为满足在多结构数据环境中进行实时分析的需求而设计。 欧拉开源操作系统是一款面向数字基础设施的操作系统,支持服务器、云计算、边缘计算、嵌入式等应用场景,支持多 样性计算,致力于提供安全、稳定、易用的操作系统。 Greenplum 与欧拉开源社区强强联手,不仅是双方业务用户所期盼的,同时也是 白皮书 5 白皮书 | 5 欧拉开源操作系统 欧拉开源操作系统(openEuler, 简称“欧拉”)从服务器操作系统正式升级为面向数字基础设施的操作系统,支持服务 器、云计算、边缘计算、嵌入式等应用场景,支持多样性计算,致力于提供安全、稳定、易用的操作系统。通过为应用 提供确定性保障能力,支持 OT 领域应用及 OT 与 ICT0 码力 | 17 页 | 2.04 MB | 1 年前3
 Pivotal Greenplum 最佳实践分享节点一般配置4~8个Instance,初始化完成后很 难修改,需要提前规划; • 每个Instance都是一套独立的进程,当客户端 发起一个请求时,每个Instance都将FORK子进 程并行工作; • 对于并发请求高、面向于复杂的灵活查询的系 统,建议每个Segment配置4个或以下Instance, 这样来保证每个Instance所需资源,保证系统 系统运行稳定性,例如,减少OOM发生的概率; • 对于以批处理、串行工作为主的系统,可以配 AGE大于10亿停止工作,等待vacuum执行 数据库对象数上限的最佳实践  GPDB内部的对象:所有的表(包括分区表)、索引、视图等都称为对象  GPDB最佳实践所推荐的对象管理要求是:一个数据库内对象不要超过10 0000个  最佳实践是出于对系统性能和稳定性因素建议对pg_class 所维护的对象数进行约束  减少对象数的方法: – 提高分区粒度 – 避免大范围使用列存储 pg_class对象数如果不进行约束,可能会产生以下问题: – gprecoverseg –F效率低,数据库实例修复如果增量同步失败,我们一般会建议使用gprecoverseg –F进行全量同 步,全量同步是在两个节点之间全量拷贝文件,超过10 0000个对象,在数据目录下地文件数会可能达到上百万 个档,这些文件的拷贝需要花费很长时间 – 使用gpexpand扩容节点时,对象数多,对应到每0 码力 | 41 页 | 1.42 MB | 1 年前3
 Greenplum 精粹文集具有很强数据操纵能力和过程语言的流程控制能力,SQL 语言是专 门为统计和数据分析开发的语言,各种功能和函数琳琅满目,SQL 语言不仅适合开发人员,也适用于分析业务人员,大幅简化了数据 的操作和交互过程。 而对 MapReduce 编程明显是困难的,在原生的 Mapreduce 开发 框架基础上的开发,需要技术人员谙熟于 JAVA 开发和并行原理, 不仅业务分析人员无法使用,甚至技术人员也难以学习和操控。为 了解决易用性的问题,近年来 与其他所有关系型数据库一样,拥有一套管理数据库内 部对象及关联关系的元数据表,我们称之为 Greenplum 系统表。 Greenplum 的产品内核是基于 postgresql 数据库基础上开发完成的, 因此,Greenplum 系统表很多继承于 postgresql 数据库。 Greenplum 的系统表大致可分为这几类: 1) 数据库内部对象的元数据 如:pg_database、pg_na 如:pg_database、pg_namespace、pg_class、pg_attribute、pg_ type、pg_exttable 等。 这类系统表既涵盖了全局的对象定义,也涵盖了每个数据库内的各 种对象定义。这类系统表的元数据不是分布式的存储,而是每一个 数据库实例(不论是 master 实例还是 segment 实例)中都各有一 份完整的元数据。但也有例外,如:gp_distribution_policy(分布 键定义)表则只在0 码力 | 64 页 | 2.73 MB | 1 年前3
 Greenplum Database 管理员指南 6.2.1........................................................................................ - 27 - 管理对象权限 ................................................................................................ ................................................................................. - 79 - 第七章:定义数据库对象 .................................................................................................. ............................................................................... - 89 - 使用表空间存储 DB 对象 ......................................................................................... - 90 - 查看现有的表空间和文件空间0 码力 | 416 页 | 6.08 MB | 1 年前3
 Greenplum 新一代数据管理和数据分析解决方案第一个支持互联网级分析技术(由Google普及)的产品 • 采用新的编程模型,在商用硬件上并行处理和执行 • 可以使客户洞察力和数据货币化程度达到前所未有的高度 MapReduce Greenplum MapReduce的优势 • 处理在任何地点存储的任何类型的数 据 • 将SQL的普遍性与MapReduce的灵 活编程模式结合起来 • 针对业务关键分析功能提供企业级集 成、支持和发布0 码力 | 45 页 | 2.07 MB | 1 年前3
 Greenplum数据仓库UDW - UCloud中立云计算服务商Workbench/J是⼀个独⽴于DBMS,跨平台的SQL查询分析⼯具。具有通⽤性好、⼩巧、免安装等优点, 并且功能强⼤,查询编辑器⽀持⾃动补全,Database Explorer可以查看和编辑各种数据库对象(表、视图、存储过程等)。 详情可⻅:SQL Workbench/J 访问 udw 访问UDW数据仓库 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud DATABASE product; 3、模式管理 、模式管理 数据库模式(schema)是包含了⼀系列数据库对象(表,数据类型,⾃定义函数)集合的命名容器。⼀个数据库可以有多个模式。不同模式不共享命名空间。public 模式是在创建数据库之后就 会默认创建的,每个⽤⼾都有权限在这个 schema 创建对象,如果不指定 schema 那么就会默认创建到这⾥。 创建⼀个模式: CREATE SCHEMA 获取更多的信息) 开发指南 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 105/206 \do [名字] 列出操作符 \dl 列出⼤对象, 和 lo_list ⼀样 \dp [模式] 列出表, 视图, 序列的访问权限 \dT [模式] 列出数据类型 (加 "+" 获取更多的信息) \du [模式] 列出⽤⼾ \l 列出所有数据库0 码力 | 206 页 | 5.35 MB | 1 年前3
 Greenplum 介绍者,社 区贡献者包括阿里云、中移动等大公司,也有诸多中小公司和数据库爱好者。 开源之后,Greenplum 把敏捷软件开发方法学引入到分布式数据库的开发中,通过使用站立会议、 回顾会议、结对编程、持续集成、测试驱动、单周迭代等敏捷方法建立了高效的快速反馈系统, 大大提高了产品的质量和客户的满意度。Greenplum 5.0 是开源之后发布的第一个稳定版本,大 约保持 1 个半月一个版本的发布速度。Greenplum0 码力 | 3 页 | 220.42 KB | 1 年前3
 Greenplum备份恢复浅析包括每个segment的数据文件(可以流式输出)、master产 生的post_data文件包含indexes, triggers, primary key constraints等数据 库对象,master产生的全局对象包含角色和表空间等 2. Regular files 包括各类辅助文件,例如存储着create database语句的文 件,备份状态报告文件等 其中最核心的每个segment的数据文件,命名格式如下: 如下: 1. 读取参数,检测合理性 2. master执行对pg_class加锁操作 3. 封装并执行gp_dump命令 4. 检测每个segment备份状态 5. 其他操作,例如备份全局对象(角色和表空间)、 备份config文件、清理旧备份集以及VACCUM等 2017 年象行中国(杭州 站)第一期 gp_dump具体实现 2017 年象行中国(杭州 站)第一期 非并行数据恢复0 码力 | 17 页 | 1.29 MB | 1 年前3
 Pivotal Greenplum 5: 新一代数据平台新增功能。 新一代 数据平台 IT 人员 开发 人员 业务 分析师 数据 科学家 灵活 部署 数据源和数据管道 Spring Cloud Data Flow ETL 本地存储 HDFSS 云对象 存储 GemFire Spark 其他 RDBMSes 多结构数据 PIVOTAL GREENPLUM 平台 原生接口 分析应用 用户 JDBC、OBBC Teradata SQL Apache 查询处理器的采用混合语法的查询)。PostGIS 程序包是 PostgreSQL 的空间数据库扩展,可让地理信息 系统 (GIS) 对象存储在数据库中。Pivotal Greenplum PostGIS 扩展包括支持使用基于 GiST 的 R 树空间索引和函数分析和处 理 GIS 对象。 图 3:Pivotal Greenplum 5:集成的分析。 地理空间 图分析库 聚类分析 传统BI分析 分类分析0 码力 | 9 页 | 690.33 KB | 1 年前3
 Greenplum数据库架构分析及5.x新功能分享数据访问 混合存储引擎(行存&列存) 多种压缩,多级分区表 索引(B树,位图,GiST) 安全性 语言支持 标准SQL支持,SQL 2003 OLAP扩展 支持 MapReduce 扩展编程语言 (Python,R, Java, Perl, C/C++) 第三方工具 BI 工具, ETL 工具 文本分析,数据挖掘等 管理工具 GP Command Center GP Workload0 码力 | 44 页 | 8.35 MB | 1 年前3
共 14 条
- 1
 - 2
 













