-
Greenplum Database 管理员指南 V6.2.1 版权所有:Esena(陈淼 +86 18616691889) 编写:陈淼 - 1 - Greenplum Database 管理员指南 版本 V6.2.1 2020 年 09 月 27 日 欢迎关注 Greenplum 官方微信公众号和加入官方社区技术讨论群: miaochen@mail.ustc.edu.cn) 编者工作十几年,先后供职于民企,国企,外企,截止目前,已从事 Greenplum 技术工作 10 余年,10 余年来,专注在 Greenplum 和相关技术领域,主要工作职责是 售后支持,帮助我们的 Greenplum 用户解决生产需求和技术问题,我们坚持提供最专 业的建议和解决方案,提供最专业的技术支持服务,提供最专业的落地实施支持。 们的目标是,努力解决用户的一切不违背自然规律的诉求,我们跟随着 Greenplum 的 成长,见证了 Greenplum 从闭源到开源的成长历程,一路给 Greenplum 做各种补丁 脚本,也看到了 Greenplum 的大幅进步,甚至我们以前的小技巧也不再需要,持续的 进步,带来的是生态的蓬勃发展。 Greenplum Database 管理员指南 V6.2.1 版权所有:Esena(陈淼
0 码力 |
416 页 |
6.08 MB
| 1 年前 3
-
Greenplum介绍 唐成 - 2011.02.17 汇 报 提 纲 Greenplum VS hadoop Greenplum架构 Greenplum的高可用方案 GP分布式数据库功能介绍 理解GP的查询处理 Greenplum VS hadoop 比较项 Greenplum Hadoop+hive 软件性质 商业软件 有较多的bug。 比较稳定。 Greenplum架构图 Segment Host Segment Host Segment Host Segment Host 高 速 以 太 网 交 换 机 Master Host Lan Client Host Greenplum架构: Master介绍 Master服务器是外面用户访问greenplum的入口。用户 都是连接 的。 Greenplum数据库是基于PostgreSQL数据库的,所以 可以用PostgreSQL数据库的工具来连接Greenplum数 据库,如java程序可以使用PostgreSQL的jdbc驱动来 访问Greenplum数据库,也可以使用psql工具或 pgadminII来管理Greenplum。 Greenplum架构: Master介绍 Greenplum的Master数据库也是一个被改造过的
0 码力 |
38 页 |
655.38 KB
| 1 年前 3
-
Greenplum 介绍 Greenplum 是全球领先的开源大数据平台,是能够提供包含实时处理、弹性扩容、混合负载、云 原生和集成数据分析等强大功能的大数据引擎。 著名分析机构 Gartner 2019 年报告中,在经典数据分析领域 Greenplum 全球排名第三,实时分 析领域全球排名并列第四。Greenplum 是两个领域中排名前十的产品中的唯一一款开源产品。 Greenplum 基于 MPP(大规模并行处理)架构构建,具有良好的弹性和线性扩展能力,并内置 并行存储、并行通讯、并行计算和优化技术。同时,Greenplum 还兼容 SQL 标准,具备强大、 高效、安全的 PB 级结构化、半结构化和非结构化数据存储、处理和实时分析能力,可部署于企 业裸机、容器、私有云和公有云中。值得一提的是,作为 OLAP 型的大数据平台, Greenplum 同 时还能够支持涵盖 OLTP 型业务的混合负载,从而帮助客户真正打通业务-数据-洞见-业务的闭环。 目前,Greenplum 已经为国内外各行各业客户所广泛使用,支撑着全球各大行业的核心生产系统, 其涉及领域涵盖金融、保险、证券、通信、航空、物流、零售、媒体、政府、医疗、制造、能源 等。其中,国际客户包括摩根斯坦利、摩根大通、美国国家税务局、美联储、三星、戴尔、福特、 爱立信等,
0 码力 |
3 页 |
220.42 KB
| 1 年前 3
-
Postgres Conference China 2016 中国用户大会 Postgres Conference China 2016 中国用户大会 Greenplum 5.0 and Roadmap Brian Lu Pivotal 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 Safe Harbor • “Any 中国用户大会 Greenplum is Growing Steady • Greenplum is Growing Steady – Operating in 34 countries globally – Customer count and revenue growing – Pivotal engineering investment growing – 9 Greenplum Database contribution growing – 1417 commits to the github repo of Greenplum in 2016 – 111 unique contributors on github repo of Greenplum in 2016 – Major Greenplum 5.0 release planned early 2017 2016Postgres中国用户大会
0 码力 |
27 页 |
2.66 MB
| 1 年前 3
-
Greenplum 架构概览 基本拓扑结构 如上图,我们可以认为 Greenplum(后简称 GP) 就是很多个 PostgreSQL 实例所组成的集群。GP 对外提供统⼀的数据接⼝,并帮助⽤户⾃动完成数据分⽚、并⾏ 查询与聚合等诸多分布式数据库功能 GP 是⼀种典型的 Master-Segment 架构,⼀个 GP 集群通常由⼀个 Master 节点、⼀个 Standby Master
0 码力 |
1 页 |
734.79 KB
| 1 年前 3
-
indd 3 16/11/23 下午5:46 Big Date 1123.indd 4 16/11/23 下午5:46 Greenplum 精粹文集 1 一、Greenplum 的前生今世 1. Greenplum 的起源 Greenplum 最早是在 10 多年前(大约在 2002 年)出现,基本上 和 Hadoop 是同一时期(Hadoop 约是 2004 年前后出现的,早期的 是需要软件来实现,Greenplum 正是在这一背景下产生的,借助于分 布式计算思想,Greenplum 实现了基于数据库的分布式数据存储和并 行计算(GoogleMapReduce 实现的是基于文件的分布式数据存储和 计算,我们会在后面比较这两种方法的优劣性)。 话说当年 Greenplum(当时还是一个 Startup 公司,创始人家门口有 一棵青梅 ——greenplum,因此而得名)召集了十几位业界大咖(据 平台上的分布 式并行计算,不依赖于任何专有硬件,达到的性能却远远超过传统高 昂的专有系统。 Big Date2.indd 2 16-11-22 下午3:38 Greenplum 精粹文集 3 大家都知道 Greenplum 的数据库引擎层是基于著名的开源数据库 Postgresql的(下面会分析为什么采用Postgresql,而不是mysql等等), 但是 Postgresql 是单实例数据库,怎么能在多个
0 码力 |
64 页 |
2.73 MB
| 1 年前 3
-
Greenplum中文社区 https://cn.greenplum.org 博文 · 资料 · 文档 · 项目 Greenplum内核揭秘之排序算法 5 ● 内排序算法 ● 外排序算法 ● Greenplum TupleSort ● 排序在Greenplum中的应用 Outline 6 ● 冒泡排序 ● 插入排序 ● 快速排序 ● 堆排序 ● 基数排序 内排序算法 38 TupleSort 39 ● 多键排序是Greenplum特有的一种排序方式,它的优势主要是对具有相同前缀 的字符串进行高效排序。 ● 在现实世界里,拥有相同前缀的字符串是非常常见的,比如URL都以https://为 前缀,每个具体站点也拥有自己的前缀,比如Greenplum站点的每篇文章都以 https://cn.greenplum.org/为前缀。对这些字符串进行排序的时候,多键排序优 Motion 排序在Greenplum中的应用 43 ● Greenplum的聚集节点使用两种聚集方式:哈希聚集和分组聚集。 ● 分组聚集应用了排序的思想,如果数据基于分组键有序,那么聚集可以拆解为 若干个朴素聚集的组合。 ● SELECT avg(score) FROM student GROUP BY grade; 分组聚集 44 ● Greenplum连接算法包括:嵌套循环连接,哈希连接和归并连接。
0 码力 |
52 页 |
2.05 MB
| 1 年前 3
-
iclrudpB 罗
罗
罗_
<
B Database
本EMPP
基灿异并行计算) 的云原生虚拟数仓
产品白皮书
ENRANSGenpPie.com
20230penPieAIIRight Reserved,
Openpie | PiecloudDB 基于eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书
行业背景
数据量的爆发式增长
数据库的未来在云上
传统数仓的痛点 提供的可视化平台,帮助企业更方便地梳理维护角色授权。安全性上支持端到端的访问控制管理
和证书管理。
* 完善的数据生态
PieCloudDB 兼容 PostgreSQL/Greenplum 生态组件,兼容大部分现有的 PostgreSQL/Greenplum 客户端,商务智能
{BI) 和 ETL组件。并且,PieCloudDB 正在加速构建更加完善的数据生态体系,通过创建生态工具、建立合作伙伴生
态网络、打造 ,2018
加 htps//wwwgartnercom/en/newsroom/press-releases/2019-07-01-gartner-says-the-future-of-the-database-
marketis-the
16
0 码力 |
17 页 |
2.68 MB
| 1 年前 3
-
年象行中国(杭州 站)第一期
Greenplum备份恢复浅析 姓名:张文杰 邮箱:zhuodao.zwj@alibaba-inc.com 公司:阿里云 2017 年象行中国(杭州 站)第一期
Greenplum数据备份恢复: 1. 数据量较大 2. 不能完全使用Xlog日志备份 3. 需要保证数据完整性和一致性 2017 年象行中国(杭州 站)第一期
Greenplum提供了: 1. 非并行备份和恢复: 年象行中国(杭州 站)第一期 并⾏备份和恢复 gpcrondump gpdbrestore 2017 年象行中国(杭州 站)第一期 gpcrondump⽤法(1/3) gpcrondump -x
database_name [-s
| -S | -t . | -T .] [--table-file= triggers, primary key constraints等数据 库对象,master产生的全局对象包含角色和表空间等 2. Regular files 包括各类辅助文件,例如存储着create database语句的文 件,备份状态报告文件等 其中最核心的每个segment的数据文件,命名格式如下: xxx_gp_dump_0_2_20170206160253.gz 其中XXX表示用户定义的文 0 码力 |
17 页 |
1.29 MB
| 1 年前 3
-
Service Mesh的延伸
之论道Database Mesh
分享人:张亮
日期:2018年07月25日Service Mesh风头正劲Service Mesh产品多样化Service Mesh的优势
云原生
零入侵
可观察性
面向运维服务化之后,数据库怎么办?
服务
• 无状态
• 根据规则路由
• 业务方处理事务
数据库
• 有状态
• 根据SQL路由
• 数据库自动处理事务数据库的进化趋势
• SQL
• ACID+BASE
• 分布式
NewSQLNewSQL的分类
New Architecture
Transparent Sharding Middleware
Database-as-a-Service
What's Really New with NewSQL?数据库中间层的优势
系统
•事务
运维
• DBA
开发 • SQL数据库中间层应具备的能力 Sidecar
数据库
任意
单一
单一
连接数
高
低
高
异构语言
仅Java
任意
任意
性能
损耗低
损耗略高
损耗低
无中心化
是
否
是
静态入口
无
有
无
Sidecar的优势Database Mesh架构图Sharding-Sphere
核心功能
数据分片
分布式事务
数据库治理
弹性伸缩
管控界面
实现方案
Sharding-JDBC
Sharding-Proxy
Sharding-Sidecar
0 码力 |
35 页 |
4.56 MB
| 6 月前 3