Greenplum 精粹文集26 Master 节点推荐采用硬件规格如下:两块万兆网卡(一般多为单网卡 双网口)用于内部互连,1-2 块千兆网卡用于带外管理和接入客户网 络,内存 DDR4 64GB 以上(推荐 256GB), 硬盘 6 块(600GB 或 900GB 10K RPMSAS 盘,采用 RAID5 或者 RAID10,需要预留单独 的 hotspare 盘),CPU 2 路 8 核及以上(主频 2.5G HZ 以上),1 Segment 节点推荐采用硬件规格如下:两块万兆网卡(一般多为单网 卡双网口)用于内部互连,1-2 块千兆网卡用于带外管理和接入客户 网络,内存 DDR4 64GB 以上(推荐 256GB), 硬盘 24 块(600GB 或 900GB 10K RPM SAS 盘,采用 RAID5 或者 RAID10,需要预留单 独的 hotspare 盘),CPU 2 路 8 核及以上(主频 2.5GHZ RAID 卡(单块 RAID 卡的 cache 大小 1GB 以上,并带有掉电保护 功能,RAID 卡应为多通道,目前接触的硬件厂商中,单通道支持的最 大磁盘数为 16 块) ·硬盘尽量选 用 SAS 盘,从实践经验看,硬盘故障是 Greenplum 集群中最为常见的故障类型,而 SAS 盘相比 SATA 盘在性能和稳定 性上都明显的高于 SATA 盘 。 ·RAID 卡一定要带 cache,否则做完0 码力 | 64 页 | 2.73 MB | 1 年前3
Greenplum Database 管理员指南 6.2.1........................................................................................ - 31 - 如何添加时间约束 .............................................................................................. ...................................................................................... - 349 - 准备并添加新的计算节点主机 ...................................................................................... - 349 Master 镜像 网络层冗余 Instance 镜像 在部署 GP 系统时,可以选择配置 Mirror,如果初始化时没有配置 Mirror,后 期也可以再次添加 Mirror,当然,如果要删除已有的 Mirror 也是可以的,不过需要 手动操作,因为 GP 并未提供删除 Mirror 的标准命令,删除 Mirror 的操作,对于 6 版本来说,和 4 版本与0 码力 | 416 页 | 6.08 MB | 1 年前3
深度揭秘Greenplum开源数据库透明加密用户数据存在直接暴露的风险 • 非部门员工运维(原厂,主机厂或者合作伙伴) • 事后审计难度很大 • 服务器数据被盗(托管或云部署) 用户的问题 现有解决方案 基于操作的系统的硬盘加密 • 只能防范服务器硬盘被盗 • 对运维安全无能为力 基于pgcypto的加密 • 可以满足数据安全要求 • 非原生方案 • 问题很多 基于pgcypto的数据加密方案 pgcypto Pos0 码力 | 48 页 | 10.19 MB | 1 年前3
Greenplum 新一代数据管理和数据分析解决方案X4500两台,每台含2路dual-core CPU 共4core, 16GB;SUN X4200一台,2路dual-core CPU 共4core,8GB – 存储平台:每台X4500中各48块500GB硬盘,共96 * 500GB – 网络平台:每台X4500和X4200上各有4块千兆网卡 – 软件平台:Solaris 10 + GreenPlum v3.1 Beta – 应用软件:SQL语句 快速的找到相近产品 • Existing Solution • Oracle • Facts • 6台华为-赛门铁克T3500服务搭建数据库阵列 • 每台T3500服务器可以自带24TB硬盘 • 每台服务器含有两个四核的CPU(8 Intel X5560) • 每台机器含有32GB内存 • 每台机器配置6个千兆网口 • Raid10 • Solaris 10 网站日志 交易数据0 码力 | 45 页 | 2.07 MB | 1 年前3
Pivotal Greenplum 最佳实践分享all_hosts--通过SC[同时拷贝文件到多个节点 – Ex: gpscp -f host_file installer.tar =:/ gpcheckperf--检查网络和硬盘性能(/etc/ssh/sshd_config#MaxStartups 10:30:100) – 检查Disk性能: gpcheckperf -f hosts-setup -d /data1 xlog日志等,需要说明的是,未得到support同意,不要用pg_resetxlog去修復xlog,否则可能导致数据不一致; 故障机器隔离 当发现有机器本身有故障,例如经常性自动重启、硬盘问题时,可以将机器进行隔离(关闭),Primary将自动切换到Mirror节点; Vacuum系统表,修改错误page 如果系统表有故障,或者发现对系统表的操作(select count(*)from0 码力 | 41 页 | 1.42 MB | 1 年前3
Greenplum 分布式数据库内核揭秘©2021 VMware, Inc. 13 Greenplum 支持多态存储,即单张用户表,可以根据访问模式的不同而使用不同的存储方式存储 不同的分区。例如根据数据的新、旧程度决定将数据存储至本地硬盘还是以外部表的方式存储在 HDFS 或者是 S3 中。Greenplum 提供以下存储方式: l 堆表 (Heap Table):默认存储方式,同时也是 PostgreSQL 的默认存储方式。支持高效的更新0 码力 | 31 页 | 3.95 MB | 1 年前3
Greenplum数据仓库UDW - UCloud中立云计算服务商Copyright © 2012-2021 UCloud 优刻得 17/206 yum install postgresql-jdbc.noarch –y Windows 环境下 JDBC 驱动,将 jar 添加到⼯程的 BUILD PATH。 ⽰例程序1,java连接UDW,执⾏建表,插⼊操作 PostgreSQLJDBC1.java import java.sql.Connection; import greenplum_client_path.sh 修改UDW_HOME(export UDW_HOME= client安装⽬录)(如/root/greenplum-client) 3) 使配置⽣效 在~/.bashrc中添加如下配置 source /data/greenplum-client/greenplum\_client\_path.sh 执⾏ source ~/.bashrc 备注:/data/gree udw_client_path.sh,修改 UDW_CLIENT(export UDW_CLIENT= client安装⽬录)(如/root/udw-client) 3)使配置⽣效在~/.bashrc中添加如下配置 source /data/udw-client/udw_client_path.sh 执⾏: source ~/.bashrc 备注:/data/udw-client是udw-client的安装路径0 码力 | 206 页 | 5.35 MB | 1 年前3
Greenplum 6新特性:
在线扩容工具GPexpand剖析他辅助工具,如gpstart,gpstop,gpactivatestandby一样,是一个 用python写的命令行脚本。 GPExpand简介与具体用法 • GPExpand工作流程 – 建立并添加新节点 – 数据重分布 GPExpand简介与具体用法 • 增加新节点 – gpexpand –i 配置文件 • 数据重分布 – gpexpand • 清理 – gpexpand -c 6中GPExpand的改进与实现 • 在线不停机 • 数据重分布优化 • 并行的优化 改进与实现 • 如何做到不停机 – 增加新节点只要在gp_segment_configuration里添加新节点信息即可 – 新节点以Master为模板生成,只包含catalog,没有数据 改进与实现 • 问题 – 生成模板的过程中,如果catalog被修改怎么保证一致性 改进与实现 • 问题0 码力 | 37 页 | 1.12 MB | 1 年前3
Pivotal Greenplum 5: 新一代数据平台生产品。PostgreSQL 规划器最初是为单节点 PostgreSQL 设计的,更适用于 OLTP 查询,而不是分析数据平台中长时间运 行的查询。尽管具有精心设计的连接排序之类的功能,但架构和设计选项导致维护和添加新功能变得越来越难。1 2010 年底,Greenplum 开始在内部开发一款新型查询优化器,并在 Greenplum 4.3.5 版中首次推出,名为 GPORCA。 GPORCA 能够针对分析数 类型可用于存储和处理不限长度的可变 JSON 数据,新 增了用于查询和解析 JSON 记录的内置函数。与 JSON 类似,HSTORE 可用于在数据库中存储和查询半结构化数据。 Greenplum 中添加的全新 PostgreSQL 9.1 函数和 SQL 命令增强了对 XML 的支持。这些新数据类型及相关函数有助于打造 一个没有孤岛的环境,结构化、半结构化和非结构化数据均可在一个位置进行存储和分析。其他功能还有0 码力 | 9 页 | 690.33 KB | 1 年前3
并行不悖- OLAP 在互联网公司的实践与思考Greenplum开发规范 业务库表设计规范 • GP中表的范围 Ø 最大时间为年表 Ø 数据量小,可用单表 • 多种表类型 Ø 堆表 (选好常用列作为三列键) Ø 分区表 (按照 yyyymmdd 分区,建议都添加 datenum int8) Ø append表 Ø 列存储表 Ø 多种表类型结合 • 表的命名 Ø GP内所有名称都小写 Ø table_name命名要符合命名规则,做到见名知义 36 Greenplum开发规范0 码力 | 43 页 | 9.66 MB | 1 年前3
共 13 条
- 1
- 2













