Greenplum数据仓库UDW - UCloud中立云计算服务商值列。可以按天或者按⽉进⾏分析。 您可以通过指定起始值(START),终⽌值(END)和增量⼦句(EVERY)指出分区的增量值,让 UDW 数据仓库来⾃动地⽣成分区。默认情况下,起始值总是包含的(闭区间),⽽终⽌值是排除 的(开区间)。例如: 场景⼀:默认创建的分区表是heap表 CREATE TABLE p_store_sales( id int, date date, prices 以CentOS为例,具体操作过程如下: a) 下载JDK安装包(jdk-7u79-linux-x64.tar.gz),下载地址为: http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260.html。 创建JDK安装⽬录,并将安装包解压⾄该⽬录: mkdir /usr/java tar zxvf 获取Zeppelin 下载地址:http://zeppelin.apache.org/download.html 选择⼆进制安装包,这⾥以zeppelin-0.6.2-bin-all.tgz为例。 3)安装Zeppelin 安装Zeppelin只需如下命令解压⼆进制安装包即可: tar zxvf zeppelin-0.6.2-bin-all.tgz 启动Zeppelin: cd /data/zeppelin-00 码力 | 206 页 | 5.35 MB | 1 年前3
Greenplum Database 管理员指南 6.2.1长期驻场支持,有临时的功能支持,甚至可能会作为用户看不见的后端支持,总之,我 们的目标是,努力解决用户的一切不违背自然规律的诉求,我们跟随着 Greenplum 的 成长,见证了 Greenplum 从闭源到开源的成长历程,一路给 Greenplum 做各种补丁 脚本,也看到了 Greenplum 的大幅进步,甚至我们以前的小技巧也不再需要,持续的 进步,带来的是生态的蓬勃发展。 Greenplum 的安装部署要求,必须使用万兆 网络作为内部互联网络,否则,一定会遭受很多网络方面的困扰。 在缺省情况下,网络层使用 UDPIFC 协议。这是经过改善的 UDP 协议,在 UDP 协 议的基础上增强了数据包校验,其可靠性与 TCP 协议相似,但其性能和扩展性远好于 TCP 协议。当集群规模较小,同时,网络的稳定性较差的时候,如果 UDPIFC 协议不 稳定,可以考虑使用 TCP 协议,例如只有几十台主机时。通常,还是强烈建议配备稳 在 6 版本开始支持 Column 级别的权限管理,如果要控制 Column 级别的权限, 可以在 Grant 的时候列出 Column 的名称,缺省在不列出 Column 名称的情况下,包 含全部字段的权限。例如: =# GRANT SELECT(col1) on TABLE mytable TO jsmith; 还可以通过 DROP OWNED 和 REASSIGN0 码力 | 416 页 | 6.08 MB | 1 年前3
完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum支持适用于数据挖掘和数据科学工作的最 全面、最先进的分析程序包和扩展。Greenplum 还针对最受欢迎的 Python 和 R 语言算法库提供简单易用的安装程 序,包括 Tensorflow、NumPy、SciPy、XGBoost、BeautifulSoup、lxml、Keras 和 PyMC3 等 Python 语言算法 库和程序包和 BH、DBI、MASS、MCMCpack、Matrix、 R2jags、R6、RColorBrewer、ROCR、RPostgreSQL、 Rcpp、RcppEigen、RobustRankAggreg 等 R 语言算法库和程序包。 此外,Greenplum 还支持最新版 Apache MADlib(可用 SQL 进行机器学习、深度学习和图分析),它支持高并行 和基于 GPU 的深度学习模型训练,内置于集群硬件中的 GPU,能帮助 Greenplum 数据库内实施 GPText 完成索引和搜索功能,其中包含用于国际文本和社交媒体文本的自定义分词器和一个通用查询处理器(可接 受来自支持的 Solr 查询处理器的采用混合语法的查询)。PostGIS 程序包是 PostgreSQL 的空间数据库扩展,可让地 理信息系统 (GIS) 对象存储在数据库中。Greenplum PostGIS 扩展包括支持使用基于 GiST 的 R 树空间索引和函数分 析和处理0 码力 | 17 页 | 2.04 MB | 1 年前3
Pivotal Greenplum 5: 新一代数据平台分析功能,还是以大规模并行方式构建数据模型,都可以实现。Greenplum 5 支持适用于数据挖掘和数据科学工作的最全面、 最先进的分析程序包和扩展。 Greenplum 5 还针对最受欢迎的 Python 和 R 语言算法库提供简单易用的安装程序。 • Greenplum 5 中支持的 Python 语言算法库和程序包有:Tensorflow、NumPy、SciPy、scikit-learn、Pandas、 NLTK、Pa 、Keras 和 PyMC3(Tensorflow 和 Keras 需要使用 RHEL 7 作为主机操作系统)。 • Greenplum 5 中 支 持 的 R 语 言 算 法 库 和 程 序 包 有:BH、DBI、MASS、MCMCpack、Matrix、R2jags、R6、 RColorBrewer、ROCR、RPostgreSQL、Rcpp、RcppEigen、RobustRankAgg 数据库内实 施 GPText 完成索引和搜索功能,其中包含用于国际文本和社交媒体文本的自定义分词器和一个通用查询处理器(可接受 来自支持的 Solr 查询处理器的采用混合语法的查询)。PostGIS 程序包是 PostgreSQL 的空间数据库扩展,可让地理信息 系统 (GIS) 对象存储在数据库中。Pivotal Greenplum PostGIS 扩展包括支持使用基于 GiST 的 R 树空间索引和函数分析和处0 码力 | 9 页 | 690.33 KB | 1 年前3
Greenplum 精粹文集Master 机制进行保证)。 再进一步看,Master-Slave 架构在业界的大数据分布式计算和云计 算体系中被广泛应用,大家可以看到,现在主流分布式系统都是采 用 Master-Slave 架 构, 包 括:Hadoop FS、Hbase、MapReduce、 Storm、Mesos...... 无一例外都是 Master-Slave 架构。相反,采用 MultipleActive Master 的软件系统,需要消耗更多资源和机制来保证 不仅业务分析人员无法使用,甚至技术人员也难以学习和操控。为 了解决易用性的问题,近年来 SQL-0N-HADOOP 技术大量涌现 出来,几乎成为当前 Hadoop 开发使用的一个技术热点趋势。 这 些 技 术 包 括:Hive、Pivotal HAWQ、SPARK SQL、Impala、 Prest、Drill、Tajo 等等很多,这些技术有些是在 Mapreduce 上做 了优化。例如 Spark 采用内存中的 plpgsql。建议你在 plperl 中使用 qq{} (double quote) 来表示多 行字符串,其中可以直接使用各种变量表达式。如果你愿意,你还可 以把一些通用函数包装起来,打个 pm 包放到 perl 的系统目录中,然 后你的 function 就很美观了。同时,你还可以很容易的使用 eval 以 及 elog(level,msg) 打 出 DEBUG, LOG, INFO, NOTICE0 码力 | 64 页 | 2.73 MB | 1 年前3
Greenplum 编译安装和调试3. 从 Utilities 菜单选择 Terminal 4. 执行 csrutil disable 5. 重启操作系统 // 安装Greenplum管理脚本依赖的 Python 包 $ wget https://bootstrap.pypa.io/get-pip.py $ sudo python get-pip.py $ sudo pip install psutil lockfile 模式,显示每个执行的命令以及其结果。 遇到的一个问题报错如下: unable to import module: No module named psutil 原因是 psutil 这个python包没有安装,但是使用 python 验证,发现已经安装了。 而使用 ssh 验证发现使用了不同路径的 python。 2.2.8 小技巧 Greenplum使用 Bash 和 Python 脚0 码力 | 15 页 | 2.07 MB | 1 年前3
Greenplum 新一代数据管理和数据分析解决方案结算 ODS Export 文 本 Query (oracle native driver) BO前端 呼叫 中心 航线 分析 其他 ETL ETL ETL 原有数据仓 库部分(包 括EDW, DM, ODS。不含 结算ODS ) Query (ODBC) Load Universe Universe $0.00 $500,000.00 $1,000,000.000 码力 | 45 页 | 2.07 MB | 1 年前3
共 7 条
- 1













