载、PG内核 • 强大的灵活性、可扩展：PL/X、Extension、PXF、外部表机制 • 完善的标准支持：SQL、JDBC、ODBC • 集成数据平台：BI/DW、文本、GIS、图、图像、机器学习 • 开放源代码，持续大力投入 • 敏捷方法学：快速迭代、持续发布、质量内建 • 企业级稳定性，成熟生态系统 2017.thegiac.com Greenplum: PL/X：各种语言实现自定义函数（存储过程） • MADLib: 数据挖掘、统计分析、图（Graph）等算法 • GPText：文本检索和分析 • GeoSpatial：地理信息数据分析 • Image: 图像数据分析 Greenplum 机器器学习⼯工具集 2017.thegiac.com Greenplum Procedure Language PLPython, PLR 2017.thegiac 现有数据分析流程 繁琐，速度慢，有 很多⼿手动步骤，易易 出错 客户 数据科学解决⽅方案 ● 某⼤大型跨国多元 化传媒和娱乐公 司 ● 简化Data 流程 ● 在Madlib上重新建 模和预测 ● 实现流程全⾃自动化 背景 2017.thegiac.com 数据源 • 客户数据 - 购买 - 预定 - 营销 - 在线注册 - ⽹网⻚页浏览历史

堆排序 2 5 8 1 3 6 9 1 9 5 2 8 3 6 13 ● 重新建堆 堆排序 8 5 6 1 3 2 9 1 9 5 8 6 3 2 14 ● 移除堆顶元素 堆排序 2 5 6 1 3 8 9 1 9 5 2 6 3 8 15 ● 重新建堆 堆排序 6 5 2 1 3 8 9 1 9 5 6 2 3 8 16 ● ● 移除堆顶元素 堆排序 3 5 2 1 6 8 9 1 9 5 3 2 6 8 17 ● 重新建堆 堆排序 5 3 2 1 6 8 9 1 9 3 5 2 6 8 18 ● 堆只剩一个元素 堆排序 1 2 3 5 6 8 9 5 9 2 1 3 6 8 19 ● 移除堆顶元素，完成排序 堆排序 1 2 3 5 6 8 9 5 9 2 1 整堆，使其有 序。 ● 4. 如果新元组排序键小于lastkey，将该元组放入堆尾，并将堆的大小减1。 ● 5. 重复第2步，直至堆大小变为0。 ● 6. 顺串生成完毕。将堆大小重置为N，并重新建堆。重复第2步，开始生成下一 个顺串。 替换选择算法 25 ● 问题二：合并阶段假设存在N个输入缓冲区，如何高效的比较N个输入缓冲区的 最小值，并输出到输出缓冲区？ 归并排序的三个问题 26

条件中的列创建索引。 7. 避免创建冗余的索引：如果索引开头⼏列重复出现在多个索引中，这些索引就是冗余的。 � 8. 在⼤量数据加载时，删除索引：如果要向表中加载⼤量数据，考虑加载数据前删除索引，加载后重新建⽴索引的⽅法。这样的操作通常⽐带着索引加载要快。 9. 考虑聚簇索引：聚簇索引是指数据在物理上，按照索引顺序存储。如果您访问的数据在磁盘是随机存储，那么数据库就需要在磁盘上不断变更位置读取您需要的数据。如果数据更加紧 pg_size_pretty ---------------- 2126 MB ⽅法三：创建新表，导⼊数据 ⽅法三：创建新表，导⼊数据 CREATE TABLE...AS SELECT 命令把该表拷⻉为⼀个新表，新建的表将不会出现膨胀现象。然后删除原始表并且重命名拷⻉的表。 参考： https://gp-docs-cn.github.io/docs/best_practices/bloat.html https://docs 接着，便进⼊了解释器的新建⻚⾯，如下图： 接⼊第三⽅ BI ⼯具 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 156/206 输⼊解释器的名字（可任意），解释器分组选择jdbc。 保留并修改上图中连接数据仓库的配置参数，点选action下⾯的“x”删除其他⽆关参数。然后点击“Save”按钮，保存设置。 2）创建笔记 现在，你可以新建笔记来测试该Interpreter了。

始化GP系统初期可以连接到该库，在没有明确指定模版的情况下创建新的数据库将缺 省使用该DB作为模版，除非你希望之后创建的DB包含你所创建的对象，不然的话，不 要在该DB中创建任何对象。 除了template1之外，每个新建的GP系统还包含另外两个模版template0和 postgres，这两个DB是系统内部使用的，最好不要删除或者修改。template0模版 Greenplum Database 管理员指南 V6 存储选项只能在CREATE TABLE时指定，包括Heap和AO的选择，压缩的选择，行 和列的选择等，CREATE TABLE时WITH子句中的属性都只能在CREATE TABLE时指定。 要修改这些属性，必须采用重新建表的方式进行，即，按照预期的属性设置，创建一张 新表，把数据插入新表，删除旧的表，修改新表的名称为旧的表名。另外，还需要重建 权限和依赖关系，假如旧的表上有视图，则需要先删除视图，等修改了表名之后再重建 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 139 - 5、 因为需要交换的分区有多个，因此，需要删除外部表中需要交换的分区，再重新建 立一个跨度更大的分区： =# ALTER TABLE sales DROP PARTITION FOR(2015); =# ALTER TABLE sales DROP PARTITION

成为了数据平台的万向头，向上可以连接各种 BI 工具、可视化工具和数据分析工具， 向下可以连接各种 ETL 工具、各种数据源和各种格式的数据等。 ● 集成数据分析平台：支持商业智能（BI）、文本、GIS、图、图像等。流式支持也在开发 中。通过 Pivotal 开源的 Apache 顶级项目 MADlib，Greenplum 可以在数据内部运行 50 多种数据分析和机器学习算法。MADlib 提供 SQL

东方航空:航线结算分析 • 民族证券:数据中心，证券投资分析 • 北京第二外语大学：图书分析 • 中信银行：信用卡分析 • 深发展银行：数据中心兼ODS • 李宁公司：销售和库存分析 • 公安部：图像分析 • 国家海洋局：海洋数据采集与分析 • 上海安吉物流：收入&市场分析、客户经理跟踪分析 • 中远集团：收入、发展、销售分析 案例分享（征途游戏） • 现有运行平台 – 服务器平台：SUN

clion 调试器console显示类似 “Debugger attached to process 38965” 的消息，则表示进程 attach成功，可以使用 clion进行调试了。 通过图像化窗口定位到 “ExecProcNode” 函数，通过单击下图的小红圈处，即可设置断点在 ExecAgg() 调用处。 执行 SELECT count(*) FROM students

进行机器学习、深度学习和图分析），它支持高并行 和基于 GPU 的深度学习模型训练，内置于集群硬件中的 GPU，能帮助 Greenplum 6 的用户获得超过 CPU 2 个数量 级的性能加速，尤其对于可预测的分析用例和图像识别，这些功能将展现奇效。支持在 Apache Solr 数据库内实施 GPText 完成索引和搜索功能，其中包含用于国际文本和社交媒体文本的自定义分词器和一个通用查询处理器（可接 受来自支持的