PostgreSQL, HAWQ) 底层抽象层 (数组操作、类型转换、数值计算库等) 数据库内建函 数 ⽤用户接⼝口 ⾼高层抽象层 (迭代控制器器) 内循环函数 (实现机器器学习逻辑) Python SQL C++ MADlib 架构 2017.thegiac.com • 是一种由搜索引擎根据网页之间相互的超链接计算的技术，而作为网页排名的要素之一，以Google 成对相关性 删除⾼高度相关变量量 逻辑回归 计算 KS 分值 模型验证 ⼿手动预测 1 2 3 4 5 6 7 8 原始⼯工作流程 2017.thegiac.com 数据整理理 特征⽣生成 验证 预测 信息价值 ⽅方差膨胀 因⼦子 成对相关性 逻辑回归 Elastic Net 特征选择 excel ● 在 GPDB 中花 58 秒计 算 ~200 个变量量的IV 13.7x/变量量 建模 ● < 50 个变量量，运⾏行行⼀一 次逻辑回归迭代需要 ~30 分钟 ● 376 个变量量，运⾏行行⼀一次 逻辑回归迭代需要 ~1.86 分钟 ~16x/迭代 ⼯工作流程优化 2017.thegiac.com 原始模型 改良后的模型 ● 模型精确度

版本早该淘汰了，5 版本和 6 版本都带来了极大 的性能和稳定性的提升。 声明 本文档的版权归[陈淼]个人所有，未经许可和授权不得抄袭和引用。 本文档中的绝大部分内容都经过编者重新考量和实测验证，有些观点与官方手册有 出入，仅代表编者本人观点，与官方手册无关。本书中可能会提及一些非官方的命令和 工具等，仅用于讲解相关知识，如有缺失相关细节的情况，请谅解。 致读者 如果您 ......................................................................................... - 125 - 验证分区策略 .............................................................................................. ......................................................................................... - 197 - 验证查询是否使用了 Orca ................................................................................... - 198

义函数（UDF）（我个人是 Python 和 C 的 fans，后续章节与大家分享）。 这些自定义函数部署到 Greenplum 后可用充分享受到实例级别的并行 性能优势，我们强烈建议用户将库外的处理逻辑，部署到用 MPP 数 据库的 UDF 这种 In-Database 的方式来处理，你将获得意想不到的性 能和方便性；例如我们在某客户实现的数据转码、数据脱敏等，只需 要简单的改写原有代码后部署到 GP Madlib（开源挖掘算法）、 SAS algorithm、R 都是通过 UDF 方式实现在 Greenplum 集群中分布 式部署，从而获得库内计算的并行能力。这里可以分享的是，SAS 曾 经做过测试，对 1 亿条记录做逻辑回归，采用一台小型机耗时约 4 个 多小时，通过部署到 Greenplum 集群中，耗时不到 2 分钟就全部完成 了。以 GPEXT 为例，下图展现了 Solr 全文检索在 Greenplum 中的并 数据库的几十分之一甚至几百分之一，下图是基于 MapReduce 的 Hive 和 Greenplum MPP 在 TPCH 22 个 SQL 测试性 能比较：（相同硬件环 境下） 某国内知名电商在其 数据分析平台上做过 验证：同样的硬件条 件下，MPP 数据库比 Hadoop 性 能 快 12 倍 以上。 Big Date2.indd 14 16-11-22 下午3:38 Greenplum 精粹文集

版本。该版本为企业级用户提供一个安全稳定可靠的 操作系统。 openEuler 也是一个技术孵化器。通过每半年发布一次的创新版，快速集成 openEuler 以及其他社区的最新技术成 果，将社区验证成熟的特性逐步回合到发行版中。这些新特性以单个开源项目的方式存在于社区，方便开发者获得源代 码，也方便其他开源社区使用。 社区中的最新技术成果持续合入发行版，发行版通过用户反馈反哺技术，激发社区创新活力，从而不断孵化新技术。 络访问受限，无法连接回 Greenplum 数据库或 打开任何其他外部连接。 集成分析：改进后的全新分析接口 一直以来，客户都能在 Greenplum 中做高级分析，无论是提供将应用逻辑向下推送至数据所在位置的方法，执行分 析功能，还是以大规模并行方式构建数据模型，都可以实现。Greenplum 支持适用于数据挖掘和数据科学工作的最 全面、最先进的分析程序包和扩展。Greenplum 和软件包引入欧拉开源社区软件仓库后，Greenplum 中文社区开发者还针对引入的欧拉开源操作系统 版本做了功能性验证和测试，测试结论如下： GreenplumDB 6.17.0 版本本次测试，共计执行回归用例 930 个，其中核心数据库引擎用例 534 个，隔离级别用例 240 个，失败 1 个(疑似虚机资源问题)。其它功能测试若干，手动验证用例 2 个（SSL 工具版本问题），管理工具脚 本用例 455 个。整体质量良好。

ZLIB 的压缩级别 compresslevel 取值从1到9，⼀般选择5已经⾜够了。 压缩表的应⽤场景：业务上对表进⾏更新和删除操作⽐较少，⽤ truncate＋delete 就可以实现业务逻辑。不经常对表进⾏加字段或修改字段类型，对 ao 表加字段⽐普通表慢很多。 创建⼀个使⽤ ZLIB 压缩的⾏压缩表： CREATE TABLE rowCompressTable( a int, 从ufile加载数据 加载数据 为了⽅便 ufile 数据导⼊到 udw，我们提供了 ufile 外部表，导⼊数据到 udw，使⽤⽅法请参考：ufile数据导⼊到udw 6、分区表 、分区表 分区表在逻辑上把⼀个⼤表切割成⼩表，分区表可以优化查询性能、在查询的时候只查询部分分区的内容。另外分区表可以很⽅便的让数据仓库把⼀些⽐较⽼的数据移出数据仓库。 ⽬前udw⽀持的分区表类型有： range分区 2012-2021 UCloud 优刻得 154/206 bin/zeppelin-daemon.sh start 第⼀次启动Zeppelin，输出如下： 这说明Zeppelin已经部署成功。 4）验证 Zeppelin 默认启动在 8080 端⼝，在浏览器中访问 Zeppelin 主⻚，访问地址是: http://your_host_ip:8080/，你将看到类似如下的⻚⾯。 Zeppelin

PostgreSQL数据库，它包含了整个分布 式数据库中的 所有元数据，如表结构定义、索引等等。但其并不存储 实际的数据，实际的数据是存储在segment 数据库 的。 master服务器接受从用户发来的连接，并做用户验证， 接收用户发来的sql，生成分布式执行计划，再把分布 执行计划分发到segment上执行，接收segment返回的 数据，最后返回给用户。 Greenplum架构: Segment介绍 要让原先已offline的节点再加入集群中，需要重启集 群。 Greenplum中的高可用方案 对于Greenplum 3.X的版本，segment 的primary与 mirror之间是做的逻辑同步，mirror端的数据库实际上 也是可以读写的。而Greenplum4.0版本后，primary与 mirror实际上是物理同步，这时mirror一直处于恢复状 态，不能读也不能写。 高可用之Master

初始化Greenplum 集群 $ source env​.​sh $ gpinitsystem ​-​c gpinitsystem_config ​-​a # step 5. 初始化成功后，运行下面命令验证系统状态 $ psql ​-​l $ gpstate # step 6. 简单测试 $ createdb test $ psql test test​# CREATE TABLE t1 遇到的一个问题报错如下： unable to import module: No module named psutil 原因是 psutil 这个python包没有安装，但是使用 python 验证，发现已经安装了。 而使用 ssh 验证发现使用了不同路径的 python。 2.2.8 小技巧 Greenplum使用 Bash 和 Python 脚本初始化集群和管理集群。可以通过在合适的地方设置日志或 者

postgresql体系结构 11 greenplum体系架构 postgresql体系结构 • pg结构组成 Ø 连接关系系统 Ø 编译执行系统 Ø 存储执行系统 Ø 事务系统 Ø 系统表 • pg逻辑和物理结构 Ø instance实例 - user - tablesapce Ø database - schema - table,view,function - data row Ø 物理文件 Greenplum现状说明 三大Greenplum集群关系 • 数据来源不同 • 数据处理不同 • 时效速度不同 • 体系架构相同 • 年表划分相同 • 平台整体定位 • 定位不同，多集群配合形成逻辑大集群 20 Greenplum现状说明 Greenplum多层业务规划图 21 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 全量，id列增量，date列增量 Ø datax,csv,load,copy Ø 数据同步结果确认与显示 • 数据同步方式 Ø gpfdist+外部表 ： UMGW大表 Ø db_sync同步程序 ： 底层库 + 同步逻辑 + Django界面 Ø 临时同步需求： datax , copy 29 Greenplum运维体系 数据库数据传输与同步-db_sync 30 Greenplum运维体系 数据库数据传输与同步-db_sync

Vacuum vacuum不做任何操作 vacuum full重建索引 Confidential │ ©2021 VMware, Inc. Brin Storage Revmap是一个逻辑上的数组，数组下标代表BlockNumber Revmap的value是TID，指向存储有最大最小值的tuple Confidential │ ©2021 VMware, Inc. 目录 数据格式，适用于较少进行 Update/Delete的场景 Tuple以紧凑的方式存储在变长 的Block中，所以Block在写入磁 盘后不能修改，只能向后追加新 的Block 为了实现并发Insert，每个AO表 逻辑上有128个AoSeg，每个事务 向一个特定的AoSeg追加数据 16 Confidential │ ©2021 VMware, Inc. Brin Scan For Heap And AO

Query Results Planer calculating key Data (Encrypted) Data (decrypted) pgcypto pgcypto的问题 改变原有查询逻辑 • 不兼容现有查询语句 • 不兼容ETL工具 性能低 • 不支持索引 • 优化器无法使用，需要全表扫描 局限性高 • 多表关联查询需要先全表解密 • 只能加密表数据 pgcypto的问题 Data (Encrypted) Data (Decrypted) 总结 总结 • 高性能 • KMS保证秘钥安全性 • 对用户查询和数据库完全透明 • GPDB原生 • 不改变现有工作逻辑 对于现有方案的优势 pgcypto的问题 一款开源的HTAP数据库: • MPP架构 • 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 • 支持PB级文件 • 丰富的ETL和外部组件