2017.thegiac.com www.top100summit.com Greenplum机器器学习⼯工具集和案例例 姚延栋 Pivotal 研发技术总监 2017.thegiac.com • Greenplum ⼤大数据平台 • Greenplum 机器器学习⼯工具 • Greenplum 机器器学习案例例 ⼤大纲 2017.thegiac.com Greenplum: 机器学习工具集 2017.thegiac.com • PL/X：各种语言实现自定义函数（存储过程） • MADLib: 数据挖掘、统计分析、图（Graph）等算法 • GPText：文本检索和分析 • GeoSpatial：地理信息数据分析 • Image: 图像数据分析 Greenplum 机器器学习⼯工具集 2017.thegiac.com 2017.thegiac.com 客户端 数据库服务器器 Master Segment 1 Segment 2 Segment n … SQL 存储过程 结果集 String 聚集 psql … 执⾏行行流程 2017.thegiac.com External Sources Load, streaming, etc.

较长，时间较久，研发的本 地化，使得沟通的效率大大提高。 GP 是一个纯软件实现的 MPP 数据库产品，采用 Share-Nothing 架构，可管理和 处理分布在多个不同主机上的大规模数据集。对于 GP 数据库来说，一个数据库集群是 由多个独立的 PostgreSQL 实例构成的，它们分布在不同的主机上，实例之间协同工 作，用户可以像使用一个普通的单机数据库那样，进行访问和执行 SQL 操作。其中 在 GP 系统中，Instance 才是承担数据存储和查询处理的角色。用户数据表和相 应的索引都分布在 GP 系统中各个 Instance 上，每个 Instance 存储着一部分数据 (对于复制表来说，每个 Instance 存储一份完整的数据，这是 6 版本新引入的分布策 略)，Instance 才是真正进行数据处理的地方。缺省情况下，用户不能跳过 Master 直接访问 Instance，而只能通过 可以在系统处于运行状态下被恢复回来。恢复进程仅仅复制失败期间发 生变化的增量差异，当然，如果失败时间太久或者因失败的 Instance 文件有损毁， 将需要全量恢复或者需要选择全量恢复。在 6 之前的版本，GP 的 Primary 和 Mirror 之间采用的是 filerep 的方式进行 block 级别的变化同步的机制，从 6 版本开始， 使用 WAL 复制，这将可以从根本上解决以往的 block 损毁被复制到 Mirror

.............................................................................. 10 Greenplum 集群多站点复制 .................................................................................................. 也将支持越来越多样 化的芯片和操作系统，特别是中国的本地化的芯片和操作系统： 图 1：Greenplum 纯中立支持主流芯片和操作系统 另外随着越来越多的客户将其生产数据集迁移到公有云中，这种灵活性将成倍增长。Greenplum 目前不但可在国外 的 Amazon Web Services、Microsoft Azure 和 Google 云平台上运行，也可以运行在国内云平台上，如阿里云、 选项来跳过对无法立刻被锁的表进行 VACUUM 和 ANALYZE l 可以使用--jobs 选项并行进行 VACUUMDB 和 VACUUM；也支持—skip-locked Greenplum 集群多站点复制 Greenplum 7 将实现集群之间的灾备相关的特性。众所周知，Greenplum 有 primary 和 mirror 节点，一旦主节点 出现故障，会用从节点来替代，但这仅限于一个数据中

，借助高速网络（当 时是千兆以太网）组建的 X86 集群在整体上提供的计算能力已大幅高 于传统 SMP 主机，并且成本很低，横向的扩展性还可带来系统良好 的成长性。 问 题 来 了， 在 X86 集 群 上 实 现 自 动 的 并 行 计 算， 无 论 是 后 来 的 MapReduce 计算框架还是 MPP（海量并行处理）计算框架，最终还 是需要软件来实现，Greenplum 正是在这一背景下产生的，借助于分 Postgresql 实例的高效协同和并行计算，Interconnect 承载了并行 查询计划生产和 Dispatch 分发（QD）、协调节点上 QE 执行器的并 行工作、负责数据分布、Pipeline 计算、镜像复制、健康探测等等诸 多任务。 在 Greenplum 开源以前，据说一些厂商也有开发 MPP 数据库的打算， 其中最难的部分就是在 Interconnect 上遇到了障碍，可见这项技术的 关键性。 Madlib、R 的支持也很好。这一点上 MYSQL 就差的很远，很多分 析功能都不支持，而 Greenplum 作为 MPP 数据分析平台，这些功 能都是必不可少的。 2) Mysql 查询优化器对于子查询、复制查询如多表关联、外关联的支 持等较弱，特别是在关联时对于三大 join 技术：hash join、merge join、nestloop join 的支持方面，Mysql 只支持最后一种 nestloop

致（或者是超集） CREATE TABLE products( product_no integer UNIQUE, name text, price numeric ) DISTRIBUTED BY (product_no); 主键约束：主键约束是唯⼀约束和⾮空约束的组合。要使⽤主键约束，表必须使⽤ Hash 分布策略，并且约束列必须和表的分布键对应的列⼀致（或者是超集）。如果⼀张表指定了主键约束， 索引后，性能得到了改善（和全表顺序扫描相⽐）。可以使⽤ EXPLAIN 命令来确认索引是否被使⽤。 创建索引时，需要注意下⾯的问题点： 1. 查询特点：索引对于查询只返回单条记录或者较少的数据集时，性能提升明显。 2. 压缩表：对于压缩的 append 表来说，对于返回⼀部分数据的查询来说性能也能得到提⾼。对于压缩的数据，使⽤索引访问⽅法时，只有需要的数据才会被解压缩。 3. 避免在经常改 4248.41 | | | (11 rows) 访问 访问 HBase 如果需要⽀持 filter pushdown 特性，请根据 Udw 集群版本，下载对应的 pxf-hbase-*.jar，并复制到 HBase 集群每个节点的 HBASE_CLASSPATH ⽬录 udw-6.2.1(pxf-hbase-5.10.1.jar) udw-5.17(pxf-hbase-5.2.1.jar) 准备测试数据，创建

Inc. 9 Greenplum 6 提供了以下 3 种数据分布策略: l 哈希分布 (Hash Distribution) l 随机分布 (Randomly Distribution) l 复制分布 (Replicated Distribution) 数据分布策略 Confidential │ ©2021 VMware, Inc. 10 哈希分布是分布式数据库最为常用的数据分布方式。 随机分布则采用随机的方式将数据存储到不同的节点。当不确定一张表的哈希分布键，或者是不存 在合理的避免数据倾斜的分布键时，即可采用随机分布的方式。 随机分布与复制分布 复制分布则表示整张表在每个节点上都有一份完整的拷贝，假设我们有 100 个节点，复制表则会将 数据保存 100 份。复制表可避免生成分布式查询计划，而是生成本地计划，从而避免数据在集群的 不同节点间移动。 Confidential │ ©2021 VMware

1 2 • 中国科学技术大学计算机科学学士 • 上海交通大学MBA • 20年+IT从业经验， 专注于数据库技术领域 • 自2003年始从事数据库实时复制技术的解决方案 • 2013年至2015年在SAP 担任大数据和BI解决方案 资深技术顾问 • 2015年加入HVR中国公司担任技术总监 • 微信号: gu9060 个人介绍 3 HVR moves high volumes Data Warehouse Cloud HVR 连续数据集成技术 Migrations Disaster Recovery 6 扩展性—高性能架构 7 • 创建并装载目标表 • 用于实时复制的初始化 • 也可以单独使用 • 可以被定义为任务，定时调度执行 异构平台环境下初始化同步 8 • 非侵入式技术对生产没有影响 • 基于日志捕获技术的实时性非常高 • 支持从过去的某一指定时间开始捕获 user; if that’s not configured just OS username Next and previous events 11 12 支持广泛的异构平台间数据复制 * HVR5.6还支持z/OS，Google Cloud Storage/Big Query 13 Compare Products 天天拍车是国内领先的二手车竞拍平台，现有核心业务是二手车线上

Master-Segment 和 Master- Slave 有何区别? 在 Master-Slave 模型下，Master 和 Slave 拥有相同的数据，并且 Master 是存储和处理数据的唯⼀⼊⼝，Slave 仅复制 Master 的 数据。⽐如 MySQL 的主从模型、Redis 的主从模型 在 Master-Segment 模型下，⾸先 Master 节点不存储数据，其次就是数据将会以分⽚的⽅式存储在多个 Master-Segment 模型中通常也会包含 Master-Slave 模型，也就是增 加数据副本，以实现⾼可⽤ 简单地来说，Master-Slave 主要进⾏数据复制（冗余），⽽ Master-Segment 则会同时进⾏数据分区（⽔平扩展）和复制（冗余） 分区与分⽚ 在项⽬初期，我们使⽤⼀张表 T 存储数据。随着业务的增多，单表出现性能瓶颈，因⽽将 T ⽔平拆分成多个表进⾏存储，这个过程通常称为分区。紧接着，单⼀

[--rsyncable] 2017 年象行中国（杭州 站）第一期 gpcrondump⽤法(2/3) gpcrondump命令使用-K 来指定唯一时间戳来标示某个备份集 文件，其中如果当前备份目录中存在更未来的备份集，则备份报错。 gpcrondump命令使用-t 或者--table-file，-T或者--exclusive-table-file，-s或 者--schema-file，- 5. 其他操作，例如备份全局对象（角色和表空间）、 备份config文件、清理旧备份集以及VACCUM等 2017 年象行中国（杭州 站）第一期 gp_dump具体实现 2017 年象行中国（杭州 站）第一期 非并行数据恢复 如果恢复前后的数据库节点个数不同，则推荐使用非并行数据恢复，不过需要 保证备份集完整，而且都位于master所在的机器上，具体执行步骤如下 1.createdb database_name

巴、亚马逊、中国平安和麦包包等知名公司。 聚水潭创建之初，以电商SaaS ERP切入市场，凭借出色的产品和服务， 快速获得市场领先地位。随着客户需求的不断变化，如今聚水潭已经 发展成为以SaaS ERP为核心，集多种商家服务为一体的SaaS协同平台， 为全国近20万家电商企业提供全面的信息化解决方案。 经过5年多的发展，公司员工从2014年成立之初的9人增加到现在 1200多人。聚水潭已在全国设立了40多个线下服务分支机构，服务范 2019 2014原始阶段 2016.4全新报表界面：梳理业务、开发报表 2016.9自建GP集群，上线工作量统计 2018.3HDB4PG 2017.1报表全面迁移至GP 2017.6集群拆分 2018.9全面切换HDB4PG 2018.6ADB储备、2019.7上线 HDB4PG •数据压缩 •弹性扩容 •成熟稳定 •性能良好 •阿里云支持 THANKS 谢 谢 聆 听