Agenda Greenplum简介 Greenplum的MPP架构 > 分布式优化器: Postgres planner 和 ORCA > 分布式事务和执行 Greenplum存储 Greenplum生态 Greenplum 7 Greenplum简介：什么是Greenplum? 基于PostgreSQL、开源、分布式MPP、ACID完备、为OLAP优化的关系型数据仓库。 https://greenplum 2003年，Luke Lonergan 和 Scott Yara 发起 Greenplum 项目，从 PostgreSQL 8 分支，做成 MPP 架构 2010年被EMC收购 2012年成为Pivotal的一部分 2015年开源，可能是世界上第一个成熟商用的开源MPP数据仓库 ➢ 2019年底跟随Pivotal被VMware收购 ## 谁在用Greenplum? ➢ 500多付费企业客户 成千上万的开源用户 jpg)  ## Greenplum的MPP架构 ## Massively: ☐ PB级的数据，单台主机无法处理 ☐ 所以数据分布在多个主机上 ☐ 高效、灵活的数据分布，和实际业务相关 ## Parallel: ☐ 数据并行处理计算

Pivotal ## Greenplum 6新特性: 在线扩容工具GPexpand剖析 杜佳伦 (jdu@pivotal.io) ## 大纲 • Greenplum 集群部署 • GPExpand简介与具体用法 • Greenplum 6中GPExpand的改进与实现 ## Greenplum 集群部署 ![Image](/uploads/documents/3/4/f/6/34f6b rred\_role为'm'| |mode|主从同步状态，'s'同步，'n'不同步| |status|运行状态，'u'在线，'d'不在线| |port|该节点的运行端口| |hostname|节点的hostname| |address|通常和hostname相同| |datadir|该节点的数据目录| ## Greenplum GPExpand简介与具体用法 • 清理 - gpexpand -c - 会将gpexpand schema和下面关于扩容的表都清理掉 ## Greenplum 6中GPExpand的改进与实现 在线不停机 • 数据重分布优化 • 并行的优化 ## 改进与实现 ## • 如何做到不停机 - 增加新节点只要在gp_segment_configuration里添加新节点信息即可 - 新节点

## Greenplum on Kubernetes 容器化MPP数据库 ## AGENDA ## 云数据库背景 云数据库实现方案 Greenplum on Kubernetes Greenplum Operator 总结 ## 云数据库背景 ## 云数据库背景 ● 资源变化 ☐ 本地资源 → 云 ☐ 静态资源 → 弹性需求 ## ● 数据变化 ☐ 内部数据 → 多数据源

# 微博在线机器学习和深度学习实践 黄波 @黄波_WB 资深技术专家 2019.5 ## 极客时间 | 企业服务 ## 想做团队的领跑者 需要迈过这些“槛” 成长型企业，易忽视人才体系化培养企业转型加快，团队能力又跟不上 团队成员技能水平不一， 难以一“敌”百人需求 寻求外部培训，奈何价更高且集中式学习 VS VS VS 学习效果难以统计，产生不良循环 VS 从基础到进阶，超100+一线实战 • 推荐 在线机器学习 深度学习 ## 目录 ### 2. 平台篇 平台背景 平台架构 平台效果 ### 3. 总结篇 微博技术里程碑 微博业务生态 APPLICATION  ## 推荐篇 推荐场景、在线机器学习和深度学习 集 • 模型： $ H_{targets} = f(V_{context}, V_{user}, V_{objects}) $ ## 趋势 • 实时化：在线机器学习 • 深度化：深度学习 • 平台化：机器学习平台 ## 3 在线机器学习 ## · 实时化 • 特征实时化：更及时反馈用户行为，更细粒度刻画用户 - 模型实时化：根据线上样本实时训练模型，及时地反映对象的线上变化 !

# 开源 MPP 数据库的不二之选: Pivotal Greenplum 5.0 姚延栋 yyao@pivotal.io ## 开放源代码    ## MPP  Master Servers Query

for PostgreSQL 未来演进 ## AnalyticDB for PostgreSQL 在线MPP数据仓库服务 简单易用、海量扩展、兼容部分Oracle 语法生态、既支持在线交互分析，也支持离线数据处理。AnalyticDB for PostgreSQL（云Greenplum）低成本，快速构筑在线企业数据仓库。  ## PB级数据秒级响应 MPP水平扩展架构，PB级数据查询秒级响应；向量化计算，及列存储智能索引，领先传统数据库引擎性能 3x；新一代SQL优化器，实现复杂分析语句免调优 ![Image](/uploads/documents 量检索算法，支持视频/图像检索以图搜图 ## AnalyticDB for PostgreSQL 产品架构 • 水平扩展：Share-Nothing 架构水平扩展，海量数据在线分析 • 行/列存储模型：行存储支持高并发在线分析，列存储支持全表数据高性能关联聚合 - 高可靠架构：支持分布式事务及ACID，双副本、主备切换透明，支持服务高可用 ![Image](/uploads/documen

服务的架构图如下所示：  UDW 采用无共享的 MPP 架构，适用于海量数据的存储和计算。UDW 的架构如上图所示，主要有 Client、Master Node 和 Compute Node 组成。基本组成部分的功能如下： 1. Client: 访问 UDW testSchema; 删除非空模式： DROP SCHEMA testSchema CASCADE; ## 4、 表格设计 udw 的表格创建类似于 postgresql，由于 udw 采用 mpp 数据，创建表格的时候可以选择不同的数据分布策略，不同的存储方式等等。创建表格的时候可以定义下面信息： 数据类型 表约束 • 数据分布策略 • 表存储模型 • 分区策略 • 外部表: udwfile、udwhdfs 布（DISTRIBUTED BY(key)）和随机分布（DISTRIBUTED RANDOMLY）。如果不指定分布策略则默认按 primary key 或者第一个 column 做哈希分布。 在MPP环境下，查询的执行时间是由所有节点决定的。当数据出现倾斜时，会导致较低的性能以及内存溢出的情况。 当选择分布键时，考虑以下几个方面： 1. 为所有的表显示地指定哈希或随机分布,不要使用默认的。

3. GPDB数据透明加密方案设计 4. GPDB数据透明加解密流程 5. 总结 ## 我们所面临的问题 ## 什么是Greenplum数据库 GPDB 一款开源的HTAP数据库： • MPP架构 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 • 支持PB级文件 • 丰富的ETL和外部组件 • 支持Python/R/Java直接访问处理数据库数据 https://github 一款开源的HTAP数据库： • MPP架构 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 • 支持PB级文件 • 丰富的ETL和外部组件 • 支持Python/R/Java直接访问处理数据库数据 https://github.com/greenplum-db/gpdb ## pgcrypto的问题 Recall 一款开源的HTAP数据库： · MPP架构 完整的事务+ACID+标准SQL支持 一款开源的HTAP数据库： · MPP架构 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 支持PB级文件 丰富的ETL和外部组件 支持Python/R/Java直接访问处理数据库数据 https://github.com/greenplum-db/gpdb ## GPDB透明加密 Recall again 一款开源的HTAP数据库: - MPP架构 - 完整的事务+ACID+标准SQL支持

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 777 9 8.10 在线修改集群配置 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2346 14.3.5 使用 MPP 模式· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3686 15.5.2 在线数据同步· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·