Agenda Greenplum简介 Greenplum的MPP架构 > 分布式优化器: Postgres planner 和 ORCA > 分布式事务和执行 Greenplum存储 Greenplum生态 Greenplum 7 Greenplum简介：什么是Greenplum? 基于PostgreSQL、开源、分布式MPP、ACID完备、为OLAP优化的关系型数据仓库。 https://greenplum 2003年，Luke Lonergan 和 Scott Yara 发起 Greenplum 项目，从 PostgreSQL 8 分支，做成 MPP 架构 2010年被EMC收购 2012年成为Pivotal的一部分 2015年开源，可能是世界上第一个成熟商用的开源MPP数据仓库 ➢ 2019年底跟随Pivotal被VMware收购 ## 谁在用Greenplum? ➢ 500多付费企业客户 成千上万的开源用户 jpg)  ## Greenplum的MPP架构 ## Massively: ☐ PB级的数据，单台主机无法处理 ☐ 所以数据分布在多个主机上 ☐ 高效、灵活的数据分布，和实际业务相关 ## Parallel: ☐ 数据并行处理计算

## Greenplum on Kubernetes 容器化MPP数据库 ## AGENDA ## 云数据库背景 云数据库实现方案 Greenplum on Kubernetes Greenplum Operator 总结 ## 云数据库背景 ## 云数据库背景 ● 资源变化 ☐ 本地资源 → 云 ☐ 静态资源 → 弹性需求 ## ● 数据变化 ☐ 内部数据 → 多数据源

Pivotal ## Greenplum 6新特性: 在线扩容工具GPexpand剖析 杜佳伦 (jdu@pivotal.io) ## 大纲 • Greenplum 集群部署 • GPExpand简介与具体用法 • Greenplum 6中GPExpand的改进与实现 ## Greenplum 集群部署 ![Image](/uploads/documents/3/4/f/6/34f6b rred\_role为'm'| |mode|主从同步状态，'s'同步，'n'不同步| |status|运行状态，'u'在线，'d'不在线| |port|该节点的运行端口| |hostname|节点的hostname| |address|通常和hostname相同| |datadir|该节点的数据目录| ## Greenplum GPExpand简介与具体用法 • 清理 - gpexpand -c - 会将gpexpand schema和下面关于扩容的表都清理掉 ## Greenplum 6中GPExpand的改进与实现 在线不停机 • 数据重分布优化 • 并行的优化 ## 改进与实现 ## • 如何做到不停机 - 增加新节点只要在gp_segment_configuration里添加新节点信息即可 - 新节点

# 微博在线机器学习和深度学习实践 黄波 @黄波_WB 资深技术专家 2019.5 ## 极客时间 | 企业服务 ## 想做团队的领跑者 需要迈过这些“槛” 成长型企业，易忽视人才体系化培养企业转型加快，团队能力又跟不上 团队成员技能水平不一， 难以一“敌”百人需求 寻求外部培训，奈何价更高且集中式学习 VS VS VS 学习效果难以统计，产生不良循环 VS 从基础到进阶，超100+一线实战 • 推荐 在线机器学习 深度学习 ## 目录 ### 2. 平台篇 平台背景 平台架构 平台效果 ### 3. 总结篇 微博技术里程碑 微博业务生态 APPLICATION  ## 推荐篇 推荐场景、在线机器学习和深度学习 集 • 模型： $ H_{targets} = f(V_{context}, V_{user}, V_{objects}) $ ## 趋势 • 实时化：在线机器学习 • 深度化：深度学习 • 平台化：机器学习平台 ## 3 在线机器学习 ## · 实时化 • 特征实时化：更及时反馈用户行为，更细粒度刻画用户 - 模型实时化：根据线上样本实时训练模型，及时地反映对象的线上变化 !

# 开源 MPP 数据库的不二之选: Pivotal Greenplum 5.0 姚延栋 yyao@pivotal.io ## 开放源代码    ## MPP  Master Servers Query

for PostgreSQL 未来演进 ## AnalyticDB for PostgreSQL 在线MPP数据仓库服务 简单易用、海量扩展、兼容部分Oracle 语法生态、既支持在线交互分析，也支持离线数据处理。AnalyticDB for PostgreSQL（云Greenplum）低成本，快速构筑在线企业数据仓库。  ## PB级数据秒级响应 MPP水平扩展架构，PB级数据查询秒级响应；向量化计算，及列存储智能索引，领先传统数据库引擎性能 3x；新一代SQL优化器，实现复杂分析语句免调优 ![Image](/uploads/documents 量检索算法，支持视频/图像检索以图搜图 ## AnalyticDB for PostgreSQL 产品架构 • 水平扩展：Share-Nothing 架构水平扩展，海量数据在线分析 • 行/列存储模型：行存储支持高并发在线分析，列存储支持全表数据高性能关联聚合 - 高可靠架构：支持分布式事务及ACID，双副本、主备切换透明，支持服务高可用 ![Image](/uploads/documen

1.1 …… 40 2.5.2 TiDB TPC-C 性能对比测试报告 - v5.2.0 对比 v5.1.1 …… 46 2.5.3 TiDB TPC-H 性能对比测试报告 - v5.2 MPP 模式对比 Greenplum 6.15.0 以及 Apache Spark 3.1.1 …… 48 2.6 与 MySQL 兼容性对比 …… 51 2.6.1 不支持的功能特性 …… 52 6.7.6 重命名集群 ..... 216 6.7.7 关闭集群 ..... 216 6.7.8 清除集群数据 ..... 216 6.7.9 销毁集群 ..... 217 6.8 在线修改集群配置 ..... 217 6.8.1 常用操作 ..... 217 监控与告警 ..... 241 7.1 TiDB 监控框架概述 ..... 241 7.1.1 Prometheus 1975 13.6.3 如何修改用户名密码和权限？ ..... 1975 13.7 迁移常见问题 ..... 1976 13.7.1 全量数据导出导入 ..... 1976 13.7.2 在线数据同步 ..... 1978 13.7.3 业务流量迁入 ..... 1978 4 版本发布历史 ..... 1980 14.1 TiDB 版本发布历史 ..... 1980 14

... 50 2.5.2 TiDB TPC-C 性能对比测试报告 - v5.4.0 对比 v5.3.0 ..... 58 2.5.3 TiDB TPC-H 性能对比测试报告 - v5.4 MPP 模式对比 Greenplum 6.15.0 以及 Apache Spark 3.1.1 ..... 61 2.6 与 MySQL 兼容性对比 ..... 64 2.6.1 不支持的功能特性 6.7.6 重命名集群 ..... 292 6.7.7 关闭集群 ..... 292 6.7.8 清除集群数据 ..... 292 6.7.9 销毁集群 ..... 293 6.8 在线修改集群配置 ..... 293 6.8.1 常用操作 ..... 293 6.9 Online Unsafe Recovery 使用文档 ..... 317 6.9.1 功能说明 .. FAQ ..... 2495 13.3.3 安装部署 FAQ ..... 2496 13.4 迁移常见问题.....2501 13.4.1 全量数据导出导入.....2502 13.4.2 在线数据同步.....2504 13.4.3 业务流量迁入.....2504 13.5 升级与升级后常见问题.....2505 13.5.1 升级常见问题.....2505 13.5.2

服务的架构图如下所示：  UDW 采用无共享的 MPP 架构，适用于海量数据的存储和计算。UDW 的架构如上图所示，主要有 Client、Master Node 和 Compute Node 组成。基本组成部分的功能如下： 1. Client: 访问 UDW testSchema; 删除非空模式： DROP SCHEMA testSchema CASCADE; ## 4、 表格设计 udw 的表格创建类似于 postgresql，由于 udw 采用 mpp 数据，创建表格的时候可以选择不同的数据分布策略，不同的存储方式等等。创建表格的时候可以定义下面信息： 数据类型 表约束 • 数据分布策略 • 表存储模型 • 分区策略 • 外部表: udwfile、udwhdfs 布（DISTRIBUTED BY(key)）和随机分布（DISTRIBUTED RANDOMLY）。如果不指定分布策略则默认按 primary key 或者第一个 column 做哈希分布。 在MPP环境下，查询的执行时间是由所有节点决定的。当数据出现倾斜时，会导致较低的性能以及内存溢出的情况。 当选择分布键时，考虑以下几个方面： 1. 为所有的表显示地指定哈希或随机分布,不要使用默认的。