2017 年象行中国（杭州 站）第一期 Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io 2017 年象行中国（杭州 站）第一期 Agenda • Greenplum数据库 • Resource Queue • Resource Group 2017 年象行中国（杭州 站）第一期 Greenplum数据库 • 基于PostgreSQL • 分布式 corruption => PANIC 2017 年象行中国（杭州 站）第一期 Resource Queue • Cost is tricky – 没有明确的定义 – 不同优化器不一致 – 优化器不能被纳入资源管理器 2017 年象行中国（杭州 站）第一期 Resource Queue • Priority is rough – 不能精确控制CPU – CHECK_FOR_INTERRUPTS – BackoffBackendTick

OLTP数据库 OLAP数据仓库 ■ 实时性 ■ 数据同步复杂性 ■ 应用复杂性 HTAP HTAP = ? ■ 卓越的OLAP特性 ■ 出色的OLTP特性 ■ 多态存储 ■ 有效的并发和资源管理 OLTP-OLAP独立部署 OLTP数据库 OLAP数据仓库 ■ 实时性 ■ 数据同步复杂性 ■ 应用复杂性 43 Pivotal Confidential–Internal Use (cpu_rate_limit=20, memory_limit=10, concurrency=5) 资源管理：CPU使用受限和超限 资源管理：CPU，短查询延迟 ■ 更稳定延迟，CPUSET特性：create resource group rg1 (cpu_set=’4,5’, memory_limit=10, concurrency=5) 资源管理：内存 ■ 隔离 ○ segment级 ○ 资源组 ○ 查询 ■ ■ 共享 ○ 全局segment级 ○ 资源组内 资源管理：磁盘配额 SELCT diskquota.set_schema_quota ('s1', '1 MB'); SELECT diskquota.set_role_quota ('u1', '1 MB'); 客户案例 ■ 通过kafka近实时（500ms~1s） 间隔加载：100万/s ■ 简单查询1000并发：1s内返回

一阶段提交不能保证 分布式事务的原子性 23 两阶段提交协议 ● Jim Gray等研究者在1978年提出了两阶段提交协议，用于保证分布式事务提交的原子性 ● 可以用于单机集中式系统，由事务管理器协调多个资源管理器；也可以用于分布式系 统，由一个全局的 事务管理器协调各个子系统的局部事务管理器完成两阶段提交 ● 广泛应用于商业分布式数据库 ❏ A节点是事务的协调者（coordinator） ❏ B 日志落盘 协调者 参与者 发送prepare消息 ready 发送commit/abort消息 ack 阶段2 阶段1 25 2PC同样可以应用在单机系统上 协调者 资源管理器1 资源管理器2 资源管理器3 日志1 日志2 日志3 PREPARE / COMMIT / ROLLBACK 命令 参与者 读写操作 26 两阶段提交协议需要处理的故障 1. 参与者故障 参与者恢复后，根据日志

数据共享 ● 云数据库市场巨大 ● 云数据库增速巨大 ● DBasS的需求 ● 跨云的需求 云数据库实现方案 云数据库需求 ● DBasS ○ 自动化运维 ○ 自动化调优 ● 弹性资源管理 ○ 存储资源 ○ 计算资源 ● 安全 ○ 用户数据 ○ 临时文件 ○ 网络传输 ○ 权限控制 ● 跨云 ○ 公有云 ○ 私有云 云数据库实现方案 ● 全新数据库 ○ Snowflake 容器化Greenplum运维管理 ○ 故障检测及恢复 ○ 升级扩容 ● 容器化Greenplum存储管理 ○ 容器本地存储易失性 ○ 容器外部存储关联性 容器化分布式应用程序公共问题 容器网络管理 容器资源管理 容器镜像管理 容器调度 容器监控及自 定义操作 容器存储管理 容器化Greenplum ● 容器粒度 ○ Segment主机 VS. Segment实例 ● 容器资源分配 ○ CPU 容器化Greenplum运维管理 ○ 故障检测及恢复 ○ 升级扩容 ● 容器化Greenplum存储管理 ○ 容器本地存储易失性 ○ 容器外部存储关联性 Kubernetes 容器网络管理 容器资源管理 容器镜像管理 容器调度 容器监控及自 定义操作 容器存储管理 Kubernetes 101 Kubernetes 101 Master组件 Node组件 Kubernetes存储资源

..................................................................................... - 45 - 第六章：资源管理 ................................................................................................. .................................................................................. - 68 - 使用资源队列做资源管理的步骤 ............................................................................ - 71 - 配置资源队列管理资源 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 46 - 第六章：资源管理 本章介绍GP的资源管理的概念，GP提供了一些功能来帮助用户管理资源，根据业 务的情况来控制资源的使用，防止出现资源的恶性竞争。可以通过资源管理来限制并发 执行的查询数量，内存的消耗量，以及CPU的使用量。GP提供了两种资源管理的方案， 资源组和资源队列。 注意：在RedHat6或者CentOS6中使用资源组是有问题的，这是因为早期的

Use Only PostgreSQL 合并 39 Pivotal Confidential–Inter nal Use Only CPU资源管理 40 Pivotal Confidential–Inter nal Use Only 内存资源管理 41 Pivotal Confidential–Inter nal Use Only 备份恢复和并行copy Ÿ 重构gpbackup/gprestore

是非结构化， 譬如文本数据、GIS 数据、图数据等。 ● 具有强大内核的平台：Greenplum 具有强大的内核技术，包括数据水平分布、并行查询执 行、专业优化器、线性扩展能力、多态存储、资源管理、高可用、高速数据加载等。 ● 具备强大灵活性和可扩展性的平台： 支持扩展（Extension）、自定义类型和函数、PXF 和外部表技术。可以使用多种语言实现用户自定义函数和聚集，包括 PL/Python、PL/R、

语言算法库和程序包。 此外，Greenplum 还支持最新版 Apache MADlib（可用 SQL 进行机器学习、深度学习和图分析），它支持高并行 和基于 GPU 的深度学习模型训练，内置于集群硬件中的 GPU，能帮助 Greenplum 6 的用户获得超过 CPU 2 个数量 级的性能加速，尤其对于可预测的分析用例和图像识别，这些功能将展现奇效。支持在 Apache Solr 数据库内实施

Elastic Net • Improved Python Language Support • Investigation on Graph Support • Investigation on GPU support • Performance improvements 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 GPDB

was updated to add the regex package. The package versions for lxml, nltk, tenserflow, tenserflow-gpu, and keras were updated to address CVEs. pg_dump performance was improved to reduce the time required update Microsoft Word .docx files PyTorch Tensors and Dynamic neural networks in Python with strong GPU acceleration pytz World timezone definitions, modern and historical regex Alternative regular expression inter-process locks zipp Backport of pathlib-compatible object wrapper for zip files tensorflow-gpu An open source software library for high performance numerical computation tensorflow Numerical computation