## Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io ## Agenda • Greenplum数据库 • Resource Queue • Resource Group ## Greenplum数据库 • 基于PostgreSQL • 分布式 • OLAP • MPP(Massively Parallel Processing) ## Greenplum数据库 优化器不能被纳入资源管理器 ## Resource Queue ## • Priority is rough – 不能精确控制CPU - CHECK FOR INTERRUPTS – BackoffBackendTick – sweeper process (backoff.c) ## Resource Queue ## • Memory – Chaotic – 没有严格资源隔离 – 第三方库的malloc Resource Group • SQL语句并发控制 => 事务并发控制 ·基于cost的并发控制 • 基于优先级的CPU控制 => 精确CPU比例 • 内存控制 => 严格资源隔离 ## Running Example • CREATE RESOURCE Group rg WITH ( concurrency=1, cpu_rate_limit=.5,

当前各大芯片厂商的部署工具大多数都支持，支持 caffe 前端有利于提高竞争力。 ## - 开源社区 存量的开源 caffe 网络模型众多，TVM 直接支持 caffe 让大家更方便尝试 caffe 资源。 ## 绝赞招聘中 ## 当前进度 ## - 无 caffe 依赖 from_caffe 直接导入 caffe 模型文件，不需要预先安装 caffe。 ## • net 已测试网络：alexnet / normalize / crop / proposal / roipooling / permute / priorbox ## 未来 ## 命令行工具 将 caffe 模型转换的功能，通过一组命令行工具提供，命令行工具支持 windows / linux 平台。 ## - 支持更多 caffe op / net 随着客户需求和社区发展，提供更多的 caffe 分支变种的 op / net

## Greenplum介绍 Greenplum The Data Computing Division of EMC 唐成－2011.02.17 ## 汇报提纲 ■Greenplum VS hadoop Greenplum架构 ■Greenplum的高可用方案 ■GP分布式数据库功能介绍 ■理解GP的查询处理 ## Greenplum VS hadoop |比较项|Greenplum|Hadoop+hive| stgreSQL支持的SQL，gp都支持。|支持有限的SQL，查询支持子查询，但不支持窗口函数。大部分dml都不支持，只支持append。| |稳定性|有较多的bug。|比较稳定。| ## Greenplum架构图  Client Host Host ## Greenplum架构: Master介绍 Master服务器是外面用户访问greenplum的入口。用户都是连接master服务器的，对于外部用户来说，他并不与segment host服务器发生任何关系，外部用户的网络只需要与master服务器连通就可以了，不需要访问segment host服务器。 所有的用户连接都是直接连接到master服务器上的。 Greenplum数据库是基

## Greenplum 介绍 Greenplum 是全球领先的开源大数据平台，是能够提供包含实时处理、弹性扩容、混合负载、云原生和集成数据分析等强大功能的大数据引擎。 著名分析机构 Gartner 2019 年报告中，在经典数据分析领域 Greenplum 全球排名第三，实时分析领域全球排名并列第四。Greenplum 是两个领域中排名前十的产品中的唯一一款开源产品。 Greenplum 基于 和优化技术。同时，Greenplum 还兼容 SQL 标准，具备强大、高效、安全的 PB 级结构化、半结构化和非结构化数据存储、处理和实时分析能力，可部署于企业裸机、容器、私有云和公有云中。值得一提的是，作为 OLAP 型的大数据平台，Greenplum 同时还能够支持涵盖 OLTP 型业务的混合负载，从而帮助客户真正打通业务-数据-洞见-业务的闭环。 目前，Greenplum 已经为国内外各行 、广大银行、浦发银行、航旅纵横、中国移动、华为等。自 2015 年开源以来，更是吸引了包括阿里云、百度云、中移动、旷世、去哪儿网、易观、腾云科技、饿了么、金风科技在内大量开源用户。 ## Greenplum 大数据平台的优势 - 一次打包到处运行的平台：部署灵活，不受限于硬件环境和平台，无论裸机、私有云、公有云均可部署。硬件环境的普适性，提供了极大的灵活性，解放了硬件平台的制约和绑定，从而允许

## Pivotal TM ### Greenplum 5.0 and Roadmap Brian Lu Pivotal ## Safe Harbor “Any information regarding pre-release of Pivotal offerings, future updates or other planned modifications is subject to ” ## Greenplum is Growing Steady • Greenplum is Growing Steady – Operating in 34 countries globally – Customer count and revenue growing – Pivotal engineering investment growing – 9 Greenplum Database commits to the github repo of Greenplum in 2016 – 111 unique contributors on github repo of Greenplum in 2016 – Major Greenplum 5.0 release planned early 2017 ## Greenplum Database Overview - Massively

Greenplum 架构概览 基本拓拉结构 GP 基本查询流程 segmentl Segment 2 上，吉站可为 Gygenglum [后科称 GP 对是个PogigreSoL 实明和。GP 对外主代的入口，并用户雪上并行 情人 上| aaase 这He，人的入对 Segment 渤行;Standby aster 有为 aster 提供可用 Segment

## Greenplum 精粹文集 1  迎接数据世界带来的挑战 此时此刻，我们正在经历着一场空前绝后的信息大爆炸。业界潮流也沿着开放、开源的方向走向了大数据和云计算时代。Pivotal，正是这场革命的领头先驱。Greenplum十来年 中国团队在大数据实践过程中对 Greenplum 的技术思考、实战教程、大咖日志和实践分享。可以说此书是专业性和实用性的完美融合。 一、Greenplum 的前生今世 ..... 1 二、Greenplum 背后的帝国 ..... 20 三、Greenplum 硬件选型篇 ..... 24 四、Greenplum 实施经验谈 ..... 29 五、Greenplum 系统表的维护及修复技巧 系统表的维护及修复技巧 ..... 34 六、Greenplum 的开发和优化 ..... 40 七、加密 Greenplum 中的静态数据 ..... 50 ## 一、 Greenplum 的前生今世 ### 1. Greenplum 的起源 Greenplum 最早是在 10 多年前（大约在 2002 年）出现，基本上和 Hadoop 是同一时期（Hadoop 约是 2004 年前后出现的，早期的 Nutch

## Greenplum内核揭秘之 ## ☐ ☐ ☐ ☐ ## 排序算法 钉钉直播 | 9月25日 16:00 - 17:00 #### Greenplum中文社区 https://cn.greenplum.org 博文·资料·文档·项目 ## GREENPLUM DATABASE $ ^{®} $  微信公众号 技术干货、行业热点、活动预告 欢迎访问Greenplum中文社区：cn.greenplum.org ## Greenplum内核揭秘之排序算法 ## Outline • 内排序算法 • 外排序算法 • Greenplum TupleSort 排序在Greenplum中的应用 ## 内排序算法 冒泡排序 • 插入排序 • 快速排序 • 堆排序 p38_2.jpg) ## 多键排序 - 多键排序是Greenplum特有的一种排序方式，它的优势主要是对具有相同前缀的字符串进行高效排序。 在现实世界里，拥有相同前缀的字符串是非常常见的，比如URL都以https://为前缀，每个具体站点也拥有自己的前缀，比如Greenplum站点的每篇文章都以https://cn.greenplum.org/为前缀。对这些字符串进行排序的时候，多键排序优势明显。