## Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io ## Agenda • Greenplum数据库 • Resource Queue • Resource Group ## Greenplum数据库 • 基于PostgreSQL • 分布式 • OLAP • MPP(Massively Parallel Processing) ## Greenplum数据库 优化器不能被纳入资源管理器 ## Resource Queue ## • Priority is rough – 不能精确控制CPU - CHECK FOR INTERRUPTS – BackoffBackendTick – sweeper process (backoff.c) ## Resource Queue ## • Memory – Chaotic – 没有严格资源隔离 – 第三方库的malloc Resource Group • SQL语句并发控制 => 事务并发控制 ·基于cost的并发控制 • 基于优先级的CPU控制 => 精确CPU比例 • 内存控制 => 严格资源隔离 ## Running Example • CREATE RESOURCE Group rg WITH ( concurrency=1, cpu_rate_limit=.5,

云+社区技术沙龙 ## 腾讯云提高K8S集群资源利用率实践 庄鹏锐 腾讯云高级工程师 ## 资源利用率分析 Node节点资源碎片 Pod Resource（requests）配置不合理 WorkLoad/HPA 副本数设置不合理 业务空闲时间 ## 解决方案 ## Pod 压缩 ## HPA ## 动态调度 Node 超卖 VPA 碎片处理 ## Pod 资源压缩  关注云加社区公众号

CPU、内存、磁盘等抽象成一个资源池 ## Mesos 调度  各个 Agent 启动后, 向 Master 注册, 携带统计资源, 由 Master 决定给每个框架多少资源, 默认采用分级主导资源公平算法 每个框架收到资源后, 根据自身任务需求 根据自身任务需求, 调度任务的资源分配 ## MARATHON + CHR + ? 为云处理服务定制的容器调度框架，支持长期服务和定时任务 ## 处理流程  Image credit: dcos architecture (https://dcos.io/docs/1 SUBSCRIBE 消息, 开启一个长链接来订阅事件 (Event), 常用事件类型: |事件|简介| |---|---| |SUBSCRIBED|成功订阅| |OFFERS|提供资源的信息| |RESCIND|通知资源不再有效| |UPDATE|任务状态的改变| |FAILURE|执行器终止或者代理失去连接,通常伴随着 UPDATE 等事件| |HEATBEAT|心跳| ## OFFERS 事件处理

第六章 资源.....23 打开资源管理窗口.....23 添加和编辑资源.....24 将资源分配到任务.....27 第七章 视图.....29 资源使用情况.....29 关键路径.....30 延迟任务.....30 进度落后任务.....31 顶级任务成本.....31 资源成本... ..32 任务工时.....33 资源工时.....33 任务分配.....34 大纲级别.....34 第八章 文档常用操作.....35 查找和替换.....35 拼写检查.....35 撤销和重做.....37 第九章 打开、导入、保存和打印甘特图.....37 打开甘特图.....37 保存甘特图... 只需单击鼠标即可创建甘特图。项目经理可以使用此软件绘制甘特图以制定计划，为任务分配资源，跟踪进度，管理预算以及分析正在进行的项目的资源状态和分配情况。 亿图项目管理有助于安排和管理项目，从满足关键的截止日期和预算，到选择合适的资源。它提供了项目层次结构和任务报告关系的总体情况，以便管理人员可以深入了解预算计划和资源分配。亿图项目管理的报告选项允许用户根据特定视角生成各种报告，以分析项目或与他人共享报告。

云数据库背景 云数据库实现方案 Greenplum on Kubernetes Greenplum Operator 总结 ## 云数据库背景 ## 云数据库背景 ● 资源变化 ☐ 本地资源 → 云 ☐ 静态资源 → 弹性需求 ## ● 数据变化 ☐ 内部数据 → 多数据源 ☐ 数据规模 → 不易预测 ☐ 数据格式 → 半结构化/无模式 ☐ 数据隔离 → 数据共享 # Gartner 云数据库增速巨大 DBasS的需求 ## ● 跨云的需求 ## 云数据库实现方案 ## 云数据库需求 - DBasS - 自动化运维 - 自动化调优 - 弹性资源管理 - 存储资源 - 计算资源 - 安全 - 用户数据 - 临时文件 - 网络传输 - 权限控制 - 跨云 - 公有云 - 私有云 ## 云数据库实现方案 \text{GREENPLUM DATABASE}^{\circ}+{}_{\text{docker}}=? $$ ## 容器化Greenplum 容器粒度 Segment主机 VS. Segment实例 ● 容器资源分配 CPU 内存 ☐ 磁盘 ● 容器间网络互联 ☐ 本机网络 ☐ 跨机网络 ● 容器化Greenplum部署策略 Master部署策略 o Primary Segment部署策略