## Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io ## Agenda • Greenplum数据库 • Resource Queue • Resource Group ## Greenplum数据库 • 基于PostgreSQL • 分布式 • OLAP • MPP(Massively Parallel Processing) ## Greenplum数据库 优化器不能被纳入资源管理器 ## Resource Queue ## • Priority is rough – 不能精确控制CPU - CHECK FOR INTERRUPTS – BackoffBackendTick – sweeper process (backoff.c) ## Resource Queue ## • Memory – Chaotic – 没有严格资源隔离 – 第三方库的malloc Resource Group • SQL语句并发控制 => 事务并发控制 ·基于cost的并发控制 • 基于优先级的CPU控制 => 精确CPU比例 • 内存控制 => 严格资源隔离 ## Running Example • CREATE RESOURCE Group rg WITH ( concurrency=1, cpu_rate_limit=.5,

云+社区技术沙龙 ## 腾讯云提高K8S集群资源利用率实践 庄鹏锐 腾讯云高级工程师 ## 资源利用率分析 Node节点资源碎片 Pod Resource（requests）配置不合理 WorkLoad/HPA 副本数设置不合理 业务空闲时间 ## 解决方案 ## Pod 压缩 ## HPA ## 动态调度 Node 超卖 VPA 碎片处理 ## Pod 资源压缩  关注云加社区公众号

CPU、内存、磁盘等抽象成一个资源池 ## Mesos 调度  各个 Agent 启动后, 向 Master 注册, 携带统计资源, 由 Master 决定给每个框架多少资源, 默认采用分级主导资源公平算法 每个框架收到资源后, 根据自身任务需求 根据自身任务需求, 调度任务的资源分配 ## MARATHON + CHR + ? 为云处理服务定制的容器调度框架，支持长期服务和定时任务 ## 处理流程  Image credit: dcos architecture (https://dcos.io/docs/1 SUBSCRIBE 消息, 开启一个长链接来订阅事件 (Event), 常用事件类型: |事件|简介| |---|---| |SUBSCRIBED|成功订阅| |OFFERS|提供资源的信息| |RESCIND|通知资源不再有效| |UPDATE|任务状态的改变| |FAILURE|执行器终止或者代理失去连接,通常伴随着 UPDATE 等事件| |HEATBEAT|心跳| ## OFFERS 事件处理

第六章 资源.....23 打开资源管理窗口.....23 添加和编辑资源.....24 将资源分配到任务.....27 第七章 视图.....29 资源使用情况.....29 关键路径.....30 延迟任务.....30 进度落后任务.....31 顶级任务成本.....31 资源成本... ..32 任务工时.....33 资源工时.....33 任务分配.....34 大纲级别.....34 第八章 文档常用操作.....35 查找和替换.....35 拼写检查.....35 撤销和重做.....37 第九章 打开、导入、保存和打印甘特图.....37 打开甘特图.....37 保存甘特图... 只需单击鼠标即可创建甘特图。项目经理可以使用此软件绘制甘特图以制定计划，为任务分配资源，跟踪进度，管理预算以及分析正在进行的项目的资源状态和分配情况。 亿图项目管理有助于安排和管理项目，从满足关键的截止日期和预算，到选择合适的资源。它提供了项目层次结构和任务报告关系的总体情况，以便管理人员可以深入了解预算计划和资源分配。亿图项目管理的报告选项允许用户根据特定视角生成各种报告，以分析项目或与他人共享报告。

1.2. pod 配置示例 ..... 12 2.1.3. 其他资源 ..... 15 2.2. 查看 POD ..... 15 2.2.1. 关于 pod ..... 15 2.2.2. 查看项目中的 pod ..... 15 2.2.3. 查看 pod 用量统计 ..... 16 2.2.4. 查看资源日志 ..... 16 2.3. 为 POD 配置 OPENSHIFT pod 横向自动扩展状态条件 ..... 38 2.4.5.1. 使用 CLI 查看 pod 横向自动扩展状态条件 ..... 41 2.4.6. 其他资源 ..... 43 2.5. 使用垂直 POD 自动扩展自动调整 POD 资源级别 ..... 43 2.5.1. 关于 Vertical Pod Autoscaler Operator ..... 43 2.5.2. 安装 Vertical 使用配置映射在容器中填充环境变量 87 2.7.4.2. 使用配置映射为容器命令设置命令行参数 90 2.7.4.3. 使用配置映射将内容注入卷 92 2.8. 使用设备插件来利用 POD 访问外部资源 93 2.8.1. 了解设备插件 94 设备插件示例 94 2.8.1.1. 设备插件部署方法 95 2.8.2. 了解设备管理器 95 2.8.3. 启用设备管理器 96

云数据库背景 云数据库实现方案 Greenplum on Kubernetes Greenplum Operator 总结 ## 云数据库背景 ## 云数据库背景 ● 资源变化 ☐ 本地资源 → 云 ☐ 静态资源 → 弹性需求 ## ● 数据变化 ☐ 内部数据 → 多数据源 ☐ 数据规模 → 不易预测 ☐ 数据格式 → 半结构化/无模式 ☐ 数据隔离 → 数据共享 # Gartner 云数据库增速巨大 DBasS的需求 ## ● 跨云的需求 ## 云数据库实现方案 ## 云数据库需求 - DBasS - 自动化运维 - 自动化调优 - 弹性资源管理 - 存储资源 - 计算资源 - 安全 - 用户数据 - 临时文件 - 网络传输 - 权限控制 - 跨云 - 公有云 - 私有云 ## 云数据库实现方案 \text{GREENPLUM DATABASE}^{\circ}+{}_{\text{docker}}=? $$ ## 容器化Greenplum 容器粒度 Segment主机 VS. Segment实例 ● 容器资源分配 CPU 内存 ☐ 磁盘 ● 容器间网络互联 ☐ 本机网络 ☐ 跨机网络 ● 容器化Greenplum部署策略 Master部署策略 o Primary Segment部署策略