## Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io ## Agenda • Greenplum数据库 • Resource Queue • Resource Group ## Greenplum数据库 • 基于PostgreSQL • 分布式 • OLAP • MPP(Massively Parallel Processing) ## Greenplum数据库 优化器不能被纳入资源管理器 ## Resource Queue ## • Priority is rough – 不能精确控制CPU - CHECK FOR INTERRUPTS – BackoffBackendTick – sweeper process (backoff.c) ## Resource Queue ## • Memory – Chaotic – 没有严格资源隔离 – 第三方库的malloc Resource Group • SQL语句并发控制 => 事务并发控制 ·基于cost的并发控制 • 基于优先级的CPU控制 => 精确CPU比例 • 内存控制 => 严格资源隔离 ## Running Example • CREATE RESOURCE Group rg WITH ( concurrency=1, cpu_rate_limit=.5,

# 基于 mesos 的容器调度框架 Gopher 杭州 meetup 5 August 2017 黄励博(huangnau) 又拍云 ## What's Upone UPONE ## demandporn 10 repo.upyun.com:5043/demandpom:v0.0.17 CPU: 1.0 MEM: 2560.0M Disk: 0.0G Net: BRIDGE CPU、内存、磁盘等抽象成一个资源池 ## Mesos 调度  各个 Agent 启动后, 向 Master 注册, 携带统计资源, 由 Master 决定给每个框架多少资源, 默认采用分级主导资源公平算法 每个框架收到资源后, 根据自身任务需求, 调度任务的资源分配 调度任务的资源分配 ## MARATHON + CHR + ? 为云处理服务定制的容器调度框架，支持长期服务和定时任务 ## 处理流程  Image credit: dcos architecture (https://dcos.io/docs/1

## GCN ## Go 语言的抢占式调度  曹春晖 资深 Gopher  Go 程序的启动 01 GMP 的本质 02 调度循环的实现 03 老版本的抢占实现 04 新版本的抢占实现 05 当前的 Go 语言还有哪些问题 06 ## 第一部分 ## Go 程序的启动 ## 编译过程 ### Go 程序 hello.go 的编译过程： ●●● package main func main() { println("hello entrypoints rizin ## 启动过程 ## 通过 entry point 找到 Go 进程的执行入口 runtime.rt0_amd64_linux 开始执行用户main函数 从这里开始 进入调度循环 runtime.rt0_go runtime.rt0_amd64 初始化内置数据结构 runtime.rt0_go 全局 $ m_{0} $ g $ _{0} $ 初始化 获取CPU核心数

## 感谢聆听！ 唯品会开源弹性调度系统 Saturn的“前世今生” 邱戈川（了哥） 微信公众号： VIPDOCK  黄国钦 (Chembo) 唯品会高级开发工程师 ## 内容主题 为何而生 GitHub 有女初长成 女大须嫁 jpg) ## 传统调度系统的问题、产品的定位与选型 ## 需要解决的问题 异构 / 多语言难以支持 缺乏统一监控、统一管理 (进程假死、运行状态未知) 缺乏容错、容灾，高可用 难以问题追踪 5 无法合理利用机器资源 缺乏分布式处理 ## 选型对比 Linux系统级的定时任务执行器 缺乏分布式运算和集中管理功能 无法做到高可用 阿里早期开源的分布式任务调度系统，代码略陈旧 关注点在定时任务而非数据， 缺少分布式并行调度的功能 Elatic-Job 当当开源的分布式任务调度系统 代码较新，使用Quartz进行调度。提供 高可用和分布式功能 功能单一，只支持Java，不支持 Shell(PHP)和消息驱动的作业调度 对任务超时、任务执行情况、监控逻辑 支持粒度功能较单一或缺乏 ## 调度产品的定位 简易开发、简单维护 高可用、分片并发处理、资源调度动态平衡 支持Ja

QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 经典算法与深度学习 在外卖物流调度中的应用 SPEAKER / 徐明泉 百度外卖首席架构师 ## 引言：外卖配送的背后  ## 引言：外卖订单调度系统要考虑的因素  ## 订单相关 [Image](/uploads/documents/a/a/4/e/aa4e49cfa61606eb57df64b13fa12217/p4_3.jpg) ## 一 ．外卖订单的智能调度系统 ### 二. 智能调度系统的大数据分析监控 ### 三. 智能调度系统中的人工智能 ## 提纲 ![Image](/uploads/documents/a/a/4/e/aa4e49cfa61606eb57df64b13fa12217/p5_1

## 深入 Kubernetes 的 “无人区” —— 蚂蚁金服双十一的调度系统 曹寅 ## 目录 contents 一、蚂蚁金服的Kubernetes现状 二、双十一Kubernetes实践 三、展望未来迎接挑战 ## 一、 蚂蚁金服的Kubernetes现状 ## 发展历程与落地规模 ## 平台研发 2018年下半年开始投入 Kubernetes 及其配套系统研发 ## 2019年7月到双十一前完成全站 Kubernetes 落地，超过90%的资源通过 Kubernetes 分配，核心链路100%落地支撑大促。 ## 大促规模 ## 数万台 服务器和ECS 超一万 单集群规模 ## 90%+ 应用服务 ## 数十万 应用 Pods ## 统一资源调度架构 在线应用 数据库服务 OB serverless 平台 SOFAMesh 资源分时复用 计算型混部任务 业务 Kubernetes 分时复用 弹性容量 资源画像 规模化调度 高可用容灾 可视化服务 Cluster Control Panel 蚂蚁 k8s 核心 CRI CSI CNI Device Plugin runc nanovisor kata 日志服务 云盘 本地多盘 弹性网卡 网络安全组 GPU 安全可信 基础服务 神龙裸金属 VPC 云存储 云化资源 应用服务器 数据库服务器

trademarks are the property of their respective owners. ## 摘要 本文提供有关在集群中配置和管理节点、Pod和容器的说明。它还提供有关配置Pod调度和放置、使用作业（job）和 DaemonSet来自动执行操作，以及确保集群保持高效性的其他任务信息。 ## 目录 第1章 节点概述 ..... 9 1.1. 关于节点 ..... 9 读取操作 1.2. pod 配置示例 ..... 12 2.1.3. 其他资源 ..... 15 2.2. 查看 POD ..... 15 2.2.1. 关于 pod ..... 15 2.2.2. 查看项目中的 pod ..... 15 2.2.3. 查看 pod 用量统计 ..... 16 2.2.4. 查看资源日志 ..... 16 2.3. 为 POD 配置 OPENSHIFT pod 横向自动扩展状态条件 ..... 38 2.4.5.1. 使用 CLI 查看 pod 横向自动扩展状态条件 ..... 41 2.4.6. 其他资源 ..... 43 2.5. 使用垂直 POD 自动扩展自动调整 POD 资源级别 ..... 43 2.5.1. 关于 Vertical Pod Autoscaler Operator ..... 43 2.5.2. 安装 Vertical

云+社区技术沙龙 ## 腾讯云提高K8S集群资源利用率实践 庄鹏锐 腾讯云高级工程师 ## 资源利用率分析 Node节点资源碎片 Pod Resource（requests）配置不合理 WorkLoad/HPA 副本数设置不合理 业务空闲时间 ## 解决方案 ## Pod 压缩 ## HPA ## 动态调度 Node 超卖 VPA 碎片处理 ## Pod 资源压缩  关注云加社区公众号