# 基于 mesos 的容器调度框架 Gopher 杭州 meetup 5 August 2017 黄励博(huangnau) 又拍云 ## What's Upone UPONE ## demandporn 10 repo.upyun.com:5043/demandpom:v0.0.17 CPU: 1.0 MEM: 2560.0M Disk: 0.0G Net: BRIDGE ## Mesos 调度  各个 Agent 启动后, 向 Master 注册, 携带统计资源, 由 Master 决定给每个框架多少资源, 默认采用分级主导资源公平算法 每个框架收到资源后, 根据自身任务需求, 调度任务的资源分配 ## ## MARATHON + CHR + ? 为云处理服务定制的容器调度框架，支持长期服务和定时任务 ## 处理流程  Image credit: dcos architecture (https://dcos.io/docs/1.7/ove

jpg) ## 机器学习-第十一章 关联规则 黄海广 副教授 2021年06月 ## 本章目录 01 关联规则概述 02 Apriori 算法 03 FP-Growth 算法 ### 1. 关联规则概述 ## 01 关联规则概述 02 Apriori 算法 03 FP-Growth算法 ### 1. 关联规则概述 ## 关联规则 关联规则（Association Rules） 其中一个事物就能够通过其他事物预测到。 关联规则可以看作是一种IF-THEN关系。假设商品A被客户购买，那么在相同的交易ID下，商品B也被客户挑选的机会就被发现了。  ### 1. 关联规则概述 有没有发生过这样的事：你出去买东西，结果 购买更多的商品。  ### 1. 关联规则概述 购物车分析是大型超市用来揭示商品之间关联的关键技术之一。他们试图找出不同物品和产品之间的关联，这些物品和产品可以一起销售，这有助于正确的产品放置。 ![Image](/uploads/do

## GCN ## Go 语言的抢占式调度  曹春晖 资深 Gopher  Go 程序的启动 01 GMP 的本质 02 调度循环的实现 03 老版本的抢占实现 04 新版本的抢占实现 05 当前的 Go 语言还有哪些问题 06 ## 第一部分 ## Go 程序的启动 ## 编译过程 ### Go 程序 hello.go 的编译过程： ●●● package main func main() { println("hello entrypoints rizin ## 启动过程 ## 通过 entry point 找到 Go 进程的执行入口 runtime.rt0_amd64_linux 开始执行用户main函数 从这里开始 进入调度循环 runtime.rt0_go runtime.rt0_amd64 初始化内置数据结构 runtime.rt0_go 全局 $ m_{0} $ g $ _{0} $ 初始化 获取CPU核心数

## 感谢聆听！ 唯品会开源弹性调度系统 Saturn的“前世今生” 邱戈川（了哥） 微信公众号： VIPDOCK  黄国钦 (Chembo) 唯品会高级开发工程师 ## 内容主题 为何而生 GitHub 有女初长成 女大须嫁 jpg) ## 传统调度系统的问题、产品的定位与选型 ## 需要解决的问题 异构 / 多语言难以支持 缺乏统一监控、统一管理 (进程假死、运行状态未知) 缺乏容错、容灾，高可用 难以问题追踪 5 无法合理利用机器资源 缺乏分布式处理 ## 选型对比 Linux系统级的定时任务执行器 缺乏分布式运算和集中管理功能 无法做到高可用 阿里早期开源的分布式任务调度系统，代码略陈旧 关注点在定时任务而非数据， 缺少分布式并行调度的功能 Elatic-Job 当当开源的分布式任务调度系统 代码较新，使用Quartz进行调度。提供 高可用和分布式功能 功能单一，只支持Java，不支持 Shell(PHP)和消息驱动的作业调度 对任务超时、任务执行情况、监控逻辑 支持粒度功能较单一或缺乏 ## 调度产品的定位 简易开发、简单维护 高可用、分片并发处理、资源调度动态平衡 支持Ja

QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 经典算法与深度学习 在外卖物流调度中的应用 SPEAKER / 徐明泉 百度外卖首席架构师 ## 引言：外卖配送的背后  ## 引言：外卖订单调度系统要考虑的因素  ## 订单相关 [Image](/uploads/documents/a/a/4/e/aa4e49cfa61606eb57df64b13fa12217/p4_3.jpg) ## 一 ．外卖订单的智能调度系统 ### 二. 智能调度系统的大数据分析监控 ### 三. 智能调度系统中的人工智能 ## 提纲 ![Image](/uploads/documents/a/a/4/e/aa4e49cfa61606eb57df64b13fa12217/p5_1

## 深入 Kubernetes 的 “无人区” —— 蚂蚁金服双十一的调度系统 曹寅 ## 目录 contents 一、蚂蚁金服的Kubernetes现状 二、双十一Kubernetes实践 三、展望未来迎接挑战 ## 一、 蚂蚁金服的Kubernetes现状 ## 发展历程与落地规模 ## 平台研发 2018年下半年开始投入 Kubernetes 及其配套系统研发 ## 单集群规模 ## 90%+ 应用服务 ## 数十万 应用 Pods ## 统一资源调度架构 在线应用 数据库服务 OB serverless 平台 SOFAMesh 资源分时复用 计算型混部任务 业务 Kubernetes API Server 极速交付 分时复用 弹性容量 资源画像 规模化调度 高可用容灾 可视化服务 Cluster Control Panel 蚂蚁 双十一 Kubernetes 实践 ## 资源分时调度 快速腾挪的问题 1. 实例上下线需要预热 2. 腾挪耗时不可控 3. 大规模腾挪的稳定性  ## 资源分时链路切换 分时调度控制器 资源及流量控制CRD 容量平台 资源控制

巨细无遗的监控项 集成高可用方案 分片集群创建 主从集群创建 ## 总体架构 告警分析 告警发送 指标画图 趋势预测 应用 VIP 分布式监控 应用 DB中间件 ## 资源管理|资源调度   资源申请 资源池 调度规则 容器调度 应用交付 容器及实例创建 为了保证MySQL的高可用，需要在Docker容器分配时如何保障主从不在同一宿主机上。我们通过自研Docker容器调度平台管理所有宿主机 和容器，自定义Docker容器的分配算法。实现了MySQL的高密度，隔离化，高可用化部署。 调度规则： 1. 同一复制集群的实例在不同主机上。 2.优先分配CPU、内存、磁盘空间资源最空闲的主机。 3.根据IO需求调度容器创建在不同IO类型的主机。 4. 申请新集群时，若IO要求高则按照宿主机的IO情况，优先选择IO最空闲的主机。 5.VIP集群必须主从端口一致，Proxy接入的集群端口无需一致。

1.1 关于程序的编译和链接 2 makefile 介绍 2.1 makefile 的规则 2.2 一个示例 2.3 make 是如何工作的 2.4 makefile 中使用变量 2.5 让 make 自动推导 2.6 makefile 的另一种风格 2.7 清空目录的规则 2.8 Makefile 里有什么？ 2.9 Makefile 的文件名 2.10 10 包含其它 Makefile 2.11 环境变量 MAKEFILES 2.12 make 的工作方式 3 书写规则 3.1 规则举例 3.2 规则的语法 3.3 在规则中使用通配符 3.4 文件搜寻 3.5 伪目标 3.6 多目标 3.7 静态模式 3.8 自动生成依赖性 4 书写命令 4.1 显示命令 4.2 命令执行 4.3 命令出错 8.4 检查规则 ..... 57 8.5 make 的参数 ..... 57 9 隐含规则 ..... 61 9.1 使用隐含规则 ..... 61 9.2 隐含规则一览 ..... 62 9.3 隐含规则使用的变量 ..... 64 9.3.1 关于命令的变量。 ..... 64 9.3.2 关于命令参数的变量 ..... 65 9.4 隐含规则链 ....

patch 改个十遍，人家也不好意思再拒绝了。有时候实在看不下去你的 patch，人家也会帮你改； 3. 当然了，最原因是因为你更加了解这个社区的很多 "潜规则"，比如：谁是老大，要谁点头，找谁 review，等等。 了解了潜规则，相信大家都会成为高手的。好了，经验介绍完了，下面总结下如何参与开发吧。参与开 发主要是找对开发方向。 最好的切入点是结合你自己的工作，例如如你搞网络这块的 unchpad.net/firmware，大家可以运行一下，找找自己机器上的问题，然后根据提示尝试解决。 方向找好，debug 完成，剩下的就是要理解社区的 "潜规则" 了，这里有篇很好的文章介绍了 “潜规则”：http://ldn.linuxfoundation.org/how-participate-linux-community <^k^> ↑ title: How Network Jonathan Corbet 写的 (lwn.net 的主编)。他每年都做 keynote，主要内容就是又有多少多少 kernel developer 加入了社区，所以他对于 “潜规则” 的理解相当得深入，其中包括内核开发周期，各个子系统，如何提交 patch 等等。