2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 1/36 基于 mesos 的容器调度框架 Gopher 杭州 meetup 5 August 2017 黄励博(huangnauh) 又拍云 2017/8/3 基于 mesos 的容器调度框架 http://go-talks http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 2/36 What's Upone 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 3/36 Mesos 介绍 Image credit: mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 4/36 Mesos 调度 各个 Agent 启动后, 向 Master 注册，携带统计资源, 由 Master 决定给每个框架多少资源, 默认 采用分级主导资源公平算法 每个框架收到资源后, 根据自身任务需求, 调度任务的资源分配

Go 语⾔的抢占式调度 曹春晖 资深 Gopher ⽬ 录 Go 程序的启动 01 GMP 的本质 02 调度循环的实现 03 ⽼版本的抢占实现 04 新版本的抢占实现 05 当前的 Go 语⾔还有哪些问题 06 Go 程序的启动 第⼀部分 编译过程 Go 程序 hello.go 的编译过程： ⽂本 -> 编译 -> ⼆进制可执⾏⽂件 编译过程 编译：⽂本代码 -> g0 初 始 化 m0: Go 程序启动后创建的第⼀个线程； 获 取 CPU 核 ⼼ 数 初 始 化 内 置 数 据 结 构 开 始 执 ⾏ ⽤ 户 main 函 数 从这⾥开始 进⼊调度循环 GMP 的本质 第⼆部分 G、M、P 的本质 G：goroutine，⼀个计算任务。由需要执⾏的代码和其上下⽂组成，上下⽂ 包括：当前代码位置，栈顶、栈底地址，状态等。 M：machine，系统线程，执⾏实体，想要在 才能执⾏代码，否则必须陷⼊休 眠(后台监控线程除外)，你也可以将其理解为⼀种 token，有这个 token，才 有在物理 CPU 核⼼上执⾏的权⼒。 G、P、M 的全局⼤图 调度循环的实现 第三部分 调度循环 在这⾥输⼊标题 https://www.figma.com/proto/JYM6TcdzBx7WtanhcJX0rP/bootstrap-Copy?page-id=5106%3A2&node-

的核⼼架构师 - 开源爱好者， Apache SkyWalking PMC 成员 ⽬ 录 ⾯向云原⽣的软件交付 01 端点⼀站式 PaaS - Erda 02 Erda 架构的思考 03 模块化开发框架 04 开源新时代的挑战 05 ⾯向云原⽣的软件交付 第⼀部分 ⾯向云原⽣的企业软件产品 - 敏捷开发 - 微服务化和容器化 - 交付标准化 - 可观察性 特点： 敏捷的⽬标是提升研发效能 第⼆部分 端点 PaaS 发展历程 有状态服务 Job / JobFlow 批计算 流计算 ⽆状态服务 DaemonSet Workloads 多集群调度 混合云调度 跨云迁移 多环境调度 业务数据统⼀调度 集群核⼼服务 Helm 镜像服务 Add-on filebeat / telegraf 监控 ⽇志 HPA Operator 注册中⼼ 配置中⼼ Rancher Openshift 私有云 公共 物理机 虚拟机 微服务治理平台 DevOps 平台 边缘监控 边缘站点管理 制品 快速分发部署 边缘⽇志 边缘计算平台 边缘数据收集 边缘算⼒调度 ⽹络⾃动容错 平台产品 核⼼引擎 容器服务 基础设施 数仓设计 数据智能平台 智能预测 智能客服 智能仓储 智能推荐 流程⾃动化 智能营销 快数据平台 Linux OS

务。  ② Condor采用集中式调度模式，且不能保障用户服务质量。  ③ 最小完成时间算法MCT(Minimum  Completion  Time)是以任意的顺序将任务映射到具有最早完成时间的主机上， 它并不保证任务被指派到执行它最快的主机上，而仅关心如何最小化任务完成时间，因而可能导致任务在资源上的 运行时间过长，从而潜在地增加了调度跨度。  ④ Min-Min算法， 所有任务的最小完成时间中选取一个最大值，然后进行相应任务。主机映射，之后重复此过程直至待调度任务集合 为空。  ⑥ 轮询调度（Round  Robin  Scheduling）算法就是以轮询的方式依次将请求调度不同的服务器，即每次调度执行i  =  (i  +  1)  mod  n，并选出第i台服务器。轮叫调度算法假设所有服务器处理性能均相同，不管服务器的当前连接数和响 应速度。该算 Resource  Fairness)  调度机制。 YARN自带FIFO、Capacity  Scheduler和Fair  Scheduler(借鉴了 Mesos的DRF)。  ② Mesos中的DRF调度算法过分的追求公平，没有考虑到实际的应 用需求。在实际生产线上，往往需要类似于Hadoop中Capacity  Scheduler的调度机制，将所有资源分成若干个queue，每个

（JSON-RPC层） 核⼼模块 （共识、执⾏等） 节点出⼝ 交易拦截 消息分发 带宽限流 客户端 其他节点 节点间⽹络通信 （传递共识消息等） 系统外部 系统内部 交易拦截器限流 在系统最外层及早对交易进⾏拦截，阻⽌交易渗透 到主流程花费不必要的系统开销 消息分发器限流 P2P⽹络层通过消息分发器将消息带权分发给对应 模块处理，降低各模块由于处理能⼒差异⽽相互⼲ 扰，保证核⼼模块正常运⾏ 扰，保证核⼼模块正常运⾏ ⽹络带宽限流 限制节点最⼤出⼝带宽流量，适⽤于对⽹络带宽 有限制需求的场景 功能简介 22 趣链科技 版权所有 ©2016-2021 22 趣链科技 版权所有 ©2016-2021 22 趣链科技 版权所有 ©2016-2021 22 log-Segment-001 log-Segment-002 log-Segment-00N ... ... index-001 版权所有 ©2016-2021 28 趣链科技 版权所有 ©2016-2021 28 分布式 控制 分布式 控制 核心架构 测试⽤例 控制器 压⼒调度 … 数据统计 虚拟机池 worker 0 master 压⼒调度 … 数据统计 虚拟机池 worker n 测试数据 脚本/参数 存储/可视化 数据汇总 区块链平台 … NBI NBI 29 趣链科技 版权所有

用来导入包文件，经常看到的方式参考如下： 然后代码里面可以通过如下的方式调用 上面这个fmt是Go语言的标准库，其实是去 GOROOT 环境变量指定目录下去加载该模块，当然Go的 import还支持如下两种方式来加载自己写的模块： 1、相对路径 func throwsPanic(f func()) (b bool) { defer func() { if x 代表一个人的实体。这个实体拥有属性：姓名和年龄。这样的类型称 之 struct 。如下代码所示: import "shorturl/model" //加载gopath/src/shorturl/model模块 import( . "fmt" ) import( f "fmt" ) import ( "database/sql" _ "github 5将标识并发系统线程个数的 runtime.GOMAXPROCS 的初始值由1改为了 运行环境的 CPU核数 。 但在Go 1.5以前调度器仅使用单线程，也就是说只实现了并发。想要发挥多核处理器的并行，需要程序 中显式调用 runtime.GOMAXPROCS(n) 告诉调度器同时使用多个线程。 GOMAXPROCS 设置了同时运行逻 辑代码的系统线程的最大数量，并返回之前的设置。如果 n < 1

，我们调用了一个函数Printf，这个函数来自于fmt包，所以我们在第三行中导入了 系统级别的fmt包：import "fmt"。 包的概念和Python中的package类似，它们都有一些特别的好处：模块化（能够把你的程序分成多个模块)和可重用性 （每个模块都能被其它应用程序反复使用）。我们在这里只是先了解一下包的概念，后面我们将会编写自己的包。 在第五行中，我们通过关键字func定义了一个main函数，函数体被放在{}（大括号）中，就像我们平时写C、C++或 最后大家可以看到我们输出的内容里面包含了很多非ASCII码字符。实际上，Go是天生支持UTF-8的，任何字符都可以 直接输出，你甚至可以用UTF-8中的任何字符作为标识符。 结论 结论 Go使用package（和Python的模块类似）来组织代码。main.main()函数(这个函数主要位于主包）是每一个独立 的可运行程序的入口点。Go使用UTF-8字符串和标识符(因为UTF-8的发明者也就是Go的发明者)，所以它天生就具有多 上面这个fmt是Go语言的标准库，其实是去goroot下去加载该模块，当然Go的import还支持如下两种方式来加载自己 写的模块： 60 1. 相对路径 import “./model” //当前文件同一目录的model目录，但是不建议这种方式来import 2. 绝对路径 import “shorturl/model” //加载gopath/src/shorturl/model模块 上面展示了一些impor

–对库（动态库）的依赖 后台程序编程的难点 • 内存的管理 –C程序中很大比例的Bug和内容有关 • 分布式/高并发的处理 –10年前还是一个很hot的话题；目前也还没有普 遍掌握 –CPU资源的调度：Process/Thread/Event –数据的封装和互斥访问； –并行运算逻辑的同步 C vs Python (1) • 性能： – 相差10倍以上 – Python: 解释执行，动态类型 End) • 百度统一前端 –七层流量接入平台 BFE(Baidu Front End) • 主要服务 • 接入转发 • 防攻击、流量调度、数据分析 • 业务现状 • 覆盖大部分重要产品 • 日请求量千亿级别 接入与转发 防攻击 流量调度 数据分析 BFE 为什么重写BFE • 现存问题 –修改成本高 • 事件驱动的编程模型：编码和调试难度大 • C语言本身的难度和开发效率 HET IC 2. http://xxx.baidu.com/item/JELIM+PLASTIC+SURGERY+&+AESTHETIC 分布式架构 • BFE程序结构：core+众多功能模块 – 分流 – Cache – Dict • 问题： – 变更频率 – 启停速度 – 功能单一，各自扩展 • 同步/异步，开发效率4:1 BFE BGW RS cache dict

Go官方工具 链安装目录下的bin子目录路径必须配置在PATH环境变量中。 当使用安装程序 安装Go官方工具链时，安装程序很可能已经自动地将此配置好了。 Go官方工具链近来的版本均支持一个称为Go模块（Go modules）的特性，用 来管理项目依赖。 此特性在版本1.11中被试验性地引入并从版本1.16开始被默 认支持。 我们应该了解一个环境变量：GOPATH。 此环境变量的默认值为当前用户的 地配置多个路径。 以后，当GOPATH文件夹被提及的时候，它表示GOPATH环境 变量中的第一个路径对应的文件夹。 GOPATH文件夹中的pkg子文件夹用来缓存被本地项目所依赖的Go模块（一 个Go模块为若干Go库包的集合）的版本。 GOBIN环境变量用来指定go install子命令产生的Go应用程序二进制可执 行文件应该存储在何处。 它的默认值为GOPATH文件夹中的bin子目录所对 run子命令并不推荐在正式的大项目中使用。go run子命令只是一种方 便的方式来运行简单的Go程序。 对于正式的项目，最好使用go build或 者go install子命令构建可执行程序文件来运行Go程序。 支持Go模块特性的Go项目的根目录下需要一个go.mod文件。此文件可以 使用go mod init子命令来生成（见下）。 名称以_和.开头的源代码文件将被Go官方工具链工具忽略掉。 更多go子命令 上面提到的三个go子命令（go