# 基于 mesos 的容器调度框架 Gopher 杭州 meetup 5 August 2017 黄励博(huangnau) 又拍云 ## What's Upone UPONE ## demandporn 10 repo.upyun.com:5043/demandpom:v0.0.17 CPU: 1.0 MEM: 2560.0M Disk: 0.0G Net: BRIDGE ## Mesos 调度  各个 Agent 启动后, 向 Master 注册, 携带统计资源, 由 Master 决定给每个框架多少资源, 默认采用分级主导资源公平算法 每个框架收到资源后, 根据自身任务需求, 调度任务的资源分配 ## ## MARATHON + CHR + ? 为云处理服务定制的容器调度框架，支持长期服务和定时任务 ## 处理流程  Image credit: dcos architecture (https://dcos.io/docs/1.7/ove

## GCN ## Go 语言的抢占式调度  曹春晖 资深 Gopher  Go 程序的启动 01 GMP 的本质 02 调度循环的实现 03 老版本的抢占实现 04 新版本的抢占实现 05 当前的 Go 语言还有哪些问题 06 ## 第一部分 ## Go 程序的启动 ## 编译过程 ### Go 程序 hello.go 的编译过程： ●●● package main func main() { println("hello entrypoints rizin ## 启动过程 ## 通过 entry point 找到 Go 进程的执行入口 runtime.rt0_amd64_linux 开始执行用户main函数 从这里开始 进入调度循环 runtime.rt0_go runtime.rt0_amd64 初始化内置数据结构 runtime.rt0_go 全局 $ m_{0} $ g $ _{0} $ 初始化 获取CPU核心数

## 感谢聆听！ 唯品会开源弹性调度系统 Saturn的“前世今生” 邱戈川（了哥） 微信公众号： VIPDOCK  黄国钦 (Chembo) 唯品会高级开发工程师 ## 内容主题 为何而生 GitHub 有女初长成 女大须嫁 jpg) ## 传统调度系统的问题、产品的定位与选型 ## 需要解决的问题 异构 / 多语言难以支持 缺乏统一监控、统一管理 (进程假死、运行状态未知) 缺乏容错、容灾，高可用 难以问题追踪 5 无法合理利用机器资源 缺乏分布式处理 ## 选型对比 Linux系统级的定时任务执行器 缺乏分布式运算和集中管理功能 无法做到高可用 阿里早期开源的分布式任务调度系统，代码略陈旧 关注点在定时任务而非数据， 缺少分布式并行调度的功能 Elatic-Job 当当开源的分布式任务调度系统 代码较新，使用Quartz进行调度。提供 高可用和分布式功能 功能单一，只支持Java，不支持 Shell(PHP)和消息驱动的作业调度 对任务超时、任务执行情况、监控逻辑 支持粒度功能较单一或缺乏 ## 调度产品的定位 简易开发、简单维护 高可用、分片并发处理、资源调度动态平衡 支持Ja

## SolarMesh 基于Istio构建的流量监管平台 ## 目录 1. 为什么我们需要服务网格 2. SolarMesh的定位 3. SolarMesh的特点 4. SolarMesh对Istio社区的产品化改进 5. SolarMesh的架构 6. SolarMesh组件介绍 7. 应用场景 ## 为什么我们需要服务网格 - 微服务化带来的问题 ## 服务间通信的复杂性： 服务间通信的复杂性： 网络延迟 消息序列化 错综复杂的服务调度掩盖了 问题的源头 不可靠的网络 异步机制 开发难 排错难 ## 服务间交互的复杂性： 测试难 运维难 服务变得非常多 难以可视化 ➢ 版本变得非常复杂 ➢ 难以全面测试 上线十分痛苦 ➢ 多服务联动时问题难以察觉 排查问题更难 解决手段更复杂 ➢ 学的东西更多 ## 为什么我们需要服务网格 - 业务上k8s带来的问题 jpg) ## 流量管理 部署服务间路由，故障恢复和负载平衡等功能。 ## 可观测性 提供流量和服务性能的端到端视图。 ## 安全 跨服务进行加密，基于角色的访问和身份验证。 服务网格是一个云原生的网络基础设施，它把微服务调度中有关网络的公共能力下沉，在无任何代码侵入的情况下提供可观察性、流量管理和安全性等能力。 ## SolarMesh的定位 - 基于Istio构建的流量监管平台 I

## 腾讯云 ## I stio 流量管理原理与协议扩展 赵化冰 The provided image is a graphic design and does not contain any chart, graph, or data points that can be extracted and converted into a markdown table. ## 腾讯云 赵化冰 值。 流量控制：服务发现、请求路由、负载均衡、灰度发布、错误重试、断路器、故障注入 可观察性：遥测数据、调用跟踪、服务拓扑 通信安全：服务身份认证、访问鉴权、通信加密  ## I stio 流量管理 – 概览 控制面下发流量规则：Pilot 集群内Pod流量出入：Sidecar Proxy • 集群外部流量入口：Ingress Gateway • 集群外部流量出口：Egress Gateway（可选,在一个集中点对外部访问进行控制）  ## I stio 流量管理 – 控制面

## APACHE APISIX的全流量API网关 温铭, 来自一家在远程工作方式下商业化开源项目的创业公司(支流科技), 担任CEO&联合创始人, Apache 顶级项目APISIX的PMC主席, Skywalking开源项目的贡献者(commiter)。在创业之前, 在360做企业安全, 360开源委员会的发起人, 腾讯的TVP, TARS基金会的TOC成员, 在安全领域有四十多个专利 安全和稳定第一：基于 Nginx 实现；mTLS 认证；敏感信息加密加盐(salt)保存 ·高性能：单核心 QPS 1.5 万，延迟低于 0.7 毫秒 ·运维友好：Prometheus，SkyWalking，流量复制，故障注入等 ## 技术架构  6d55c4e684/p7_1.jpg) ## Apache APISIX 能做什么？ ·处理 L4、L7 层流量：HTTP、HTTPS、TCP、UDP、MQTT、Dubbo、gRPC... · 替代 Nginx 处理南北向流量 · 替代 Envoy 处理服务间东西向流量 • k8s ingress controller · 借助 MQTT 插件作为 IoT 网关 · 借助 IdP

QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 经典算法与深度学习 在外卖物流调度中的应用 SPEAKER / 徐明泉 百度外卖首席架构师 ## 引言：外卖配送的背后  ## 引言：外卖订单调度系统要考虑的因素  ## 订单相关 [Image](/uploads/documents/a/a/4/e/aa4e49cfa61606eb57df64b13fa12217/p4_3.jpg) ## 一 ．外卖订单的智能调度系统 ### 二. 智能调度系统的大数据分析监控 ### 三. 智能调度系统中的人工智能 ## 提纲 ![Image](/uploads/documents/a/a/4/e/aa4e49cfa61606eb57df64b13fa12217/p5_1

## 深入 Kubernetes 的 “无人区” —— 蚂蚁金服双十一的调度系统 曹寅 ## 目录 contents 一、蚂蚁金服的Kubernetes现状 二、双十一Kubernetes实践 三、展望未来迎接挑战 ## 一、 蚂蚁金服的Kubernetes现状 ## 发展历程与落地规模 ## 平台研发 2018年下半年开始投入 Kubernetes 及其配套系统研发 ## 单集群规模 ## 90%+ 应用服务 ## 数十万 应用 Pods ## 统一资源调度架构 在线应用 数据库服务 OB serverless 平台 SOFAMesh 资源分时复用 计算型混部任务 业务 Kubernetes API Server 极速交付 分时复用 弹性容量 资源画像 规模化调度 高可用容灾 可视化服务 Cluster Control Panel 蚂蚁 实践 ## 资源分时调度 快速腾挪的问题 1. 实例上下线需要预热 2. 腾挪耗时不可控 3. 大规模腾挪的稳定性  ## 资源分时链路切换 分时调度控制器 资源及流量控制CRD 容量平台 资源控制 流量状态CRD 资源状态CRD

## Apache APISIX借助ServiceMesh 实现统一技术栈的全流量管理 金卫（API7 解决方案架构师） ## 金卫 中国大陆  扫一扫上面的二维码图案，加我为朋友。 • 支流科技－解决方案架构师 • Apache APISIX 企业介绍  ## 为全球企业管理并可视化业务流量，驱动数字化转型 深圳支流科技有限公司 2019年4月成立的基础软件开源商业公司，是捐赠给 Apache 基金会项目的中国公司中唯一的初创公司 提供Apache APISIX原厂支持和商业产品 故障，提供商业支持SLA和商业化版本API7产品 提供更多云原生解决方案 提供 API 网关、Kubernetes Ingress Controller、Service Mesh 等微服务和实时流量处理的产品和解决方案 吸引更多开发者 一起做出世界级的开源项目 我们一直在积极投入开源项目的开发，社区的运营，以及和使用者的沟通。 开源项目和社区，是开源商业公司的根基，吸引更多开发者，一起做出世界级的开源项目是支流科技的使命

## 全栈服务网格 - Aeraki 助你在 Istio 服务网格中管理任何七层流量 赵化冰@腾讯云 ## Huabing Zhao ## Software Engineer @ Tencent Cloud @zhaohuabing @zhaohuabing @zhaohuabing @zhaohuabing https://zhaohuabing.com  ## Agenda ☐ Service Mesh 中的七层流量管理能力 ☐ 几种扩展 Istio 流量管理能力的方法 ☐ Aeraki - 在 Isito 服务网格中管理所有七层流量 ☐ Demo - Dubbo Traffic Management ☐ MetaProtocol - Service Mesh 通用七层协议框架 f547185ff9278516/p4_1.jpg) ## What Do We Expect From a Service Mesh? 为了将基础设施的运维管理从应用代码中剥离，我们需要七层的流量管理能力： • Routing based on layer-7 header ☐ Load balancing at requet level ☐ HTTP host/header/url/method