# 基于 mesos 的容器调度框架 Gopher 杭州 meetup 5 August 2017 黄励博(huangnau) 又拍云 ## What's Upone UPONE ## demandporn 10 repo.upyun.com:5043/demandpom:v0.0.17 CPU: 1.0 MEM: 2560.0M Disk: 0.0G Net: BRIDGE ## Mesos 调度  各个 Agent 启动后, 向 Master 注册, 携带统计资源, 由 Master 决定给每个框架多少资源, 默认采用分级主导资源公平算法 每个框架收到资源后, 根据自身任务需求, 调度任务的资源分配 ## ## MARATHON + CHR + ? 为云处理服务定制的容器调度框架，支持长期服务和定时任务 ## 处理流程  Image credit: dcos architecture (https://dcos.io/docs/1.7/ove

## GCN ## Go 语言的抢占式调度  曹春晖 资深 Gopher  Go 程序的启动 01 GMP 的本质 02 调度循环的实现 03 老版本的抢占实现 04 新版本的抢占实现 05 当前的 Go 语言还有哪些问题 06 ## 第一部分 ## Go 程序的启动 ## 编译过程 ### Go 程序 hello.go 的编译过程： ●●● package main func main() { println("hello entrypoints rizin ## 启动过程 ## 通过 entry point 找到 Go 进程的执行入口 runtime.rt0_amd64_linux 开始执行用户main函数 从这里开始 进入调度循环 runtime.rt0_go runtime.rt0_amd64 初始化内置数据结构 runtime.rt0_go 全局 $ m_{0} $ g $ _{0} $ 初始化 获取CPU核心数

## 感谢聆听！ 唯品会开源弹性调度系统 Saturn的“前世今生” 邱戈川（了哥） 微信公众号： VIPDOCK  黄国钦 (Chembo) 唯品会高级开发工程师 ## 内容主题 为何而生 GitHub 有女初长成 女大须嫁 jpg) ## 传统调度系统的问题、产品的定位与选型 ## 需要解决的问题 异构 / 多语言难以支持 缺乏统一监控、统一管理 (进程假死、运行状态未知) 缺乏容错、容灾，高可用 难以问题追踪 5 无法合理利用机器资源 缺乏分布式处理 ## 选型对比 Linux系统级的定时任务执行器 缺乏分布式运算和集中管理功能 无法做到高可用 阿里早期开源的分布式任务调度系统，代码略陈旧 关注点在定时任务而非数据， 缺少分布式并行调度的功能 Elatic-Job 当当开源的分布式任务调度系统 代码较新，使用Quartz进行调度。提供 高可用和分布式功能 功能单一，只支持Java，不支持 Shell(PHP)和消息驱动的作业调度 对任务超时、任务执行情况、监控逻辑 支持粒度功能较单一或缺乏 ## 调度产品的定位 简易开发、简单维护 高可用、分片并发处理、资源调度动态平衡 支持Ja

GO CN 微博增值团队在Go服务可观测性的实践与探索 张铃崎 @我馨里的小雨雨雨雨呀 目前从事可观测性与基础设施建设相关工作。 https://07is.me ’ alt=‘OCR图片’/> 第一部分背景 ’ alt=‘OCR图片’/> 背景 微博热搜 点击刷新 这份国礼承载着中泰两国人民的… 1 世界杯开幕式 582.5万 2郑州通报4个月大女婴夭折 299万 3 卡塔尔世界杯有哪些中… 今晚有热点，请各位做好保障。 用户投诉到老板微博底下了，xxx功能怎么不能用了？ xxx接口性能怎么这么差？怎么才这么点QPS就扛不住了？谁写的谁看看？ ’ alt=‘OCR图片’/> 背景 故障 故障通常是用户投诉发现（有时是老板） 故障定位问题时间长： 2020年临时头像故障为例，根因是大Key导致Mc带宽打满，2小时才定位到问题，近2年会员团队最严重的故障。 维护成本 没人完整知道服务之间的依赖关系。依赖资源错综复杂。 没人完整知道服务之间的依赖关系。依赖资源错综复杂。 服务迁移，重构，php版本升级时，隐藏问题无法发现 团队Go转型、拥抱k8s 重复造轮子，浪费开发时间 监控效率 监控体系不统一，规则不完善，覆盖度不足 下游依赖监控不可控 ’ alt=‘OCR图片’/> 发展历史 Grafana Labs Skywalking OpenTelemetry ’ alt=‘OCR图片’/> 第二部分 可观测性 ’ alt=‘OCR图片’/>

## 微博Service Mesh实践 —Weibo Mesh ## 微博搜索/丁振凯 2018.07.29 ## 内容提要 CONTENTS  1. 跨语言服务化的必要性及难点  ## 业务部门调用链 ## 业务部门 Golang 服务 PHP 服务 WEB A RPC A WEB B Motan RPC B 平台体系 OR服务 ## 4 ,7层调度 业务部门语言种类繁多 微服务体系建设不完善/重复 网络抖动，dns不稳定 4，7层冗长调用链及资源消耗 ## 趋势 微服务 容器化 DevOps 云原生 1 2 3 4 服务治理与业务逻辑解耦，可持续交付 ## 2 ## 跨语言服务化面临的问题 • 改造成本 • 服务治理 ## 改造成本 Server(php/java/

## 從微軟角度看 Kubernetes 對公有雲所帶來的改變與挑戰 Tom Lee 雲端解決方案架構師 合作夥伴暨商務事業群 台灣微軟 ## 2014 Satya 公開表示 "Microsoft loves Linux" .NET Foundation 成立 ## 2016 .NET Core 1.0 開放源碼 微軟宣布 SQL on Linux 計畫 Foundation ## 2017 微軟加入 CNCF 開放源碼計畫 Helm, Draft, Brigade, Kashti projects 貢獻 Kubernetes 社群 推出 Azure Kubernetes Service ## 2018 Azure Sphere 採用 Linux kernel 微軟宣布併購 GitHub ~5,000 微軟員工參與 GitHub 上為數眾多之開

 链滴 ## rocketmq 服务部署 作者：gitsilence 原文链接：https://ld246.com/article/1632123166220 来源网站：链滴 许可协议：署名-相同方式共享4.0国际(CC BY-SA brokerRole=ASYNC_MASTER # 刷盘方式，ASYNC_FLUSH=异步刷盘，SYNC_FLUSH=同步刷盘 flushDiskType=ASYNC_FLUSH # broker对外服务的监听端口 listenPort=10911 # nameServer地址，如果name server是多台集群的话，就用分号分隔 namesrvAddr=192.168.166.20:9876;192 lave节点 brokerRole=SLAVE # 刷盘方式，ASYNC_FLUSH=异步刷盘，SYNC_FLUSH=同步刷盘 flushDiskType=ASYNC_FLUSH # broker对外服务的监听端口 listenPort=11011 # nameServer地址，如果name server是多台集群的话，就用分号分隔 namesrvAddr=192.168.166.20:9876;192

## RAINBOND服务日志管理 好雨交付工程师-郭逊 ## 大纲 1. Rainbond自身的日志管理机制 2. 对接 Elasticsearch 3. 演示示例 2019-07-31T03:29:22.251Z INFO [monitoring] log/log.go:124 Non-zero metrics in the last 30s {"monitoring": /4/b/d/24bd0bda2e50810fa43321ee941db5bf/p4_1.jpg) # 1.RAINBOND自身日志管理机制 ### 1.1 日志界面 首页 / 我的应用 / 服务日志对接Es示例 / NGINX NGINX 访问 关闭 管理容器 其他操作 最近1000条日志 2019-07-30T15:59:22.251Z INFO [monitoring] log/log RAINBOND自身日志管理机制 1.3 日志来源，以及相关原理 node服务功能与角色 NODE服务会监视DOCKERD进程，观察其创建与销毁容器。获取文件系统中容器日志的路径，监视来自容器标准输出和标准错误输出，并以UDP协议分发到RBD-EVENTLOG组件。 rbd-eventlog组件功能与角色 接收来自NODE服务的推送，用WEBSOCKET协议将日志内容推送到用户所操作的应用控制台。

ServiceComb 微服务框架 杨波 ServiceComb 社区 / 华为开源软件能力中心 ## ServiceComb微服务解决方案 云 平滑上云 ServiceComb 微服务解决方案 Java编程 (POJO/SpringM VC/JAX-RS) 熔断/容错 处理链 限流 负载均衡 JWT认证 Golang 编程 边缘服务 服务契约 微服务脚手架 通信协议 (Rest&RPC) Saga事务一致性 ServiceMesh 动态配置 服务注册 分布式追踪 服务度量 开源生态能力互通 SpringBoot Zipkin Apollo Istio SpringCloud Skywalking Others..... Dubbo Prometheus 微服务生态 APM/Tracing生态 配置中心生态 ServiceMesh生态 ServiceComb子系统 服务中心 ServiceCenter 是一个使用Go构造的、建立在etcd存储上的高性能、高可用服务中心。 Java微服务SDK Java Chassis是一个由编程模型、运行模型、通信模型和服务契约四个部分组成的微服务框架。 Saga 分布式事务解决方案 Saga 是一个微服务数据一致性解决方案。 Go微服务SDK 编程模型 ![Ima