# 基于 mesos 的容器调度框架 Gopher 杭州 meetup 5 August 2017 黄励博(huangnau) 又拍云 ## What's Upone UPONE ## demandporn 10 repo.upyun.com:5043/demandpom:v0.0.17 CPU: 1.0 MEM: 2560.0M Disk: 0.0G Net: BRIDGE ## Mesos 调度  各个 Agent 启动后, 向 Master 注册, 携带统计资源, 由 Master 决定给每个框架多少资源, 默认采用分级主导资源公平算法 每个框架收到资源后, 根据自身任务需求, 调度任务的资源分配 ## ## MARATHON + CHR + ? 为云处理服务定制的容器调度框架，支持长期服务和定时任务 ## 处理流程  Image credit: dcos architecture (https://dcos.io/docs/1.7/ove

## GCN ## Go 语言的抢占式调度  曹春晖 资深 Gopher  Go 程序的启动 01 GMP 的本质 02 调度循环的实现 03 老版本的抢占实现 04 新版本的抢占实现 05 当前的 Go 语言还有哪些问题 06 ## 第一部分 ## Go 程序的启动 ## 编译过程 ### Go 程序 hello.go 的编译过程： ●●● package main func main() { println("hello entrypoints rizin ## 启动过程 ## 通过 entry point 找到 Go 进程的执行入口 runtime.rt0_amd64_linux 开始执行用户main函数 从这里开始 进入调度循环 runtime.rt0_go runtime.rt0_amd64 初始化内置数据结构 runtime.rt0_go 全局 $ m_{0} $ g $ _{0} $ 初始化 获取CPU核心数

## 感谢聆听！ 唯品会开源弹性调度系统 Saturn的“前世今生” 邱戈川（了哥） 微信公众号： VIPDOCK  黄国钦 (Chembo) 唯品会高级开发工程师 ## 内容主题 为何而生 GitHub 有女初长成 女大须嫁 jpg) ## 传统调度系统的问题、产品的定位与选型 ## 需要解决的问题 异构 / 多语言难以支持 缺乏统一监控、统一管理 (进程假死、运行状态未知) 缺乏容错、容灾，高可用 难以问题追踪 5 无法合理利用机器资源 缺乏分布式处理 ## 选型对比 Linux系统级的定时任务执行器 缺乏分布式运算和集中管理功能 无法做到高可用 阿里早期开源的分布式任务调度系统，代码略陈旧 关注点在定时任务而非数据， 缺少分布式并行调度的功能 Elatic-Job 当当开源的分布式任务调度系统 代码较新，使用Quartz进行调度。提供 高可用和分布式功能 功能单一，只支持Java，不支持 Shell(PHP)和消息驱动的作业调度 对任务超时、任务执行情况、监控逻辑 支持粒度功能较单一或缺乏 ## 调度产品的定位 简易开发、简单维护 高可用、分片并发处理、资源调度动态平衡 支持Ja

## 亿图图示 产品分享 赋能绘图创意，提升办公效率 ## 行业趋势 ## 越来越多的企业期望用一款绘图软件解决企业办公日常需求 46%的全球公司有跨地域团队，33%的全球公司用协同场景工具改善工作效率。 79%的知识工作者有分散式协同工作的场景需求，其中82%都表示跨设备文件传输在工作效率中扮演重要角色。 ◆ 49%的数字营销人员会选择能跨端的产品做视觉类的图像处理，只有11%的用户会用不同的工具解决不同的需求的产品。 [Image](/uploads/documents/8/a/5/8/8a58ca79245ba7f58d7b7fa3b72e6378/p12_8.jpg) SaaS 跨端协作 一个账号多端同步，支持云端数 据共享协作，提高办公效率 ## 私有化部署 数据更安全、服务更稳定、协作更高效 01 私有化部署 免费试用 02 根据实际情况沟通方案 03 培训服务支持 技术支持  功能强大 亿图软件包含思维导图工具、创意绘图工具、项目管理工具，赋能企业在数字时代与众不同地进行创意表达，提高生产效率。  信息安全 我们为企业信息

conn active ? connpool.Put(conn) ## Go net 在 RPC 场景下的问题 1. Conn 难以探活，维护连接池成本高 2. BIO 式编程， 连接量大时，调度开销大 go func() { for { conn, _ := listener.Accept() go func() { conn Write(response) } } } ## Go net 在 RPC 场景下的问题 1. Conn 难以探活，维护连接池成本高 2. BIO 式编程， 连接量大时，调度开销大 go func() { conn, _ := listener.Accept() epoll_ctl(conn.fd, readable...) } go func() { events, wait_msec) for i:=0; i ## Go net 在 RPC 场景下的问题 1. Conn 难以探活，维护连接池成本高 2. BIO 式编程， 连接量大时，调度开销大  ## 业界调研 ||netpoll|gnet|easygo

# vmware $ ^{®} $ EDUCATION SERVICES # VMware vSphere：优化和扩展 ## 培训方式 • 讲师指导培训 · 实时在线培训 ## 课程用时 • 为期五 (5) 天的讲师指导课堂培训 - 听课时间占 60%，动手实验时间占 40% ## 目标学员 经验丰富的系统管理员和系统集成人员 ## 课程适用对象 区管理员 □ 专家 ☒ $ ^{TM} $ 5.0 讲授。 ## 课程目标 课程结束后，您应能胜任以下工作： - 配置和管理大型成熟企业的 ESXi 网络和存储系统。 • 管理 vSphere 环境变更。 • 优化所有 vSphere 组件的性能。 ● 排除操作故障并找出造成这些故障的根本原因。 - 使用 VMware vSphere $ ^{®} $ ESXi $ ^{™} $ Shell 和 VMware 将虚拟机从标准交换机迁移到分布式交换机 - 了解分布式交换机的功能特性，例如 PVLAN、VMware vSphere $ ^{®} $ 网络 I/O 控制、端口镜像和 NetFlow ## 网络优化  • 了解网络适配器的性能特点 -

# Greenplum上云与优化 — ApsaraDB for Greenplum介绍 主办单位：Alibaba Group 阿里巴巴集团 战略合作伙伴：intel 杭州 张广舟（明虚） 阿里云高级专家 ## 目录 ApsaraDB for GP的定位 ApsaraDB for GP的内核优化 未来的规划 # ApsaraDB for GP的定位 ## ApsaraDB for GP的定位 GP的定位 GP的优势？ 与其他技术的对比？ 为什么上云？ ## ApsaraDB for GP的定位 MPP + 列存压缩 ApsaraDB for GP = 复杂SQL + 查询优化器 本地高效存储 + 高速网络 + 预置稳定资源 = 简单、高效解决大数据分析需求 ### GP vs. RDS? MPP处理举例 ## Select count(*) from customer group [Image](/uploads/documents/f/2/6/d/f26d9043d030148cb59ffb98d820fd24/p9_3.jpg) ### GP vs. Hadoop? Orca优化器 SQL Runtime # >5-30倍的性能优势 本地存储 ### ApsaraDB for GP vs. AWS Redshift? ## “有史以来卖的最好的云服务” |对比项目|ApsaraDB

## cloudera ## HBase最佳实践及优化 陈飚 cb@cloudera.com Cloudera ## 关于我 陈飚 Cloudera售前技术经理、资深方案架构师 http://biaobean.pro  原Intel 原Intel Hadoop发行版核心开发人员, 成功实施并运维多个上百节点Hadoop大数据集群。 – 曾在Intel编译器部门从事服务器中间件软件开发，擅长服务器软件调试与优化，与团队一起开发出世界上性能领先的XSLT语言处理器 – 2010 年后开始Hadoop 产品开发及方案顾问，先后负责Hadoop 产品化、HBase 性能调优，以及行业解决方案顾问 ## HBase的历史 HBase是Google 分布式的多层次映射表结构（key-value形式，value有多个） - 固定一个数据模型（固定数据模型能得到高性能，同时满足应用需求） - 无数据类型 ## HBase的实现特性 - 非常高的数据读写速度，为写特别优化 - 高效的随机读取 – 对于数据的某一个子集能够进行有效地扫描 - 具有容错特性，能够将数据持久化的非易失性存储中 – 使用HDFS做底层存储，可利用Hadoop的压缩Codec等减少空间占用