Sunteng Technology 分布式任务系统 cronsun 苏创绩 @Copyright Sunteng Technology 目录 01 任务系统 02 分布式任务系统 03 cronsun 04 心得体会 @Copyright Sunteng Technology Part One 01 任务系统 @Copyright Sunteng Technology crontab cmd1 cmd2 cmd3 ... @Copyright Sunteng Technology 早期的 cron V7，1979 1. 在Version 7 Unix里是一个系统服务 2. 只用 root 运行任务 3. 算法简单直接 @Copyright Sunteng Technology 早期的 cron 运行逻辑 1. 读 /usr/lib/crontab 功能比较简单 4. 多机器的情况下任务维护成本较高 @Copyright Sunteng Technology Part Two 02 分布式任务系统 @Copyright Sunteng Technology 分布式系统的特点 1. 分布性 2. 对等性 3. 并发性 4. 缺乏全局时钟 5. 故障总是会发生 @Copyright Sunteng Technology

专业DSP解决⽅方案供应商 Golang与⾼高性能DSP竞价系统 By @QLeelulu 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • RTB: Real-time Bidding，实时竞价，允许⼲⼴广告买家根据 活动⺫⽬目标、⺫⽬目标⼈人群以及费⽤用⻔门槛等因素对每⼀一个⼲⼴广告 及每次⼲⼴广告展⽰示的费⽤用进⾏行竞价。 ） • 复杂的出价算法与逻辑 DSP竞价系统的挑战 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • 竞价请求解析（JSON 或 Google Protobuf） • 根据⼲⼴广告位属性过滤活动 • 根据客户端信息过滤活动（浏览器、操作系统类型等） • 根据地区过滤活动 • 查询Cookie 查询Cookie Mapping得到访客在DSP系统的唯⼀一ID • 根据⽤用户看过⼲⼴广告的频次过滤活动 • 根据访客的⼈人群属性过滤活动 • 根据活动的出价选择胜出的活动 • 其他更细致的过滤条件 100毫秒内要做些什么 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved 为什么选择Golang

统 复睿：李四保 ⽤用Golang ⾃自我介绍 l 开发过银⾏行设备 l 同花顺移动证券 l 前后参与创⽴立过多家公司 l ⽤用Golang写了⼀一个云操作系统 电⼒力、⽯石化、银⾏行、证券、⼲⼴广电、电商 研发、产品、运营、公司运营 l 多种职业 l 喜欢各种宗教 l 喜欢在虚⽆无中创造⼀一个世界 l 多个⾏行业 ⾃自我介绍 互联⺴⽹网 结缘Golang：上帝的⼿手法 l ⼤大道⾄至简 l ⽆无⽤用的都会被舍弃 l 互动和映照 l 迭代中前⾏行 结缘Golang：上帝的⼿手法 监控在线系统所有请求的性能，并通过⺴⽹网⻚页进⾏行提供查询功能 简介 功能 模拟ssh登录各server, 采集所有请求的数据 根据服务器、⽇日期、请求，显⽰示所选请求的性能⾛走势图，包括平均和最⼤大响应时间。 说⼀一万句，不如做⼀一件事：⽤用Golang写⼀一个操作系统 来份硬菜：⽤用Golang写⼀一个操作系统 l 操作系统 相对完整的控制系统资源，有应⽤用体系 Unix,CP/M,dos、windows, l ⽣生态操作系统 在原有操作系统内核基础上，构建新的应⽤用体系及应⽤用⽣生态 ios、android l 云操作系统 chrome

@johntech-o Date: 2015.04.25 go语⾔言并发编程实践 以360消息推送系统为例 如何应对的？ go语⾔言在基础服务开发领域的优势？ 我遭遇了哪些挑战？ ⺫⽬目录 具有go特⾊色的运维 在⾼高并发，通信交互复杂，重业务逻辑的分布式系统中， Go语⾔言优势体现在：开发体验好 、⼀一定量级下服务稳定 、性能满⾜足 需要 测试环境，可以通过300w⻓长连接压测（⺴⽹网络,连接稳定,⽆无带宽限制,实际可以更⾼高 ,决定于⼲⼴广播时候业务内存开销的cpu消耗带来的⼼心跳或者业务延时能否接受） 以360消息推送系统为例 ⾼高并发、通信交互复杂 Dispatcher Service Room Service Proxy Service Register Service Saver Id Service （deprecat ed） 接入客户端 Android IOS Linux Web Windows Flash Iframe for ever 消息系统简要架构 单实例，单端⼝口，多协议复⽤用 全双⼯工，单客户端，多app复⽤用服务单通道 适⽤用于复杂环境下的⺴⽹网络的接⼊入策略 协议完备、简单、数据安全、可扩展、省流量

Go 应用监控系统演进 张平 AfterShip 高级 SRE 关于 AfterShip 拥抱云原生和开源系统 目 录 监控架构概览 01 如何监控 Go 应用？ 02 Metrics 系统架构演进 03 Why VictoriaMetrics so good？ 04 总结与展望 05 监控架构概览 第一部分 监控系统架构概览 -- 数据源 监控系统架构概览 -- -- 告警配置 监控系统架构概览 -- 告警通道 如何监控 Go 应用？ 第二部分 基于 Prometheus Go 应用监控接入流程 确定指标 为应用埋点 部署应用 配置服务发现 监控展示 指标类型 ● Go 运行时指标 ○ Goroutine 数量 ● 应用层指标 ○ infra_http_request_total ● 业务指标 ○ 总 Tracking 查询量 ○ Tracking Tracking 创建速率 ○ 某个 ENT 客户的 Tracking 查询失败率 Metrics 系统架构演进 第三部分 2018-2020 2K+ 40K 1Mil+ 2020 年指标数据 业务指标数量 每秒写入数据点 Active Time Series 2018-2020 年架构 2020 年底面临的问题 ● 无法查询超过 30 天的数据 ● 查询慢，平均时间超过 2 分钟

LOGO p2p缓存系统 基于Golang的Aop设计模式 龚浩华 QQ 29185807 月牙寂 背景 v Web缓存（类似CDN技术） § 网页、图片 § 普通下载 § 普通视频 v P2P缓存 § 下载（bt等） § 视频（qvod、百度影音等） 背景 v P2P缓存好处 § 一次获取，多次利用 § 减少局域网出网流量 golang 常规分布式的缺点 1、缺乏全局状态知识 分布式系统中的节点只能访问自身的状 态，无法获取到全局的状态 2、缺乏全局时间 分布式系统中的节点无法做到时间的完 全一致性，会导致一些行为的顺序不确定 3、非确定 普通程序输入则得到固定的输出。分布 式系统则存在很多差异。 golang 基于golang的分布式程序（单进程） client数量、存活 自身存在的必要检查：如超时无client连接 P2P缓存框架 4、文件模块 具体文件的存储，另外再加上内存缓存系统 5、client 对应于与客户端的一个连接，通过协议进行 通信。通过任务模块再来进行文件模块的读 写，将数据发送给客户端 6、下载模块 如何识别热点？群体智能

顺便介绍了更多的类型推断规则 第9章：函数声明和调用 第10章：代码包和包引入 第11章：表达式、语句和简单语句 第12章：基本流程控制语法 第13章：协程、延迟函数调用、以及恐慌和恢复 Go类型系统 第14章：Go类型系统概述 - 精通Go编程必读 第15章：指针 第16章：结构体 第17章：值部 - 为了更容易和更深刻地理解Go中的各种值 第18章：数组、切片和映射 - Go中的首要容器类型 第19章：字符串 的几个重要优点： 程序编译时间短 像动态语言一样灵活 内置并发支持 上面所有提到的优点使得Go成为一个出众的编程语言。 对于很多项目来说， Go是一个相当不错的选择。 目前，Go主要用于网络开发、系统工具开发、数 据库开发和区块链开发。 随着从Go 1.18开始支持自定义泛型，预期Go会在更 多开发领域流行起来，比如图形界面、游戏、大数据和人工智能等。 最后，我们应该知道，没有一门语言是完美的。Go也一样。Go的设计中有很多 种 类 型 （ type ） 和 值 （value）。 一个类型可以看作是值的模板。一个值可以看作是某个类型的实 例。 大多数编程语言支持自定义类型和若干预声明类型（即内置类型）。 一门 语言的类型系统可以说是这门语言的灵魂。 编程中常常会使用大量的值。 一些在编码阶段可确定的值可以用它们的字面形 式（literal，即字面量）来表示。 为了编程灵活和不易出错，其它的值一般使 用变量（variable）和（具名）常量（named

顺便介绍了更多的类型推断规则 第9章：函数声明和调用 第10章：代码包和包引入 第11章：表达式、语句和简单语句 第12章：基本流程控制语法 第13章：协程、延迟函数调用、以及恐慌和恢复 Go类型系统 第14章：Go类型系统概述 - 精通Go编程必读 第15章：指针 第16章：结构体 第17章：值部 - 为了更容易和更深刻地理解Go中的各种值 第18章：数组、切片和映射 - Go中的首要容器类型 第19章：字符串 的几个重要优点： 程序编译时间短 像动态语言一样灵活 内置并发支持 上面所有提到的优点使得Go成为一个出众的编程语言。 对于很多项目来说， Go是一个相当不错的选择。 目前，Go主要用于网络开发、系统工具开发、数 据库开发和区块链开发。 随着从Go 1.18开始支持自定义泛型，预期Go会在更 多开发领域流行起来，比如图形界面、游戏、大数据和人工智能等。 最后，我们应该知道，没有一门语言是完美的。Go也一样。Go的设计中有很 在大多数高级编程语言中，数据通常被抽象为各种类型（type）和值 （value）。 一个类型可以看作是值的模板。一个值可以看作是某个类型的实 例。 大多数编程语言支持自定义类型和若干预声明类型（即内置类型）。 一 门语言的类型系统可以说是这门语言的灵魂。 编程中常常会使用大量的值。 一些在编码阶段可确定的值可以用它们的字面 形式（literal，即字面量）来表示。 为了编程灵活和不易出错，其它的值一般 使用变量（variable）和（具名）常量（named

顺便介绍了更多的类型推断规则 第9章：函数声明和调用 第10章：代码包和包引入 第11章：表达式、语句和简单语句 第12章：基本流程控制语法 第13章：协程、延迟函数调用、以及恐慌和恢复 Go类型系统 第14章：Go类型系统概述 - 精通Go编程必读 第15章：指针 第16章：结构体 第17章：值部 - 为了更容易和更深刻地理解Go中的各种值 第18章：数组、切片和映射 - Go中的首要容器类型 第19章：字符串 个重要优点： 程序编译时间短 像动态语言一样灵活 内置并发支持 上面所有提到的优点使得Go成为一个出众的编程语言。 对于很多项目来说，Go是一 个相当不错的选择。 目前，Go主要用于网络开发、系统工具开发、数据库开发和区 块链开发。 随着从Go 1.18开始支持自定义泛型，预期Go会在更多开发领域流行起 来，比如图形界面、游戏、大数据和人工智能等。 第2章：Go语言简介 10 最后 在大多数高级编程语言中，数据通常被抽象为各种类型（type）和值（value）。 一个类型可以看作是值的模板。一个值可以看作是某个类型的实例。 大多数编程语 言支持自定义类型和若干预声明类型（即内置类型）。 一门语言的类型系统可以说 是这门语言的灵魂。 编程中常常会使用大量的值。 一些在编码阶段可确定的值可以用它们的字面形式 （literal，即字面量）来表示。 为了编程灵活和不易出错，其它的值一般使用变 量（variable）和（具名）常量（named