Technology 分布式任务系统 cronsun 苏创绩 @Copyright Sunteng Technology 目录 01 任务系统 02 分布式任务系统 03 cronsun 04 心得体会 @Copyright Sunteng Technology Part One 01 任务系统 @Copyright Sunteng Technology 任务 1. 什么时间 什么时间 2. 什么地点 3. 做什么事 @Copyright Sunteng Technology 一个简单的任务 0 8 * * * echo "Hello Gophers!" @Copyright Sunteng Technology cron crond crontab cmd1 cmd2 cmd3 ... @Copyright @Copyright Sunteng Technology 早期的 cron V7，1979 1. 在Version 7 Unix里是一个系统服务 2. 只用 root 运行任务 3. 算法简单直接 @Copyright Sunteng Technology 早期的 cron 运行逻辑 1. 读 /usr/lib/crontab 文件 2. 如果有命令要在当前时间执行，就用

文件拷贝 12.4 从命令行读取参数 12.5 用 buffer 读取文件 - 4 - 本文档使用 书栈(BookStack.CN) 构建 12.6 用切片读写文件 12.7 用 defer 关闭文件 12.8 使用接口的实际例子：fmt.Fprintf 12.9 格式化 JSON 数据 12.10 XML 数据格式 12.11 用 Gob 传输数据 12.12 Go 中的密码学 协程（goroutine）与通道（channel） 14.1 什么是协程 14.2 协程间的信道 14.3 协程的同步：关闭通道-测试阻塞的通道 14.4 使用 select 切换协程 14.5 通道、超时和计时器（Ticker） 14.6 协程和恢复（recover） 14.7 新旧模型对比：任务和worker 14.8 惰性生成器的实现 14.9 实现 Futures 模式 第 15 章 网络，模板和网页应用 一个简单的网页服务器 15.3 访问并读取页面 15.4 写一个简单的网页应用 第 16章 常见的陷阱与错误 16.1 误用短声明导致变量覆盖 16.2 误用字符串 16.3 发生错误时使用defer关闭一个文件 16.4 何时使用new()和make() - 5 - 本文档使用 书栈(BookStack.CN) 构建 16.5 不需要将一个指向切片的指针传递给函数 16.6 使用指针指向接口类型

也解释了什么是“函数退出阶段” 第32章：代码块和标识符作用域 第33章：表达式估值顺序规则 第34章：值复制成本 第35章：边界检查消除 并发编程 第36章：并发同步概述 第37章：通道用例大全 第38章：如何优雅地关闭通道 第39章：其它并发同步技术 - 如何使用sync标准库包 第40章：原子操作 - 如何使用sync/atomic标准库包 第41章：Go中的内存顺序保证 第42章：一些常见并发编程错误 编程和程序代码元素 简单来讲，编程可以看作是以各种方式控制和组合计算机运行中的各种操作， 以达到各种各样的目的。 一个操作可能从一个硬件设备读取、或者向一个硬件 设备写入一些数据，从而完成一个特定的任务。 对于现代计算机来说，最基本 的操作是底层计算机指令，比如CPU和GPU指令。 常见的硬件设备包括内存、 磁盘、网卡、显卡，显示器、键盘和鼠标等。 直接操控底层计算机指令进行编程是非常繁琐和容易出错的。 样，每个分支代码块的结尾不需要一条break语句就可以自动跳出当前的 switch-case流程控制。 那么如何让执行从一个case分支代码块的结尾跳入下一 个分支代码块？Go提供了一个fallthrough关键字来完成这个任务。 比如，在 下面的例子中，所有的分支代码块都将得到执行（从上到下）。 rand.Seed(time.Now().UnixNano()) // Go 1.20之前需要 switch n := rand

也解释了什么是“函数退出阶段” 第32章：代码块和标识符作用域 第33章：表达式估值顺序规则 第34章：值复制成本 第35章：边界检查消除 并发编程 第36章：并发同步概述 第37章：通道用例大全 第38章：如何优雅地关闭通道 第39章：其它并发同步技术 - 如何使用sync标准库包 第40章：原子操作 - 如何使用sync/atomic标准库包 第41章：Go中的内存顺序保证 第42章：一些常见并发编程错误 编程和程序代码元素 简单来讲，编程可以看作是以各种方式控制和组合计算机运行中的各种操作， 以达到各种各样的目的。 一个操作可能从一个硬件设备读取、或者向一个硬 件设备写入一些数据，从而完成一个特定的任务。 对于现代计算机来说，最 基本的操作是底层计算机指令，比如CPU和GPU指令。 常见的硬件设备包括 内存、磁盘、网卡、显卡，显示器、键盘和鼠标等。 直接操控底层计算机指令进行编程是非常繁琐和容易出错的。 样，每个分支代码块的结尾不需要一条break语句就可以自动跳出当前的 switch-case流程控制。 那么如何让执行从一个case分支代码块的结尾跳入下 一个分支代码块？Go提供了一个fallthrough关键字来完成这个任务。 比如， 在下面的例子中，所有的分支代码块都将得到执行（从上到下）。 1| rand.Seed(time.Now().UnixNano()) // Go 1.20之前需要 2| switch

第32章：代码块和标识符作用域 目录 2 第33章：表达式估值顺序规则 第34章：值复制成本 第35章：边界检查消除 并发编程 第36章：并发同步概述 第37章：通道用例大全 第38章：如何优雅地关闭通道 第39章：其它并发同步技术 - 如何使用sync标准库包 第40章：原子操作 - 如何使用sync/atomic标准库包 第41章：Go中的内存顺序保证 第42章：一些常见并发编程错误 编程和程序代码元素 简单来讲，编程可以看作是以各种方式控制和组合计算机运行中的各种操作，以达 到各种各样的目的。 一个操作可能从一个硬件设备读取、或者向一个硬件设备写入 一些数据，从而完成一个特定的任务。 对于现代计算机来说，最基本的操作是底层 计算机指令，比如CPU和GPU指令。 常见的硬件设备包括内存、磁盘、网卡、显卡， 显示器、键盘和鼠标等。 直接操控底层计算机指令进行编程是非常繁琐和容易出错的。 个分支代码块的结尾不需要一条break语句就可以自动跳出当前的switch-case流 程控制。 那么如何让执行从一个case分支代码块的结尾跳入下一个分支代码块？ Go提供了一个fallthrough关键字来完成这个任务。 比如，在下面的例子中，所 有的分支代码块都将得到执行（从上到下）。 1| rand.Seed(time.Now().UnixNano()) // Go 1.20之前需要 2| switch

21 世纪的 C 语言！ 作为一门系统编程语言，你不应该为 Go 语言的大多数代码示例和练习都和控制台有着密不可分的关系而 感到惊奇，因为提供平台依赖性的 GUI（用户界面）框架并不是一个简单的任务。有许多由第三方发起的 GUI 框架项目正在如火如荼地进行中，或许我们会在不久的将来看到一些可用的 Go 语言 GUI 框架。不过 现阶段的 Go 语言已经提供了大量有关 Web 方面的功能，我们可以通过它强大的 旧运行在某种意义上的虚拟机，以此来实现高效快速的垃圾回收（使用了一个简单的标记-清除算法）。 尽管垃圾回收并不容易实现，但考虑这将是未来并发应用程序发展的一个重要组成部分，Go 语言的设计 者们还是完成了这项艰难的任务。 Go 语言还能够在运行时进行反射相关的操作。 使用 go install 能够很轻松地对第三方包进行部署。 此外，Go 语言还支持调用由 C 语言编写的海量库文件（第 3.9 节），从而能够将过去开发的软件进行快 本文档使用 看云 构建 ‘make[2]: Leaving directory `/localusr/go/src/pkg/net’ 如果你正在使用一个带有防火墙的机器，我建议你可以在编译过程中暂时关闭防火墙，以避免不必要 的错误。 解决这个问题的另一个办法是通过设置环境变量 $DISABLE_NET_TESTS 来告诉构建工具忽略 net/http 包的相关测试： export DISABLE_NET_TESTS=1

Go语言中有种不错的设计，即延迟（defer）语句，可以在函数中添加多个defer语句。当函数执行到最 后时，这些defer语句会按照逆序执行，最后该函数返回。特别是当进行一些打开资源的操作时，遇到错 误需要提前返回，在返回前需要关闭相应的资源，不然很容易造成资源泄露等问题。如下代码所示，一 般写打开一个资源是这样操作的： func main() { x := 3 fmt.Println("x = ", x) defer 后指定的函数会在函数退出前调用。 如果有很多调用 defer ，那么 defer 是采用后进先出模式，所以如下代码会输出 4 3 2 1 0 通常来说，defer会用在释放数据库连接，关闭文件等需要在函数结束时处理的操作。 函数作为值、类型 在Go中函数也是一种变量，可以通过 type 来定义它，它的类型就是所有拥有相同的参数，相同的返回 值的一种类型 函数作为类型到底有 可能体现在底层就是五六个线程，Go语言内部实现了这些 goroutine 之间的内存共享。执 行 goroutine 只需极少的栈内存(大概是4~5KB)，当然会根据相应的数据伸缩。也正因为如此，可同时 运行成千上万个并发任务。 goroutine 比 thread 更易用、更高效、更轻便。 goroutine 是通过Go的 runtime 管理的一个线程管理器。 goroutine 通过 go 关键字实现了，其实就

中每新增一行常量声明将使 iota 计数一次(iota 可理解为 const 语句块中的行索引)。 代码示例 语言函数 概述 函数是基本的代码块，用于执行一个任务。 Go 语言最少有个 main() 函数。 你可以通过函数来划分不同功能，逻辑上每个函数执行的是指定的任务。 函数声明（函数签名）告诉了编译器函数的名称，返回类型，和参数。 Go 语言标准库提供了多种可动用的内置的函数。例如，len() 函数可以接受不同类型参数并返回该类型的长度。 [5]float32{1000.0, 2.0, 3.4, 7.0, 50.0} 案例：数组打印和初始化 多维数组 案例 指针 定义 Go 语言中指针是很容易学习的，Go 语言中使用指针可以更简单的执行一些任务。 Go 语言的取地址符是 &，放到一个变量前使用就会返回相应变量的内存地址。 什么是指针？ 一个指针变量指向了一个值的内存地址。 指针的使用流程 1. 定义指针变量。 2. 为指针变量赋值。 的调度是由 Golang 运行时进行管理的。 goroutine 语法格式： go 函数名 （参数列表） 例子： go f(x, y, z) 通道（channel） 通道缓冲区 Go 遍历通道与关闭通道 包的基本概念 说明：Go与语言的每个文件都属于一个包，也就是说go 是以包的行是来管理文件和项目目录结构的。 作用 1. 区分相同名字的函数、变量标识符等 2.当程序文件很多的时候，可以很好的管理项目

(shell-command-on-region (point-min) (point-max) "go tool fix -diff")) 6. 恭喜你，你现在可以体验在神器中开发Go的乐趣。默认speedbar是关闭的，如果打开需要把 ;; (speedbar 1) 前面的注释去掉，或者也可以通过 M-x speedbar 手动开启。 Eclipse Eclipse Eclipse也是非常常用的开发 er）语句，你可以在函数中添加多个defer语句。当函数执行到最后时，这些 defer语句会按照逆序执行，最后该函数返回。特别是当你在进行一些打开资源的操作时，遇到错误需要提前返回， 在返回前你需要关闭相应的资源，不然很容易造成资源泄露等问题。如下代码所示，我们一般写打开一个资源是这样 操作的： func ReadWrite() bool { file.Open("file") // 做一些工作 底层就是五六个线程，Go语言内部帮你实现了这些goroutine之间的内存共享。执行goroutine只需极少的栈内存(大 概是4~5KB)，当然会根据相应的数据伸缩。也正因为如此，可同时运行成千上万个并发任务。goroutine比thread更 易用、更高效、更轻便。 goroutine是通过Go的runtime管理的一个线程管理器。goroutine通过go关键字实现了，其实就是一个普通的函数。

prometheus，内存 RSS 是多少，goroutine 数量多少，goroutine 栈占⽤多少 -> 如果 goroutine 不多，那么重 点关注 heap profile 中的 inuse -> 定时任务类需要看 alloc 4. goroutine 数量过多 -> 从 profile ⽹⻚进去看看 goroutine 都在⼲什 么 -> 查死锁、阻塞等问题 -> 个别不在意延迟的选择第三⽅库优 dump profile ⾃动 dumper 能够发现的偶发线上问题⼀览 Holmes 之前定位出的线上问题，偶发死锁。 ⻓连接场景，为了连接保活， 每 15s 发送⼀次⼼跳 当⼼跳失败 6 次时，会关闭重建连 恰好有些实例出现 6 次⼼跳 与发送数据并发 出现了死锁 ⾃动 dumper 能够发现的偶发线上问题⼀览 Holmes 之前定位出的线上问题 Decode huge packet 某些语⾔的⽹络