@Copyright Sunteng Technology 分布式任务系统 cronsun 苏创绩 @Copyright Sunteng Technology 目录 01 任务系统 02 分布式任务系统 03 cronsun 04 心得体会 @Copyright Sunteng Technology Part One 01 任务系统 @Copyright Sunteng Technology Part Two 02 分布式任务系统 @Copyright Sunteng Technology 分布式系统的特点 1. 分布性 2. 对等性 3. 并发性 4. 缺乏全局时钟 5. 故障总是会发生 @Copyright Sunteng Technology 分布式 cron 分布式crond 分布式crontab cmd1 cmd2 cmd3 Chronos Chronos 是一个运行在 Mesos 之上的具有分布式容错特性的作业调度器 @Copyright Sunteng Technology Dkron 分布式高可用的任务调度系统 @Copyright Sunteng Technology 我眼里的“西施” 1. 可替代 cron 2. 分布式、高可用 3. 支持多种任务属性 4. 易用 5. 易部署 @Copyright

Go 语⾔的抢占式调度 曹春晖 资深 Gopher ⽬ 录 Go 程序的启动 01 GMP 的本质 02 调度循环的实现 03 ⽼版本的抢占实现 04 新版本的抢占实现 05 当前的 Go 语⾔还有哪些问题 06 Go 程序的启动 第⼀部分 编译过程 Go 程序 hello.go 的编译过程： ⽂本 -> 编译 -> ⼆进制可执⾏⽂件 编译过程 编译：⽂本代码 -> 的 curg 的标志位置为 true 这之后的流程需要正在运⾏的 goroutine 来配合 协作式抢占的“协作”过程 检查当前栈空间是否⾜够，不够的话，需要申请新的栈空间 只要当 framesize > 0 时才会有栈空间检查 framesize ⼀般是由 locals 决定的 协作式抢占的“协作”过程 保存当前 goroutine 的运⾏现场，切换到 m.g0，执⾏ newstack newstack 协作式抢占的“协作”过程 gopreempt_m 将当前的 goroutine 放进了全局队列 教练，我不⼲了！ 我不配合你 卡⼀辈⼦ 缅怀曾经的痛 新版本的抢占实现 第五部分 信号式抢占 增强版 preemptone 信号式抢占 通过系统调⽤ tgkill，给特定的线程发信号 信号式抢占 这次你不配合也得配合 信号处理的初始化 信号式抢占 处理 SIGURG

微信号： scottlewis 分布式事务框架 Seata-Golang 刘晓敏 H3C ⽬ 录 Demo 演示 01 Seata 原理 02 Mysql driver 原理 03 Mysql driver 接⼊ 04 TODO & QA 05 分布式事务就是指事务的参与者、⽀持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系 统的不同节点之上。简单的说，就是⼀ 统的不同节点之上。简单的说，就是⼀次⼤的操作由不同的⼩操作组成，这些⼩的操作分布在不同的服务器 上，且属于不同的应⽤，分布式事务需要保证这些⼩操作要么全部成功，要么全部失败。本质上来说，分布 式事务就是为了保证不同数据库的数据⼀致性。 什么是分布式事务问题？ Demo 演示 整体机制： • ⼀阶段：业务数据和回滚⽇志记录在同⼀个本地事务中提交，释放本地锁和连接资源。 • ⼆阶段： • 提交异步化，⾮常快速地完成。

Golang主动式内存缓存的优化探索之路 安晏伯 学而思网校 技术专家 目 录 问题引入 01 难点攻克 02 主动式内存缓存框架 03 总结 04 问题引入 第一部分 为什么能有极致的性能？ 01. 如何优化？ 解决了哪些技术难题？ 主动式内存缓存 如何优化？ 极致的性能 除了网络IO，与Redis有什么区别？ 复杂的查询怎么办？ 02. 传统的Cache很难 降低硬件成本，降低依赖，保证稳定性 同样的性能，需要更少的硬件资源，降低成本 01 核心数据在本地，依赖少，更稳定 02 • 千万级内存对象，GC严重耗时，如何解决？ • 复杂的查询场景，内存数据如何高效组织？ • 主动式内存缓存，如何保证数据实时性？ • 数据太多，内存不够用，如何进行存储扩展？ 通过本次分享，可以带来哪些收获？ 难点攻克 第二部分 使用内存缓存 数据一致性如何保证？ 一致性 01. 缓存成本大、命中低、收益小 热 数 据 当前系统中的热点数据 命中率高 系 统 新 增 数 据 近期新增数据，较大概率命中 存储空间 缓存性能 冷热可交换，引擎可扩展 06. 冷热数据交换，通过栈式缓存结构，实现多级缓存策略 语言的局限性 07. 基于golang语言，内存对象超过百万量级后出现的GC耗时问题 • go原生map存储200万数据对象 • 数据对象中包含多个string，slice字段

以360消息推送系统为例 如何应对的？ go语⾔言在基础服务开发领域的优势？ 我遭遇了哪些挑战？ ⺫⽬目录 具有go特⾊色的运维 在⾼高并发，通信交互复杂，重业务逻辑的分布式系统中， Go语⾔言优势体现在：开发体验好 、⼀一定量级下服务稳定 、性能满⾜足 需要 ⼀一定量级下服务稳定： 50+内部产品，万款开发平台app 实时⻓长连接数亿量级，⽇日独数⼗十亿量级 制，超时控制，对⽤用户的通知 io是阻塞执⾏行的，直接设置deadline，调度 器会对阻塞的协成进⾏行调度，deadline到了， 阻塞解除，超时出错 对于所有io操作建⽴立的fd映射到指定loop，同 时记录上下⽂文关系进⾏行回调设置，超时控制 使⽤用timefd 通过channel与其他⽤用户通信 使⽤用eventfd事件通知的⽅方式，根据epoll获取 的fd绑定的回调函数和参数进⾏行回调操作 性能优化：通⽤用⽅方案 如何应对的？ go语⾔言在基础服务开发领域的优势？ 我遭遇了哪些挑战？ ⺫⽬目录 具有go特⾊色的运维 go语⾔言原⽣生提供的各组⼯工具，构建分布式系统配套设施⽅方⾯面，提供了 便利 配套设施= 测试 + 调优 + 监控 + 运维 便利 = 原⽣生profiling⼯工具 + 开协程模拟测试终端+协程协作模拟业务 go语⾔言运维管理⽅方⾯面的独特魅⼒力……

Distributed conponents 起因以及一些差异 not gonna cover every details zookeeper vs etcd 起因: reborndb是一个分布式redis集群框架 支持透明切换引擎 为了同时支持zookeeper和etcd zookeeper vs etcd zookeeper: session etcd: stateless zookeeper

云原生时代分布式链路 追踪实践 2021-08 曲赛 (saiqu) 微服务架构的困境 故障定位难 极高的沟通和交接成本 错综难懂的模块依赖关系 链路梳理难 日志分散 定位过程“击鼓传花” 跨端性能瓶颈分析繁杂 性能分析难 缺乏对系统整体认知的把控 不合理的调用关系 不合理的直连存储 架构治理能力匮乏 云原生可观测性 3 4 Trace 标准规范 5 标准 Head-based coherent sampling 2. Tail-based coherent sampling 3. Unitary sampling 4. 多维度染色采样：指定某用户或指定某文章采样 Trace 传递与采集 Grpc Instrumentation gin Instrumentation ApplicationA Opentelemetry-go SDK Instrumentatition 非侵入式的业务接入 otelgrpc instrumentation核心实现 利用拦截器机制的实现 接入便利，只需引入对应的拦截器 组件 trace基础属性自动采集 一次网络调用的经过的拦截器数据流 天机阁2.0 简介 12 天机阁2.0是遵循OpenTelemetry标准的，为各业务或平台提供分布式追踪，监控，日志， 多维染色，容量评估，架构治理等能力的云原生可观测性系统。

教 材也是一種常見做法，但對於面向求職的人來說，畢業論文、投遞履歷、準備筆試和面試已經消耗了大部分 精力，啃厚重的書往往變成了一項艱鉅的挑戰。 如果你也面臨類似的困擾，那麼很幸運這本書“找”到了你。本書是我對這個問題給出的答案，即使不是最 佳解，也至少是一種積極的嘗試。本書雖然不足以讓你直接拿到 Offer，但會引導你探索資料結構與演算法 的“知識地圖”，帶你了解不同“地雷”的形狀、大小 free. You have to pay attention.”從這個意義上看，這本 書並非完全“免費”。為了不辜負你為本書所付出的寶貴“注意力”，我會竭盡所能，投入最大的“注意力” 來完成本書的創作。 本人自知學疏才淺，書中內容雖然已經過一段時間的打磨，但一定仍有許多錯誤，懇請各位老師與同學批評 指正。 本書中的程式碼附有可一鍵執行的原始檔，託管於 github.com/krahets/hello‑algo com/krahets/hello‑algo 倉庫。 動畫在 PDF 內的展示效果有限，可訪問 www.hello‑algo.com 網頁版以獲得更佳的閱讀體驗。 推薦語 “一本通俗易懂的資料結構與演算法入門書，引導讀者手腦並用地學習，強烈推薦演算法初學者閱讀！” ——鄧俊輝，清華大學計算機系教授 “如果我當年學資料結構與演算法時有《Hello 演算法》，學起來應該會簡單 10 倍！” ——李沐，亞馬遜資深首席科學家

Go 搭建大型开源分布式数据库技术内幕 shenli@PingCAP 关于我 ● 申砾 (Shen Li) ● TiDB 技术负责人 ● 网易有道 / 360搜索 / PingCAP ● Infrastructure software engineer 为什么需要一个新的数据库？ 从单机数据库到 NewSQL ● 关系型数据库 ● NoSQL ● 中间件 ● NewSQL Processing) ● 24/7 availability, even in case of datacenter outages ● Open source, of course 如何构建分布式数据库？ 原则 ● 分层 ● Make it right and make it fast. ● 测试很重要 ● 简单易用 ● 和社区结合 架构 TiKV TiKV TiKV TiKV

101”或者访问github.com/golang101/golang101 获 取本书最新版） 关于《Go语言101》 我觉得很难用通常的描述方式来描述本文中的内容。 所以本文将采用采访的形 式来进行描述。 你好，老貘，你是什么时候开始写这本书的？ 大概在2016年七月份左右，不是很密集地使用了Go两年后，我觉得Go是一门简 单的语言，我感觉我已经精通了Go编程。 在那个时候，我在日常编程中已经搜 OPATH环境变量 中的第一个路径对应的文件夹。 GOPATH文件夹中的pkg子文件夹用来缓存被本地项目所依赖的Go模块（一 个Go模块为若干Go库包的集合）的版本。 GOBIN环境变量用来指定go install子命令产生的Go应用程序二进制可执行 文件应该存储在何处。 它的默认值为GOPATH文件夹中的bin子目录所对应 的目录路径。 GOBIN路径需配置在PATH环境变量中，以便从任意目录运行 3. func main() { 4. } 在此程序中，单词package和func是两个关键字。 两个main是两个标识符。 标 识符和关键字将在后续的一篇文章中讲解。 此程序的第一行指定了当前源代码文件所处的包的包名（此处为main）。 第二 行是一个空行，用来增强可读性。 第三和第四行声明了一个名为main的函数。 此函数为程序的入口函数。 运行一个Go程序 Go官方工具链工具要求所有的Go源代码文件必须以