@Copyright Sunteng Technology 分布式任务系统 cronsun 苏创绩 @Copyright Sunteng Technology 目录 01 任务系统 02 分布式任务系统 03 cronsun 04 心得体会 @Copyright Sunteng Technology Part One 01 任务系统 @Copyright Sunteng 1. 启动的时候读取所有用户下的 .crontab 文件 2. 计算出每个 crontab 文件里需要执行的命令的下一次执行时间 3. 把这些命令按下一次执行时间排序后放入队列里 4. 进入主循环 ① 计算队列里第一个任务的执行时间与当前的时间差 ② Sleep 直到第一个任务执行时间 ③ 后台执行任务 ④ 计算这个任务的下一次执行时间，放回队列，排序 @Copyright Sunteng Technology Part Two 02 分布式任务系统 @Copyright Sunteng Technology 分布式系统的特点 1. 分布性 2. 对等性 3. 并发性 4. 缺乏全局时钟 5. 故障总是会发生 @Copyright Sunteng Technology 分布式 cron 分布式crond 分布式crontab cmd1 cmd2 cmd3

微信号： scottlewis 分布式事务框架 Seata-Golang 刘晓敏 H3C ⽬ 录 Demo 演示 01 Seata 原理 02 Mysql driver 原理 03 Mysql driver 接⼊ 04 TODO & QA 05 分布式事务就是指事务的参与者、⽀持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系 统的不同节点之上。简单的说，就是 统的不同节点之上。简单的说，就是⼀次⼤的操作由不同的⼩操作组成，这些⼩的操作分布在不同的服务器 上，且属于不同的应⽤，分布式事务需要保证这些⼩操作要么全部成功，要么全部失败。本质上来说，分布 式事务就是为了保证不同数据库的数据⼀致性。 什么是分布式事务问题？ Demo 演示 整体机制： • ⼀阶段：业务数据和回滚⽇志记录在同⼀个本地事务中提交，释放本地锁和连接资源。 • ⼆阶段： • 提交异步化，⾮常快速地完成。

以360消息推送系统为例 如何应对的？ go语⾔言在基础服务开发领域的优势？ 我遭遇了哪些挑战？ ⺫⽬目录 具有go特⾊色的运维 在⾼高并发，通信交互复杂，重业务逻辑的分布式系统中， Go语⾔言优势体现在：开发体验好 、⼀一定量级下服务稳定 、性能满⾜足 需要 ⼀一定量级下服务稳定： 50+内部产品，万款开发平台app 实时⻓长连接数亿量级，⽇日独数⼗十亿量级 性能优化：通⽤用⽅方案 如何应对的？ go语⾔言在基础服务开发领域的优势？ 我遭遇了哪些挑战？ ⺫⽬目录 具有go特⾊色的运维 go语⾔言原⽣生提供的各组⼯工具，构建分布式系统配套设施⽅方⾯面，提供了 便利 配套设施= 测试 + 调优 + 监控 + 运维 便利 = 原⽣生profiling⼯工具 + 开协程模拟测试终端+协程协作模拟业务 go语⾔言运维管理⽅方⾯面的独特魅⼒力…… go语⾔言开发追求开销优化的极限，谨慎引⼊入其他语⾔言领域⾼高性能服务的通⽤用⽅方案 内存池+对象池使⽤用 与 代码可读性与整体效率的权衡 go语⾔言原⽣生提供的各组⼯工具，构建分布式系统配套设施⽅方⾯面，提供了便利 ⽣生态圈 = 测试 + 调优 + 监控 + 运维 便利 = 原⽣生profiling⼯工具 + 通信库集成监控+协程协作模拟业务压测 谢

golang 在隐私计算平台建设中的实践 刘敬 杭州趣链科技有限公司 2021-10 ⽬目录 隐私计算介绍 01 隐私计算平台架构 02 构建隐私计算算法框架的实践 03 ⼀一些优化技巧 04 01 隐私计算介绍 趣链科技版权所有©2016 – 2021 4 隐私计算概念 隐私计算（Privacy preserving computation）是指在保证数据提供⽅方不不泄露露原始 原始 数据的前提下，对数据进⾏行行分析计算的⼀一系列列信息技术，保障数据在流通和融合过程 中的“可⽤用不不可⻅见”。 数据提供⽅方 数据提供⽅方 数据使⽤用⽅方 计算结果 趣链科技版权所有©2016 – 2021 5 隐私计算背景 欧盟出台的《通⽤用数据保护条例例》（GDPR）于2018年年5⽉月正式实⾏行行，加强对欧盟境内居 ⺠民的个⼈人数据和隐私的保护。 2021年年7⽉月 织、个⼈人不不得⾮非法收集、使⽤用、加⼯工、传输他⼈人个⼈人信息，不不得⾮非法买卖、提供或者公 开他⼈人个⼈人信息。该法⾃自2021年年11⽉月1⽇日起施⾏行行。 趣链科技版权所有©2016 – 2021 6 隐私计算历史 1982年年姚期智提 出 百 万 富 翁 问 题 ， 安 全 多 ⽅方 计 算概念被提出 1986年年姚期智提出 基于混淆电路路的通 ⽤用解决⽅方案 2016年年⾕谷歌提出联

Distributed conponents 起因以及一些差异 not gonna cover every details zookeeper vs etcd 起因: reborndb是一个分布式redis集群框架 支持透明切换引擎 为了同时支持zookeeper和etcd zookeeper vs etcd zookeeper: session etcd: stateless zookeeper

云原生时代分布式链路 追踪实践 2021-08 曲赛 (saiqu) 微服务架构的困境 故障定位难 极高的沟通和交接成本 错综难懂的模块依赖关系 链路梳理难 日志分散 定位过程“击鼓传花” 跨端性能瓶颈分析繁杂 性能分析难 缺乏对系统整体认知的把控 不合理的调用关系 不合理的直连存储 架构治理能力匮乏 云原生可观测性 3 4 Trace 标准规范 5 标准 平台提供分布式追踪，监控，日志， 多维染色，容量评估，架构治理等能力的云原生可观测性系统。 愿景：让开发一切尽在掌握 - 分布式追踪 - 日志 - 服务监控 - 火焰图 - 存储监控 - SDK监控 - CI/CD监控 - 发布变更 - 告警历史 - 服务拓扑图 正交，模块化 相关性 多租户 天机阁2.0 架构 13 天机阁2.0 实践 14 分布式追踪 天机阁2 天机阁2.0 实践 15 分布式追踪 Log详情 点击Log详情中traceID字段的按 钮拉起Trace详情。 天机阁2.0 实践 16 分布式追踪 监控面板 监控到错误码111，点击面板跳转 到相关时间段的分布式追踪 感谢倾听

Go 搭建大型开源分布式数据库技术内幕 shenli@PingCAP 关于我 ● 申砾 (Shen Li) ● TiDB 技术负责人 ● 网易有道 / 360搜索 / PingCAP ● Infrastructure software engineer 为什么需要一个新的数据库？ 从单机数据库到 NewSQL ● 关系型数据库 ● NoSQL ● 中间件 ● NewSQL Processing) ● 24/7 availability, even in case of datacenter outages ● Open source, of course 如何构建分布式数据库？ 原则 ● 分层 ● Make it right and make it fast. ● 测试很重要 ● 简单易用 ● 和社区结合 架构 TiKV TiKV TiKV TiKV

6 趣链科技 版权所有 ©2016-2021 6 趣链科技 版权所有 ©2016-2021 6 趣链科技 版权所有 ©2016-2021 6 区块链技术定义 区块链是由分布式数据存储、点对点传输、共识机制、加密算法等计算机技术构成的多中心 化系统 不可篡改（可信存证） ü 可对存储的文件、数据进行真实性校验 ü 可信追溯历史数据 去中心化共识（协作共享） ü 多方业务系统数据共享 . 8 趣链科技 版权所有 ©2016-2021 8 趣链科技 版权所有 ©2016-2021 8 趣链科技 版权所有 ©2016-2021 8 交易 区块 块链式数据结构 （狭义区块链） 分布式账本 （广义区块链） 交易指的是导致底层 数据状态发生变化的 一次操作请求，如一 笔转账交易 将一段时间内发生的 所有交易和状态打包 成为一个区块 区块以时间顺序前后相 连，组成一种块链式数 区块链作为新基建基础设施之一，是大数据、人工智能、云计算、物联网等其他新型技术的黏合剂，各项技 术相互促进，融合发展，共同开创更大价值空间，加快新兴技术商业落地 利用区块链的去中心化、数据 不能篡改的特性，解决制约云 计算发展的“可信、可靠、可 控”的问题。 融入大数据采集和共享中，作 为数据源接入大数据分析平台。 强化分布式数据存 储和边缘计算能力， 拓展物联安全边界 和应用范围。

P2P缓存服务器（基于c++开发） § 代码量大 § 协议数量多 § 耦合性高 § 潜在bug多 重构 or 重新推倒？ 背景 现实世界是怎么样的 分布式、并发 职能化、松散化 自组织、智能化 程序框架是否也可以这样？ OOP v C++对象代码运行 § 有属性（成员变量）、有行为（成员函数） （agent-oriented programming） Agent：智能体、职能代理。源于分布式人 工智能（DAI） 1、自主的、智能的 2、具有社会性（与环境通信） 3、反应能力，理解环境并对环境刺激做出 适应的反应 4、主动性，不是简单的反应，而是有目的 的反应 5、一般agent处在分布式网络中，行为具 有局部效应和全局效应 golang 1、对象： 类 golang 常规分布式的缺点 1、缺乏全局状态知识 分布式系统中的节点只能访问自身的状 态，无法获取到全局的状态 2、缺乏全局时间 分布式系统中的节点无法做到时间的完 全一致性，会导致一些行为的顺序不确定 3、非确定 普通程序输入则得到固定的输出。分布 式系统则存在很多差异。 golang 基于golang的分布式程序（单进程）

n “RISC  to  IA”  来了  n “Unix  to  Linux”  来了  n “开源架构”来了  n “分布式架构”来了  n “虚拟化”和“云计算”来了  n “大数据”来了  n “互联网金融”和“金融互联网”来了  n “移动业务”来了  n “敏捷”和“Devops”来了  Zoo  Gopher  China  2015  求解之路的探索  n 他们是否解决了我们的问题?  n No   ① Condor系统是面向高吞吐率计算计算而设计的，它的主要目的就是利用网络中工作站的空闲时间来为用户服务。  ② Condor采用集中式调度模式，且不能保障用户服务质量。  ③ 最小完成时间算法MCT(Minimum  Completion 调度策略分为两大类：Predicates和Priorities，其中Predicates判断是否将pod调度到特定 minion(host)上运行，而Priorities则是在Predicates的计算基础上，通过积分Score方式，决定调 度量。  ③ Predicates包括：PodFitsPorts、PodFitsResources、NoDiskConflict、MatchNodeSelector和