微信号： scottlewis 分布式事务框架 Seata-Golang 刘晓敏 H3C ⽬ 录 Demo 演示 01 Seata 原理 02 Mysql driver 原理 03 Mysql driver 接⼊ 04 TODO & QA 05 分布式事务就是指事务的参与者、⽀持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系 统的不同节点之上。简单的说，就是 统的不同节点之上。简单的说，就是⼀次⼤的操作由不同的⼩操作组成，这些⼩的操作分布在不同的服务器 上，且属于不同的应⽤，分布式事务需要保证这些⼩操作要么全部成功，要么全部失败。本质上来说，分布 式事务就是为了保证不同数据库的数据⼀致性。 什么是分布式事务问题？ Demo 演示 整体机制： • ⼀阶段：业务数据和回滚⽇志记录在同⼀个本地事务中提交，释放本地锁和连接资源。 • ⼆阶段： • 提交异步化，⾮常快速地完成。 • tc 交互，报 告分⽀事务的执⾏状态。如果执⾏ Commit，connCtx 有值则把 sqlUndoItemsBuffer 中的 undoLog 和业务 数据⼀起提交到数据库，然后报告 tc 事务分⽀提交的状态（成功还是失败），否则执⾏正常的提交。如果 执⾏ Rollback，connCtx 有值则回滚然后向 tc 报告分⽀执⾏失败，tc 会根据这个状态回滚整个全局事务， connCtx 没有值则只需正常回滚。

业务模块接⼝口调⽤用 数据层 • 玩家数据库切⽚片，减⼩小查询时的集合 • ⽀支持内存事务 • 以事务为单位同步到数据库 • ⽀支持Redo、Undo以及数据挖掘的同步⽇日志 • GC优化 内存数据库代码⽚片段 内存数据库事务（⽰示意） 内存数据库事务回滚 事务⽇日志（⽰示意） 使⽤用lua脚本对同步⽇日志进⾏行数据挖掘 内存数据库的GC优化 - CGO 内存数据库的GC优化 -

使用GDB调试 11.3 Go怎么写测试用例 11.4 小结 12.部署与维护 12.1 应用日志 12.2 网站错误处理 12.3 应用部署 12.4 备份和恢复 12.5 小结 13.如何设计一个Web框架 13.1 项目规划 13.2 自定义路由器设计 13.3 controller设计 13.4 日志和配置设计 13.5 实现博客的增删改 13.6 小结 14.扩展Web框架 14 语言的内容，那么服务器会调用动态语言 的解释引擎负责处理“动态内容”，并将处理得到的数据返回给客户端 客户机与服务器断开。由客户端解释HTML文档，在客户端屏幕上渲染图形结果 一个简单的HTTP事务就是这样实现的，看起来很复杂，原理其实是挺简单的。需要注意的是客户机与服务器之间的通 信是非持久连接的，也就是当服务器发送了应答后就与客户机断开连接，等待下一次请求。 URL和DNS解析 URL和DNS解析 协议,它建立在TCP协议之上，一般采用TCP 的80端口。它是一个请求、响应协议--客户端发出一个请求，服务器响应这个请求。在HTTP中，客户端总是通过建立 一个连接与发送一个HTTP请求来发起一个事务。服务器不能主动去与客户端联系，也不能给客户端发出一个回调连 接。客户端与服务器端都可以提前中断一个连接。例如，当浏览器下载一个文件时，你可以通过点击“停止”键来中 断文件的下载，关闭与服务器的HTTP连接。

合、有序集合、位图 (bitmap）、HyperLogLog、地理理坐标（GEO） • 内存存储和基于多路路复⽤用的事件响应系统，确保了了命令请求的执⾏行行速度和效率 • 丰富的附加功能：事务、Lua 脚本、键过期机制、键淘汰机制、多种持久化⽅方式（AOF、RDB、 RDB+AOF 混合） 特点 • 具有多种不不同的数据结构可⽤用，其中包括：字符串串、散列列、列列表、集合、有序集合、位图 、位图 (bitmap）、HyperLogLog、地理理坐标（GEO） • 内存存储和基于多路路复⽤用的事件响应系统，确保了了命令请求的执⾏行行速度和效率 • 丰富的附加功能：事务、Lua 脚本、键过期机制、键淘汰机制、多种持久化⽅方式（AOF、RDB、 RDB+AOF 混合） • 强⼤大的多机功能⽀支持：主从复制（单主多从）、Sentinel（⾼高可⽤用）、集群（基于 Raft 算法，多 合、有序集合、位图 (bitmap）、HyperLogLog、地理理坐标（GEO） • 内存存储和基于多路路复⽤用的事件响应系统，确保了了命令请求的执⾏行行速度和效率 • 丰富的附加功能：事务、Lua 脚本、键过期机制、键淘汰机制、多种持久化⽅方式（AOF、RDB、 RDB+AOF 混合） • 强⼤大的多机功能⽀支持：主从复制（单主多从）、Sentinel（⾼高可⽤用）、集群（基于

部署运维两套数据库集群成本太高 ● 在两个不同的数据库中数据一致性不能保障 探索方向 01. 副标题 TiGraph 项目尝试验证在分布式关系型数据中无缝集成图模式： ● 同时包含关系型模型和图模型 ● 同一个事务中操作图数据和关系型数据的能力 ● 将图遍历作为 SQL 子查询（反之亦然） ● 在 SQL 中扩展出一个让 DBA 一眼就能学会的图遍历语法 ● 对于 N 度人脉的场景性能对比 关系型数据库 direction ✓ In direction ✓ Bidirection ✓ Edge traverse ✓ Distinct Index 01. 副标题 事务 01. 副标题 ● 支持分布式事务。 ● 可以在同一个事务里面同时操作 TABLE 和 TAG. mysql> CREATE TABLE orders(id bigint PRIMARY KEY AUTO_INCREMENT

HBase Cassandra MongoDB ... Google Spanner Google F1 TiDB RDBMS NoSQL NewSQL NewSQL 是什么 ● 水平扩展 ● 事务 ● 高可用 & 自动故障恢复 ● SQL TiDB ● Scalability as the first class feature ● SQL is necessary ● Compatible Replica from Node A Node C Node D Node E Scale-out (balance) 事务 ● Percolator ● 去中心化的两阶段提交 ○ Timestamp Allocator ● 优化的事务流程 ● Repeatable Read，RU TiDB SQL 层架构 例子 CREATE TABLE t (c1 INT, c2

错误信息难以识别 如何完善错误信息 第二部分 为什么调试慢？-- 错误信息 高亮信息 封装组件 充足信息 gRPC错误日志：param error 哪个Client 调用？ 哪一行代码 调用？ 我的 参数问题？ 对方的问题？ ... 遇到一个问题，我们就追加一个日志字段，排查错误效率非常低 为什么调试慢？-- 错误信息 高亮信息 封装组件 充足信息 对端信息 请求方法 总结起来，调试阶段需要对接的信息 为什么调试慢？-- 错误信息 高亮信息 封装组件 充足信息 • 在调试阶段，日志用红色高亮错误 • 肉眼才能最快的定位到error日志 • 利用IDE规则，直接点开代码执行行号，跳到指定的代码位置 • 一堆info日志中藏着error日志 • 你能一眼找到error日志吗？ 为什么调试慢？-- 错误信息 高亮信息 封装组件 充足信息 框架封装错误信息 gRPC 我们的程序员非常认真 记录了文件不存在的错误日志 • 同样的错误信息，非常多的杂音 • 每个Error，都去查看一次对应代码，排查效率低 • 占用存储空间 • 最外层入口处只记录一次错误日志 为什么定位慢？-- 错误处理 带来新的问题，无法定位整个代码执行链路 两个service方法都调用了 findMysqlFile 不要透传错误 错误码唯一性 记录一次错误 日志分析不出是哪个service

TarsGo微服务高效开发 最佳实践 利开园 腾讯高级工程师 2021-08-21 关于我 Docker TarsGo Tars+K8S DevOps 2015至今 腾讯 目录 1. RPC 2. 日志 3. 监控 4. 调用链 5. 网关 6. 错误码 7. 配置 8. 云原生 9. 标准化 背景 • Tars是腾讯开源的微服务解决方案 • 高性能的RPC框架 • 丰富的服务治理能力 • 支 可观测 • 名字服务+SET流量管理 • 熔断与恢复 • 轮询/一致性Hash • 错误码管理 日志：排查问题的利器 • 格式化 =〉 JSON • 单机withFields • 基于context • 跨服务withFields • 基于透传元数据 • 按大小/时间滚动 • 远程日志 vs 本地日志 的取舍 监控：主动发现问题 • RPC接口默认监控 • 自定义业务监控 • 基于Prometheus

(https://github.com/hashicorp/raft) 领导选举: 心跳机制来触发选举, term 充当逻辑时钟的作用 日志复制: 领导者把一条指令(能被复制状态机执行)附加到日志中，发起附加条目 RPC 请求 给其他角色 强领导者：日志条目只从 leader 发送给其他的服务器 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 26/36 raft 日志复制 Image credit: the Raft paper (https://raft.github.io/raft.pdf) 2017/8/3 基于 mesos 的容器调度框架 http://go-talks

策略与机制随着层次的变化而变化； 应用管理的策略与机制 应用 版本 工作负载 负载均衡 标签 流量 组件 日志 指标 容量 服务 依赖 路由规则 持久卷 部署策略 健康检查 … 灰度 发布 定时弹性 事件 指标弹性 分批发布 重启 回滚 日志管理 事件中心 指标监控 存储挂载 服务绑定 手动弹性 回退历史 负载均衡 报警 诊断 组件管理 服务治理 "2020-11-17T18:33:02Z" reason: Successfully reconciled resource status: "True" type: Synced � 应用关联的事件与日志 LAST SEEN TYPE REASON OBJECT MESSAGE 8m56s 新的复杂度-控制器运维 我们要管控大规模的集群，每个集群也会部署大量的控制器，控制器本身的运维成为问题 • 控制器管控平台 • 升级 • 回滚 • 灰度 • 重启 • 观测性 • Prometheus • 统一日志收集 • 事件中心 • 告警 • 能力管控 • 版本管理 • 依赖满足 • 健康检查 云原生PaaS平台的发展趋势 基础设施 K8s 云原生生态（CNCF） 云原生应用 云原生PaaS平台