微信号： scottlewis 分布式事务框架 Seata-Golang 刘晓敏 H3C ⽬ 录 Demo 演示 01 Seata 原理 02 Mysql driver 原理 03 Mysql driver 接⼊ 04 TODO & QA 05 分布式事务就是指事务的参与者、⽀持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系 统的不同节点之上。简单的说，就是 统的不同节点之上。简单的说，就是⼀次⼤的操作由不同的⼩操作组成，这些⼩的操作分布在不同的服务器 上，且属于不同的应⽤，分布式事务需要保证这些⼩操作要么全部成功，要么全部失败。本质上来说，分布 式事务就是为了保证不同数据库的数据⼀致性。 什么是分布式事务问题？ Demo 演示 整体机制： • ⼀阶段：业务数据和回滚⽇志记录在同⼀个本地事务中提交，释放本地锁和连接资源。 • ⼆阶段： • 提交异步化，⾮常快速地完成。 • tc 交互，报 告分⽀事务的执⾏状态。如果执⾏ Commit，connCtx 有值则把 sqlUndoItemsBuffer 中的 undoLog 和业务 数据⼀起提交到数据库，然后报告 tc 事务分⽀提交的状态（成功还是失败），否则执⾏正常的提交。如果 执⾏ Rollback，connCtx 有值则回滚然后向 tc 报告分⽀执⾏失败，tc 会根据这个状态回滚整个全局事务， connCtx 没有值则只需正常回滚。

HBase Cassandra MongoDB ... Google Spanner Google F1 TiDB RDBMS NoSQL NewSQL NewSQL 是什么 ● 水平扩展 ● 事务 ● 高可用 & 自动故障恢复 ● SQL TiDB ● Scalability as the first class feature ● SQL is necessary ● Compatible Replica from Node A Node C Node D Node E Scale-out (balance) 事务 ● Percolator ● 去中心化的两阶段提交 ○ Timestamp Allocator ● 优化的事务流程 ● Repeatable Read，RU TiDB SQL 层架构 例子 CREATE TABLE t (c1 INT, c2 副本数过多：RemovePeer ● 优化数据的地理位置分布 ○ tikv-server 按照拓扑结构打上多级 labels ○ PD 根据拓扑结构移动数据（AddPeer+RemovePeer），使得多个副本尽可能隔离 介绍两个有趣的项目 Spark on TiDB TiSpark TiDB + SparkSQL = TiSpark TiKV TiKV TiKV TiKV TiKV TiDB TiDB

合、有序集合、位图 (bitmap）、HyperLogLog、地理理坐标（GEO） • 内存存储和基于多路路复⽤用的事件响应系统，确保了了命令请求的执⾏行行速度和效率 • 丰富的附加功能：事务、Lua 脚本、键过期机制、键淘汰机制、多种持久化⽅方式（AOF、RDB、 RDB+AOF 混合） 特点 • 具有多种不不同的数据结构可⽤用，其中包括：字符串串、散列列、列列表、集合、有序集合、位图 、位图 (bitmap）、HyperLogLog、地理理坐标（GEO） • 内存存储和基于多路路复⽤用的事件响应系统，确保了了命令请求的执⾏行行速度和效率 • 丰富的附加功能：事务、Lua 脚本、键过期机制、键淘汰机制、多种持久化⽅方式（AOF、RDB、 RDB+AOF 混合） • 强⼤大的多机功能⽀支持：主从复制（单主多从）、Sentinel（⾼高可⽤用）、集群（基于 Raft 算法，多 合、有序集合、位图 (bitmap）、HyperLogLog、地理理坐标（GEO） • 内存存储和基于多路路复⽤用的事件响应系统，确保了了命令请求的执⾏行行速度和效率 • 丰富的附加功能：事务、Lua 脚本、键过期机制、键淘汰机制、多种持久化⽅方式（AOF、RDB、 RDB+AOF 混合） • 强⼤大的多机功能⽀支持：主从复制（单主多从）、Sentinel（⾼高可⽤用）、集群（基于

业务模块接⼝口实现 业务模块接⼝口调⽤用 数据层 • 玩家数据库切⽚片，减⼩小查询时的集合 • ⽀支持内存事务 • 以事务为单位同步到数据库 • ⽀支持Redo、Undo以及数据挖掘的同步⽇日志 • GC优化 内存数据库代码⽚片段 内存数据库事务（⽰示意） 内存数据库事务回滚 事务⽇日志（⽰示意） 使⽤用lua脚本对同步⽇日志进⾏行数据挖掘 内存数据库的GC优化 - CGO 内存数据库的GC优化

部署运维两套数据库集群成本太高 ● 在两个不同的数据库中数据一致性不能保障 探索方向 01. 副标题 TiGraph 项目尝试验证在分布式关系型数据中无缝集成图模式： ● 同时包含关系型模型和图模型 ● 同一个事务中操作图数据和关系型数据的能力 ● 将图遍历作为 SQL 子查询（反之亦然） ● 在 SQL 中扩展出一个让 DBA 一眼就能学会的图遍历语法 ● 对于 N 度人脉的场景性能对比 关系型数据库 direction ✓ In direction ✓ Bidirection ✓ Edge traverse ✓ Distinct Index 01. 副标题 事务 01. 副标题 ● 支持分布式事务。 ● 可以在同一个事务里面同时操作 TABLE 和 TAG. mysql> CREATE TABLE orders(id bigint PRIMARY KEY AUTO_INCREMENT

语言的内容，那么服务器会调用动态语言 的解释引擎负责处理“动态内容”，并将处理得到的数据返回给客户端 客户机与服务器断开。由客户端解释HTML文档，在客户端屏幕上渲染图形结果 一个简单的HTTP事务就是这样实现的，看起来很复杂，原理其实是挺简单的。需要注意的是客户机与服务器之间的通 信是非持久连接的，也就是当服务器发送了应答后就与客户机断开连接，等待下一次请求。 URL和DNS解析 URL和DNS解析 协议,它建立在TCP协议之上，一般采用TCP 的80端口。它是一个请求、响应协议--客户端发出一个请求，服务器响应这个请求。在HTTP中，客户端总是通过建立 一个连接与发送一个HTTP请求来发起一个事务。服务器不能主动去与客户端联系，也不能给客户端发出一个回调连 接。客户端与服务器端都可以提前中断一个连接。例如，当浏览器下载一个文件时，你可以通过点击“停止”键来中 断文件的下载，关闭与服务器的HTTP连接。 访问一次网站的全部请求信息 HTTP协议是无状态的和Connection: keep-alive的区别 HTTP协议是无状态的和Connection: keep-alive的区别 无状态是指协议对于事务处理没有记忆能力，服务器不知道客户端是什么状态。从另一方面讲，打开一个服务器上的 网页和你之前打开这个服务器上的网页之间没有任何联系。 90 HTTP是一个无状态的面向连接的协议，无状态不代表

mysql web alarm gitlab 问题&目标 Ø 问题 Ø 没有异地容灾 Ø 跨区域上报数据，会产生大量专线流量 Ø 隔离性不好 Ø 目标 Ø 异地容灾、高可用 Ø 节省专线带宽 Ø 支持三级网络架构 Ø 支持按照租户进行隔离 Ø 运维入口统一 argus的架构 可用区 云管区（主备） 公共服务区 云管区（深圳、上海、廊坊） agent gateway 主机组 模板 模板 父模板 父模板 联系人 联系人 策略 策略 策略 策略 策略 策略 租户隔离 解读argus的架构 Ø 异地容灾，高可用 Ø 所有模块可横向扩展 Ø 性能数据分三地存储，节省大量专线带宽 Ø 运维入口唯一，用户友好 Ø 兼顾了通用、个性化的监控需求 Ø 做到租户隔离 目录 Ø 团队介绍 Ø 背景 Ø 系统定位 Ø argus是什么 Ø 为什么选用Go

服务化架构演进 演进历程 MVC Middleware Gateway MicroServic e 经典LNMPA架构 先抗住再优化 业务混合部署 面向需求实现 效率质量之痛 流程 敏捷 隔离 性能 安全 监控 中间件技术选型 团队背景 内部生态 业务发展 开发成本 运营成本 Golang CSP并发 多核友好 自动GC 语法简洁 开源库多 CGO集 成 快速交付 高可用 扩展性 安全性 可运营性 业务发展驱动技术演进 服务网关 过载保护 流控降级 SET部署 立体监控 敏捷集成 微服务探索 跨部门 异构系统 非标接口 托管接入 业务隔离 解析适配 IDL • 标准接口 • 字段约定 Script 转码逻辑 • 非标接口 • 逻辑编码 问题 手段 嵌入脚本选型 • Expression、Learning cost Performance / API friendly GopherLua 交互开销 线程 安全 VM线程开 销 学习 成本 嵌入式Lua虚拟机 Gopherlua VM Pool Closure 隔离 即写即用 One VM One Service, Write Once Run Anywhere 微服务划分 Intervene 干预 Measure 评估 User 用户 •

fork请求，proxy验证 • 定期复盘过程，总结可复制套路 • 汇报成果，让领导看到收益 数据拆分 • 数据不能乱，规则先确定 • 定义数据边界，避免数据冗余 • 数据库互相隔离，避免故障传递 • No join, no pain! ⽤户 商品 订单 物流 接⼝聚类收敛 • 按功能聚类接⼝ • 避免微服务过微 • 避免调⽤链路过深 正确性验证 • 循序渐进可回滚

Redis集群 Redis集群 数据库 MySQL集群 MongoDB集群 ClickHouse集群 服务发现 ETCD集群 Redis集群 代码未动，数据先行 ● 定义数据边界 ● 数据库互相隔离，通过RPC访问 ● No join, no pain! 用户 商品 订单 物流 如何设计缓存 ● 缓存穿透，不存在的数据 ● 缓存一分钟 ● 缓存击穿，热点key过期 ● 只拿一次数据，共享结果