## 解密SHARDINGSPHERE与SERVICECOMB 联合打造的分布式事务解决方案 京东数科-潘娟 panjuan@apache.org   分布式事务 Sharding-JDBC ![I Sharding-Sphere Sharding-Proxy 开放生态 完全开源 Apache的首个分布式数据库中间件 ◆gitHub近8000star，近百家公司的成功落地案例 ◆核心功能：数据分片&分布式事务&数据库治理 多接入端选择 京东主导，多公司&社区参与推动 ## Apache ShardingSphere生态 驱动端 JDBC Redis MongoDB ![Im

## Apache RocketMQ 事务消息 王强 (辽天) 阿里巴巴 中间件技术专家 ## QCon 全球软件开发大会 北京·2019 更多技术干货分享，北京站精彩继续 提前参与，还能享受更多优惠 识别二维码 查看了解更多 2019.qconbeijing.com  ## TABLE OF CONTENTS 大纲 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 ## Apache RocketMQ  金融交易 分布式事务  电子商务 异步解耦 ![Im

CurveFS方案设计（总体设计，只实现了部分） |时间|修订人|修订内容| |---|---|---| |2021-03-23|李小翠|初稿(背景，调研，架构设计)| |2021-03-30|李小翠|增加快照部分| |2021-04-13|李小翠、陈威|补充元数据数据结构| |2021-04-19|李小翠、吴汉卿、许超杰等|补充文件空间分配，讨论与确认| 背景 • 调研 • 开源fs • • 性能对比 • 可行性分析 方案对比 • 对比结论 • 架构设计 卷和文件系统 元数据架构 文件系统快照 • 方案一：文件/目录级别快照 • 方案二：文件系统快照 • 关键点 - 元数据设计 - 数据结构 - 索引设计 - 文件空间管理 - 开发计划及安排 ## 背景 为更好的支持云原生的场景，Curve需要支持高性能通用文 是合理的，分布式的元数据设计会涉及到多次rpc的交互。这里需要确认的一点是：我们需要怎样的元数据节点的性能？ ## 可行性分析 ## 方案对比 根据上述调研和测试结果，我们考虑了三种curvefs的元数据设计方案： ### 1. CurveFS kv方案设计 curve实现块设备时，元数据不是扁平化的设计，而是采用有目录层级的 namespace 方式，namespace 已经实现了 fs

## MYSQL 高可用方案探究 1 前言.....3 2 Lvs+Keepalived+Mysql 单点写入主主同步高可用方案.....3 2.1 方案简介.....3 2.2 方案架构图.....3 2.3 方案优缺点.....4 2.4 方案实战.....4 2.4.1 适用场景.....4 2.4.2 实战环境介绍.....4 2.4.3 Mysql 的安装和配置 和 backup 的启动.....8 2.4.10 高可用方案测试.....9 3 Lvs+Keepalived+Mysql 单点写入读负载均衡主主同步高可用方案.....9 3.1 方案简介.....9 3.2 方案架构图.....9 3.3 方案优缺点.....9 3.4 适用场景.....10 3.5 方案实战.....10 3.5.1 实战环境介绍.....10 Master 和 backup 的启动.....16 4 Heartbeat 高可用 Mysql 主主同步方案.....16 4.1 方案简介.....16 4.2 方案优缺点.....16 4.3 方案架构图.....17 4.4 适用场景.....17 4.5 方案实战.....17 4.5.1 实战环境介绍.....17 4.5.2 Mysql 的安装和配置..

rename 接口实现方案（已实现，选用方案二） 背景 • 方案调研 • Chubaofs • Juicefs • 方案实现 • 方案一：chubaofs • 方案二：事务方案 • 方案三：利用 KV 自带的分布式事务 • Q&A • 1. 是否需要实现跨文件系统的 rename 操作？ • 2. 在多客户端情况下，是否需要加锁来保证其原子性？ • 3. rename • 4. 当 2 个操作的 dentry 属于同一个 copyset 有什么不一样？ ## 背景 当前 curvefs 并没有实现 rename 接口，本文档是对 rename 接口实现的调研及方案设计。 rename 操作，主要操作的是 dentry，如 rename /dir1/file1 /dir2/file2，主要有 2 个步骤：（1）删除 file1 的 dentry，（2）增加 file2 inodeid 等同 file1 的 inode id）。关于 rename 接口的实现，主要调研了 chubaofs 和 juicefs，而 rename 的实现难点主要在于其原子性的保证。 ## 方案调研 ## Chubaofs chubaofs 中的 rename 实现不是原子性的，它是通用创建源文件的硬连接，然后删除源文件的方式来实现的，主要有以下 4 步： 1. 将源文件的 nlink

## TiDB: HBase分布式事务与SQL实现 ## About me • TiDB & Codis founder • Golang expert • Distributed database developer • Currently, CEO and co-founder of PingCAP liuqi@pingcap.com https://github.com/pingcap/tidb

[Image](/uploads/documents/b/c/4/2/bc4201e3191543d1cf3ac91f91e8ea10/p1_2.jpg) ## 微信号： ## scottlewis ## 分布式事务框架 Seata-Golang  刘晓敏 & QA 05 目录 ## 什么是分布式事务问题？ 分布式事务就是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。简单的说，就是一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务器上，且属于不同的应用，分布式事务需要保证这些小操作要么全部成功，要么全部失败。本质上来说，分布式事务就是为了保证不同数据库的数据一致性。 ## Demo Demo 演示 1997-1998 1 ## Seata 原理 ## 整体机制： • 一阶段：业务数据和回滚日志记录在同一个本地事务中提交，释放本地锁和连接资源。 • 二阶段: • 提交异步化，非常快速地完成。 • 回滚通过一阶段的回滚日志进行反向补偿。 BranchSession Lock BranchSession Lock ![Image](/uploads/document

## 华为云分布式事务DTM最佳实践 王启军  王启军，华为云PaaS团队架构师，负责微服务框架的开发。曾任当当网架构师，主导电商平台架构设计；曾就职于搜狐负责手机微博的研发。《持续演进的Cloud Native》作者，微信公众号“奔跑中的蜗牛”博主。 d58e3630871012bbe2224/p4_1.jpg) ## 方案对比  |方案\\指标|2PC 传统事务|可靠事件|TCC 柔性事务|SAGA 补偿事务| |---|---|---|---|---| |数据一致性|强一致|最终一致|最终一致|最终一致| |产品成熟度|高|高|一般|低|  ## 分布式事务管理中间件 (Distributed Transaction Management, DTM) ## DTM总体架构（TCC） 用户侧 系统侧 ![Image](/uploads/docume

## Greenplum分布式事务 和两阶段提交协议 钉钉直播 | 10月21日 20:00 - 21:00 #### Greenplum中文社区 https://cn.greenplum.org 博文·资料·文档·项目 ## 全新的问答论坛 #### https://cn.greenplum.org/askgp ## GREENPLUM DATABASE $ ^{®} $ ![Imag Greenplum分布式事务和两阶段提交协议 ## Outline • 事务实现原理和Write Ahead Logging(WAL) • 分布式事务和两阶段提交的原理 Greenplum两阶段提交协议的实现 Greenplum两阶段提交协议的优化 ## 事务的属性:ACID |属性|含义|数据库系统的实现| |---|---|---| |Atomic原子性|事务中的操作要么全部正确执行，要么完全不执行。|Write 完全不执行。|Write Ahead Logging，分布式事务：两阶段提交协议| |Consistency一致性|数据库系统必须保证事务的执行使得数据库从一个一致性状态转移到另一个一致性状态。（满足完整性约束）|实现对A、I、D三个属性的支持| |Isolation隔离性|多个事务并发地执行，对每个事务来说，它并不会感知系统中有其他事务在同时执行。|多版本并发控制Multi-Version Concurrency

# Hadoop 迁移到阿里云 MaxCompute # 技术方案 (V2.8.5) 编写人：MaxCompute 产品团队 日期：2019.05 ## 目录 1 概要 ..... 6 2 阿里云大数据与开源生态对比 ..... 7 2.1 Hadoop 及开源生态与阿里云大数据生态对比 ..... 7 2.1.1 主流大数据体系架构 ..... 7 2.1.2 开源大数据组件架构 19 4.2.4 数据集成及工作流作业迁移.....19 5 迁移整体方案及流程.....19 5.1 阶段 1：调研评估&迁移方案.....20 5.2 阶段 2：试点/全面业务迁移.....20 5.3 阶段 3：并行测试，割接.....20 6 迁移详细方案.....21 6.1 MMA 迁移服务架构.....21 6 Pipeline 迁移评估.....28 6.4 Meta 和数据迁移.....30 6.4.1 环境准备.....30 6.4.2 方案 A：通过 MMA Agent 迁移 Meta 和数据.....32 6.4.3 方案 B：使用 Dataworks 服务迁移 Meta 和数据.....37 6.5 作业迁移.....42 6.5.1 Hive SQL ->