Redis 多数据中心双向同步 祝辰## 携程技术沙龙 Redis 多数据中心双向同步 祝辰 ## 讲师介绍  ## 祝辰 • 携程框架架构部门 • 资深研发工程师 - 专注于 Redis 高可用系统的研发工作 • 对分布式存储系统有所涉猎 ## 目录 CONTENTS CONTENTS 1 开篇 2 携程的Redis架构 3 分布式理论 4 双向/多向同步的问题 5 CRDT ## 开篇 ## 19 世纪的通讯  “At 12:30 am on April 4th, 1841 President 5db673ac826312c/p12_2.jpg) 目前携程的 Redis 部署架构 通过携程的 X-Pipe 项目, 来达到 Redis 跨站点和跨区域的数据同步问题 目前已经支持上海到美国和德国的 Redis 数据同步 - 到德国法兰克福站点, 平均延迟在176ms 左右 到美西站点, 平均延迟在 160ms 左右 ## 需求的产生 : 2008 2009 2010 central repositories. Go在区块链项目中是最流行的语言之一 GitHub in blockchain Go语言发展至今已经过去十年多了,是目前最流行的新兴语言,云计算领域的首选语言,而且目前随着区块链的流行,Go再次成为了这个领域的第一语言,以太坊,IBM的fabric等重量级的区块链项目都是基于Go开发。 我理解的区块链 区块链的是什么 去中心化系统 数字化账本 不可篡改 不可篡改 确定性的可复制状态机 Go 区块链的特点 1 去中心化、弱中心化 2 弱信任,对等的写入权限 数据库 3 共识信任机制,信任来自 于规则,非第三方 4 不可篡改 5 加密安全性、强规则 6 可编程 7 匿名性 8 跨平台 区块链使用什么编程语言 最初的时代 A Peer-to-Peer Electronic Cash System 2008年11月1日,由Satoshi Nakamoto发表论文0 码力 | 32 页 | 10.24 MB | 1 月前3
携程 Redis 多数据中心 双向同步实践 祝辰## 携程 Redis 多数据中心 双向同步实践 祝辰 ## 祝辰 目前任职携程框架架构部门资深研发工程师 负责框架Redis团队的开发工作 目录 1 业务背景 2 双向同步 3 CRDT 4 高可用 ## 开篇 & 背景 ## Redis 在携程的规模 25,000,000 QPS ## 跨公网同步 Console SHANGHAI Data CANADA 需要向供应商付费2次 仓位信息供应商 国内 ## 业务痛点 - 单向同步可以解决海外重复收费的问题 - 无法解决上海重复收费的问题 国内 ## 业务痛点 - 我们希望可以通过Redis的双向同步解决重复收费的问题 ## 双向同步 ## Redis双向同步 SHA FRA APP APP APP APP datadata data 双向同步 Redis Master Redis Master 家族病史:___ 其他备注:___ ## Redis双向同步 slaveof命令 - redis变成slave,同步数据 • Slave无法写入 1. slaveof ## Redis双向同步 - 新的命令 “peerof” 同步数据 继续保持Master的角色 1. peerof2. Sync data 0 码力 | 33 页 | 2.15 MB | 2 年前3
2.2 如何用GO开发一个区块链项目如何用GO开发一个区块链项目:ABitchain ’ alt=‘OCR图片’/> ABitchain 目录 区块链简单介绍 如何开发区块链 区块链遇见Go ’ alt=‘OCR图片’/> 区块链特征 1 去中心化 2 可信任的机器,防篡改分布式数据库 3 通过密码学构建账户体系 4 共识,P2P通信是交易基础 区块链数据形态 Genesis block 链ID初始代理数据初始挖矿数据其他规则 链ID初始代理数据初始挖矿数据其他规则 交易1 交易2 区块N 区块头 前区块HASH Nonce随机数 时间戳 交易1 交易2 区块链发开模块 A 共识模块 B 账号地址生成算法 P2P是怎么实现通信的 D 智能合约 智能Pending区规则简单介绍 区块数据底层存储 常见的共识算法 1 POW (Proof of Work) 2 POS ( Proof of Stake ) 3 DPOS 定时任务管理 洗牌算法 代理池维护和投票机制 定时任务管理 01 NTP(Network Time Protocol,网络时间协议) 02 基于NTP时间定时任务: 定时洗牌 代理出块 节点数据同步 洗牌算法介绍 通过洗牌方式,得到一个固定的代理出块顺序 01 功能 02 设计目的 最大程度保证对等节点上,洗牌结果一致 代理池和投票机制 用户通过注册的方式成为代理候选人 实时选出获得投票最多的代理候选人0 码力 | 21 页 | 3.56 MB | 1 月前3
2.4 基于Go-Ethereum构建DPOS机制下的区块链基于Go-Ethereum构建DPOS机制下的区块链 恺英网络一朱崇文 ’ alt=‘OCR图片’/> 目录 1 Go版本以太坊 2 为何选择DPOS机制 3 拓展共识改造实战 4 智能合约的实践 5 压力测试下暴露的问题 GopherChina2018 ’ alt=‘OCR图片’/> Go版本以太坊 ’ alt=‘OCR图片’/> Go版本以太坊 以太坊的工具组 ’ alt=‘OCR图片’/> DPOS机制的优势 系统可靠性 在商业场景下,网络性能可控 对异常情况能快速处理并恢复 对TPS/QPS,以及确认性能有一定要求 区块链可信 以公有链为基础,可对外开放 任何人都可以参与,设立理事会和见证人角色 理事会管理区块链网络 见证人生产并验证区块 ’ alt=‘OCR图片’/> ’ alt=‘OCR图片’/> 拓展共识改造实战 共识框架引擎一改造共识层逻辑 GopherChina2018 ChainReader) []rpc.API GopherChina2018 } ’ alt=‘OCR图片’/> 拓展共识改造实战 共识框架引擎一Seal核心方法调用 Import Block 其他节点产生区块 // Seal generates a new block for the given input block with the local miner’s GopherChina2018 ’0 码力 | 34 页 | 2.01 MB | 1 月前3
大规模高性能区块链架构设计模式与测试框架-李世敬## 大规模高性能区块链架构 设计模式与测试框架 Gopher Meetup 深圳站 2021年8月21号 趣科技 李世敬 ## 目录 01 区块链概述 02 大规模高性能区块链架构设计介绍 03 基于Go插件的区块链性能测试工具 04 写在最后 ## 01 区块链概述 ## 区块链诞生 区块链是互联网发展到一定阶段的必然产物,是在低成本、高效、快捷的基础上 jpg) 互联网 可信 普适 信息 物理世界 ## 区块链发展历程 ## 中本聪 - 中本聪发表了比特币的创世论文《比特币:一种点对点的电子现金系统》,标志着区块链作为一项完整的集成创新技术正式诞生 ## 2008 ## R3 CEV区块链联盟 - 全球银行巨头组建成立R3 CEV 区块链联盟,致力于探索区块链技术在金融行业的应用产品,自此联盟链技术逐渐获得广泛关注 ## ## 2015 ## 比特币Bitcoin 比特币诞生,是世界上首个区块链应用系统。发展至今有力地证明了区块链技术的创新性、颠覆性和顽强的生存能力 ## 2009 ## 超级账本Hyperledger - Linux 基金会成立了 Hyperledger开源项目,IBM、Intel、摩根大通等企业加入,开始企业级区块链应用平台的研发 ## 2015 趣链Hyperchain在同一时期开始研发0 码力 | 39 页 | 56.58 MB | 2 年前3
FISCO BCOS 2.3.0 中文文档教程 27 6 使用手册 43 7 运维部署工具 207 8 SDK 249 9 区块链浏览器 317 10 系统设计 325 11 JSON-RPC API 403 12 常见问题解答 431 13 社区 435 FISCO BCOS 是一个稳定、高效、安全的区块链底层平台,经过多家机构、多个应用,长时间在生产环境运行的实际检验。 • Github主页 · 深度解析系列文章 概览 - 基于FISCO BCOS 2.0+快速构建区块链系统,请参考安装 · 基于FISCO BCOS 2.0+部署多群组区块链、构建第一个区块链应用,请参考教程 - 深入了解FISCO BCOS 2.0+功能请看配置文件和配置项、节点准入、并行交易、分布式存储、国密等请参考使用手册 • 控制台:交互式命令行工具,可访问区块链节点,查询区块链状态,部署并调用合约等。 - 运维部署工具(Generator): 运维部署工具(Generator): 支持建链、扩容等操作,推荐构建企业级区块链时使用,快速使用方法可参考教程 • SDK:提供访问节点状态、修改区块链系统配置以及节点发送交易等接口。 · 浏览器详细介绍请参考 浏览器 • JSON-RPC接口可参考 JSON-RPC API · 系统设计文档请参考 系统设计 ## 关键特性 · 多群组:教程 使用手册 设计文档 · 并行计算:使用手册 设计文档 -0 码力 | 442 页 | 7.23 MB | 2 年前3
SQLite Development with Zumero0 码力 | 57 页 | 199.89 KB | 2 年前3
sync clickhouse with mysql mongodb0 码力 | 38 页 | 2.25 MB | 2 年前3
数据迁移5/5.6/5.7/8.0) 到 TiDB 的全量数据迁移,及增量数据同步。可协助用户在不停机的情况下轻松将业务从 MySQL 切换至 TiDB。 ## 自建 TiDB 迁移到 TiDB 服务 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 服务。用户在源 TiDB 开启 Pump, Drainer 可进行数据增量同步。UDTS 与源端 Pump, Drainer 一起可协助用户在不停机的情况下轻松将业务从自建 数据库。用户在 TiDB 服务上开启 Binlog 可将数据增量同步至下游 MySQL。UDTS 与 TiDB Binlog 服务一起可协助用户轻松建立 MySQL 从库。 ## 为 TiDB 服务建立 TiDB 从库 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 数据库。用户在源 TiDB 服务上开启 Binlog 可将数据增量同步至下游 TiDB。UDTS 与 TiDB Binlog 服务一起可协助用户轻松建立0 码力 | 2 页 | 42.01 KB | 1 年前3
共 822 条
- 1
- 2
- 3
- 4
- 5
- 6
- 83













