Redis 多数据中心双向同步 祝辰## 携程技术沙龙 Redis 多数据中心双向同步 祝辰 ## 讲师介绍  ## 祝辰 • 携程框架架构部门 • 资深研发工程师 - 专注于 Redis 高可用系统的研发工作 • 对分布式存储系统有所涉猎 ## 目录 CONTENTS CONTENTS 1 开篇 2 携程的Redis架构 3 分布式理论 4 双向/多向同步的问题 5 CRDT ## 开篇 ## 19 世纪的通讯  “At 12:30 am on April 4th, 1841 President Geographical Society, 1881. ## 21 世纪的通讯 同样的一张地图 在今天, 仅仅需要毫秒级别的时间, 一条消息可以被全世界共享起来 互联网的规模也从单独 一个数据中心的部署方 式转变为多数据中心, 甚 至是跨区域的部署模式  ## 01 ## Doris简介 ## 系统定位 • 基于MPP（大规模并行处理）架构的分析型数据库 • 性能卓越，PB级别数据毫秒/秒级响应 性能卓越，PB级别数据毫秒/秒级响应 • 适用于高并发、低延时下的多维分析、实时报表等场景 • 由百度自研，2017年开源，2018年贡献给Apache社区后更名为 Apache Doris 百度内部统称其为“百度数据仓库Palo”，同时百度云上提供Palo的企业级托管版本 ## 发展历程  ## 2008 1.0版本正式上线 - 应用于百度凤巢统计报表的需求场景，上线后数据更新频率从天级提升至分钟级 ## 2009 - 进行了通用化改造，开始承接公司内部其他报表系统 - 助力百度统计成为国内最大的中文网站分析工具 ## 2012 - 随百度业务飞速发展，0 码力 | 33 页 | 21.95 MB | 2 年前3
- 携程 Redis 多数据中心 双向同步实践 祝辰## 携程 Redis 多数据中心 双向同步实践 祝辰 ## 祝辰 目前任职携程框架架构部门资深研发工程师 负责框架Redis团队的开发工作 目录 1 业务背景 2 双向同步 3 CRDT 4 高可用 ## 开篇 & 背景 ## Redis 在携程的规模 25,000,000 QPS ## 跨公网同步 Console SHANGHAI Data CANADA 海外用户和国内用户查询同一份数据 - 需要向供应商付费2次 仓位信息供应商 国内 ## 业务痛点 - 单向同步可以解决海外重复收费的问题 - 无法解决上海重复收费的问题 国内 ## 业务痛点 - 我们希望可以通过Redis的双向同步解决重复收费的问题 ## 双向同步 ## Redis双向同步 SHA FRA APP APP APP APP datadata data 双向同步 Redis 家族病史：___ 其他备注：___ ## Redis双向同步 slaveof命令 - redis变成slave，同步数据 • Slave无法写入 1. slaveof
2. Sync data 0 码力 | 33 页 | 2.15 MB | 2 年前3 - Java 应用与开发 - Java 内存模型与分配机制Java 内存模型与分配机制 王晓东 wangxiaodongQouc.edu.cn 中国海洋大学 September 30, 2018 Java 内 学习目标 1. 理解 JVM 内存模型，掌握 JVM 内存构成 2. 理解 Java 程序的运行过程，学会通过调 HH 变化 3. 了解 Java 内存管理，认识垃圾回收 4. 建立编程时高效利用内存、避免内存溢上 D 的理 量的值，包括: 用来保存基本数据类型的值; 保存类的实例，即堆区对象的引用指针)，也可以用来 保存加载方法时的帧。(Stack) 用来存放动态产生的数据，如 new 出来的对象和数组。 1。(Heap) JVM 为每个已加载的类型维护一个常量池，常量池就是 这个类型用到的常量的一个有序集合。包括直接常量 (基本类型、String) 和对其他类型、方法、字段的符号 引用。池中的数据和数组一样通过索引访问，常量池在 程序内存运行分析 Java 内存管理建议 Java 程序运行过程会涉及的内存区域 程序计数器 当前线程执行的字节码的行号指示器。 栈 保存局部变量的值，包括: 用来保存基本数据类型的值; 保存类的实例，即堆区对象的引用《〈指针)，也可以用来 人 CStack ) 用来 存放动态 如 new 出来提 。(He ap) JVM 为每个 六0 码力 | 44 页 | 818.30 KB | 2 年前3
- 2.4 基于Go-Ethereum构建DPOS机制下的区块链基于Go-Ethereum构建DPOS机制下的区块链 恺英网络一朱崇文 ’ alt=‘OCR图片’/> 目录 1 Go版本以太坊 2 为何选择DPOS机制 3 拓展共识改造实战 4 智能合约的实践 5 压力测试下暴露的问题 GopherChina2018 ’ alt=‘OCR图片’/> Go版本以太坊 ’ alt=‘OCR图片’/> Go版本以太坊 以太坊的工具组 ’ alt=‘OCR图片’/> GopherChina2018 ’ alt=‘OCR图片’/> 为何选择DPOS机制 共识机制对比 POW • 消耗计算力 • 出块速度慢，确认慢 • TPS极低 10~20 • 确认1分钟+ DPOS • 代理人模式 • 出块速度快，确认快 • TPS 700~1000 (实现) • 平均确认1~3秒 ’ alt=‘OCR图片’/> 为何选择DPOS机制 DPOS机制的优势 系统可靠性 在商业场景下，网络性能可控 the local miner’s GopherChina2018 ’ alt=‘OCR图片’/> 拓展共识改造实战 借鉴Clique(POA)的实现 Clique Go-Ethereum实现的机制，用以公共测试链 整个网络由Signer节点出块 Signer节点可以投票选择其他Signer节点 节点之间可以相互竞争出块 存活节点数 > (n/2) +1 Signer 节点的选举记录在Extra0 码力 | 34 页 | 2.01 MB | 1 月前3
- 数据迁移## 数据迁移 ## 存量 MySQL 迁移到 TiDB 服务 UDTS 产品支持 MySQL(5.5/5.6/5.7/8.0) 到 TiDB 的全量数据迁移，及增量数据同步。可协助用户在不停机的情况下轻松将业务从 MySQL 切换至 TiDB。 ## 自建 TiDB 迁移到 TiDB 服务 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 服务。用户在源 TiDB 开启 Pump, Drainer 可进行数据增量同步。UDTS 与源端 Pump, Drainer 一起可协助用户在不停机的情况下轻松将业务从自建 TiDB 切换至 TiDB 服务。 ## 为 TiDB 服务建立 MySQL 从库 UDTS 产品支持 TiDB 全量数据迁移至 MySQL 数据库。用户在 TiDB 服务上开启 Binlog 可将数据增量同步至下游 MySQL。UDTS 与 TiDB Binlog Binlog 服务一起可协助用户轻松建立 MySQL 从库。 ## 为 TiDB 服务建立 TiDB 从库 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 数据库。用户在源 TiDB 服务上开启 Binlog 可将数据增量同步至下游 TiDB。UDTS 与 TiDB Binlog 服务一起可协助用户轻松建立 TiDB 从 库。0 码力 | 2 页 | 42.01 KB | 1 年前3
- SQLite 数据转 Mysql# SQLite 数据转 Mysql #### I nsMsgServer 3.7.6 ## 当前 InHgServer 环境 以下过程在 win7 sp1 x64 系统下完成, 如果您的系统不能运行以下相关程序, 请将服务器的 db/ 目录下的 IMBase.dat 文件复制到 win7 sp1 x64 系统下完成  ## 利用 InHgServer 生成 Mysql 数据库 确保 mysql 数据库中没有 IM 相关库  调整使用 Mysql 作为数据库，并点击启动  确认启动后数据库正确建立
InsMsgServer Start(2017-12-17 05:59:25) General Data Network 0 码力 | 17 页 | 1.40 MB | 2 年前3 Flink如何实时分析Iceberg数据湖的CDC数据Flink如何实时分析Iceberg数据湖的CDC数据 阿里巴巴 李劲松/胡争 FLINK FORWARD #ASIA 2020 #1 #2 #3 #4 常见的CDC 为何选择 Flink 如何实时写 未来规划 分析方案 + Iceberg 入读取 FLINK FORWARD #ASIA 2020 ## #1 常见的CDC分析方案 ## 离线 HBase 集群分析 CDC 数据 ↓ ## MySQL 3、通过RegionServer定位HFile，Server的优化和缓存完全用不上。 4、数据格式绑定HFile，不方便拓展到Parquet、Avro、Orc等。 FLINK FORWARD #ASIA 2020 ## Apache Kudu 维护 CDC 数据集 ## MySQL ## 方案评估 优点 1、支持实时更新数据，时效性佳。 2、列存加速，适合OLAP分析。 ## 缺点 1、独立的Kudu集群，比较小众。维护成本高。 等割裂。数据独立，且存储成本不如 S3 / OSS。 3、Kudu的批量扫描不如parquet。 4、不支持增量拉取。 FLINK FORWARD #ASIA 2020 ## MySQL → GQOOP → HVE ## 方案评估 优点 1、流程能工作 2、Hive存量数据不受增量数据影响。 ## 缺点 1、数据不是实时写入； 2、每次数据导致都要 MERGE 存量数据。T+10 码力 | 36 页 | 781.69 KB | 2 年前3 mpvue小程序开发框架和最佳实践6182f6fd2c24aed3041c66baa23ed86d/p5_3.jpg) 小程序代码 ## mpvue 的能力 Vue 编码规范 Vue 语法支持 开发规范扩展 Vue 组件机制 Vue 引擎驱动 cli 命令行工具 编译构建集成 工程化体系集成 npm 管理支持 生态扩展能力 好扩展 前端赋能 易学习 超低上手成本 多端复用 技术沉淀收益规 模化 运行阶段 生命周期关联 数据同步机制 全局事件代理 编译阶段 模板编译 样式编译 脚本编译 SDK 注入 开发阶段 项目初始化 构建集成 项目模板 ### V ue.js 引擎引入 - 运行时支持 mpvue runtime 维护 Vue 对象实例 维护 mp 对象实例 实例间生命周期互通 mp 触发事件 + Vue 执行回调函数 Vue 维护数据模型和虚拟 dom 小程序负责视图层渲染 实现 mp 对象 mpvue SDK Vue 对象 生命周期 生命周期关联 生命周期 事件函数 事件代理机制 事件函数 AppData 数据同步机制 data mpvue-loader ### card.vue 从 SFC 提取出 AST AST 数据改造 从 AST 构建模板代码 ### card$4b50dad0.wxml × 10 码力 | 31 页 | 3.17 MB | 2 年前3 大数据集成与Hadoop - IBM大数据集成与 Hadoop 可最大限度降低Hadoop计划风险并提高ROI的最佳实践  IBM $ ^{®} $ ## 简介 Apache Hadoop技术通过支持新的流程和架构，不断改进大数据措施的经济性和活力，这样不仅有助于削减 开源软件项目，支持在多个商业服务器群集间分散处理和存储大型数据集，并可根据需求变化从单一服务器扩展到数以千计的服务器。主要的Hadoop组件包括Hadoop Distributed File System（用于存储大型文件）和Hadoop分布式并行处理框架（称为MapReduce）。 但是，Hadoop基础架构本身并没有提供完整的大数据集成解决方案，摆在人们面前的既有挑战，也有机遇，只有处理好这 。 ## 大数据集成对于Hadoop措施的重要性 Hadoop的迅速崛起推动企业在如何抽取、管理、转换、存储和分析大数据方面实现了范式转变。无论是要更深入的分析，还是希望获得更出色的洞察、新产品、新服务以及更高的服务水平，都可以通过这项技术一一实现，从而大幅降低成本并创造新的收入。 依靠收集、移动、转换、清除、集成、治理、探索以及分析多种不同来源的大量不同类型的数据来实现大数据与Hadoop0 码力 | 16 页 | 1.23 MB | 2 年前3共 1000 条- 1
- 2
- 3
- 4
- 5
- 6
- 100