## 携程技术沙龙 Redis 多数据中心双向同步 祝辰 ## 讲师介绍  ## 祝辰 • 携程框架架构部门 • 资深研发工程师 - 专注于 Redis 高可用系统的研发工作 • 对分布式存储系统有所涉猎 ## 目录 CONTENTS CONTENTS 1 开篇 2 携程的Redis架构 3 分布式理论 4 双向/多向同步的问题 5 CRDT ## 开篇 ## 19 世纪的通讯  “At 12:30 am on April 4th, 1841 President Geographical Society, 1881. ## 21 世纪的通讯 同样的一张地图 在今天, 仅仅需要毫秒级别的时间, 一条消息可以被全世界共享起来 互联网的规模也从单独 一个数据中心的部署方 式转变为多数据中心, 甚 至是跨区域的部署模式 ![Image](/uploads/documents/f/f/e/f/ffef9c17379b473925db673ac826312c/p7_2

## Flink如何实时分析Iceberg数据湖的CDC数据 阿里巴巴 李劲松/胡争 FLINK FORWARD #ASIA 2020 #1 #2 #3 #4 常见的CDC 为何选择 Flink 如何实时写 未来规划 分析方案 + Iceberg 入读取 FLINK FORWARD #ASIA 2020 ## #1 常见的CDC分析方案 ## 离线 HBase 集群分析 CDC CDC 数据 ↓ ## MySQL $ ^{®} $ → HBASE ## 方案评估 优点 1、CDC记录实时写入HBase。高吞吐+低延迟。 2、小范围查询延迟低。 3、集群可拓展 缺点 1、行存索引不适合分析任务。 2、HBase集群维护成本较高。 3、通过RegionServer定位HFile，Server的优化和缓存完全用不上。 4、数据格式绑定HFile，不方便 FORWARD #ASIA 2020 ## Apache Kudu 维护 CDC 数据集 ## MySQL ## 方案评估 优点 1、支持实时更新数据，时效性佳。 2、列存加速，适合OLAP分析。 ## 缺点 1、独立的Kudu集群，比较小众。维护成本高。 2、和 HDFS / S3 / OSS 等割裂。数据独立，且存储成本不如 S3 / OSS。 3、Kudu的批量扫描不如parquet。

## 携程 Redis 多数据中心 双向同步实践 祝辰 ## 祝辰 目前任职携程框架架构部门资深研发工程师 负责框架Redis团队的开发工作 目录 1 业务背景 2 双向同步 3 CRDT 4 高可用 ## 开篇 & 背景 ## Redis 在携程的规模 25,000,000 QPS ## 跨公网同步 Console SHANGHAI Data CANADA 海外用户和国内用户查询同一份数据 - 需要向供应商付费2次 仓位信息供应商 国内 ## 业务痛点 - 单向同步可以解决海外重复收费的问题 - 无法解决上海重复收费的问题 国内 ## 业务痛点 - 我们希望可以通过Redis的双向同步解决重复收费的问题 ## 双向同步 ## Redis双向同步 SHA FRA APP APP APP APP datadata data 双向同步 Redis 家族病史：___ 其他备注：___ ## Redis双向同步 slaveof命令 - redis变成slave，同步数据 • Slave无法写入 1. slaveof 2. Sync data ## Redis双向同步 - 新的命令 “peerof” 同步数据 继续保持Master的角色 1. peerof

## 使用 TiDB 进行实时数据分析 ## 马晓宇@PingCAP ## 极客邦科技 会议推荐2019  ## QCon ## 全球软件开发大会 大会：5月6–8日 培训：5月9–10日 ## QCon 北京 广州 ## 曾就职于网易杭研，担任 BigData Infra Team Lead - 主要关注大数据，分布式数据库，SQL on Hadoop 等领域 ## 实时场景技术选型 ## 案例分析 我希望做一个实时分析系统，提供运营人员实时查询当前经营数据 - 我需要一个存储系统当做 Data Sink 保存（可能有变更的）大量数据以供中高并发 SQL 复杂查询访问  ## 开始 ΩΩ DBA们 数据源

SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 高性能高可用机票实时搜索系统 去哪儿网 梁启康 ## 议题 系统诉求 海量数据 设计思路 搜索框架 报价引擎 待解问题 ## 系统诉求 - 全网价最低 • 航线报价最全 - 实时性最好 • 产品最丰富 • 预定最流畅 ### 去哪儿？ Qunar.Com 聪明你的旅行 ___ ## 面临问题 航班舱位时刻变动 供应商规则调整密集 变价 低价缺失 运价规则变化繁多 报价不全 航司政策各有不同 GDS数据成本不菲 供应商的office权限不一致 ## 海量数据 · 规则量 • 供应商规则量2亿+ • 运价规则1亿+ · 报价量 • 国内国际航线28万 * 航班数 * 产品个数 * 供应商个数 * 180天 = 1500亿 + • 搜索量 搜索量 • 航线搜索+航班搜索：3k+qps • 每秒计算产品数：搜索qps * 航班数 * 供应商个数 * 产品个数 = 1500万 + ## 设计思路 · 最理想的方式 • 所有的报价都实时计算，填充好 • 一个巨大的哈希表 • 响应所有渠道价格变动进行计算 - 快 · 0 变价 ## 设计思路 按需计算 消息驱动 分布式 CAP BASE 理论 异步 无状态 分级缓存

9d/p1_1.jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 海尔实时计算平台技术选型与实践 海尔电器 - 肖云 主办方 Geekbang. InfoQ 极客邦科技 ## 促进软件开发领域知识与创新的传播  ## 概要 • 实时计算平台背景 • 开源技术选型与实践 • 开源技术改造经验 ## 背景 - 海尔大数据总体规划 数据应用 数据可视化+Java Olap Report 精准化  数据门户 视图 内部应用 应用汇总层

## HVR ## 个人介绍 • 中国科学技术大学计算机科学学士 • 上海交通大学MBA • 20年+IT从业经验，专注于数据库技术领域 • 自2003年始从事数据库实时复制技术的解决方案 - 2013年至2015年在SAP 担任大数据和BI解决方案资深技术顾问 • 2015年加入HVR中国公司担任技术总监 • 微信号: gu9060   ## HVR 连续数据集成技术 - 常见的使用场景 - Cloud Real-Time Analytics Data Lake Data Warehouse Geographical Distribution [Image](/uploads/documents/e/b/4/3/eb435ad6b47efa5e68905fde33e2d53d/p6_1.jpg) ## 异构平台环境下初始化同步 创建并装载目标表 用于实时复制的初始化 也可以单独使用 > 可以被定义为任务，定时调度执行 ![Image](/uploads/documents/e/b/4/3/eb435ad6b47efa5e

## 数据迁移 ## 存量 MySQL 迁移到 TiDB 服务 UDTS 产品支持 MySQL(5.5/5.6/5.7/8.0) 到 TiDB 的全量数据迁移，及增量数据同步。可协助用户在不停机的情况下轻松将业务从 MySQL 切换至 TiDB。 ## 自建 TiDB 迁移到 TiDB 服务 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 服务。用户在源 TiDB 开启 Pump, Drainer 可进行数据增量同步。UDTS 与源端 Pump, Drainer 一起可协助用户在不停机的情况下轻松将业务从自建 TiDB 切换至 TiDB 服务。 ## 为 TiDB 服务建立 MySQL 从库 UDTS 产品支持 TiDB 全量数据迁移至 MySQL 数据库。用户在 TiDB 服务上开启 Binlog 可将数据增量同步至下游 MySQL。UDTS 与 TiDB Binlog Binlog 服务一起可协助用户轻松建立 MySQL 从库。 ## 为 TiDB 服务建立 TiDB 从库 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 数据库。用户在源 TiDB 服务上开启 Binlog 可将数据增量同步至下游 TiDB。UDTS 与 TiDB Binlog 服务一起可协助用户轻松建立 TiDB 从 库。

Go打造亿级实时分布式平台 高超 GopherChina 2017 ’ alt=‘OCR图片’/> 东南亚最大的出行平台 成立于2011年 7个国家 39个城市 710000位司机 36000000次App下载 GopherChina 2017 www.gopherchina.org Grab 新加坡 北京 西雅图 越南 印尼 Grab从前的技术栈 弹性云机器数量骤减 90% 响应延迟骤降 80% Grab在用Go做什么 全部的后台服务都是用Go打造 50+微服务 300+Gophers（今年目标扩张至800） Go打造的流式数据系统支撑每天亿万级事件处理 API Gateway RPC & RESTful framework ORM CI system Machine Learning Platform 在API Gateway生成一个全局唯一的traceID，并将其注入请求的Header里。 o 在该请求的每个耗时节点生成一个spanID，以 traceID+spanID为索引计时，并记录其他元数据 将tracing信息自动传入每个耗时操作 最后以traceID为key来聚合所有诊断信息 Distributed Tracing 一个基本的Tracing GopherChina 2017

# SQLite 数据转 Mysql #### I nsMsgServer 3.7.6 ## 当前 InHgServer 环境 以下过程在 win7 sp1 x64 系统下完成, 如果您的系统不能运行以下相关程序, 请将服务器的 db/ 目录下的 IMBase.dat 文件复制到 win7 sp1 x64 系统下完成  ## 利用 InHgServer 生成 Mysql 数据库 确保 mysql 数据库中没有 IM 相关库  调整使用 Mysql 作为数据库，并点击启动  确认启动后数据库正确建立

InsMsgServer Start(2017-12-17 05:59:25)
General	Data	Network 0 码力 | 17 页 | 1.40 MB | 2 年前 3 共 1000 条 1 2 3 4 5 6 100 前往 页 相关搜索词 Redis分布式存储双向同步数据一致性CRDTFlinkIceberg数据湖CDC数据增量拉取实时分析多数据中心高可用TiDBTiSpark行存格式列存格式分布式数据库高性能高可用机票实时搜索系统报价引擎供应商规则航班舱位数据同步实时计算平台开源技术选型数据可视化日志收集技术流式处理HVR实时数据同步数据集成数据湖数据仓库UDTS数据迁移增量同步MySQLGo亿级实时分布式平台Monolithic Code RepositoryDistributed Tracing微服务SQLite数据导出SQL Maestro数据导入