## 构建强一致性分布式数据库 TiDB 沈泰宁 R & D Engineer @ PingCAP ## 极客时间 | 企业服务 ## 想做团队的领跑者 需要迈过这些“槛” 成长型企业，易忽视人才体系化培养企业转型加快，团队能力又跟不上 团队成员技能水平不一， 难以一“敌”百人需求 寻求外部培训，奈何价更高且集中式学习 学习效果难以统计，产生不良循环 VS VS VS

和平统一 # 微服务场景下的数据一致性解决方案 殷湘 华为PaaS微服务架构师 开源能力中心  ## 大纲 • 离 数据一致性的起因 • 合 数据一致性的解决方案 • 断 方案选择建议 ## 离 数据一致性的起因  ## 单体应用 • 单体应用由于所有模块(A/B/C)使用同一个数据库 • 数据一致性通过数据库事务保证  ## 微服务场景 ## 数据一致性无法完全通过数据库保证 离 独立进程  独立部署 独立技术 独立团队 MongoDB Cassandra ## 合 数据一致性的解决方案 ## Saga • 1987年Hector & Kenneth 发表论文 Sagas • Saga = Long Live Transaction (LLT) • LLT =

方便的多种数据结构类型对于储存这种数据比较方便. 同时由于供应商是在全球分布的特性，就更需要一个能够多点写入的 Redis 集群， 支持海外站点和国内站点同时进行读写；并解决因此可能出现的数据一致性问题。  ## Data Replication 目前携程的应用也在进行单元化的部署模式, 在实现单元化的部署过程中, 跨数据中心的数据访问一直是一个业务的痛点. 是否我们也能够有自己的一套 DRC? 来完成每个站点的单独写入读取, 而不用关心底层存储的一致性和同步问题. 对此需求进行分析后, 我们决定开发一个Redis 的 DRC 架构, 来支撑携程集群的应用单元化部署, 而不仅仅是限制于Redis 数据的双向同步. ## 分布式理论 Availability Partition Strong Eventually Consistency 首先,P(网络分区)是首要考虑因素 其次, 跨区域部署就是 为了提高可用性 最后,我们使用"最终一致性"来解决数据冲突 ## 双向同步的 共同问题 ## 双向/多向同步有哪些共同的问题 ![Image](/uploads/documents/f/f/e/f/ffef9c17379b4739

千万级内存对象，GC严重耗时，如何解决？ - 复杂的查询场景，内存数据如何高效组织？ • 主动式内存缓存，如何保证数据实时性？ - 数据太多，内存不够用，如何进行存储扩展？ ## 第二部分 难点攻克 ## “ ## 数据一致性如何保证？ ## 一 致性 同步、更新  ● 业务代码与框架代码分离，聚焦业务开发 ● 缓存接入成本低，无需关注内部的管理，开箱即用 ● 提供灵活的查询、过滤、排序、分页等接口，为查询业务赋能 ● 开发者无需关注缓存与数据库的数据一致性，框架层面有保障 ● 框架提供脚手架，框架代码自动生成，减少心智负担 ● 海量数据可扩展，接入冷热数据交换策略，只需简单配置 ● 海量数据存储，不会触发GC扫描，服务性能无压力 ● 单元测试高覆盖，稳定有保障

Nacos 一致性协议 28 Nacos 自研 Distro 协议 38 Nacos 通信通道 42 Nacos 寻址机制 56 Nacos 服务发现模块 63 Nacos 注册中心的设计原理 63 Nacos 注册中心服务数据模型 80 Nacos 健康检查机制 89 Nacos 配置管理模块 97 配置一致性模型 97 架构，主要目的是为了解决集中化和互联网化所带来的架构扩展性和面对海量用户请求的技术挑战。这里面其中有一个关键点是软负载。因为整个分布式架构需要有一个软负载来协作各个节点之间的服务在线离线状态、数据一致性、以及动态配置数据的推送。这里面最简单的需求就是将一个配置准时的推送到不同的节点。即便如此简单需求，随着业务规模变大也会变得非常复杂。如何能将数据准确的在3秒钟之内推送到每一个计算节点，这是当时提出 有很多历史负担，在开源的时候我们取其精华进行开源，为了提升代码的健壮性和扩展性，进行了充分的分层和模块化设计。 ## 设计原则 • 极简原则，简单才好用，简单才稳定，简单才易协作。 - 架构一致性，一套架构要能适应开源、内部、商业化（公有云及专有云）3个场景。 扩展性，以开源为内核，商业化做基础，充分扩展，方便用户扩展。 - 模块化，将通用部分抽象下沉，提升代码复用和健壮性。 - 长期主义，不是要一个能支撑未来

现有开源产品无法满足要求（受限于基础架构设计，优化性能有限） |AtlasDB Web Interface|×|\+||| |---|---|---|---|---| ## 新一代分布式图数据库需具备的特性 - 高可用 - 一致性（事务） ## 信 ## 特性 ## 达 - 高性能 • 低资源消耗 ## 雅 - 易用 • 功能丰富 ## AtlasGraph 关键特性  ## 可靠 -MVOCC 保证事务一致性 - 多副本管理保证数据服务高可用 - 在线备份提供容灾保障 ![Image](/uploads/documents/5/7/4/c/574c98d1f37eb6d72977af9d443434d4/p20_4

MVC/JAX-RS) ServiceComb微服务解决方案 熔断/容错 处理链 Golang 编程 限流 负载均衡 Token认证 边缘服务 服务契约 微服务脚手架 Saga事务一致性 通信协议 (Rest&RPC) ServiceMesh 动态配置 服务注册 分布式追踪 服务度量 拥抱开源生态 Dubbo SpringBoot Apollo Zipkin 降级，容错熔断等服务治理功能 ## • Service Center 基于Etcd高性能，高可用服务注册中心 • Saga • 微服务事务最终一致性问题解决方案 • 提供一个集中式的事务协调器，协调微服务之间的事务调用，保证事务最终一致性 https://github.com/apache?q=incubator-servicecomb OSCAR云计算开源产业大会 编程模型 ( Spring post OSCAR云计算开源产业大会 OSCAR云计算开源产业大会 A B OSCAR云计算开源产业大会 ## C ## Saga分布式事务一致性解决方案 Saga Log Saga Started Caller T1 Started Saga Coordinator Saga ID: x T2 Started T1 Ended