无中心节点/中心节点 均 衡 地址空间的每段数据会分布在不同机器的磁盘上，如 何找到这些数据？ 可靠性 & 可用性 —— 多副本/EC 服务不可用时 间 数据一致性 —— 一致性协议 如何保证数据不丢？如何保证各种硬件故障的时候读 写都正常？ 可扩展性 —— 和数据分布的方式相关 所用容量都用完后，可以新增机器扩展容量分布式存储的要素 — 数据分布 无中心节点：哈希算法 KEY (Offset, Len) VALUE (DiskID) (0, 4MB) 70 (4MB, 8MB) 60 (8MB, 16MB) 50分布式存储的要素 — 一致性协议 多副本： 写三次？ 一致性协议 一致性：WARO（Write-all-read-one）、Quorum WARO • 所有副本写成功 • 读可用性高：可以读任一副本 • 写可用性较低，任一副本异常写失败 rbd\udata.6855c174a277a30.000000000005c2架构简介 — 多副本一致性协议 复制策略 • 主动拷贝、链式复制、splay复制 异常处理 • PG有23种状态：Peering，Degraded等 • 强一致性协议对异常的容忍较差 使用WARO一致性协议 • 所有副本写完成返回客户端 • 延迟取决于所有副本中最慢的那一个块存储场景 为云主机提供云

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 871 8.13.5 第 5 步：使用 redo log 确保数据一致性· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 871 8.13.6 第 6 步：恢复主集群及业务 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 984 10.2.8 数据索引一致性报错· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 在线扩容或者缩容，扩容或者 缩容过程中对应用运维人员透明。 • 金融级高可用 数据采用多副本存储，数据副本通过 Multi-Raft 协议同步事务日志，多数派写入成功事务才能提交，确 保数据强一致性且少数副本发生故障时不影响数据的可用性。可按需配置副本地理位置、副本数量等 策略，满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎，TiFlash

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 937 8.13.5 第 5 步：使用 redo log 确保数据一致性· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 937 8.13.6 第 6 步：恢复主集群及业务 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1048 10.2.8 数据索引一致性报错· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 在线扩容或者缩容，扩容或者 缩容过程中对应用运维人员透明。 • 金融级高可用 数据采用多副本存储，数据副本通过 Multi-Raft 协议同步事务日志，多数派写入成功事务才能提交，确 保数据强一致性且少数副本发生故障时不影响数据的可用性。可按需配置副本地理位置、副本数量等 策略，满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎，TiFlash

语句之间的执行顺序？ · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 957 7.8.29 如何对比上下游数据的一致性？ · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 957 7.8.30 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1191 8.13.5 第 5 步：使用 redo log 确保数据一致性· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1191 8.13.6 第 6 步：恢复主集群及业务 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1303 10.2.8 数据索引一致性报错· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

设计评估标准，量化提示语效果 跨域整合能力 将专业领域知识转化为有效的提示语 利用提示语桥接不同学科和AI能力 创造跨领域的创新解决方案 系统思维 设计多步骤、多维度的提示语体系 构建提示语模板库，提高效率和一致性 开发提示语策略，应对复杂场景 表1-3-2提示语设计进阶技能子项 核心技能 子项 语境理解 深入分析任务背景和隐含需求 考虑文化、伦理和法律因素 预测可能的误解和边界情况 抽象化能力 + 格式 元素 长度元素 + 风格元素 通过清晰的任务指令和预定义的结构提高执行效率，同时确保输出符合特定的 格式和风格要求 提升输出一致性 风格元素 + 知识域元素 + 约束条 件元素 格式元素 + 质量控制元素 通过统一的风格和专业领域知识确保输出的一致性，同时使用约束条件和质量 控制维持标准 增强交互体验 迭代指令元素 + 输出验证元素 + 质量控制元素 任务指令元素 + 背景元素 1. 定位过于宽泛，缺乏针对性 2. 过度模仿竞争对手，失去独特性 3. 忽视市场变化，定位僵化 4. 与品牌实际能力不匹配，难以兑现承诺 应用示例 目标市场的精准描述 品牌个性和形象的一致性 竞争对手的分析和差异化策略 与目标受众的情感连接点 为[品牌名称]创建一个清晰而独特的品牌定位声明，遵循以下指南： （1）核心定位： 用一句简洁有力的话概括品牌的核心定位。确保这句话能清晰传达品牌的

设计评估标准，量化提示语效果 跨域整合能力 将专业领域知识转化为有效的提示语 利用提示语桥接不同学科和AI能力 创造跨领域的创新解决方案 系统思维 设计多步骤、多维度的提示语体系 构建提示语模板库，提高效率和一致性 开发提示语策略，应对复杂场景 表1-3-2提示语设计进阶技能子项 核心技能 子项 语境理解 深入分析任务背景和隐含需求 考虑文化、伦理和法律因素 预测可能的误解和边界情况 抽象化能力 + 格式 元素 长度元素 + 风格元素 通过清晰的任务指令和预定义的结构提高执行效率，同时确保输出符合特定的 格式和风格要求 提升输出一致性 风格元素 + 知识域元素 + 约束条 件元素 格式元素 + 质量控制元素 通过统一的风格和专业领域知识确保输出的一致性，同时使用约束条件和质量 控制维持标准 增强交互体验 迭代指令元素 + 输出验证元素 + 质量控制元素 任务指令元素 + 背景元素 1. 定位过于宽泛，缺乏针对性 2. 过度模仿竞争对手，失去独特性 3. 忽视市场变化，定位僵化 4. 与品牌实际能力不匹配，难以兑现承诺 应用示例 目标市场的精准描述 品牌个性和形象的一致性 竞争对手的分析和差异化策略 与目标受众的情感连接点 为[品牌名称]创建一个清晰而独特的品牌定位声明，遵循以下指南： （1）核心定位： 用一句简洁有力的话概括品牌的核心定位。确保这句话能清晰传达品牌的

新一代NewSQL分布式关系型数据库 Ti Project （TiDB + TiKV） ● 基于 2013 年 Google Spanner / F1 论文 ● 基于 2014 年 Stanford 工业级分布式一致性协议实现 Raft 论文 概括： 无限水平线性扩展、高并发高吞吐、跨数据中心多活、MySQL 兼容的真正意义上的分布式数据库 ● 我们是全球仅有的在该领域进行技术创新的两家公司之一（对标美国 CockroachDB） 秒级别），无需分库分表或者搭建复杂的 Hadoop 集群，完整的 MySQL 兼容接 口轻松处理高并发实时写入、实时查询和分析，极大的简化程序设计、应用维护 ，轻松应对大数据存储问题。 ● 高并发、高吞吐、完整的跨行事务支持、强一致性 通过简单的增加节点，提供无上限的、线性扩展的的高并发、高吞吐的处理能力 ，卓越的集群处理能力。同时提供跨行事务处理能力。 我们的数据库能解决什么问题 - 2 ● 高可用、跨数据中心多活 分布式算法 TiDB Server TiDB Worker TiDB Worker TiDB Worker TiKV Query Write TiKV ● 开源的 Spanner 实现 ● 基于 Raft 多副本一致性算法 ○ 使用Multi Raft支持Dynamic Scale ● 支持类 Percolator 分布式事务 ● 提供 MVCC 支持 ○ RocksDB RocksDB Raft KV MVCC

raft和braft 03 raft在Curve中的应用 05 Q&A 04 Curve对raft的优化RAFT协议简介 什么是raft • raft 是一种新型易于理解的分布式一致性复制协议，由斯坦福大学的Diego Ongaro和John Ousterhout提出，《In Search of an Understandable Consensus Algorithm(Extended Algorithm(Extended Version)》 • raft 是一种Leader-Based的Multi-Paxos变种，提供了更完整更清晰的协议描述，更容易理解和实现。 • raft可以解决分布式理论中的CP，即一致性和分区容忍性 • 大多数副本成功即可返回成功 • 速度取决于写的较快的大多数RAFT协议简介 • Leader：负责从客户端接受日志，把日志复制到其 他服务器，当保证安全性的时候告诉其他服务器应用 然后把执⾏的结果返回给客户端。 • 提供命令在多个节点之间有序复制和执行，当多个节 点初始状态一致的时候，保证节点之间状态一致。 raft日志复制RAFT协议简介 raft配置变更 • 配置：加入一致性算法的服务器集合。 • 集群的配置不可避免会发生变更，比如替换宕机的机器。 直接配置变更可能出现双主问题 • 共同一致（joint consensus） • 集群先切换到一个过渡的配置(old

e What's Really New with NewSQL?数据库中间层的优势 系统 •事务 运维 • DBA 开发 • SQL数据库中间层应具备的能力 分片化 多副本 数据一致性 弹性化 治理能力 观察能力数据分片 App2 DB App1 App3 App2 DB1 DB2 DB3 App1 App3数据分片：引入中间件 App1 M1 App2 App3 传统事务：ACID Atomicity - 原子性 Consistency - 一致性 Isolation - 隔离性 Durability - 持久性 柔性事务：BASE Basically Available - 基本可用 Soft state -软状态 Eventual consistency - 最终一致性分布式事务：分类 XA 最大努力送达 Saga TCC 业务改造 无 无 无 实现补偿接口 实现TCC接口 回滚 支持 不支持 支持 支持 一致性 强一致 最终一致 最终一致 最终一致 隔离性 原生支持 不支持 不支持 Try接口支持 并发性能 严重衰退 无影响 无影响 略微衰退 适合场景 短事务 并发较低 事务最终成功 高并发 长事务 应用方控制并发 高并发 长事务 高并发分布式事务：柔性事务自动化 快照记录 • INSERT • 解析 •

Transactional and Analytical Processing) 数据库，结合了传统的 RDBMS 和 NoSQL 的最佳特性。 TiDB 兼容 MySQL，支持无限的水平扩展，具备强一致性和高可用性。TiDB 的目标是为 OLTP (Online Transactional Processing) 和 OLAP (Online Analytical Processing) 场景提供一站式的解决方案。 数据场景。 分布式事务 TiDB 100% 支持标准的 ACID 事务。 真正金融级高可用 相比于传统主从 (M-S) 复制方案，基于 Raft 的多数派选举协议可以提供金融级的 100% 数据强一致性保 证，且在不丢失大多数副本的前提下，可以实现故障的自动恢复 (auto-failover)，无需人工介入。 一站式 HTAP 解决方案 TiDB 作为典型的 OLTP 行存数据库，同时兼具强大的 OLAP 负责存储一个 Key Range （从 StartKey 到 EndKey 的左闭右开区间）的 数据，每个 TiKV 节点会负责多个 Region 。TiKV 使用 Raft 协议做复制，保持数据的一致性和容灾。副本以 Region 为单位进行管理，不同节点上的多个 Region 构成一个 Raft Group，互为副本。数据在多个 TiKV 之 间的负载均衡由 PD 调度，这里也是以 Region