36 3.5.6 使用限制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.6 流量治理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.6.1 背景 . . . . . 362 增量数据同步阶段 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362 流量切换阶段 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362 7.6.3 相关参考 . . 据库上层的标准，同时 通过内置 DistSQL 为应用提供标准化的连接方式。 1.2.2 增强：数据库计算增强引擎 在原生数据库基础能力之上，提供分布式及流量增强方面的能力。前者可突破底层数据库在计算与存储 上的瓶颈，后者通过对流量的变形、重定向、治理、鉴权及分析能力提供更为丰富的数据应用增强能力。 1.2. 设计哲学 4 Apache ShardingSphere document,

无关的桥梁，为增量能力提供了基 础。 增量 增量是 ShardingSphere 的主要能 力，在拦截访问数据库流量的前提 下，透明化的提供增量功能。增强 包含了流量的重定向（数据分片、 读写分离、影子库）、流量变形 （数据加密）、流量鉴权（SQL 审 计、权限）、流量治理（熔断、限 流）以及流量分析（可观察性、服 务质量分析）等。 可插拔 可插拔是 ShardingSphere 的设计 理念，架构内核是完全面向顶层接

https://community.sphere-ex.com 文字 Apache ShardingSphere Overview Shadow DB 应用场景 Shadow DB 架构设计 全链路压测：流量规划，比如双 11，618 等 灰度发布：指定测试用户的体验版本发布 服务预热：预热数据隔离 对比测试：基于版本的对比测试 Shadow DB Scenes 4.1.1 Shadow DB 直接调用服务应用模拟生产环境调用 调用 cyborg-flow-gateway 网关模拟压测环境调用 CyborgFlow POC2 文字 真实流量的调用链路 压测流量的调用链路 CyborgFlow POC3 文字 真实流量的调用 SQL 详情 压测流量的调用 SQL 详情 CyborgFlow POC4 文字 连接 MySQL 生产库 ds 查询 连接 MySQL 影子库 ds_shadow

38 8.4.6 使用限制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 8.5 流量治理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 8.5.1 背景 . . . . . 492 增量数据同步阶段 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492 流量切换阶段 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492 12.6.3 相关参考 . . 构数据库上层的标准，同时 通过内置 DistSQL 为应用提供标准化的连接方式。 2.2 增强：数据库计算增强引擎 在原生数据库基础能力之上，提供分布式及流量增强方面的能力。前者可突破底层数据库在计算与存储 上的瓶颈，后者通过对流量的变形、重定向、治理、鉴权及分析能力提供更为丰富的数据应用增强能力。 2.3 可插拔：构建数据库功能生态 Apache ShardingSphere 的可插拔架构划分为

38 8.4.6 使用限制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 8.5 流量治理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 8.5.1 背景 . . . 471 x 增量数据同步阶段 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471 流量切换阶段 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471 12.6.3 相关参考 . . 构数据库上层的标准，同时 通过内置 DistSQL 为应用提供标准化的连接方式。 2.2 增强：数据库计算增强引擎 在原生数据库基础能力之上，提供分布式及流量增强方面的能力。前者可突破底层数据库在计算与存储 上的瓶颈，后者通过对流量的变形、重定向、治理、鉴权及分析能力提供更为丰富的数据应用增强能力。 2.3 可插拔：构建数据库功能生态 Apache ShardingSphere 的可插拔架构划分为

38 8.4.6 使用限制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 8.5 流量治理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 8.5.1 背景 . . . . . 518 增量数据同步阶段 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 518 流量切换阶段 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 518 12.6.3 相关参考 . . 构数据库上层的标准，同时 通过内置 DistSQL 为应用提供标准化的连接方式。 2.2 增强：数据库计算增强引擎 在原生数据库基础能力之上，提供分布式及流量增强方面的能力。前者可突破底层数据库在计算与存储 上的瓶颈，后者通过对流量的变形、重定向、治理、鉴权及分析能力提供更为丰富的数据应用增强能力。 2.3 可插拔：构建数据库功能生态 Apache ShardingSphere 的可插拔架构划分为

连接：通过对数据库协议、SQL 方言以及数据库存储的灵活适配，快速的连接应用与多模式的异构 数据库； • 增量：获取数据库的访问流量，并提供流量重定向（数据分片、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 精细化的操作能力。 集中化管理的挑战体现在将包括数据库存储节点和中间件计算节点的状态统一管理，并且能够实时的探 测到分布式环境下最新的变动情况，进一步为集群的控制和调度提供依据。 面对超负荷的流量下，针对某一节点进行熔断和限流，以保证整个数据库集群得以继续运行，是分布式 系统下对单一节点控制能力的挑战。 4.2.3 目标 实现从数据库到计算节点打通的一体化管理能力，在故障中为组件提供细粒度的控制能力，并尽可能的 一旦涉及到跨库的更新操作，分布式事务往往会使问题变得复杂。使用多主多从的分片方式，可以有效 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。 垂直分片 按照业务拆分的方式称为垂直分片，又称为纵向拆分，它的核心理念是专库专用。在拆分之前，一个数

连接：通过对数据库协议、SQL 方言以及数据库存储的灵活适配，快速的连接应用与多模式的异构 数据库； • 增量：获取数据库的访问流量，并提供流量重定向（数据分片、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 精细化的操作能力。 集中化管理的挑战体现在将包括数据库存储节点和中间件计算节点的状态统一管理，并且能够实时的探 测到分布式环境下最新的变动情况，进一步为集群的控制和调度提供依据。 面对超负荷的流量下，针对某一节点进行熔断和限流，以保证整个数据库集群得以继续运行，是分布式 系统下对单一节点控制能力的挑战。 4.2.3 目标 实现从数据库到计算节点打通的一体化管理能力，在故障中为组件提供细粒度的控制能力，并尽可能的 一旦涉及到跨库的更新操作，分布式事务往往会使问题变得复杂。使用多主多从的分片方式，可以有效 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。 垂直分片 按照业务拆分的方式称为垂直分片，又称为纵向拆分，它的核心理念是专库专用。在拆分之前，一个数

连接：通过对数据库协议、SQL 方言以及数据库存储的灵活适配，快速的连接应用与多模式的异构 数据库； • 增量：获取数据库的访问流量，并提供流量重定向（数据分片、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 精细化的操作能力。 集中化管理的挑战体现在将包括数据库存储节点和中间件计算节点的状态统一管理，并且能够实时的探 测到分布式环境下最新的变动情况，进一步为集群的控制和调度提供依据。 面对超负荷的流量下，针对某一节点进行熔断和限流，以保证整个数据库集群得以继续运行，是分布式 系统下对单一节点控制能力的挑战。 4.2.3 目标 实现从数据库到计算节点打通的一体化管理能力，在故障中为组件提供细粒度的控制能力，并尽可能的 一旦涉及到跨库的更新操作，分布式事务往往会使问题变得复杂。使用多主多从的分片方式，可以有效 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。 4.3. 数据分片 24 Apache ShardingSphere document

连接：通过对数据库协议、SQL 方言以及数据库存储的灵活适配，快速的连接应用与多模式的异构 数据库； • 增量：获取数据库的访问流量，并提供流量重定向（数据分片、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 一旦涉及到跨库的更新操作，分布式事务往往会使问题变得复杂。使用多主多从的分片方式，可以有效 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。 垂直分片 按照业务拆分的方式称为垂直分片，又称为纵向拆分，它的核心理念是专库专用。在拆分之前，一个数 路压测的方式，即在生产环境进行压测，这样所获得的测试结果能够较为准确地反应系统真实容量水平 和性能。 4.8.2 挑战 全链路压测是一项复杂而庞大的工作。需要各个微服务、中间件之间配合与调整，以应对不同流量以及压 测标识的透传。通常会搭建一整套压测平台以适用不同测试计划。在数据库层面需要做好数据隔离，为 了保证生产数据的可靠性与完整性，需要将压测产生的数据路由到压测环境数据库，防止压测数据对生