Apache ShardingSphere 架构解析与应用实践 孟浩然 2021/12/11 01 孟浩然 SphereEx 高级研发工程师 Apache ShardingSphere PMC 曾就职京东科技，负责数据库产品研发，热爱开源，关注数据库生态，目前就职 SphereEx , 专 注于 Apache ShardingSphere 分布式数据库中间件研发以及开源社区建设 1 1. Apache ShardingSphere 5.0.0 架构解析 2. 5.0.0 应用实践 3. Database Plus 解决方案 目录 产 品 定 位 l 构建异构数据库的上层标准和生态 l 提供精准化和差异化的能力 产 品 定 位 4.X 5.X 定位 分 库 分 表 中 间 件 分 布 式 数 据 库 生 态 系 统 功能 提 供 基 础 功 能 提 供 基 础 品 架 构 部 署 架 构 l ShardingSphere-JDBC 采用无中心化架 构，与应用程序共享资源，适用于 Java 开发的高性能的轻量级 OLTP 应用； l ShardingSphere-Proxy 提供静态入口 以及异构语言的支持，独立于应用程序 部署，适用于 OLAP 应用以及对分片数 据库进行管理和运维的场景。 整 体 架 构 l L1 内核层：面向数据库内核， 包括数据库事务引擎，查询优

com/apache/shardingsphere OpenSEC: https://community.sphere-ex.com 文字 Apache ShardingSphere Overview Shadow DB 应用场景 Shadow DB 架构设计 全链路压测：流量规划，比如双 11，618 等 灰度发布：指定测试用户的体验版本发布 服务预热：预热数据隔离 对比测试：基于版本的对比测试 Shadow 算法。只要有一个影子算法判 定成功执行 SQL 就会路由到 影子库。 Shadow DB Concept Column Value Match Column Regex Match Simple Hint SQL 支持度高 Shadow Algorithm shadowAlgorithms: : type: VALUE_MATCH props: operation: insert database-shadow 数据路由 cyborg-database-shadow sw8-correlation: cyborg-flow=true CyborgFlow POC1 文字 直接调用服务应用模拟生产环境调用 调用 cyborg-flow-gateway 网关模拟压测环境调用 CyborgFlow POC2 文字 真实流量的调用链路 压测流量的调用链路 CyborgFlow POC3

SQL语句构建器 SQL语句构建器 日志 日志 项目文档 项目文档 项目文档 项目文档 项目信息 项目信息 项目报表 项目报表 简介 简介 什么是 什么是 MyBatis ？ ？ MyBatis 是支持定制化 SQL、存储过程以及高级映射的优秀的持久层框架。MyBatis 避免了几乎所有的 JDBC 代码和手动设置参数以 及获取结果集。MyBatis 可以对配置和原生Map使用简单的 XML 或注解，将接口和 This PDF was generated via the PDFmyURL web conversion service! Copyright © 2010–2015 MyBatis.org. All rights reserved. This PDF was generated via the PDFmyURL web conversion service! mybatis 参考文档 参考文档 ctId> x.x.x 从 从 XML 中构建 中构建 SqlSessionFactory 每个基于 MyBatis 的应用都是以一个 SqlSessionFactory 的实例为中心的。SqlSessionFactory 的实例可以通过 SqlSessionFactoryBuilder 获得。而 SqlSessionFactoryBuilder

. 71 6.3.1 部署指南 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 应用部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 运维平台和 RESTFul . . 76 设计理念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 不支持项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 7 开发者手册 78 7 FAQ 89 10.1 阅读源码时为什么会出现编译错误? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 10.2 是否支持动态添加作业? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 10.3 为什么在代码或配置文件中修改了作业配置，注册中心配置却没有更新

. . . . . . . . . . . . . . . . . . . . . . . . 62 支持项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 不支持项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 导览 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 应用性能监控集成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 Agent 集成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 支持项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 不支持项 . . . . . . . . . . . . . . . . . . . . . . . . . .

于 Java 的持久层框架。 iBatis 提供的持久层框架包括 SQL Maps 和 Data Access Objects（DAO） 1.2 MyBatis 简介 1） MyBatis 是支持定制化 SQL、存储过程以及高级映射的优秀的持久层框架 2） MyBatis 避免了几乎所有的 JDBC 代码和手动设置参数以及获取结果集 3） MyBatis可以使用简单的XML或注解用于配置和原 —————— 12 更多 Java –大数据 –前端 –python 人工智能资料下载，可访问百度：尚硅谷官网 6) 自定义类型转换器 1 我们可以重写类型处理器或创建自己的类型处理器来处理不支持的或非标准的类 型 2 步骤  实 现 org.apache.ibatis.type.TypeHandler 接 口 或 者 继 承 org.apache.ibatis.type.BaseTypeHandler 的提交和回滚设置，依赖于从数据源得到的连接来管理事务 范 围。 JdbcTransactionFactory MANAGED：不提交或回滚一个连接、让容器来管理事务的整个生命周期（比如 JEE 应用服务器的上下文）。 ManagedTransactionFactory 自定义：实现 TransactionFactory 接口，type=全类名/别名 6) dataSource type： UNPOOLED

ShardingSphere‐JDBC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 7.1.1 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 7.1.2 使用限制 . . ShardingSphere‐Proxy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 7.2.1 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 7.2.2 使用限制 . . 1.3 目标 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 8.1.4 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 海量数据高并发的 OLTP 场景

ShardingSphere‐JDBC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 7.1.1 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 7.1.2 使用限制 . . ShardingSphere‐Proxy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 7.2.1 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 7.2.2 使用限制 . . 1.3 目标 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 8.1.4 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 海量数据高并发的 OLTP 场景

如果使用数据库链接池可解决此问题。 解决： 在 SqlMapConfig.xml 中配置数据链接池，使用连接池管理数据库链接。 2.Sql 语句写在代码中造成代码不易维护，实际应用 sql 变化的可能较大，sql 变动需要改变 java 代码。 解决： 将 Sql 语句配置在 XXXXmapper.xml 文件中与 java 代码分离。 3.向 sql 语句传参数麻烦，因为 名， 而我们的是实体类并没有注册别名，所以必须写全限定类名。在今天课程的最后一个章节中将讲解如何注册实体类 的别名。 在 mybatis 的官方文档的说明(第 19 页) 这些都是支持的默认别名。我们也可以从源码角度来看它们分别都是如何定义出来的。 可以参考 TypeAliasRegistery.class 的源码。 传智播客——专注于 Java、.Net 和 Php、网页平面设计工程师的培训 电话：400-618-9090 第4章 Mybatis 的输出结果封装 4.1 resultType 配置结果类型 resultType 属性可以指定结果集的类型，它支持基本类型和实体类类型。 我们在前面的 CRUD 案例中已经对此属性进行过应用了。 需要注意的是，它和 parameterType 一样，如果注册过类型别名的，可以直接使用别名。没有注册过的必须 使用全限定类名。例如：我们的实体类

ShardingSphere‐JDBC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.1.1 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.1.2 使用限制 . . ShardingSphere‐Proxy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.2.1 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.2.2 使用限制 . . 1.3 目标 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.1.4 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 海量数据高并发的 OLTP 场景