2018年PostgreSQL中国技术大会 Apache ShardingSphere(Incubating) 云架构演化 Juan Pan panjuan@apache.org JD Digits 2018年PostgreSQL中国技术大会 Apache u 完全开源 u Apache的首个分布式数据库中间件 u 京东主导，多公司参与 u 应用广泛，已知70+公司的应用案例 京东数科加入 2018.05 Ø 成立社区 2018.11 Ø 进入Apache孵化器 2018.08 Ø star突破5000 2018年PostgreSQL中国技术大会 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding- JDBC Sharding- Proxy Sharding- Sidecar Apache Zookeeper ETCD … 2018年PostgreSQL中国技术大会 APM SkyWalking：基于分布式追踪的性能监控系统。项目的核心目标是针对微服务、Cloud Native、容 器化架构，并提供应用性能监控和分布式调用链追踪能力。 SkyWalking已于2017年12月8日，进入Apache孵化器。 2018年PostgreSQL中国技术大会 拓扑图 2018年PostgreSQL中国技术大会

Apache ShardingSphere(Incubating) 云架构演化 京东数科-张亮（email: zhangliang@apache.org) 京东数科-潘娟(email: panjuan@apache.org ) Book Apache  完全开源  Apache的首个分布式数据库中间件  京东主导，多公司参与  应用广泛，已知70+公司的应用案例 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding-JDBC Sharding- Proxy Sharding- Sidecar Apache ShardingSphere 云原生 无中心 零侵入 互联网应用架构发展 单体式架构 分布式微服务 云原生架构 系统解耦 可用性提升 严重衰退 略微衰退 适合场景 短事务 并发较低 长事务 高并发 Saga Apache ServiceComb Apache ShardingSphere 分布式事务架构 数据库治理 注册中心 配置劢态化推劢 配置统一管理 数据库从库禁用 应用实例熔断 业务代码 ShardingSphere 业务代码 ShardingSphere

Apache ShardingSphere 架构解析与应用实践 孟浩然 2021/12/11 01 孟浩然 SphereEx 高级研发工程师 Apache ShardingSphere PMC 曾就职京东科技，负责数据库产品研发，热爱开源，关注数据库生态，目前就职 SphereEx , 专 注于 Apache ShardingSphere 分布式数据库中间件研发以及开源社区建设 1 1. Apache ShardingSphere 5.0.0 架构解析 2. 5.0.0 应用实践 3. Database Plus 解决方案 目录 产 品 定 位 l 构建异构数据库的上层标准和生态 l 提供精准化和差异化的能力 产 品 定 位 4.X 5.X 定位 分 库 分 表 中 间 件 分 布 式 数 据 库 生 态 系 统 功能 提 供 基 础 功 能 提 供 基 础 务质量分析）等。 可插拔 可插拔是 ShardingSphere 的设计 理念，架构内核是完全面向顶层接 口设计的，内核模块完全不感知具 体功能的存在。它为分库分表、读 写分离等每一个功能插件赋予单独 部署和协同配合的能力。 整 体 架 构 内 核 架 构 l ShardingSphere 可插拔架构提供了 数十个基于 SPI 的扩展点，开发者可 以十分方便的对功能进行定制化扩展；

ShardingSphere‐Proxy 独立部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3.3 混合部署架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 4 运行模式 10 4.1 3.4 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 复杂的主从数据库架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 8.3.5 相关参考 . . . . . . . . . . 493 12.7.1 处理流程详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493 整体架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493 加密规则 . . . .

ShardingSphere‐Proxy 独立部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3.3 混合部署架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 4 运行模式 10 4.1 3.4 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 复杂的主从数据库架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 8.3.5 相关参考 . . . . . . . . . . 472 12.7.1 处理流程详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472 整体架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472 加密规则 . . . .

2 1.1.3 ShardingSphere‐Sidecar（TODO） . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.1.4 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 功能列表 . . . . 87 3.7.5 实现原理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 整体架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 影子规则 . . . . . 101 数据分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 3.9 可插拔架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 3.9.1 背景

ShardingSphere‐Proxy 独立部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3.3 混合部署架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 4 运行模式 10 4.1 3.4 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 复杂的主从数据库架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 8.3.5 相关参考 . . . . . . . . . . 519 12.7.1 处理流程详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 519 整体架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 519 加密规则 . . . .

nt）配置起来，并通过java对象和statement中的sql 进行映射生成最终执行的sql语句，最后由mybatis框架执行sql并将结果映射成java对象并 返回。 1.3 Mybatis 架构 1、 mybatis 配置 SqlMapConfig.xml，此文件作为 mybatis 的全局配置文件，配置了 mybatis 的运行环境等信息。 mapper.xml 文件即 sql 映射文件，文件中配置了操作数据库的 计 O/R 映射，在性能和对象模型之间如何权 衡，以及怎样用好 Hibernate 需要具有很强的经验和能力才行。 总之，按照用户的需求在有限的资源环境下只要能做出维护性、扩展性良好的软件架构 都是好架构，所以框架只有适合才是最好。 2 Dao 开发方法 使用 Mybatis 开发 Dao，通常有两个方法，即原始 Dao 开发方法和 Mapper 接口开发方 法。 2.1 需求 将下边的功能实现 属性名一致性映射到 pojo 中。 场合： 常见一些明细记录的展示，比如用户购买商品明细，将关联查询信息全部展示在页面时， 此时可直接使用 resultType 将每一条记录映射到 pojo 中，在前端页面遍历 list（list 中是 pojo） 即可。 resultMap： 使用association 和collection 完成一对一和一对多高级映射（对结果有特殊的映射要求）。 association：

ShardingSphere ElasticJob document ElasticJob 通过弹性调度、资源管控、以及作业治理的功能，打造一个适用于互联网场景的分布式调度解 决方案，并通过开放的架构设计，提供多元化的作业生态。它的各个产品使用统一的作业 API，开发者仅 需一次开发，即可随意部署。 ElasticJob 已于 2020 年 5 月 28 日成为 Apache ShardingSphere dis‐ abled 否 是否禁用此分片项 servers 节点 作业服务器信息，子节点是作业服务器的 IP 地址。可在 IP 地址节点写入 DISABLED 表示该服务器禁用。 在新的云原生架构下，servers 节点大幅弱化，仅包含控制服务器是否可以禁用这一功能。为了更加纯粹 的实现作业核心，servers 功能未来可能删除，控制服务器是否禁用的能力应该下放至自动化部署系统。 5.2 GitHub: https://github.com/casdoor/casdoor 启动模式有开发模式和生产模式, 此处以开发模式为例,更多详细 后端启动方式 go run main.go 前端启动方式 cd web yarn install yarn start 步骤二: 配置 casdoor 并得到所需的数据 6.3. 运维手册 73 Apache ShardingSphere

JAVAEE 课程系列 ————————————————————————————— 1 更多 Java –大数据 –前端 –python 人工智能资料下载，可访问百度：尚硅谷官网 MyBatis 框架 尚硅谷 java 研究院 版本：V 1.0 第 1 章 MyBatis 简介 1.1 MyBatis 历史 1）MyBatis 是 Apache 的一个开源项目 iBatis, 2010 基于全映射的全自动框架，大量字段的 POJO 进行部分映射时比较困难。导致数据 库性能下降 JAVAEE 课程系列 ————————————————————————————— 2 更多 Java –大数据 –前端 –python 人工智能资料下载，可访问百度：尚硅谷官网 3） MyBatis 1 对开发人员而言，核心 sql 还是需要自己优化 2 sql 和 java 编码分开，功能边界清晰，一个专注业务、一个专注数据 https://github.com/mybatis/mybatis-3/ JAVAEE 课程系列 ————————————————————————————— 3 更多 Java –大数据 –前端 –python 人工智能资料下载，可访问百度：尚硅谷官网 第 2 章 MyBatis HelloWorld 2.1 开发环境的准备 1) 导入 MyBatis 框架的 jar 包、Mysql