VMware, Inc. Agenda 2 - Greenplum 分布式数据库简介 - Greenplum 集群化概述 - 分布式数据存储与多态存储 - 分布式查询优化器与执行器 - Greenplum 中文社区 3 Confidential │ ©2021 VMware, Inc. Greenplum 分布式数据库简介 Features Confidential │ ©2021 算和并行优化功能，兼容 SQL 标准。拥有独 特的高效的 ORCA 优化器，具有强大、高效的 PB 级数据存储、处理和实时分析能力，同时支持 OLTP 型业务的混合负载。 Greenplum 分布式数据库简介 5 Confidential │ ©2021 VMware, Inc. Greenplum 集群化概述 Coordinator/Segment, Primary/Mirror Confidential Greenplum 分布式数据存储与多态存储 Hash/Randomly/Replicated Confidential │ ©2021 VMware, Inc. 8 数据存储分布化是分布式数据库要解决的第一个问题。 通过将海量数据分散到多个节点上，一方面大大降低了单个节点处理的数据量，另一方面也为处理 并行化奠定了基础，两者结合起来可以极大的提高系统的性能。譬如在 100 个节点的集群上，每

TiDB Operator 3.4 运维和可视化管理- TiDB Dashboard 21 第四章 TiDB Cloud 41TipBcoud 23 第五章 场景案例 5.1 金融 光大银行 - 分布式数据库在光大银行关键业务系统的应用 。""* 26 北京银行- 打造面向未来的商业银行业分布式核心系统 ，， 28 中国银行 -基于 TiZabbix 构建金融业新一代运维监控平台 “"""* 30 一05 1.1 PingCAP 简介 PingCAP 成立于 2015 年，是一家企业级开源分布式数据库厂商，提供包括开源分布式数据库产品、解 决方案与咨询、技术支持与培训认证服务，致力于为全球行业用户提供稳定高效、安全可告、开放兼容 的新型数据基础设施，解放企业生产力，加速企业数字化转型升级。 由PingCAP Database}被国际三大顶级数据库会议VLDB 2020 收录, 成为业界第 一篇 Real-time HTAP 分布式数据库工业实现的顶级论文 *。 ”发明专利:一种键值存储系统沙《一种基于共识算法的 HTAP 数据库》 *。 ”计算机软件著作权登记证书: 分布式数据库 TiDB 企业版软件.Tiflash 列式存储引擎软件 一 PingCAP

用系统，使得架构师更加自由地调整适合与当前业务的最佳系统架构。 1.1. 简介 4 Apache ShardingSphere document, v5.0.0 1.2 解决方案 解决方案/功能 分布式数据库 数据安全 • 数据库网关 * • 全链路压测 * 数据分片 数据加密 异构数据库支持 影子库 读写分离 行级权限（TODO） SQL 方 言 转 换 （TODO） 可观测性 分布式事务 value) DROP RESOURCE dataSourceName [, dataSourceName] ... [ignore single tables] • 添加资源前请确认已经创建分布式数据库，并执行 use 命令成功选择一个数据库 • 确认增加的资源是可以正常连接的，否则将不能添加成功 • 重复的 dataSourceName 不允许被添加 • 在同一 dataSource 的定义中，simpleSource 中，将 properties 的 属性 proxy-hint-enabled 设置为 true。 使用 本章节将结合 DistSQL 的语法，并以实战的形式分别介绍如何使用 DistSQL 管理分布式数据库下数据分 片、读写分离等规则。 数据分片 使用实战 前置工作 1. 启动 MySQL 服务 2. 创建 MySQL 数据库 (参考 ShardingSphere‐Proxy 数据源配置规则)

zhangliang@apache.org) 京东数科-潘娟(email: panjuan@apache.org ) Book Apache  完全开源  Apache的首个分布式数据库中间件  京东主导，多公司参与  应用广泛，已知70+公司的应用案例 发展历程 2015.10 项目启劢 2016.01 正式开源 2016.08 star突破1000 互联网数据库需求发展 RDBMS NoSQL NewSQL 键值数据库 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle PostgreSQL SQLServer …… 分布式数据库中间优势  底层数据库成熟性  增量持续革新  接入与运维成本低 数据库中间件应具备的能力 1

云架构演化 Juan Pan panjuan@apache.org JD Digits 2018年PostgreSQL中国技术大会 Apache u 完全开源 u Apache的首个分布式数据库中间件 u 京东主导，多公司参与 u 应用广泛，已知70+公司的应用案例 2018年PostgreSQL中国技术大会 发展历程 2015.10 Ø 项目启动 2016.01 Ø 正式开源 互联网数据库需求发展 RDBMS NoSQL NewSQL 键值数据库 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle PostgreSQL SQLServer …… 2018年PostgreSQL中国技术大会 分布式数据库中间优势 ü 底层数据库成熟性 ü 增量持续革新 ü 接入与运维成本低 2018年PostgreSQL中国技术大会

ShardingSphere 的定义，设计哲学和部署形态。 更多常见问题，请参考 FAQ。 1.1 什么是 ShardingSphere 1.1.1 介绍 Apache ShardingSphere 是一款开源的分布式数据库生态项目，由 JDBC 和 Proxy 两款产品组成。其核心 采用微内核 + 可插拔架构，通过插件开放扩展功能。它提供多源异构数据库增强平台，进而围绕其上层 构建生态。 Apache ShardingSphere v5.2.0 1.1.2 产品功能 特性 定义 数 据 分片 数据分片，是应对海量数据存储与计算的有效手段。ShardingSphere 提供基于底层数据库之 上，可计算与存储水平扩展的分布式数据库解决方案。 分 布 式 事 务 事务能力，是保障数据库完整、安全的关键技术，也是数据库的核心技术之一。ShardingSphere 提供在单机数据库之上的分布式事务能力，可实现跨底层数据源的数据安全。 不处理主从库间的事务一致性。主从模型中，事务中的数据读写均用主库。 3.4 高可用 3.4.1 背景 高可用是现代系统的最基本诉求，作为系统基石的数据库，对于高可用的要求也是必不可少的。 在存算分离的分布式数据库体系中，存储节点和计算节点的高可用方案是不同的。对于有状态的存储节 点来说，需要其自身具备数据一致性同步、探活、主节点选举等能力；对于无状态的计算节点来说，需要 感知存储节点的变化的同时，还

Apache ShardingSphere PMC 曾就职京东科技，负责数据库产品研发，热爱开源，关注数据库生态，目前就职 SphereEx , 专 注于 Apache ShardingSphere 分布式数据库中间件研发以及开源社区建设 1. Apache ShardingSphere 5.0.0 架构解析 2. 5.0.0 应用实践 3. Database Plus 解决方案 目录 产 品 架构以及可插拔内核，ShardingSphere 提供了丰富的功能，如数据分片、读写分离及数据 加密等。基于这些丰富的功能，ShardingSphere 在产品层面也提供了分布式数据库、数据安全、数据库网关和 全链路压测 4 套完善的解决方案。 分布式数据库 数据分片 弹性迁移 分布式事务 读写分离 高可用 数据安全 数据加密 行级权限(TODO) SQL 审计 (TODO) SQL 防火墙

用系统，使得架构师更加自由地调整适合于当前业务的最佳系统架构。 1.1. 简介 4 Apache ShardingSphere document, v5.1.1 1.2 解决方案 解决方案/功能 分布式数据库 数据安全 • 数据库网关 * • 全链路压测 * 数据分片 数据加密 异构数据库支持 影子库 读写分离 行级权限（TODO） SQL 方 言 转 换 （TODO） 可观测性 分布式事务 主从库间的事务一致性。主从模型中，事务中的数据读写均用主库。 4.6 高可用 4.6.1 背景 高可用是现代系统的最基本诉求，作为系统基石的数据库，对于高可用的要求也是必不可少的。 在存算分离的分布式数据库体系中，存储节点和计算节点的高可用方案是不同的。对于有状态的存储节 点来说，需要其自身具备数据一致性同步、探活、主节点选举等能力；对于无状态的计算节点来说，需要 感知存储节点的变化的同时，还 PROPERTIES(poolProperty [,poolProperty]) ...]) poolProperty: "key"= ("value" | value) • 添加资源前请确认已经创建分布式数据库，并执行 use 命令成功选择一个数据库； • 确认增加的资源是可以正常连接的，否则将不能添加成功； • 重复的 dataSourceName 不允许被添加； • 在同一 dataSource

用系统，使得架构师更加自由地调整适合于当前业务的最佳系统架构。 1.1. 简介 4 Apache ShardingSphere document, v5.1.0 1.2 解决方案 解决方案/功能 分布式数据库 数据安全 • 数据库网关 * • 全链路压测 * 数据分片 数据加密 异构数据库支持 影子库 读写分离 行级权限（TODO） SQL 方 言 转 换 （TODO） 可观测性 分布式事务 主从库间的事务一致性。主从模型中，事务中的数据读写均用主库。 4.6 高可用 4.6.1 背景 高可用是现代系统的最基本诉求，作为系统基石的数据库，对于高可用的要求也是必不可少的。 在存算分离的分布式数据库体系中，存储节点和计算节点的高可用方案是不同的。对于有状态的存储节 点来说，需要其自身具备数据一致性同步、探活、主节点选举等能力；对于无状态的计算节点来说，需要 感知存储节点的变化的同时，还 PROPERTIES(poolProperty [,poolProperty]) ...]) poolProperty: "key"= ("value" | value) • 添加资源前请确认已经创建分布式数据库，并执行 use 命令成功选择一个数据库 • 确认增加的资源是可以正常连接的，否则将不能添加成功 • 重复的 dataSourceName 不允许被添加 • 在同一 dataSource 的定义中，simpleSource

同级目录下生成代码，容易误提交，如何避免？ . . . . . . . . . . . . 292 viii 1 概览 星评增长时间线 贡献者增长时间线 Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈，它由 JDBC、Proxy 和 Sidecar （规划中）这 3 款既能够独立部署，又支持混合部署配合使用的产品组成。它们均提供标准化的数据水平 扩展、分布式事务和分布式治理等功能，可适用于如 致可分为尾数取模、哈希、范围、标签、时间等。由用户方配置的分片策略则更加灵活，可以根据使用方 需求定制复合分片策略。如果配合数据自动迁移来使用，可以做到无需用户关注分片策略，自动由数据 库中间层分片和平衡数据即可，进而做到使分布式数据库具有的弹性伸缩的能力。在 ShardingSphere 的 线路规划中，弹性伸缩将于 4.x 开启。 分片路由 用于根据分片键进行路由的场景，又细分为直接路由、标准路由和笛卡尔积路由这 3 更加复杂的场景。Apache ShardingSphere 希望能够优先解决海量数据 OLTP 的问题，OLAP 的相关支持， 会一点一点的逐渐完善。 SQL 由于 SQL 语法灵活复杂，分布式数据库和单机数据库的查询场景又不完全相同，难免有和单机数据库不 兼容的 SQL 出现。 本文详细罗列出已明确可支持的 SQL 种类以及已明确不支持的 SQL 种类，尽量让使用者避免踩坑。 其中必然有未涉及到的