VMware, Inc. Agenda 2 - Greenplum 分布式数据库简介 - Greenplum 集群化概述 - 分布式数据存储与多态存储 - 分布式查询优化器与执行器 - Greenplum 中文社区 3 Confidential │ ©2021 VMware, Inc. Greenplum 分布式数据库简介 Features Confidential │ ©2021 算和并行优化功能，兼容 SQL 标准。拥有独 特的高效的 ORCA 优化器，具有强大、高效的 PB 级数据存储、处理和实时分析能力，同时支持 OLTP 型业务的混合负载。 Greenplum 分布式数据库简介 5 Confidential │ ©2021 VMware, Inc. Greenplum 集群化概述 Coordinator/Segment, Primary/Mirror Confidential Greenplum 分布式数据存储与多态存储 Hash/Randomly/Replicated Confidential │ ©2021 VMware, Inc. 8 数据存储分布化是分布式数据库要解决的第一个问题。 通过将海量数据分散到多个节点上，一方面大大降低了单个节点处理的数据量，另一方面也为处理 并行化奠定了基础，两者结合起来可以极大的提高系统的性能。譬如在 100 个节点的集群上，每

Go 搭建大型开源分布式数据库技术内幕 shenli@PingCAP 关于我 ● 申砾 (Shen Li) ● TiDB 技术负责人 ● 网易有道 / 360搜索 / PingCAP ● Infrastructure software engineer 为什么需要一个新的数据库？ 从单机数据库到 NewSQL ● 关系型数据库 ● NoSQL ● 中间件 ● NewSQL Processing) ● 24/7 availability, even in case of datacenter outages ● Open source, of course 如何构建分布式数据库？ 原则 ● 分层 ● Make it right and make it fast. ● 测试很重要 ● 简单易用 ● 和社区结合 架构 TiKV TiKV TiKV TiKV

构建强⼀一致性分布式数据库 TiDB 沈泰宁 R & D Engineer @ PingCAP ⾃自我介绍 ⾃自我介绍 • 沈泰宁 • R&D Engineer @ PingCAP • Maintainer • rust-prometheus • grpc-rs • … ⽬目录 • What is TiDB? • How to test? What is TiDB? Single

TiDB Operator 3.4 运维和可视化管理- TiDB Dashboard 21 第四章 TiDB Cloud 41TipBcoud 23 第五章 场景案例 5.1 金融 光大银行 - 分布式数据库在光大银行关键业务系统的应用 。""* 26 北京银行- 打造面向未来的商业银行业分布式核心系统 ，， 28 中国银行 -基于 TiZabbix 构建金融业新一代运维监控平台 “"""* 30 一05 1.1 PingCAP 简介 PingCAP 成立于 2015 年，是一家企业级开源分布式数据库厂商，提供包括开源分布式数据库产品、解 决方案与咨询、技术支持与培训认证服务，致力于为全球行业用户提供稳定高效、安全可告、开放兼容 的新型数据基础设施，解放企业生产力，加速企业数字化转型升级。 由PingCAP Database}被国际三大顶级数据库会议VLDB 2020 收录, 成为业界第 一篇 Real-time HTAP 分布式数据库工业实现的顶级论文 *。 ”发明专利:一种键值存储系统沙《一种基于共识算法的 HTAP 数据库》 *。 ”计算机软件著作权登记证书: 分布式数据库 TiDB 企业版软件.Tiflash 列式存储引擎软件 一 PingCAP

20:00 云 原 生 学 院 # 1 2 目录 1.数据库框架：从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件：从框架技术到分布式的数据库中间件技术 3.分布式数据库：从数据库中间件技术发展到分布式数据库 4.数据库网格：数据库与微服务、云原生的发展关系 5.数据库解决方案：如何基于 ShardingSphere 生态创建数据库解决方案 1.数据库框架 1.数据库框架 数据库中间件使用的约束： 3.分布式数据库 3.分布式数据库 类库/框架 数据库中间件 分布式数据库 数据网格 TDDL Sharding-JDBC DRDS Sharding-Proxy MyCAT DBLE KingShard Vitess ? Spanner Aurora GaussDB PolarDB OceanBase TiDB Cockroach DB …… 3.分布式数据库 1.水平扩展性 代替单机数据库（注意，主要解决容量问题）。 3.分布式数据库 1、需要较多的机器资源； 2、对于替换数据库技术的公司，代价较大，放弃多年积累； 1）引入框架，研发人员 2）引入中间件，研发人员+运维人员=》研发团队 3）引入数据库，研发+运维+DBA=》研发中心、CTO/公司管理层 3、一般场景下，不解决性能问题（特别是延迟）。 分布式数据库使用的约束： 4.数据库网格

用系统，使得架构师更加自由地调整适合与当前业务的最佳系统架构。 1.1. 简介 4 Apache ShardingSphere document, v5.0.0 1.2 解决方案 解决方案/功能 分布式数据库 数据安全 • 数据库网关 * • 全链路压测 * 数据分片 数据加密 异构数据库支持 影子库 读写分离 行级权限（TODO） SQL 方 言 转 换 （TODO） 可观测性 分布式事务 value) DROP RESOURCE dataSourceName [, dataSourceName] ... [ignore single tables] • 添加资源前请确认已经创建分布式数据库，并执行 use 命令成功选择一个数据库 • 确认增加的资源是可以正常连接的，否则将不能添加成功 • 重复的 dataSourceName 不允许被添加 • 在同一 dataSource 的定义中，simpleSource 中，将 properties 的 属性 proxy-hint-enabled 设置为 true。 使用 本章节将结合 DistSQL 的语法，并以实战的形式分别介绍如何使用 DistSQL 管理分布式数据库下数据分 片、读写分离等规则。 数据分片 使用实战 前置工作 1. 启动 MySQL 服务 2. 创建 MySQL 数据库 (参考 ShardingSphere‐Proxy 数据源配置规则)

zhangliang@apache.org) 京东数科-潘娟(email: panjuan@apache.org ) Book Apache  完全开源  Apache的首个分布式数据库中间件  京东主导，多公司参与  应用广泛，已知70+公司的应用案例 发展历程 2015.10 项目启劢 2016.01 正式开源 2016.08 star突破1000 互联网数据库需求发展 RDBMS NoSQL NewSQL 键值数据库 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle PostgreSQL SQLServer …… 分布式数据库中间优势  底层数据库成熟性  增量持续革新  接入与运维成本低 数据库中间件应具备的能力 1

云架构演化 Juan Pan panjuan@apache.org JD Digits 2018年PostgreSQL中国技术大会 Apache u 完全开源 u Apache的首个分布式数据库中间件 u 京东主导，多公司参与 u 应用广泛，已知70+公司的应用案例 2018年PostgreSQL中国技术大会 发展历程 2015.10 Ø 项目启动 2016.01 Ø 正式开源 互联网数据库需求发展 RDBMS NoSQL NewSQL 键值数据库 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle PostgreSQL SQLServer …… 2018年PostgreSQL中国技术大会 分布式数据库中间优势 ü 底层数据库成熟性 ü 增量持续革新 ü 接入与运维成本低 2018年PostgreSQL中国技术大会

ShardingSphere 的定义，设计哲学和部署形态。 更多常见问题，请参考 FAQ。 1.1 什么是 ShardingSphere 1.1.1 介绍 Apache ShardingSphere 是一款开源的分布式数据库生态项目，由 JDBC 和 Proxy 两款产品组成。其核心 采用微内核 + 可插拔架构，通过插件开放扩展功能。它提供多源异构数据库增强平台，进而围绕其上层 构建生态。 Apache ShardingSphere v5.2.0 1.1.2 产品功能 特性 定义 数 据 分片 数据分片，是应对海量数据存储与计算的有效手段。ShardingSphere 提供基于底层数据库之 上，可计算与存储水平扩展的分布式数据库解决方案。 分 布 式 事 务 事务能力，是保障数据库完整、安全的关键技术，也是数据库的核心技术之一。ShardingSphere 提供在单机数据库之上的分布式事务能力，可实现跨底层数据源的数据安全。 不处理主从库间的事务一致性。主从模型中，事务中的数据读写均用主库。 3.4 高可用 3.4.1 背景 高可用是现代系统的最基本诉求，作为系统基石的数据库，对于高可用的要求也是必不可少的。 在存算分离的分布式数据库体系中，存储节点和计算节点的高可用方案是不同的。对于有状态的存储节 点来说，需要其自身具备数据一致性同步、探活、主节点选举等能力；对于无状态的计算节点来说，需要 感知存储节点的变化的同时，还