2017 年象行中国（杭州 站）第一期 Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io 2017 年象行中国（杭州 站）第一期 Agenda • Greenplum数据库 • Resource Queue • Resource Group 2017 年象行中国（杭州 站）第一期 Greenplum数据库 • 基于PostgreSQL • 分布式 corruption => PANIC 2017 年象行中国（杭州 站）第一期 Resource Queue • Cost is tricky – 没有明确的定义 – 不同优化器不一致 – 优化器不能被纳入资源管理器 2017 年象行中国（杭州 站）第一期 Resource Queue • Priority is rough – 不能精确控制CPU – CHECK_FOR_INTERRUPTS – BackoffBackendTick 空闲group配额会被抢占 – 精确控制 2017 年象行中国（杭州 站）第一期 Resource Group • Memory – Not using CGroups – 重构resource queue内存管理 – 严格资源隔离 – statement_mem控制spill – 每个group内做redzone和runaway detection 2017 年象行中国（杭州 站）第一期 Resource

Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 1 - Greenplum Database 管理员指南 版本 V6.2.1 2020 年 09 月 27 日 欢迎关注 Greenplum 官方微信公众号和加入官方社区技术讨论群： 和相关技术领域，主要工作职责是 售后支持，帮助我们的 Greenplum 用户解决生产需求和技术问题，我们坚持提供最专 业的建议和解决方案，提供最专业的技术支持服务，提供最专业的落地实施支持。 十多年来，参与过的项目不计其数，有 POC 测试，有开发支持，有故障支持，有 长期驻场支持，有临时的功能支持，甚至可能会作为用户看不见的后端支持，总之，我 们的目标是，努力解决用户的一切不违背自然规律的诉求，我们跟随着 Greenplum Greenplum 做各种补丁 脚本，也看到了 Greenplum 的大幅进步，甚至我们以前的小技巧也不再需要，持续的 进步，带来的是生态的蓬勃发展。 Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 2 - 序言 术语约定 GP ： Greenplum 数据库 Master

NetBackup™ for SQLite 管 理指南 Windows 和 Linux 版本 10.0 NetBackup™ for SQLite 管理指南 上次更新时间： 2022-05-10 法律声明 Copyright © 2022 Veritas Technologies LLC. © 2022 年 Veritas Technologies LLC 版权所 有。All rights 的信息，请访问我们的网 站： https://www.veritas.com/support 您可以在下列 URL 上管理 Veritas 帐户信息： https://my.veritas.com 如果您对现有支持协议有疑问，请通过以下方式联系您所在地区的支持协议管理部门： CustomerCare@veritas.com 全球（日本除外） CustomerCare_Japan@veritas Tools (SORT) Veritas Services and Operations Readiness Tools (SORT) 是一个网站，提供的信息和工具 有助于自动处理及简化某些耗时的管理任务。根据具体产品，SORT 会帮助您准备安装和升 级、识别您数据中心的风险并提高操作效率。要了解 SORT 为您的产品提供了哪些服务和工 具，请参见数据表： https://sort.veritas

NetBackup™ for SQLite 管 理指南 Windows 和 Linux 版本 10.2 NetBackup™ for SQLite 管理指南 上次更新时间： 2023-04-28 法律声明 Copyright © 2023 Veritas Technologies LLC. © 2023 年 Veritas Technologies LLC 版权所 有。All rights 的信息，请访问我们的网 站： https://www.veritas.com/support 您可以在下列 URL 上管理 Veritas 帐户信息： https://my.veritas.com 如果您对现有支持协议有疑问，请通过以下方式联系您所在地区的支持协议管理部门： CustomerCare@veritas.com 全球（日本除外） CustomerCare_Japan@veritas Tools (SORT) Veritas Services and Operations Readiness Tools (SORT) 是一个网站，提供的信息和工具 有助于自动处理及简化某些耗时的管理任务。根据具体产品，SORT 会帮助您准备安装和升 级、识别您数据中心的风险并提高操作效率。要了解 SORT 为您的产品提供了哪些服务和工 具，请参见数据表： https://sort.veritas

1 新一代数据管理和数据分析 解决方案 关于Greenplum公司 • Greenplum是一家数据库软件公司，在数据处理和 BI/DW领域，提供容量 最大、速度最快、性价比最好的数据库引擎产品和服务。 • Greenplum总部位于圣马蒂奥，加利福尼亚州，美国，成立于2003年6月。 • Greenplum 中国于2008年12月正式成立. 2010/4/8 官方网站： www.greenplum 千万亿字节 万亿字节 千兆字节 行业商务智能解决方案的实例 政府 电信 金融服务 公民服务 国家安全 电子政务 法规实施和监管 人力资本管理 信息传播 合规性报告 资产组合分析 客户报表 电汇通知 分部记分卡 客户关系管理、收 购和盈利率 欺诈检测 欺诈分析 客户流失分析 响应时间 流量分析 产品关联/捆绑 零售 存储运营分析 客户忠诚度计划 协作规划和预估 1995 2000 2005 2010 新一代数据库的要求 传统数据库的要求 今天的数据库供应商 网络运算的发展速度已经超过了主流数据库 • 海量规模 • 高性价比 • 高效率 数据库管理系统（DBMS）的 规模/容量 11 需要采用一种新的方法 •“一切皆可商用”：商业即用型x86 服务器、存储设备、网络 •通过软件很容易将处理能力扩展到 1000s的内核/系统 Greenplum

XML配置 XML映射文件 XML映射文件 动态SQL 动态SQL Java API Java API SQL语句构建器 SQL语句构建器 日志 日志 项目文档 项目文档 项目文档 项目文档 项目信息 项目信息 项目报表 项目报表 简介 简介 什么是 什么是 MyBatis ？ ？ MyBatis 是支持定制化 SQL、存储过程以及高级映射的优秀的持久层框架。MyBatis 避免了几乎所有的 Java对象)映射成数据库中的记录。 帮助改进文档 帮助改进文档... 不管你以何种方式发现了文档的不足，或是丢失对某一特性的描述，那么你能做的最好的事情莫过于去研究它并把文档写出来。 该文档 xdoc 格式的源码文件可通过项目的 Git 代码库 来获取。Fork 该源码库，做出更新，然后提交一个 pull request 吧。 你将成为本文档的最佳作者，MyBatis 的用户定会过来查阅的。 当前的国际化版本 当前的国际化版本 Java API SQL语句构建器 SQL语句构建器 日志 日志 项目文档 项目文档 项目文档 项目文档 项目信息 项目信息 项目报表 项目报表 入门 入门 安装 安装 要使用 MyBatis， 只需将 mybatis-x.x.x.jar 文件置于 classpath 中即可。 如果使用 Maven 来构建项目，则需将下面的 dependency 代码置于 pom.xml 文件中：

18年+底层基础软件领域开发经验 • 原Greenplum首席内核架构师 • Apache HAWQ PMC成员 陆公瑜（Brian Lu） 合伙⼈&COO • 英国约克⼤学 • 15年+产品⽣态建设和运营管理经验 • 原Greenplum中国社区发起⼈ • Greenplum社区从0到万 冯 雷（Ray Von） 创 始 ⼈ & C E O • 浙江物理奥赛银牌得主 • 北京⼤学物理经济学双学位 ⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算｜兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经⽹络） 私有云 Mundo元数据管理系统 统⼀Catalog @2024 OpenPie. All rights reserved. OpenPie Confidential πDataCS 优势1 ：全面升级Hadoop⼤数据和Greenplum数仓⾄云原⽣数据平台 细节的情况下，开发 分布式程序，以⼀种可靠、⾼效、可伸缩的⽅式进⾏数据处理。 组件很多，常见约30个，基础组件包括：Hadoop通用功能库、HDFS、 MapReduce以及YARN 。可视化管理是Ambari，其他的计算引擎、列存数据库 等都需要额外的组件，应对不同的场景需要安装对应的组件和依赖。 ⽣态丰富，对结构化数据、半结构化数据以及非结构化数据都支持，可以很好 的完成各种业务场

Lightning 数据导出-Dumpling ....... 3.2 备份和恢复- Backup&Restore 18 3.3 安装部署 19 TiUP TiDB Operator 3.4 运维和可视化管理- TiDB Dashboard 21 第四章 TiDB Cloud 41TipBcoud 23 第五章 场景案例 5.1 金融 光大银行 - 分布式数据库在光大银行关键业务系统的应用 。""* 互联网 小红书-TiDB HTAP 助力小红书业务升级“0 41 美国点评 -TiDB Operator 开启云原生运维的新时代 。。*"，''，43 汽车之家- TiDB 在 818 台网互动项目中的应用 45 5.6教育 VIPKID -TiDB 在公有云亿级数据场景下的应用实践 47 5.7 游戏 网易互娱 -基于 TiDB 措建跨源异构计算架构 “049 5.8 视频 Bigo 由-TiDB Operator开源 人-CNCF接纳 Tiy 作为 CNCF Sandbox 的云原生项目 2018年11月 CloudTiDB在GCPIGoogle cloud Platform) 上开放 2019年5月 由-TiDB Biniog 正式开源 二-CNCF 宣布正式将 TiKV 从沙箱项目晋级至化项上 2019年8月 TiDB 用户问答论坛AskTUG正式上线 2019年12月 宣布去原生的混泪工程

2.6 可选插件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392 9.2.7 会话管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394 相关操作 . . . . . ShardingSphere document • 业务零侵入 面对数据库替换场景，ShardingSphere 可满足业务无需改造，实现平滑业务迁移。 • 运维低成本 在保留原技术栈不变前提下，对 DBA 学习、管理成本低，交互友好。 • 安全稳定 基于成熟数据库底座之上提供增量能力，兼顾安全性及稳定性。 • 弹性扩展 具备计算、存储平滑在线扩展能力，可满足业务多变的需求。 • 开放生态 通过多层次 采用无中心化架构，与应用程序共享资源，适用于 Java 开发的高性能的轻量级 OLTP 应用；ShardingSphere‐Proxy 提供静态入口以及异构语言的支持，独立于应用程序部署，适用于 OLAP 应用以及对分片数据库进行管理和运维的场景。 Apache ShardingSphere 是多接入端共同组成的生态圈。通过混合使用 ShardingSphere‐JDBC 和 ShardingSphere‐Proxy，并采用

3 3. 启动服务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.3.4 4. 任务管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3 概念 & 功能 8 3.1 数据分片 Apache ShardingSphere 5.x 版本开始致力于可插拔架构，项目的功能组件能够灵活的以可插拔的方式 进行扩展。目前，数据分片、读写分离、数据加密、影子库压测等功能，以及对 MySQL、PostgreSQL、 SQLServer、Oracle 等 SQL 与协议的支持，均通过插件的方式织入项目。开发者能够像使用积木一样定 制属于自己的独特系统。Apache ShardingSphere ShardingSphere 目前已提供数十个 SPI 作为系统的扩展点，而且仍在不 断增加中。 ShardingSphere 已于 2020 年 4 月 16 日成为 Apache 软件基金会的顶级项目。欢迎通过邮件列表参与讨 论。 1.1 简介 1.1.1 ShardingSphere-JDBC 定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。它使用客户端直连数据库，以