2017 年象行中国（杭州 站）第一期 Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io 2017 年象行中国（杭州 站）第一期 Agenda • Greenplum数据库 • Resource Queue • Resource Group 2017 年象行中国（杭州 站）第一期 Greenplum数据库 • 基于PostgreSQL • 分布式 corruption => PANIC 2017 年象行中国（杭州 站）第一期 Resource Queue • Cost is tricky – 没有明确的定义 – 不同优化器不一致 – 优化器不能被纳入资源管理器 2017 年象行中国（杭州 站）第一期 Resource Queue • Priority is rough – 不能精确控制CPU – CHECK_FOR_INTERRUPTS – BackoffBackendTick 空闲group配额会被抢占 – 精确控制 2017 年象行中国（杭州 站）第一期 Resource Group • Memory – Not using CGroups – 重构resource queue内存管理 – 严格资源隔离 – statement_mem控制spill – 每个group内做redzone和runaway detection 2017 年象行中国（杭州 站）第一期 Resource

Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 1 - Greenplum Database 管理员指南 版本 V6.2.1 2020 年 09 月 27 日 欢迎关注 Greenplum 官方微信公众号和加入官方社区技术讨论群： Greenplum 做各种补丁 脚本，也看到了 Greenplum 的大幅进步，甚至我们以前的小技巧也不再需要，持续的 进步，带来的是生态的蓬勃发展。 Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 2 - 序言 术语约定 GP ： Greenplum 数据库 Master 得抄袭和引用。 本文档中的绝大部分内容都经过编者重新考量和实测验证，有些观点与官方手册有 出入，仅代表编者本人观点，与官方手册无关。本书中可能会提及一些非官方的命令和 工具等，仅用于讲解相关知识，如有缺失相关细节的情况，请谅解。 致读者 如果您在阅读和参考本书的过程中发现有任何不妥之处，或者有任何的建议和意见， 欢迎联系编者，本书主要针对 GP 数据库的爱好者进行编写，包括产品的安装和使用说

NetBackup™ for SQLite 管 理指南 Windows 和 Linux 版本 10.0 NetBackup™ for SQLite 管理指南 上次更新时间： 2022-05-10 法律声明 Copyright © 2022 Veritas Technologies LLC. © 2022 年 Veritas Technologies LLC 版权所 有。All rights LLC 及其许可方（如果存在）事先书面授权，不得以任何方式任何形 式复制本文档的任何部分。 本文档按“现状”提供，对于所有明示或暗示的条款、陈述和保证，包括任何适销性、针对 特定用途的适用性或无侵害知识产权的暗示保证，均不提供任何担保，除非此类免责声明的 范围在法律上视为无效。Veritas Technologies LLC 不对任何与性能或使用本文档相关的伴随 或后果性损害负责。本文档所含信息如有更改，恕不另行通知。 的信息，请访问我们的网 站： https://www.veritas.com/support 您可以在下列 URL 上管理 Veritas 帐户信息： https://my.veritas.com 如果您对现有支持协议有疑问，请通过以下方式联系您所在地区的支持协议管理部门： CustomerCare@veritas.com 全球（日本除外） CustomerCare_Japan@veritas

NetBackup™ for SQLite 管 理指南 Windows 和 Linux 版本 10.2 NetBackup™ for SQLite 管理指南 上次更新时间： 2023-04-28 法律声明 Copyright © 2023 Veritas Technologies LLC. © 2023 年 Veritas Technologies LLC 版权所 有。All rights LLC 及其许可方（如果存在）事先书面授权，不得以任何方式任何形 式复制本文档的任何部分。 本文档按“现状”提供，对于所有明示或暗示的条款、陈述和保证，包括任何适销性、针对 特定用途的适用性或无侵害知识产权的暗示保证，均不提供任何担保，除非此类免责声明的 范围在法律上视为无效。Veritas Technologies LLC 不对任何与性能或使用本文档相关的伴随 或后果性损害负责。本文档所含信息如有更改，恕不另行通知。 的信息，请访问我们的网 站： https://www.veritas.com/support 您可以在下列 URL 上管理 Veritas 帐户信息： https://my.veritas.com 如果您对现有支持协议有疑问，请通过以下方式联系您所在地区的支持协议管理部门： CustomerCare@veritas.com 全球（日本除外） CustomerCare_Japan@veritas

1 新一代数据管理和数据分析 解决方案 关于Greenplum公司 • Greenplum是一家数据库软件公司，在数据处理和 BI/DW领域，提供容量 最大、速度最快、性价比最好的数据库引擎产品和服务。 • Greenplum总部位于圣马蒂奥，加利福尼亚州，美国，成立于2003年6月。 • Greenplum 中国于2008年12月正式成立. 2010/4/8 官方网站： www.greenplum 千万亿字节 万亿字节 千兆字节 行业商务智能解决方案的实例 政府 电信 金融服务 公民服务 国家安全 电子政务 法规实施和监管 人力资本管理 信息传播 合规性报告 资产组合分析 客户报表 电汇通知 分部记分卡 客户关系管理、收 购和盈利率 欺诈检测 欺诈分析 客户流失分析 响应时间 流量分析 产品关联/捆绑 零售 存储运营分析 客户忠诚度计划 协作规划和预估 1995 2000 2005 2010 新一代数据库的要求 传统数据库的要求 今天的数据库供应商 网络运算的发展速度已经超过了主流数据库 • 海量规模 • 高性价比 • 高效率 数据库管理系统（DBMS）的 规模/容量 11 需要采用一种新的方法 •“一切皆可商用”：商业即用型x86 服务器、存储设备、网络 •通过软件很容易将处理能力扩展到 1000s的内核/系统 Greenplum

18年+底层基础软件领域开发经验 • 原Greenplum首席内核架构师 • Apache HAWQ PMC成员 陆公瑜（Brian Lu） 合伙⼈&COO • 英国约克⼤学 • 15年+产品⽣态建设和运营管理经验 • 原Greenplum中国社区发起⼈ • Greenplum社区从0到万 冯 雷（Ray Von） 创 始 ⼈ & C E O • 浙江物理奥赛银牌得主 • 北京⼤学物理经济学双学位 ⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算｜兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经⽹络） 私有云 Mundo元数据管理系统 统⼀Catalog @2024 OpenPie. All rights reserved. OpenPie Confidential πDataCS 优势1 ：全面升级Hadoop⼤数据和Greenplum数仓⾄云原⽣数据平台 细节的情况下，开发 分布式程序，以⼀种可靠、⾼效、可伸缩的⽅式进⾏数据处理。 组件很多，常见约30个，基础组件包括：Hadoop通用功能库、HDFS、 MapReduce以及YARN 。可视化管理是Ambari，其他的计算引擎、列存数据库 等都需要额外的组件，应对不同的场景需要安装对应的组件和依赖。 ⽣态丰富，对结构化数据、半结构化数据以及非结构化数据都支持，可以很好 的完成各种业务场

目 录 致谢 README TiDB 简介 TiDB 快速入门指南 TiDB 用户文档 TiDB 数据库管理 TiDB 服务 TiDB 进程启动参数 TiDB 系统数据库 TiDB 系统变量 TiDB 专用系统变量和语法 TiDB 访问权限管理 TiDB 用户账户管理 使用加密连接 SQL 优化 理解 TiDB 执行计划 统计信息 语言结构 字面值 数据库、表、索引、列和别名 关键字和保留字 Cast 函数和操作符 加密和压缩函数 信息函数 JSON 函数 GROUP BY 聚合函数 其他函数 精度数学 SQL 语句语法 数据定义语句 (DDL) 数据操作语句 (DML) 事务语句 数据库管理语句 Prepared SQL 语句语法 实用工具语句 JSON 支持 Connectors 和 API TiDB 事务隔离级别 错误码与故障诊断 与 MySQL 兼容性对比 TiDB 内存控制文档 文档内容由网友们编写和整理，书栈(BookStack.CN) 难以确认文档内容知识点是否错漏。如果您在阅读文档 获取知识的时候，发现文档内容有不恰当的地方，请向我们反馈，让我们共同携手，将知识准确、高效且有效地传递 给每一个人。 同时，如果您在日常工作、生活和学习中遇到有价值有营养的知识文档，欢迎分享到 书栈(BookStack.CN) ， 为知识的传承献上您的一份力量！ 如果当前文档生成时间太久，请到 书栈(BookStack

Postgresql 数 据库实例同时开展并行计算。而且，这些 Postgresql 之间采用 share- nothing 无共享架构，从而更将这种并行计算能力发挥到极致，除此之 外，MPP 采用两阶段提交和全局事务管理机制来保证集群上分布式事 务的一致性，Greenplum 像 Postgresql 一样满足关系型数据库的包括 ACID 在内的所有特征。 从上图可以看到，Greenplum 的最小并行单元不是节点层级，而是在 IO 能力。 Greenplum 单个节点上运行能力比其它数据库也快很多，如果运行在 多节点上，其提供性能几乎是线性的增长，这样一个集群提供的性能 能够很轻易的达到传统数据库的数百倍甚至数千倍，所管理数据存储 规模达到 100TB~ 数 PB，而你在硬件上的投入，仅仅是数台一般的 X86 服务器和普通的万兆交换机。 Big Date2.indd 6 16-11-22 还研发了非常多的高级数据分析管理功能和企业级管理模 块，如下这些功能都是 Postgresql 没有提供的： ·外部表并行数据加载 ·可更新数据压缩表 ·行、列混合存储 ·数据表多级分区 ·Bitmap 索引 ·Hadoop 外部表 ·Gptext 全文检索 ·并行查询计划优化器和 Orca 优化器 ·Primary/Mirror 镜像保护机制 ·资源队列管理 ·WEB/Brower

Lightning 数据导出-Dumpling ....... 3.2 备份和恢复- Backup&Restore 18 3.3 安装部署 19 TiUP TiDB Operator 3.4 运维和可视化管理- TiDB Dashboard 21 第四章 TiDB Cloud 41TipBcoud 23 第五章 场景案例 5.1 金融 光大银行 - 分布式数据库在光大银行关键业务系统的应用 。""* 0 10 专家出可 规划，实施，主动式媳检，故障协 元 商业专家支持服 服务 查，知识转移，重要时期保障 务 全程现场 PingCAP.COM o 。 第三章 生态工具 16 -o 第三章 - TiDB 生态工具 3.1 数据迁移 数据迁入-TiDB Data Migration TiDB Data Migration (DM) 是一体化的数据迁移任务管理平台，支持从 MySQL/MariaDB 到TiDB 的全量 数据迁移和增量数据复制，使用 DM 工具有利于简化错误处理流程，降低运维成本，主要优势如下: 。 数据迁移任务的高可用 。 先进的分库分表合并技术

通过这些程序示例， 读者可以进⼀步加 深对命令的认识， 并学会如何在实际中应⽤这些命令， 从⽽达到学⽽致⽤的⽬的。 附加功能部分介绍了 Redis 在数据结构的基础上， 为⽤户提供的额外功能。 其中包括管理数据结构的数据库管理 功能和⾃动过期功能， 将数据结构持久化⾄硬盘从⽽避免数据丢失的持久化功能， 提⾼多条命令执⾏效率的流⽔ 线功能， 保证命令安全性的事务和 Lua 脚本功能， 还有扩展服务器特性的模块功能等等。 系统提供了⾃动的故障转移功能， 从⽽使得整个系统可以更健壮地运⾏。 最后， 通过使⽤ Redis 集群， ⽤户可以在线扩展 Redis 系统的读写能⼒。 读者可以通过阅读这⼀部分来获得扩展 Redis 读写性能的相关知识， 并根据⾃⼰的情况为 Redis 系统选择合适的扩展⽅式。 1.3 ⽬标读者 本书⾯向所有 Redis 初学者和 Redis 使⽤者， 是学习和⽇常使⽤ Redis 必不可少的⼀本书。 ⼀⽅⾯， Redis 初学者只需要沿着书本⼀直阅读下去就可以循序渐进地学习到具体的 Redis 知识， ⽽穿 插其中的应⽤示例则让读者有机会亲⾃实践书中介绍的命令知识， 真正做到学以致⽤。 另⼀⽅⾯， 对于 Redis 使⽤者来说， 本书包含了⼤量 Redis 新版特性的介绍， 读者可以通过本书了解到最新的 Redis 知识。 除此之外， 对于⽇常的命令⽂档查找和应⽤示例查找， 本书在⽬录处也做了优化， 读者可以通过