2017 年象行中国（杭州 站）第一期 Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io 2017 年象行中国（杭州 站）第一期 Agenda • Greenplum数据库 • Resource Queue • Resource Group 2017 年象行中国（杭州 站）第一期 Greenplum数据库 • 基于PostgreSQL • 分布式 Parallel Processing) 2017 年象行中国（杭州 站）第一期 Greenplum数据库 2017 年象行中国（杭州 站）第一期 Resource Queue • SQL语句并发控制 • 基于cost的并发控制 • 基于priority的CPU控制 • 内存控制 2017 年象行中国（杭州 站）第一期 Running Example • CREATE RESOURCE CREATE ROLE r1 RESOUCE QUEUE rq; • SELECT * FROM gp_toolkit.gp_resqueue_status; 2017 年象行中国（杭州 站）第一期 内存控制 • virtual memory note keeping (gp_malloc) • statement_mem • gp_resqueue_memory_policy • work_mem

2017 年象行中国（杭州 站）第一期 Greenplum备份恢复浅析 姓名：张文杰 邮箱：zhuodao.zwj@alibaba-inc.com 公司：阿里云 2017 年象行中国（杭州 站）第一期 Greenplum数据备份恢复： 1. 数据量较大 2. 不能完全使用Xlog日志备份 3. 需要保证数据完整性和一致性 2017 年象行中国（杭州 站）第一期 Greenplum提供了： re） --copy、psql 2. 并行备份和恢复 --gpcrondump（gpdbrestore） 2017 年象行中国（杭州 站）第一期 并⾏备份和恢复 gpcrondump gpdbrestore 2017 年象行中国（杭州 站）第一期 gpcrondump⽤法(1/3) gpcrondump -x database_name [-s | -S [--oids] [--no-owner | --use-set-session-authorization] [--no-privileges] [--rsyncable] 2017 年象行中国（杭州 站）第一期 gpcrondump⽤法(2/3) gpcrondump命令使用-K 来指定唯一时间戳来标示某个备份集 文件，其中如果当前备份目录中存在更未来的备份集，则备份报错。 gpcrondump命令使用-t

中查询数据并导入。 Example Example 1. 向 表中导入一行数据 其中第一条、第二条语句是一样的效果。在不指定目标列时，使用表中的列顺序来作为默认的目标列。 第三条、第四条语句表达的意思是一样的，使用 列的默认值，来完成数据导入。 2. 向 表中一次性导入多行数据 其中第一条、第二条语句效果一样，向 表中一次性导入两条数据 第三条、第四条语句效果已知，使用 列的默认值向 REPOSITORIES SHOW REPOSITORIES Description Description 该语句用于查看当前已创建的仓库。 返回结果说明： ：每个仓库唯一ID。 ：仓库名称。 ：第一次创建该仓库的时间。 ：是否为只读仓库。 ：仓库中用于备份数据的根目录。 ：依赖的 Broker 服务名称。 TxnStatus TxnStatus JobId JobId CreateTime 导入进度并不是线性的。所以如果一段时间内进度没有变化，并不代表导入没有在执行。 导入任务的类型。Broker load 的 type 取值只有 BROKER。 主要显示了导入的数据量指标 , 和 。用户可以根据第一个数值判断 where 条件过滤了多少行，后两个指标验证当前导入任务的错误率是否超过 。 三个指标之和就是原始数据量的总行数。 mysql mysql>> show show load load

where username = ?"; //获取预处理statement preparedStatement = connection.prepareStatement(sql); //设置参数，第一个参数为sql语句中参数的序号（从1开始），第二个 参数为设置的参数值 preparedStatement.setString(1, "王五"); //向数据库发出sql执行查询，查询出结果集 resultSet 脚本： 如下： 1.6 Mybatis 入门程序 1.6.1 需求 实现以下功能： 根据用户 id 查询一个用户信息 根据用户名称模糊查询用户信息列表 添加用户 更新用户 删除用户 1.6.2 第一步：创建 java 工程 使用 eclipse 创建 java 工程，jdk 使用 1.7.0_72。 1.6.3 第二步：加入 jar 包 加入 mybatis 核心包、依赖包、数据驱动包。 count = userMapper.findUserCount(user); //关闭session session.close(); } 总结： 输出简单类型必须查询出来的结果集有一条记录，最终将第一个字段的值转换为输出类型。 使用 session 的 selectOne 可查询单条记录。 4.2.2 输出 pojo 对象 参考 findUserById 的定义： Mapper.xml <

........................................................................................... - 2 - 第一章：GP 数据库架构 ........................................................................................ Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 11 - 第一章：GP 数据库架构 目前 GP 数据库已经开源多年，多年来一直由 Pivotal 公司商业运营，在 2020 年，Pivotal 被兄弟公司 VMWare 收购，由 VMWare 继续运营。近年来，Greenplum Owner。默认的管理 员账户是 GP 系统的基本要素，如果没有该账户，整个数据库系统将无法运行，GP 集 群不可以使用 root 用户进行初始化，另外，没有办法限制 gpadmin 用户的访问权限， 因为这是第一个 SUPERUSER。gpadmin 用户可以绕过 GP 的所有权限限制。任何人通 过 gpadmin 登录到 GP 主机后，都可以 Read、Alter、Delete 任何数据，包括系统 表的访问和任何数据库操作，因此，保护好

生产环境强烈推荐使用更高的配置。 • TiKV 硬盘大小配置建议 PCI-E SSD 不超过 2 TB，普通 SSD 不超过 1.5 TB。 • TiFlash 支持多盘部署。 • TiFlash 数据目录的第一块磁盘推荐用高性能 SSD 来缓冲 TiKV 同步数据的实时写入，该盘 性能应不低于 TiKV 所使用的磁盘，比如 PCI-E SSD。并且该磁盘容量建议不小于总容量的 10%，否则它可能成为这个 从 Amazon Aurora MySQL 迁移全量数据 本文介绍如何使用 TiDB Lightning 从 Amazon Aurora MySQL 迁移全量数据到 TiDB。 5.3.1.1 第一步：从 Aurora 导出全量数据至 Amazon S3 请参考 AWS 官方文档：将数据库快照数据导出到 Amazon S3 将 Aurora 数据的快照导出到 Amazon S3。 5.3.1 Lightning 的数据源 根据部署方式不同，按如下步骤编辑配置文件 tidb-lighting.toml。 132 1. 将配置文件中 [mydumper] 部分的 data-source-dir 设置为第一步导出的 S3 Bucket 路径。 [mydumper] # 数据源目录 data-source-dir = "s3://bucket-name/data-path" 2. 增加目标集群 TiDB

通过标准的用户管理的 SQL 语句创建用户以及授予权限，比如 CREATE USER 和 GRANT 。 直接通过 INSERT ， UPDATE 和 DELETE 操作授权表。 推荐的方式是使用第一种。第二种方式修改容易导致一些不完整的修改，因此不推荐。还有另一种可选方式是使用第 三方工具的图形化界面工具。 下面的例子用 CREATE USER 和 GRANT 语句创建了四个账户： 参数时，默认值会按照增量情况赋予正确的值。 对于除了时间戳外的日期时间类型，默认值会是该类型的“零值”。时间戳类型的默认值会是当前的时间。 对于除枚举以外的字符串类型，默认值会是空字符串。对于枚举类型，默认值是枚举中的第一个值。 数据类型的默认值 基本数据类型 - 108 - 本文档使用 书栈(BookStack.CN) 构建 函数和操作符 函数和操作符概述 表达式求值的类型转换 操作符 控制流程函数 字符串函数 数值函数与操作符 BETWEEN ... AND ... 判断值是否在范围内 COALESCE() 返回第一个非空值 = 相等比较 <=> 空值安全型相等比较 > 大于 >= 大于或等于 GREATEST() 返回最大值 IN() 判断值是否在一个值的集合内 INTERVAL() 返回一个小于第一个参数的参数的下标 IS 判断是否等于一个布尔值 IS NOT 判断是否不等于一个布尔值

TiDB Cloud Serverless 集群安全连接 来获得更多信息。 3. 填写密码，完成登录。 4.2.1.3 第 3 步：运行 SQL 尝试运行一下你在 TiDB Cloud 上的的第一个 SQL 吧： SELECT 'Hello TiDB Cloud!'; 你将看到这样的输出： +-------------------+ | Hello TiDB Cloud! | +-------------------+ useCursorFetch = true。 TiDB 同时支持以上两种方式，但更推荐使用第一种将 FetchSize 设置为 Integer.MIN_VALUE 的方式，比第二种 功能实现更简单且执行效率更高。 对于第二种方式，TiDB 会先将所有数据加载到 TiDB 节点上，然后根据 FetchSize 依次返回给客户端。因此，通 常会比第一种方式使用更多内存。如果将tidb_enable_tmp_storage_on_oom 存从 SQL 中发送的数据。表以行和列的形式组织数据 记录, 一张表至少有一列。若在表中定义了 n 个列，那么每一行数据都将拥有与这 n 个列中完全一致的字段。 4.5.3.3 命名表 创建表的第一步，就是给你的表起个名字。请不要使用无意义的表名，将给未来的你或者你的同事带来极大 的困扰。推荐你遵循公司或组织的表命名规范。 CREATE TABLE 语句通常采用以下形式： CREATE TABLE

TiDB Cloud Serverless 集群安全连接 来获得更多信息。 3. 填写密码，完成登录。 4.2.1.3 第 3 步：运行 SQL 尝试运行一下你在 TiDB Cloud 上的的第一个 SQL 吧： SELECT 'Hello TiDB Cloud!'; 你将看到这样的输出： +-------------------+ | Hello TiDB Cloud! | +-------------------+ useCursorFetch = true。 TiDB 同时支持以上两种方式，但更推荐使用第一种将 FetchSize 设置为 Integer.MIN_VALUE 的方式，比第二种 功能实现更简单且执行效率更高。 对于第二种方式，TiDB 会先将所有数据加载到 TiDB 节点上，然后根据 FetchSize 依次返回给客户端。因此，通 常会比第一种方式使用更多内存。如果将tidb_enable_tmp_storage_on_oom 存从 SQL 中发送的数据。表以行和列的形式组织数据 记录, 一张表至少有一列。若在表中定义了 n 个列，那么每一行数据都将拥有与这 n 个列中完全一致的字段。 4.5.3.3 命名表 创建表的第一步，就是给你的表起个名字。请不要使用无意义的表名，将给未来的你或者你的同事带来极大 的困扰。推荐你遵循公司或组织的表命名规范。 CREATE TABLE 语句通常采用以下形式： CREATE TABLE

生产环境强烈推荐使用更高的配置。 • TiKV 硬盘大小配置建议 PCI-E SSD 不超过 2 TB，普通 SSD 不超过 1.5 TB。 • TiFlash 支持多盘部署。 • TiFlash 数据目录的第一块磁盘推荐用高性能 SSD 来缓冲 TiKV 同步数据的实时写入，该盘 性能应不低于 TiKV 所使用的磁盘，比如 PCI-E SSD。并且该磁盘容量建议不小于总容量的 10%，否则它可能成为这个 从 Amazon Aurora MySQL 迁移全量数据 本文介绍如何使用 TiDB Lightning 从 Amazon Aurora MySQL 迁移全量数据到 TiDB。 5.3.1.1 第一步：从 Aurora 导出全量数据至 Amazon S3 请参考 AWS 官方文档：将数据库快照数据导出到 Amazon S3 将 Aurora 数据的快照导出到 Amazon S3。 5.3.1 Lightning 的数据源 根据部署方式不同，按如下步骤编辑配置文件 tidb-lighting.toml。 140 1. 将配置文件中 [mydumper] 部分的 data-source-dir 设置为第一步导出的 S3 Bucket 路径。 [mydumper] # 数据源目录 data-source-dir = "s3://bucket-name/data-path" 2. 增加目标集群 TiDB