................................................................................ - 142 - 设置序列为字段缺省值 .......................................................................................... - 142 - ..................................................................................... - 199 - SQL 值表达式 ................................................................................................ Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 13 - Master 的连接数是有限的，缺省值为 250 个，如果要大规模提升连接的可用数 量，可以配置使用 GP 自带的 pgbouncer 连接池，这对于一些应用场景会很有帮助， 例如 SAS 等软件连接 GP 时，由于这些软件自身无法严格限制连接数，pgbouncer

车轮一样，经过几十年磨砺，数据库引擎技术已经非常成熟，大可 不必去重新设计开发，而且把数据库底层交给其它专业化组织来开 发（对应到 Postgresql 就是社区），还可充分利用到社区的源源不 断的创新能力和资源，让产品保持持续旺盛的生命力。 这也是我们在用户选型时，通常建议用户考察一下底层的技术支撑 是不是有好的组织和社区支持的原因，如果缺乏这方面的有力支持 或独自闭门造轮，那就有理由为那个车的前途感到担忧，一个简单 判断的标准 Greenplum, 从而可以实现在公共计算 资源集群上的 MPP 敏捷部署和资源共享与分配。 总之，相信沿着开放、开源、云计算的路线继续前行，Greenplum MPP 数据库在新的时代将保持旺盛的生命力，继续高速发展。 Big Date2.indd 19 16-11-22 下午3:38 20 二、Greenplum 背后的帝国 在 Pivotal 中国的发展历史上， 有一个产品名字必须被铭记， 2.0GB)，每个节点的网络 带宽达到 1GB/S 以上 (1 个万兆 )，CPU 主频在 2.6GHz 到 3GHz 左右， 每台机器部署 4~6 个 Primary Instance( 生产经验值 )。 Big Date2.indd 40 16-11-22 下午3:38 Greenplum 精粹文集 41 接下来，评估一下外部表加载数据的性能： 1) 一个 gpfdist

很⽅便的让数据仓库把⼀些⽐较⽼的数据移出数据仓库。 ⽬前udw⽀持的分区表类型有： range分区：把数据根据指定的范围进⾏分区，例如：时间范围、数值范围 list分区：把数据按照⼀个list的值进⾏分区，例如：产品的种类、地区 使⽤分区表的场景： � 数据表⾜够⼤：⼤表格是⽐较适合做分区的、如果你的表格有上亿⾏或者更多的的数据，可以通过分区把数据通过分区分为很多⼩的部分、从⽽提⾼性能。如果⼀个表只有⼏千⾏和⼏ ⼀个列表值分区 选择需要做分区的列 选择创建表格⽅式（heap表 ，append表、按列存储的表） 6.1.1 按照⽇期创建分区表 按照⽇期创建分区表 ⽇期划分的分区表使⽤⼀个⽇期或时间戳列做为分区键值列。可以按天或者按⽉进⾏分析。 您可以通过指定起始值（START），终⽌值（END）和增量⼦句（EVERY）指出分区的增量值，让 UDW 数据仓库来⾃动地⽣成分区。默认情况下，起始值总是包含的（闭区间），⽽终⽌值是排除 的（闭区间），⽽终⽌值是排除 的（开区间）。例如： 场景⼀：默认创建的分区表是heap表 CREATE TABLE p_store_sales( id int, date date, prices decimal(7,2) ) DISTRIBUTED BY (id) PARTITION BY RANGE (date) ( START (date '2016-01-01') INCLUSIVE

Kubernetes 101 Kubernetes 101 Master组件 Node组件 Kubernetes存储资源 PV ● PersistentVolume ○ 表示一种存储资源，独立容器生命周期 ○ AWSElasticBlockStore, AzureDisk, AzureFile, GCEPersistentDisk, CephFS, Glusterfs, NFS, Cinder

VMware, Inc. 13 分布式执行和事务 Ø 火山/流水线模型 Ø QD(query dispatcher)负责下发查询，QE(query executor)负责执行查询 Ø 查询的生命周期: 1) 客户端连接coordinator, coordinator fork出QD 2) QD 拿到纯文本的查询，解析、优化、生成一个树形结构的分布式计划 3) QD 生成slice结构

Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 3 数据仓库体系架构 业务数据与数据使用归类 时间维度：过去 - 现在 - 未来 （数据的生命周期） • “现在”的数据 —— OLTP • “过去”的数据 —— OLAP • “未来”的数据 —— 趋势分析 4 数据仓库体系架构 业务数据与数据特点 • 现在的数据 —— OLTP

冒泡排序 ● 插入排序 ● 快速排序 ● 堆排序 ● 基数排序 内排序算法 7 快速排序是最常用的排序算法，由Tony Hoare在1959年发明。 快速排序算法的三个步骤： ● 挑选基准值：从数列中挑选出一个基准元素，称为pivot ● 分割：重新排序数组，所有比基准元素小的元素排放到基准元素之前；所有比基 准元素大的元素排放到基准元素之后。分割完成后，我们完成了对基准元素的 排序，即基准元素在数组中的位置不再改变 快速排序算法： 10 堆排序是最常用的排序算法，由J.Williams在1964年发明。 ● 堆是一种近似完全二叉树的结构，最大值堆要求每个子节点的键值总是小于父 节点。最小值堆要求每个子节点的键值总是大于父节点。 堆排序算法 ● 步骤1：建立最大值堆,最大元素在堆顶 ● 步骤2：重复将堆顶元组移除并插入到排序数组，更新堆使其保持堆的性质 ● 步骤3：当堆的元素个数为零时，数组排序完毕 个顺串。 替换选择算法 25 ● 问题二：合并阶段假设存在N个输入缓冲区，如何高效的比较N个输入缓冲区的 最小值，并输出到输出缓冲区？ 归并排序的三个问题 26 ● 假设顺串(长度为L)分布在K个文件中，顺串合并时需要K个输入缓冲区和1个输 出缓冲区，每次选取K个缓冲区的最小值，输出到输出缓冲区。最后，输出缓冲 区输出的顺串长度为L*K ● 算法复杂度 O(K* (L*K)) 顺串合并

page/enabled 一般不建议直接修改/boot/grub/grub.conf文件或者/boot/grub/menu.lst 常用数据库参数 参数名 Master节点值 Segment节点值 checkpoint_segments 32 32 max_connections 500 2500 max_prepared_transactions 500 1000 尽量采用一个常用关联字段作为分布键，例如账号、客户号，这个可以提高关联条件的命中率，减少关联时数据重分布 （主要对大表） • 选用分布键同时考虑数据平均分布（一个例子，日志号不是最好的分布键，大量的空值导致资料倾斜） 物理模型经验分享（续） 分区表使用： • 不建议使用二级分区，二级分区不便于管理，而且Parser效率较低； • 二级分区可以用一级分区+Bitmap方式替 Instance数量  增加机器的内存  检查gp_vmem_protect_limit 参数, 确保其不要超过安全的最大值  在会话层面降低statement_mem 参数的设定值  在数据库层面降低statement_mem参数的设定值  在资源队列中限制内存使用量 OOM-解决办法  GPDB中通常的规则是,gp_vmem_protect_limit设置为:

持久性，先把Redo Log写 入日志文件。Redo log记录修改数据对象的新值(After Image, AFIM) ■ Steal → Undo Log 允许Buffer Pool未提交事务所修改的脏页刷回到持久存储，为了保证原子性， 先把Undo Log写入日志文件。Undo Log记录修改数据对象的旧值(Before Image, BFIM) Solution: Logging Shadow Paging（LMDB） 16 Undo log(记录旧值) (Steal / Force) 恢复时，从后往前，对于未提 交的事务的日志做undo操 作。 日志 Redo log(记录新值) (No-Steal / No-Force) 恢复时，从前往后，对提交的事务 的日志做redo操作。 日志 Undo+Redo log(记录旧值和新值) (Steal / No-Force) 恢复时，从前往后对提交事务做 redo操作，从后往前对未提交事务 做undo操作 。 日志

0 码力 | 42 页 | 2.12 MB | 1 年前

3

Brin在AppendOnly Table上的实现 性能测试 5 Confidential │ ©2021 VMware, Inc. Block Range Index 存储数据块中元组字段的最 大最小值，用于过滤不符合条 件的数据块 1 3 2 5 7 8 8 10 9 11 11 12 [1, 5] [7, 10] [9, 12] Brin Heap Confidential bit map Confidential │ ©2021 VMware, Inc. Insert Update Delele 每个元组代表一组Block每个字段的最大最小值 如果新的数据超出了最大最小值的范围，则更新元组 删除数据时不做任何操作 Confidential │ ©2021 VMware, Inc. Brin Vacuum vacuum不做任何操作 vacuum │ ©2021 VMware, Inc. Brin Storage Revmap是一个逻辑上的数组，数组下标代表BlockNumber Revmap的value是TID，指向存储有最大最小值的tuple Confidential │ ©2021 VMware, Inc. 目录 Brin Index AppendOnly Table Brin在AppendOnly Table上的实现