容器化数据库+Kubernetes ○ Apache Spark ○ CockroachDB ○ Apache HAWQ 云数据库存储方案 ● 块存储 ○ 文件系统接口 ● 对象存储 ○ 成本低 ○ 扩展性强 ○ 访问延迟高 Greenplum on Kubernetes Network Interconnect Standby Host Master Host Segment Host Segment

Pivotal Confidential–Inter nal Use Only 大规模并行数据加载 • 高速数据导入和导出 – 主节点不是瓶颈 – 10+ TB/小时/Rack – 线性扩展 • 低延迟 – 加载后立刻可用 – 不需要中间存储 – 不需要额外数据处理 • 导入/导出 到&从: – 文件系统 – 任意 ETL 产品 – Hadoop 发行版 外部数据源 Interconnect

......................................................................................... - 409 - 低内存消耗型的查询 ........................................................................................... ......................................................................................... - 411 - 低内存消耗型的查询 ........................................................................................... 属性也必须设置 为 0。 在 SESSION 中，还可以通过设置 memory_spill_ratio 参数的值来设置当前事 务的 MEMORY_SPILL_RATIO 属性。 官方文档上说，对于低内存消耗型的查询来说，设置如下的参数可以提升查询的性 能，编者觉得，有待验证，至少，编者认为，这种操作可能没有特别显著的性能提升。 =# SET memory_spill_ratio=0;

完全同步的开销是很难接受 的，针对这种情况，Greenplum 7 版本采用了多个集群间异步的方式来处理，来确保数据同步。这样备份集群和主 集群之间可能会存在延迟，延迟的大小是由传输管道的带宽决定的，但在大部分使用场景下，这样的延迟是可以接受 的。 图 3：Greenplum 多站点复制 Master 节点自动 Failover Greenplum 7 将实现 Master

resource group rg1 (cpu_rate_limit=20, memory_limit=10, concurrency=5) 资源管理：CPU使用受限和超限 资源管理：CPU，短查询延迟 ■ 更稳定延迟，CPUSET特性：create resource group rg1 (cpu_set=’4,5’, memory_limit=10, concurrency=5) 资源管理：内存 ■

Full相当于碎片整理； Reorganize相当于重建表，数据表对应的文件名（pg_class -> relfilenode)将会发生改变。 Vacuum Full的处理性能非常低，一般情况下不建议采用，可以用Reorganize代替、或者使用AO表； 系统表不支持Reorganize操作，因此，需要定期vacuum，例如设置定时作业，每周对所有系统表vacuum analyze一次 所维护的对象数进行约束  减少对象数的方法： – 提高分区粒度 – 避免大范围使用列存储  pg_class对象数如果不进行约束，可能会产生以下问题： – gprecoverseg –F效率低，数据库实例修复如果增量同步失败，我们一般会建议使用gprecoverseg –F进行全量同 步，全量同步是在两个节点之间全量拷贝文件，超过10 0000个对象，在数据目录下地文件数会可能达到上百万 以并发查询为主要功能，特别OLTP查询（根据KEY，Attribute等作为筛选条件）的系统按照常用字段建索引。 • 建索引的方法：对于区别度高的字段，如账号、手机号码等使用B-Tree索引，对于区别度低的字段（<10000),采用 Bitmap索引； • 表关联时，一般不需要建索引，如果where条件的筛选性很强，建立索引可以让系统性能提升 • 对于大数据类系统，应避免使用PK,UI,FK,

Hadoop 的 MAP 阶段需要对数据再解析，而 MPP 数据库则会直接 取行列表，效率高。 Hadoop 按 64MB 拆分文件，而且数据不能保证在所有节点都均匀 分布，因此，MAP 过程的并行化程度低；MPP 数据库按照数据记 录拆分和 Hash 分布，粒度更细，数据分布在所有节点中非常均匀， 并行化程度很高。 HadoopHDFS 没有灵活的索引、分区、列存储等技术支持，而 MPP 通常利用这些技术大幅提高数据的检索效率。 的灵活伸缩的架构特性 和 MPP 的高效能计算能力。 当然，有得也有所失，虽然 HAWQ 的架构比 GreenplumMPP 数据 库灵活，但在获得架构优越性的同时，其性能比 Greenplum MPP 数据库要低一倍左右。不过，得益于 MPP 算法的红利，HAWQ 的 性能仍大幅高于其它基于 MapReduce 的 SQL-On-Hadoop 系统。 4) 选择 MPP 还是 Hadoop ？ Hado 近两年，国内的大数据市场逐渐成熟，有真实的大数据处理需求的企 业数量呈现爆炸性的增长，从传统的数据库产品往 MPP 数据库转型 的增长势头十分迅猛。Greenplum 作为 MPP 产品的领头羊，具有较 低的学习成本，只要学习过 SQL，懂数据库的应用开发，学会使用 Greenplum 是很简单的。这也是国内大量客户选择 Greenplum 产品的 原因之一。每当有新的企业客户使用 Greenplum 产品，就会有一批新

成本和人力成本高。 ➢ 支持数据库版本少，无法支持跨多版本的Oracle、MySQL、PostgresSQL、SQL Server等 ➢ 断点续传不支持 ➢ 大量数据同步的情况下，同步组件效率低 参考：https://mp.weixin.qq.com/s/zgCfcbMKOJRYROdxjW6RNA 17 Compare Products 参考：https://mp.weixin.qq 案例需求全部满足 ➢ 生产环境实验同步 ➢ 支持全量同步、增量实时同步，无延时 ➢ 支持多种数据同构、异构数据同步 ➢ 过滤器制作规则处理异常数据 ➢ 可以达到BI系统的实时要求 ➢ 网络带宽利用率低，且支持数据的安全传输 一些事前没有考虑到的问题： 1. 数据质量问题 0000-00-00 00:00:00 28:00:00 2. 数据乱码问题 3. DDL复制 4. 生产端历史数据purge问题

背景介绍 背景介绍 ⽹络流分析主要包括对⽤⼾的⽹络流数据进⾏存储和多维度的分析两部分。⽤⼾的⽹络流的数据每天产⽣400G左右，数据保留10天。针对⽹络流数据的分析主要包含流量分析、包量分析、 TCP延迟分析、HTTP状态码分析、TCP重传分析等。 UDW 使⽤案例 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 183/206 数据存储 数据存储 数据可视化 数据可视化 UDW 使⽤案例 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 187/206 流量分析： 包量分析： TCP延迟分析： UDW 使⽤案例 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 188/206 UDW 使⽤案例 Greenplum数据仓库 UDW

每个group内做redzone和runaway detection 2017 年象行中国（杭州 站）第一期 Resource Group • What’s more? – ALTER RESOURCE GROUP • 延迟生效 • merge proposed value to real value – 动态迁移事务到其他group • 一致性 • 死锁 – Disk IO control? • buffered