Greenplum on Kubernetes 容器化MPP数据库 AGENDA 云数据库背景 云数据库实现方案 Greenplum on Kubernetes Greenplum Operator 总结 云数据库背景 云数据库背景 ● 资源变化 ○ 本地资源 → 云 ○ 静态资源 → 弹性需求 ● 数据变化 ○ 内部数据 → 多数据源 ○ 数据规模 → 不易预测 ○ 数据格式 网络传输 ○ 权限控制 ● 跨云 ○ 公有云 ○ 私有云 云数据库实现方案 ● 全新数据库 ○ Snowflake ● 原有数据库架构升级 ○ Vertica Eon Mode ● 容器化数据库+Kubernetes ○ Apache Spark ○ CockroachDB ○ Apache HAWQ 云数据库存储方案 ● 块存储 ○ 文件系统接口 ● 对象存储 ○ Segment Instance Segment 5 (Mirror) 容器化Greenplum ? + = 容器化Greenplum ● 容器粒度 ○ Segment主机 VS. Segment实例 ● 容器资源分配 ○ CPU ○ 内存 ○ 磁盘 ● 容器间网络互联 ○ 本机网络 ○ 跨机网络 ● 容器化Greenplum部署策略 ○ Master部署策略 ○ Primary

是反潮流的），数据处理过程分成 Map-〉 Shuffle-〉Reduce 的过程，相比 MPP 数据库并行计算而言， Mapreduce 的数据在计算前未经整理和组织（只是做了简单数据 分块，数据无模式），而 MPP 预先会把数据有效的组织（有模式）， 例如：行列表关系、Hash 分布、索引、分区、列存储等、统计信 息收集等，这就决定了在计算过程中效率大为不同： ·MAP 效率对比 Hadoop 的 MAP 阶段需要对数据再解析，而 阶段需要对数据再解析，而 MPP 数据库则会直接 取行列表，效率高。 Hadoop 按 64MB 拆分文件，而且数据不能保证在所有节点都均匀 分布，因此，MAP 过程的并行化程度低；MPP 数据库按照数据记 录拆分和 Hash 分布，粒度更细，数据分布在所有节点中非常均匀， 并行化程度很高。 HadoopHDFS 没有灵活的索引、分区、列存储等技术支持，而 MPP 通常利用这些技术大幅提高数据的检索效率。 Aggregation（聚合）提供 Multiple-agg、Group- agg、sort-agg 等多种技术来提供计算性能；Mapreuce 需要开发人 员自己实现。 另外，Mapreduce 在整个 MAP->Shuffle->Reduce 过程中通过文件 来交换数据，效率很低，MapReduce 要求每个步骤间的数据都要序列 化到磁盘，这意味着 MapReduce 作业的 I/O 成本很高，导致交互分

........................................................................................... 11 利用容器实现安全分析 ............................................................................................ 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能 优于内核态 swap。 2. 夯实云化基座 容器操作系统 KubeOS：云原生场景，实现 OS 容器化部署、运维，提供与业务容器一致的基于 K8S 的管理体验。 • 安全容器方案：iSulad+shimv2+StratoVirt 安全容器方案，相比传统 docker+qemu 方案，底噪和启动时间 优化 40%。 • 双平面部署工具 合拥有多种技能的团队。 利用容器实现安全分析 PL/Container 扩展是一个接口，允许 Greenplum 数据库与 Docker 容器交互，以在容器中执行用户定义函数 （UDF），这样方便数据科学家可以在不需要 DBA 帮助的情况自由使用数据分析，同时大大提高了安全性，Docker 容器确保用户代码无法访问源主机的文件系统。此外，容器启动时网络访问受限，无法连接回 Greenplum

并行存储、并行通讯、并行计算和优化技术。同时，Greenplum 还兼容 SQL 标准，具备强大、 高效、安全的 PB 级结构化、半结构化和非结构化数据存储、处理和实时分析能力，可部署于企 业裸机、容器、私有云和公有云中。值得一提的是，作为 OLAP 型的大数据平台, Greenplum 同 时还能够支持涵盖 OLTP 型业务的混合负载，从而帮助客户真正打通业务-数据-洞见-业务的闭环。

(切换到template1数据库) DROP DATABASE product; 3、模式管理 、模式管理 数据库模式(schema)是包含了⼀系列数据库对象（表，数据类型，⾃定义函数）集合的命名容器。⼀个数据库可以有多个模式。不同模式不共享命名空间。public 模式是在创建数据库之后就 会默认创建的，每个⽤⼾都有权限在这个 schema 创建对象，如果不指定 schema 那么就会默认创建到这⾥。

情况以决定资源的分配和是否应该让新的事务开始排队。 使用基于外部组件的资源组来管理外部组件的 CPU 和内存资源。这种资源组，使 用 cgroup 来管理外部组件的 CPU 和内存的使用总量。 注意：GP 的容器化部署，例如 Greenplum for Kubernetes(GP4K)，可能会创建 一组嵌套的 cgroup 配置来管理系统资源，这可能会影响 GP 的资源组管理 CPU 的使 用率、Core PostgreSQL 相似。如果一个查询使用了外部组件(如 PL/Container)，该查询将会有两个部分， 一部分是查询本身在 GP 数据库中运行，而另一部分 UDF 则在 PL/Container 容器中 运行，在 GP 数据库中运行的查询本身由 ROLE 的资源组来管理，在 PL/Container 运行的 UDF 由 PL/Container 的资源组管理，后者在 pg_stat_activity

18.0 removes the ~/.gphostcache file; the management utilities now use an alternate mechanism to map hostnames to interfaces. To enhance the supportability of the product and to aid debugging efforts separately from the core database installation. Greenplum 6 uses a new jump consistent hash algorithm to map hashed data values to Greenplum segments. The new algorithm ensures that, after new segments are added Therefore, if deploying a warm standby master for redundancy purposes, the standby master should map to a NIC that uses a different switch than the primary master. VMware Greenplum 6 Documentation

18.0 removes the ~/.gphostcache file; the management utilities now use an alternate mechanism to map hostnames to interfaces. To enhance the supportability of the product and to aid debugging efforts separately from the core database installation. Greenplum 6 uses a new jump consistent hash algorithm to map hashed data values to Greenplum segments. The new algorithm ensures that, after new segments are added Therefore, if deploying a warm standby master for redundancy purposes, the standby master should map to a NIC that uses a different switch than the primary master. VMware Greenplum 6 Documentation

18.0 removes the ~/.gphostcache file; the management utilities now use an alternate mechanism to map hostnames to interfaces. To enhance the supportability of the product and to aid debugging efforts separately from the core database installation. Greenplum 6 uses a new jump consistent hash algorithm to map hashed data values to Greenplum segments. The new algorithm ensures that, after new segments are added Therefore, if deploying a warm standby master for redundancy purposes, the standby master should map to a NIC that uses a different switch than the primary master. VMware Tanzu Greenplum 6 Documentation

18.0 removes the ~/.gphostcache file; the management utilities now use an alternate mechanism to map hostnames to interfaces. To enhance the supportability of the product and to aid debugging efforts separately from the core database installation. Greenplum 6 uses a new jump consistent hash algorithm to map hashed data values to Greenplum segments. The new algorithm ensures that, after new segments are added Therefore, if deploying a warm standby master for redundancy purposes, the standby master should map to a NIC that uses a different switch than the primary master. VMware Greenplum 6 Documentation