○ 资源分配：CPU，内存，磁盘 ○ 资源调度：Pod → Node ● Pod管理 ○ 无状态计算资源组：Deployment ○ 有状态计算资源组：StatefulSet ● Pod持久存储 ○ 通过PVC申请PV存储资源 ● StatefulSet ○ Pod网络地址不变 ○ Pod与PV映射关系不变 Kubernetes 网络资源 Service ● Service Master节点示例 Segment节点示例 Greenplum on Kubernetes Greenplum on Kubernetes ● 存储计算分离 ○ PV持久化存储资源 ○ StatefulSet/Pod弹性扩展计算资源 ● 数据库服务层 ○ Service统一Master & Standby Master地址 ● 服务发现机制 ○ 所有节点地址名不变 ● 跨云能力 ○ 容器应用对基础设施透明

........................................................................................ - 17 - 网络层冗余 ................................................................................................. 编写：陈淼 - 15 - 网络层是 GP 系统的重要组件，在用户执行查询时，每个 Instance 都需要执行相 应的处理，网络层涉及到 Instance 之间的通信和数据传输，网络层可以使用标准的 以太网协议。不要认为网络只是连通作用，请按照 GP 的安装部署要求，必须使用万兆 网络作为内部互联网络，否则，一定会遭受很多网络方面的困扰。 在缺省情况下，网络层使用 UDPIFC 协议。这是经过改善的 协议。 冗余与故障切换 GP 提供了避免单点故障的部署选项。本节讲述 GP 的冗余组件。  Instance 镜像  Master 镜像  网络层冗余 Instance 镜像 在部署 GP 系统时，可以选择配置 Mirror，如果初始化时没有配置 Mirror，后 期也可以再次添加 Mirror，当然，如果要删除已有的

能满足海量数据的计算需求。 分布式存储和分布式计算理论刚刚被提出来，Google 的两篇著名论文 发表后引起业界的关注，一篇是关于 GFS 分布式文件系统，另外一篇 是关于 MapReduce 并行计算框架的理论，分布式计算模式在互联网 行业特别是收索引擎和分词检索等方面获得了巨大成功。 Big Date2.indd 1 16-11-22 下午3:38 2 由此，业界认识到对于海量数据需要一种新的计算模式来支持，这种 主机，并且成本很低，横向的扩展性还可带来系统良好 的成长性。 问 题 来 了， 在 X86 集 群 上 实 现 自 动 的 并 行 计 算， 无 论 是 后 来 的 MapReduce 计算框架还是 MPP（海量并行处理）计算框架，最终还 是需要软件来实现，Greenplum 正是在这一背景下产生的，借助于分 布式计算思想，Greenplum 实现了基于数据库的分布式数据存储和并 行计算（GoogleMapReduce 性能却远远超过传统高 昂的专有系统。 Big Date2.indd 2 16-11-22 下午3:38 Greenplum 精粹文集 3 大家都知道 Greenplum 的数据库引擎层是基于著名的开源数据库 Postgresql的（下面会分析为什么采用Postgresql，而不是mysql等等）， 但是 Postgresql 是单实例数据库，怎么能在多个 X86 服务器上运行多 个

两阶段加锁（Two Phase Locking, 2PL）、乐观并发控制 （OCC） Durability 持久性 一个事务在提交之后，该事务对数据库的改变 是持久的。 Write Ahead Logging + 存储管理 Jim Gray于1981年VLDB描述了事务的原子性、一致性和持久性，在此基础上，Haerder和Reuter在1983年中提出了事务的隔离性并提出术语 “ACID”，自此 Force: 事务提交时，所修改的页面必须强制刷回到持久存储中 No-Force: 事务提交时，所修改的页面不需要强制刷回到持久存储中 ■ Steal / No-Steal Steal: 允许Buffer Pool里未提交事务所修改的脏页刷回到持久存储 No-steal: 不允许Buffer Pool里未提交事务所修改的脏页刷到持久存储中 缓冲区管理策略Buffer Management Management Policy 13 ■ Force策略的问题 对持久存储器进行频繁的随机写操作，性能下降。 ■ No-Steal策略的问题 不允许未提交事务的脏页换出，系统的并发量不高。 ▪ No-Force / Steal 有更好的性能，但是怎么保证事务的原子性和持久 性？ ❏ No-Force: 事务提交，所修改的数据页没有刷回至持久存储，如果发生断电 或者系统崩溃。 ❏ Steal: Buffer

pruning calculating optimizing Data (Encrypted) TDE key GPDB数据透明加解密流程 秘钥管理 GPDB透明加密解析 GPDB TDE 使用三层key结构 • Master key: 加解密 major keys • Major keys: 加解密对应的 object keys • Object keys: 加解密对应的数据文件 秘钥管理 • 加密的major key会被送进KMS中，由master key来解密，KMS只返回解密后的Major key. • 所有的object keys和major keys 存储于数据库本地. 三层key结构 GPDB透明加密解析 Master Key Major Keys Object Keys Encrypted table files Encrypted log files Encrypted

⼯工作原理理 2017.thegiac.com C API (Greenplum, PostgreSQL, HAWQ) 底层抽象层 (数组操作、类型转换、数值计算库等) 数据库内建函 数 ⽤用户接⼝口 ⾼高层抽象层 (迭代控制器器) 内循环函数 (实现机器器学习逻辑) Python SQL C++ MADlib 架构 2017.thegiac

双平面混合集群 0S 高效一键式安装，百节点部署时间<15min。 3. 探索场景创新 边缘计算：发布面向边缘计算场景的版本 openEuler21.09Edae.集成 KubeEdae+边云协同框架，具备边云应用统一管 理和发放等基础能力。 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum 开源社区，并由 Greenplum 中文社区开发者在欧拉开源操作系统上完善直至形成在 ARM 平台上可用的版本。 3. ARM 平台测试问题的修复 原本 Greenplum 开源社区配套的测试框架以及测试用例都是基于 X86 平台来进行适配的，对于新的硬件架构，在浮 点数、底层汇编指令都有所不同，此次移植同样对这类问题进行了修复，保证欧拉开源操作系统在多硬件平台构建 RPM 软件包时行为一致，并且通过了

Ø 列存储表 Ø 多种表类型结合 • 表的命名 Ø GP内所有名称都小写 Ø table_name命名要符合命名规则，做到见名知义 36 Greenplum开发规范 用户与权限规范 • 四层授权保保障 Ø 角色 role ： 管理数据库内对象权限 Ø 用户 user ： 用户认证权限 Ø pg_hba.conf ： 实例权限配置文件 Ø iptables : 防火墙IP访问配置策略 •

Greenplum、PostgreSQL、MySQL 以及 Oracle 等主流数据库均采用拉模型。 拉模型的每个算子都实现了从下层节点获取一条元组的 GetNext 函数，每次调用该函数都会从下 层节点返回一条元组或者 EOF 的 NULL 指针。上层节点不断地调用 GetNext 函数从下层节点获 取数据，直至数据全部获取完毕。 火山模型 postgres=# explain select

Dynamic Partition Elimination 03 动态分区裁剪 公共表达式的下推 高效处理相关子查询 超过8年的投资，多位博士的长期贡献 基于Cascades / Volcano框架, Goetz Graefe 优化分布式大数据系统中特别复杂的查询 18 Madlib: 迭代并行模型训练 Master model = init(…) WHILE model not converged