............................................................................................. 10 并发控制优化 .............................................................................................. m 6 及未来发布的 Greenplum 7 丰富的 HTAP 特性，具备良好性能、可靠性和稳定性，使得 Greenplum 不仅可以作为全能的分析化平台，也能满足交易型业 务场景，能够处理多种并发混合工作负载，专为满足在多结构数据环境中进行实时分析的需求而设计。 欧拉开源操作系统是一款面向数字基础设施的操作系统，支持服务器、云计算、边缘计算、嵌入式等应用场景，支持多 样性计算，致力于提供安全、稳定、易用的操作系统。 双平面混合集群 0S 高效一键式安装，百节点部署时间<15min。 3. 探索场景创新 边缘计算：发布面向边缘计算场景的版本 openEuler21.09Edae.集成 KubeEdae+边云协同框架，具备边云应用统一管 理和发放等基础能力。 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum

能满足海量数据的计算需求。 分布式存储和分布式计算理论刚刚被提出来，Google 的两篇著名论文 发表后引起业界的关注，一篇是关于 GFS 分布式文件系统，另外一篇 是关于 MapReduce 并行计算框架的理论，分布式计算模式在互联网 行业特别是收索引擎和分词检索等方面获得了巨大成功。 Big Date2.indd 1 16-11-22 下午3:38 2 由此，业界认识到对于海量数据需要一种新的计算模式来支持，这种 主机，并且成本很低，横向的扩展性还可带来系统良好 的成长性。 问 题 来 了， 在 X86 集 群 上 实 现 自 动 的 并 行 计 算， 无 论 是 后 来 的 MapReduce 计算框架还是 MPP（海量并行处理）计算框架，最终还 是需要软件来实现，Greenplum 正是在这一背景下产生的，借助于分 布式计算思想，Greenplum 实现了基于数据库的分布式数据存储和并 行计算（GoogleMapReduce 在那个测试中，测试性能也大幅低于 Greenplum（那个测试中，各厂 商基于客户提供的完全相同的硬件环境，Greenplum 是唯一一家完成 所有测试的，特别在混合负载测试中，Greenplum 的 80 并发耗时 3 个多小时就成功完成了，其它厂商大都没有完成此项测试，唯一完成 的一家耗时 40 多小时）。 Big Date2.indd 9 16-11-22 下午3:38 10 前文提到，得益于

文件 ....................................................................................... - 35 - 限制并发连接数量 .............................................................................................. .................................................................................. - 168 - 关于 GP 的并发控制 ................................................................................................ 的 CPU，可根据不同的场景，配置 4 ~ 12 个不等的 Primary，这个数字的选择需要由富有经验的专业技术支持人员进行评估， 每个 Instance 所在主机配置的 Primary 越多，响应并发的能力越弱，但单个任务的 处理能力越强(这也不是绝对的，当 Primary 数量多到，即便运行单个任务时都会出 现资源争抢，可能运行的效率就会下降)。实际上，每个计算主机的 Primary 个数，

Dynamic Partition Elimination 03 动态分区裁剪 公共表达式的下推 高效处理相关子查询 超过8年的投资，多位博士的长期贡献 基于Cascades / Volcano框架, Goetz Graefe 优化分布式大数据系统中特别复杂的查询 18 Madlib: 迭代并行模型训练 Master model = init(…) WHILE model not converged transaction processing - 联机事务处理 出色的OLTP特性 天生的优势 ● 行式存储 ● 索引 ● 直接分发 ● 完整的增删改 Greenplum 6 增强 ● 并发修改、删除 ● 系统性的优化事务和锁 26 Pivotal Confidential–Internal Use Only 行式存储 表‘SALES’ 表‘SALES’ ■ 更适合OLTP负载 ■ 支持更改删除、删除 ■ 支持更改分布键、主键（将数据从一个节点移到另一个节点） 30 Pivotal Confidential–Internal Use Only Greenplum 6：并发改删和分布式死锁检测 全局死 锁检测 gpconfig -c ‘gp_enable_global_deadlock_detector’ -v on 31 Pivotal Confidential–Internal

每台机器配置6个千兆网口 • Raid10 • Solaris 10 网站日志 交易数据 详细数据 Greenplum •海量基础数据 •大数据量查询 Oracle 加工数据 •门户网站 •高并发查询 。。。。。。 用户信息 Hardware Architecture 案例分享：上海航空 结算 系统 源系统 Oracle GreenPlum 结算 ETL Staging ETL 规模数据仓库和分析领域 • 世界级的行业团队进行高性能计算和数据库系统的 前沿开发工作 • 为全球很多最大规模的数据仓库提供提供推动力 • 最先将SQL和Map-Reduce的功能整合到统一的数 据处理框架中 • 可以帮助企业采集所有数据，并在竞争中获得出色 的洞察力 41 Parallel Dataflow Engine • General purpose parallel-dataflow

│ ©2022 VMware, Inc. 14 分布式执行和事务 Ø MVCC q Xmin, Xmax 是节点本地的 Ø 分布式快照 q QD生成，下发给QE q segment本地事务异步两阶段提交，保持一致性 Ø HTAP 优化 q 全局死锁检测 q 只读事务、只涉及到某个节点的操作、vacuum Ø SIGMOD 2021: Greenplum: A Hybrid Database

Processing) 2017 年象行中国（杭州 站）第一期 Greenplum数据库 2017 年象行中国（杭州 站）第一期 Resource Queue • SQL语句并发控制 • 基于cost的并发控制 • 基于priority的CPU控制 • 内存控制 2017 年象行中国（杭州 站）第一期 Running Example • CREATE RESOURCE QUEUE rq Runaway Detector 2017 年象行中国（杭州 站）第一期 Resource Queue • Deadlock – active_statements => ‘等待’ – SQL级并发控制 => 可能持有锁 – 拿着锁等待 => 环状等待 – Tx1: LOCK tbl; -- AccessExclusiveLock Tx2: INSERT INTO tbl; -- RowExclusiveLock 2017 年象行中国（杭州 站）第一期 Resource Queue • System PANIC – 需要睡眠/唤醒机制 – Count + LWLock + Lock • Count：记录并发数 • LWLock：保护count • Lock：睡眠/唤醒，死锁检测，状态报告 – 维护Lock在共享内存的状态 – bug => lock table corruption => PANIC

节点一般配置4~8个Instance，初始化完成后很 难修改，需要提前规划； • 每个Instance都是一套独立的进程，当客户端 发起一个请求时，每个Instance都将FORK子进 程并行工作； • 对于并发请求高、面向于复杂的灵活查询的系 统，建议每个Segment配置4个或以下Instance， 这样来保证每个Instance所需资源，保证系统 系统运行稳定性，例如，减少OOM发生的概率； • 对于少数频繁查询的宽表，例如交易表、帐户表、客户表等采用列存储，其它表采用行存储 数据压缩： • 在金融业，行压缩的数据压缩比在1:6左右，一般采用zlib5级压缩 • 数据压缩对于高并发查询分析系统可以大幅降低IO消耗，提升并行处理、混合负载的性能 分布键使用： • 尽量采用一个常用关联字段作为分布键，例如账号、客户号，这个可以提高关联条件的命中率，减少关联时数据重分布 生日期”做分区，然后在机构字段上将bitmap索引 • 对于1亿条记录以下的表不分区(对于小系统，该阀值适当调低) 索引使用： • 以数据批处理为主要功能的系统一般不需建索引 • 以并发查询为主要功能，特别OLTP查询（根据KEY，Attribute等作为筛选条件）的系统按照常用字段建索引。 • 建索引的方法：对于区别度高的字段，如账号、手机号码等使用B-Tree索引，对于区别度低的字段（<10000)

（满足完整性约束） 实现对A、I、D三个属性的支持 Isolation 隔离性 多个事务并发地执行，对每个事务来说，它并 不会感知系统中有其他事务在同时执行。 多版本并发控制Multi-Version Concurrency Control、 两阶段加锁（Two Phase Locking, 2PL）、乐观并发控制 （OCC） Durability 持久性 一个事务在提交之后，该事务对数据库的改变 Hector Garcia-Molina /Jeffrey D.Ullman/Jennifer Widom《数据库系统实现》 查询编译器/ 优化器 事务管理器 DDL编译器 执行引擎 日志和恢复 并发控制 索引/文件/ 记录管理器 缓冲区管理器 缓冲区 锁表 存储管理器 存储 查询计划 对索引、文件和 记录的请求 页命令 事务命令 查询、更新 用户/ 应用 DDL命令 缓冲区管理策略Buffer Management Policy 13 ■ Force策略的问题 对持久存储器进行频繁的随机写操作，性能下降。 ■ No-Steal策略的问题 不允许未提交事务的脏页换出，系统的并发量不高。 ▪ No-Force / Steal 有更好的性能，但是怎么保证事务的原子性和持久 性？ ❏ No-Force: 事务提交，所修改的数据页没有刷回至持久存储，如果发生断电 或者系统崩溃。

Ø实时，在线系统，客户使用 Ø事务小，频率高，并发高 • 过去的数据 —— OLAP Ø非实时（T+1，或小时级），离线系统，分析决策 Ø事务大，频率相对小，并发低 • 未来的数据 —— 趋势分析 Ø非实时，离线+在线流系统，趋势分析 Ø算法分析，持续计算 5 数据仓库体系架构 OLAP场景举例 • 业务相关场景 Ø用户状态 （注册数，活跃数，并发量，峰值） Ø金币状态 Ø道具/物品状态 通过dbsync程序，实现数据传输和加载优化 Ø 对于Greenplum上的架构和设计不断优化 Ø 继续建设多样化的postgresql数据集市，满足不同需求 • 优化现有业务的调度实现 Ø 时间周期的考量 Ø 并发与功能实现的权衡 Ø 增强任务可控性和可度量性 • 支持符合条件的新业务 Ø 抽象业务模型，整合使用分类 Ø 简化上线模型，优化上线方式 40 Greenplum扩展规划 新业务上线流程