。 2.随着业务的发展，扩容数据库的不方便不快捷，也是个问题。 3.大量数据量小的数据库系统也单独部署在物理机，浪费问题突出。 4.DBA的数据库自动化标准化运维的需求。 5.Docker在同程的大规模使用，应用部署环境100%容器化，有Docker丰富的经验 。 让数据库的部署点单化开启 2核4G 4核4G 4核8G 8核8G 8核16G 16核16G 16核64G 32核64G

基灿异并行计算) 的云原生虚拟数仓 产品白皮书 ENRANSGenpPie.com 20230penPieAIIRight Reserved， Openpie | PiecloudDB 基于eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 行业背景 数据量的爆发式增长 数据库的未来在云上 传统数仓的痛点 云时代的数据处理要求 piecloudDB，云原生虚拟数仓 PieCloudDB 产品概述 PieCloudDB 产品核心技术 PieCloudDB8 产品优势 关于OpenpPie 附录: 术语表 11 13 15 16 openpie | PiecloudDB 基于 eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 百岗 行业背景 石油是工业的血液，数据是数字经济的“石油”，数据分析则是石油精炼。 随着信息技术的发展，互联网应用的加速普及，人类进入了数字经济时代。进入二十一世纪以后，随着移动互联网技 一趋势靠拢。2020 年数据显示，云数据库已占据整体数据库市场份额的40%，2022年云数据库营收数据将占据数据 库整体市场的半数以上。 OpenpPie | PiecloudDB 基于eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 SN 中 Market Guide for DBMS, China

PieCloudDB Database 基于 eMPP （弹性大规模并行计算）的云原生虚拟数仓 产品白皮书 www.OpenPie.com ©2023 OpenPie All Right Reserved . 行业背景 数据量的爆发式增长 数据库的未来在云上 传统数仓的痛点 云时代的数据处理要求 PieCloudDB，云原生虚拟数仓 要求也越来越高，在使用过程中，传统 MPP 数据库解决方案迎来 了一系列的瓶颈： 4 传统数仓的痛点 很多受欢迎的数据库仓库均为分布式数据库，而典型的传统分布式数据库系统大多是 MPP（大规模并行计算）架构。 MPP 架构的数据库以 PC 服务器为单位，通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录， MPP 数据库会尝试在每台 PC 服务器的硬盘上分布1亿条记录 性和真正的高可用，释放 出数据计算产生更多智能的机会。以下是云原生时代数字企业的典型使用场景： 面对这些不断变化的业务需求和计算任务，企业产生了更高的需求： 充分结合云计算、大规模并行处理技术的云原生虚拟数仓 PieCloudDB 应运而生， PieCloudDB 帮助企业摆脱了 PC 架 构的限制，满足云原生数字时代需求，成为更好的选择。 能够提供无限存储空间， 随时根据业务需求弹性增加集群和工作节点

Share-nothing 无共享架构上，让每一颗 CPU 和 每一块磁盘 IO 都运转起来，无共享架构将这种并行处理发挥到极致。 相比一些其它传统数据仓库的 Sharedisk 架构，后者最大瓶颈就是在 IO 吞吐上，在大规模数据处理时，IO 无法及时 feed 数据给到 CPU， CPU 资源处于 wait 空转状态，无法充分利用系统资源，导致 SQL 效 率低下： 一台内置 16 块 SAS 盘的 X86 服务器，每秒的 类系统的衡 量指标是 TPS，适用的系统是 OLTP 数据库或类似 GemFire 的内存数 据库。 5. Greenplum MPP 与 Hadoop MPP 和 Hadoop 都是为了解决大规模数据的并行计算而出现的技术， 两种技术的相似点在于： ·分布式存储数据在多个节点服务器上 ·采用分布式并行计算框架 ·支持横向扩展来提高整体的计算能力和存储容量 ·都支持 X86 开放集群架构 做为 DaaS 服务来提供，对于 Mesos 或其它云计算技术的爱好者，也可以考虑采用容器镜像技术 + 集群资源框架管理技术来部署 Greenplum, 从而可以实现在公共计算 资源集群上的 MPP 敏捷部署和资源共享与分配。 总之，相信沿着开放、开源、云计算的路线继续前行，Greenplum MPP 数据库在新的时代将保持旺盛的生命力，继续高速发展。 Big Date2.indd 19

全球敏捷运维峰会 广州站 基于ClickHouse+StarRocks 构建支撑千亿级数据量的高可用查询引擎 演讲人：蔡岳毅 全球敏捷运维峰会 广州站 1. 为什么选择ClickHouse/StarRocks； 2. ClickHouse/StarRocks的高可用架构； 3. 如何合理的应用ClickHouse的优点，StarRocks 如何来补充ClickHouse 的短板； 应用总结； 全球敏捷运维峰会 广州站 根据实际业务场景需要来选择 1. 不固定的查询条件，不固定的汇总条件； 2. 数据量日益增量，每天要更新的数据量也不断增大； 3. 业务场景不断增多，涉及面越来越广； 4. 需要保证高可用并秒出； 5. 从Sql，Es， CrateDB， Kylin，Ingite，MongoDB，Hbase 不断的研究，实践； 全球敏捷运维峰会 广州站 ClickHouse 不支持高并发，可以根据实际情况修改qps相关配置文件； 全球敏捷运维峰会 广州站 StarRocks的特点 优点： 1. 支持标准的SQL语法，兼容MySql协议； 2. MPP架构，扩缩容非常简单方便； 3. 支持高并发查询； 4. 跨机房部署，实现最低成本的DR 缺点： 1. 不支持大规模的批处理； 2. 支持insert into，但最理想的是消费Kafka； 全球敏捷运维峰会 广州站 Click

年报告中，在经典数据分析领域 Greenplum 全球排名第三，实时分 析领域全球排名并列第四。Greenplum 是两个领域中排名前十的产品中的唯一一款开源产品。 Greenplum 基于 MPP（大规模并行处理）架构构建，具有良好的弹性和线性扩展能力，并内置 并行存储、并行通讯、并行计算和优化技术。同时，Greenplum 还兼容 SQL 标准，具备强大、 高效、安全的 PB 级结构化、半结构 2017 年 Pivotal 在 github 的开源贡献列表中全球排 名第四左右。 采用开源方案，不担心后门问题，不担心被锁定。开源还可以构建更好的 生态。 ● 采用敏捷软件开发方法开发的平台：Greenplum 采用敏捷方法开发，实现了快速迭代、持 续发布和质量内建。2017 年 Greenplum 发布了 10 个版本，以前发布一个版本需要 1 个 月左右，现在只需要十几个小时。 中文社区尤为活跃，目前约有半数的贡献来自中国开发者，社 区贡献者包括阿里云、中移动等大公司，也有诸多中小公司和数据库爱好者。 开源之后，Greenplum 把敏捷软件开发方法学引入到分布式数据库的开发中，通过使用站立会议、 回顾会议、结对编程、持续集成、测试驱动、单周迭代等敏捷方法建立了高效的快速反馈系统， 大大提高了产品的质量和客户的满意度。Greenplum 5.0 是开源之后发布的第一个稳定版本，大 约保持

器无感知技术（Serverless）利用云上无限计算资 源和弹性保证了虚拟数仓永远在线可用，S3 存储和 跨云灾备能力保证了永不丢数。 数据计算资源按需扩缩容，实现计算资源配置最优化， 提升数仓的敏捷性和弹性，打开无限数据计算空间， 更好地赋能业务发展并走向绿色。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐石 | 高安全 高在线 高可靠 突 破 性 创 新 的 核 心 技 术 PieCloudDB 核心技术优势 ü 以云计算架构为设计基础 实现云上存算分离 · eMPP：elastic Massive Parallel Processing 弹性大规模并行计算 ü 首创 eMPP 分布式技术实现云上弹性大规模并行计算 存算分离 云上计算资源可弹性 分配，有查询计算任 务的时候按需启动， 按照使用时间和规模 计算成本。 弹性计算 企业可灵活进行扩缩容，随 着负载的变化实现高效的伸

资源调度 业务系统 开 发 工 具 基 础 设 施 模型 反馈 智能应用 开放与敏捷 • 大数据、流数据统一建模管理 • 垂直方向行业模板，简化开发过程 • 多语言多runtime支持，Bring your own model • 数据流转、建模、机器学习任务的全生命周 期管理 • 大规模在线任务监控、自动模型性能监测、 重训练与发布 • 追溯数据血缘，数据、算法模型版本管理

器⽆感知技术（Serverless）利⽤云上⽆限计算资源 和弹性保证了虚拟数仓永远在线可⽤，S3存储和跨 云灾备能⼒保证了永不丢数。 数据计算资源按需扩缩容，实现计算资源配置最优化， 提升数仓的敏捷性和弹性，打开⽆限数据计算空间， 更好地赋能业务发展并⾛向绿⾊。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐石 | 高安全 高在线 高可靠 突 破 性 创 新 的 核 心 技 术 以云计算架构为设计基础 实现云上存算分离 · eMPP：elastic Massive Parallel Processing 弹 性 大 规 模 并 行 计 算 ü 首创eMPP分布式技术实现云上弹性大规模并行计算 存算分离 云上计算资源可弹性 分配，有查询计算任 务的时候按需启动， 按照使用时间和规模 计算成本。 弹性计算 企业可灵活进行扩缩容，随 着负载的变化实现高效的伸 缩，轻松应对PB级海量数据。

 每毫秒的成本？  正常运行时间要求  每分钟的停机成本？  故障与维护？  应用程序敏捷性  开发者语言和框架？  SQL 还是 NoSQL？ 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 33 增强开发运维人员的敏捷性， 减少停机时间 自动化管理 • 启动/停止节点或整个 群集 • 联机扩展 • 联机重新配置 •