PieCloudDB Database V2.1 版本说明Release Note 版本号:V2.1 发布日期:2022 年 10 月 内 核 • 聚集下推功能得到增强:通过把聚集操作下推到连接操作之前去执行,极大的减 少连接操作需要处理的数据量,使得查询性能显著提升。 • 实现了 Block Skipping 的优化机制:数据库运行查询语句时,通过计算每个块 (block)中列聚集信息,在执行期间跳过非必要的数据块,减少数据读取量提高查询性0 码力 | 3 页 | 257.15 KB | 1 年前3
πDataCS赋能工业软件创新与实践拓数派 正式成立 成立杭州总部、北京研发中⼼、 上海全球品牌战略与⽣态发展中⼼ 蓬勃发展的拓数派 驱动数据计算时代的到来 9月 成立加拿⼤研发中⼼ 7月 PieCloudDB云原⽣数据库存算分离等关键技术打造完成 引领数据库⾏业全面⾛向云时代 8月 成立⼴州研发中⼼ 10月 2022拓数派产品发布会 云原⽣数仓PieCloudDB 社区版与商业版正式发布 极速进⼊成长期 Day-1 All rights reserved. OpenPie Confidential P i e C l o u d D B 技 术 突 破 : 数 仓 虚 拟 化 云原⽣存算分离架构 运用元数据-计算-数据分离的三层架构,实现云上存储资源与 计算资源的独立管理。云上计算资源可弹性分配,有查询计 算任务的时候按需启动,按照使用时间和规模计算成本。 eMPP分布式专利技术 在云上,Pi 协调器 虚拟数仓2 执⾏器 … 连接管理 查询优化器 资源隔离 向量化执⾏ 事务管理 执⾏计划 并⾏计算 ⾼可用 数据查询 数据加载 弹性伸缩 自定义函数 集群管控 元数据访问 业务数据读写 元数据映射 元数据: Ø 分布式KV,存储系统表 Ø 基于key的自然排序实现索引 Ø ⾼性能 Ø 基于watcher机制的⾼效分布式锁管理 Ø 基于MVCC的事务隔离级别 Ø 多集群数仓数据共享0 码力 | 36 页 | 4.25 MB | 1 年前3
PieCloudDB 的云原生之路支持政策获批 6月 成立加拿大研发中心 7月 PieCloudDB 云原生数据库存算分离等关键技术打造完成 引领数据库行业全面走向云时代 8月 成立广州研发中心 10月 PieCloudDB 社区版与商业版正式发布 极速进入成长期 Day-1 2023 引领数据计算时代到来 1月 PieCloudDB 爱琴海版本发布 构建坚如磐石的 eMPP 云原生数仓 3月 2023拓数派战略暨新产品发布会 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用,运维等工作交给 IaaS/SaaS 厂商 IvorySQL开源数据库社区 上云≠云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 IvorySQL开源数据库社区 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 集群固定,资源利用率低 木桶效应 扩容难 丰富的社区活动,赋能社区用户 ü 强大的开发者支持 ü 云原生 eMPP 专利技术支持与赋能 ü 7*24小时产品故障服务响应 ü 基于业务需求的专家团队服务 ü 国产化软硬件,技术自主可控 ü 存算分离支持独立扩容 ü 全面适配信创环境 公 有 云 私 有 云 裸 硬 件 企 业 版 社 区 版 云 上 云 版 一 体 机 IvorySQL开源数据库社区 P i e0 码力 | 47 页 | 1.80 MB | 1 年前3
PieCloudDB云原生数仓虚拟化之路持政策获批 6月 成⽴加拿大研发中心 7月 PieCloudDB云原⽣数据库存算分离等关键技术打造完成 引领数据库行业全面走向云时代 8月 成⽴广州研发中心 10月 PieCloudDB 社区版与商业版正式发布 极速进入成长期 Day-1 2023 引领数据计算时代到来 1月 PieCloudDB 爱琴海版本发布 构建坚如磐石的eMPP云原生数仓 3月 2023拓数派战略暨新产品发布会 OpenPie. All rights reserved. OpenPie Confidential 上云 ≠ 云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 @2022 OpenPie. All rights reserved. OpenPie Confidential 我们需要一个云原生大数据平台 缺乏弹性 丰富的社区活动,赋能社区⽤户 ü 强⼤的开发者⽀持 ü 云原⽣eMPP专利技术⽀持与赋能 ü 7*24⼩时产品故障服务响应 ü 基于业务需求的专家团队服务 ü 国产化软硬件,技术⾃主可控 ü 存算分离⽀持独⽴扩容 ü 全⾯适配信创环境 公 有 云 私 有 云 裸 硬 件 企 业 版 社 区 版 云 上 云 版 一 体 机 @2022 OpenPie. All rights0 码力 | 44 页 | 1.64 MB | 1 年前3
PieCloudDB:基于PostgreSQL的eMPP云原生数据库OpenPie. All rights reserved. OpenPie Confidential 上云 ≠ 云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 @2022 OpenPie. All rights reserved. OpenPie Confidential 我们需要一个云原生大数据平台 缺乏弹性 Postgres 生态 PieCloudDB 重新打造 PostgreSQL 12.x 实现存算分离 PieCloudDB 对几乎所有内核模块做了大量的创新 PieCloudDB 内核团队拥有强悍的Postgres内核代码掌控能力 • 将来会保持和Postgres内核大版本对齐 团队也拥有丰富的Postgres内核大版本升级合并经验 @2022 OpenPie. All rights reserved OpenPie Confidential 元数据管理的设计目标 实现多节点共同访问的数据存储 实现分布式锁 • 高可用和多集群 • Multi-master • 多机并发访问 • 分布式环境下的多版本 @2022 OpenPie. All rights reserved. OpenPie Confidential mstore — FoundationDB上的Catalog 基于 MVCC0 码力 | 45 页 | 1.32 MB | 1 年前3
PieCloudDB:云原生分布式虚拟数仓的诞生之旅Postgres⽣态 • 软件交付版本 • 社区版 (免费获取) • 企业版 • CoC(云上云)版(免费试⽤) @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB简介 (cont.) • 2022年10.24发布1.0版本,技术和产品上实现了云原⽣. • 计算和存储分离:弹性计算 & 弹性存储. • 计算和存储都:按需付费 但今天会焦距数据库内核 @2022 OpenPie. All rights reserved. OpenPie Confidential 构建之路 (内核Only) • 第⼀步单机Postgres版本上实现存算分离 • 第⼆步分布式化 @2022 OpenPie. All rights reserved. OpenPie Confidential 构建之路 - 数据存储 • 数据存储设计考虑 • rights reserved. OpenPie Confidential 构建之路 - 元数据 • 设计原则 • 同⼀租⼾Multi-coordinator共享. • 元数据和coordinators分离. • 本质上是⼀个轻量级的OLTP系统. @2022 OpenPie. All rights reserved. OpenPie Confidential 构建之路 - 元数据 • 设计 •0 码力 | 24 页 | 2.01 MB | 1 年前3
PieCloudDB Database 产品白皮书 随着业务的发展,数据量的增加,和信息化建设的需求,企业会为不同部门建设相应的业务信息化系统。我们在真实 客户场景中,常常看到很多企业有成百上千个集群,但这些集群的元数据往往都是一样的。这种情况下,很多元数据 会在不同集群间存在不一致的版本信息。此外,如果企业需要做跨集群的访问,往往非常困难,会造成数据孤岛的存 在。 运维成本 对于传统 MPP 数仓,企业往往会需要配备运维人力,且对运维、开发人员要求高,需要相关人员掌握复杂的技术 提供元数据服务,如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能; 2. 计算节点: 无状态节点 (包括 Coordinator 和 Executer) ,主要负责接收用户请求和数据计算,支持 动态弹性伸缩,提供数据查询 、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能; 3. 存储节点; 存算分离架构,支持本地存储和云存储,推荐采用对象存储,提供数据压缩、数据加密、 SQL 结构和接 口的分析工具让应用在 PieCloudDB -上 从而避免了企业受制于供应商,帮助企业在控制业务风险的同时推动创 新。 。 多维度弹性扩缩容 pieCloudDB 采取存算分离的eMPP (弹性大规模并行计算) 设计架构。存储侧支持标准对象存储,可以充分利用云计 算平台的优势,让对象存情接近无限的容量,计算侧在设计上充分考虑无状态实现,计算节点可以充分利用云环境海 量的计算节点池,按需扩容和缩容。0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书设的需求,企业会为不同部门建设相应的业务信息化系统。我们在真实 客户场景中,常常看到很多企业有成百上千个集群,但这些集群的元数据往往都是一样的。这种情况下,很多元数据 会在不同集群间存在不一致的版本信息。此外,如果企业需要做跨集群的访问,往往非常困难,会造成数据孤岛的存 在。 运 维 成 本 对于传统 MPP 数仓,企业往往会需要配备运维人力,且对运维、开发人员要求高,需要相关人员掌握复杂的技术 、计算节点、存储节点以及云原生管控平台节 点等共四种角色,具体说明如下: 1. 元数据节点: 提供元数据服务,如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能; 2. 计算节点: 无状态节点(包括 Coordinator 和 Executer),主要负责接收用户请求和数据计算,支持 Executer),主要负责接收用户请求和数据计算,支持 动态弹性伸缩,提供数据查询、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能; 3. 存储节点: 存算分离架构,支持本地存储和云存储,推荐采用对象存储,提供数据压缩、数据加密、 多模存储以及多级缓存等功能; 4. 云原生管控平台节点:0 码力 | 17 页 | 2.02 MB | 1 年前3
云原生数据库 PieCloudDB eMPP架构设计与实现现Pre-A轮融资,已完成数亿元融资。 • 核⼼团队来⾃于各⼤⼚名校,有丰富的数据库(Greenplum,DB2, ClickHouse等)研发和商务经验。 • 核⼼产品 PieCloudDB 1.0版本已于 2022.10.24 发布。 • 产品已经在⼀些⾦融、医疗等⾏业开始使⽤。 关于我 • 毕业于中国科技⼤学,AI相关专业 • 毕业 1 年后到现在⼀直从事底层基础软件开发,10多年开发经验 基础软件尤其是数据库软件上云已是大势所趋 用户专注于使用,其他事情交给IaaS/SaaS厂商 上云 ≠ 云原生 计算&存储 弹性 智能化云原生平 台 多租户隔离 • 存储资源和计算资源:分离和隔离 • 资源伸缩快速简单 • 计算、存储:按需付费 • 智能管理,复杂交给*aaS厂商 PieCloudDB 重要特点 eMPP ACID; 完备的事务支持 (隔离级别:RR, RC) • SIMD, Cache Line • Data Skipping (本地查询和远程读取) • 预聚集 • ...... 存储中⽴ • 公有云,私有云,混合云 • 对象存储 (数据共享,存算分离)按需付 费 • 也⽀持HDFS,NAS ⽤户数据可靠安全 • ⽤户数据⾼可靠实时加解密 (TDE) • 分布式对象存储多副本多可⽤区保证数据安全:“⼀份”数据, 避免数据不⼀致 • 将来Time0 码力 | 31 页 | 1.43 MB | 1 年前3
云原生虚拟数仓 PieCloudDB 的架构和关键模块实现• 传统数仓缺乏弹性和存算分离,难以利用公有云的优势 以关系型数据库为基础的数据仓库很难适应云环境 @2022 OpenPie. All rights reserved. OpenPie Confidential 计算引擎方面 • 完备的SQL语言支持 • 高效的分布式计算能力 • 完备的事务支持,隔离性 一致性 原 子性 公有云特性方面 • 存算分离 • 弹性的计算集群 • t; @2022 OpenPie. All rights reserved. OpenPie Confidential branch t2 from t1; 只需要复制辅助表 可以从某个历史版本branch 通过引用计数判断block是否删除 只有在vacuum和branch操作时需要访问引用计数 @2022 OpenPie. All rights reserved. OpenPie0 码力 | 43 页 | 1.14 MB | 1 年前3
共 19 条
- 1
- 2













