PieCloudDB Database 产品白皮书 随着云计算时代的到来,不仅使得计算成本极大地降低,也提供了无限丰富的计算资源,释放出数据计算产生智能的 更多机会。早在2019年,Gartner便做出预测: 数据库市场的未来在云上 作。在2022年首次发布的《数据库中国市场 指南》 (Market Guide for DBMS,China) 中,Gartner 指出,中国数据库行业将加速增长并逐步向云端迁移,未来 四年,中国数据库行业向公有云迁移的速度将超过全球平均水平 > 岛 网 ioor mauaeaa 和 i Gartner: 数据库中国市场指南 传统数仓的痛点 很多受欢迎的数据库仓库均为分布式数据库,而典型 分布式数据库系统大多是 MPP (大规模并行计算) 架构。 MPP 架构的数据库以 PC 服务器为单位,通过如下图所示的组 PieCloudDB 的计算层,各个计算节点针对元数据和用户数据都设计了多层缓存结构。其中,元数据作为数据库系 统中最重要的特征信息,实现高速的元数据访问是提高数据库查询性能的有效途径。为了避免网络延迟,加速查询优 化,PieCloudDB8 实现了元数据层全新的缓存架构,有效减少了访问元数据服务器带来的网络通信开销和元数据服务 1 Openpie | PiecloudDB 基于eMPP (弹性大规模并行计算)0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书随着云计算时代的到来,不仅使得计算成本极大地降低,也提供了无限丰富的计算资源,释放出数据计算产生智能的 更多机会。早在2019年,Gartner便做出预测:数据库市场的未来在云上 。在2022年首次发布的《数据库中国市场 指南》(Market Guide for DBMS,China)中,Gartner 指出,中国数据库行业将加速增长并逐步向云端迁移,未来 四年,中国数据库行业向公有云迁移的速度将超过全球平均水平。云原 PieCloudDB 的计算层,各个计算节点针对元数据和用户数据都设计了多层缓存结构。其中,元数据作为数据库系 统中最重要的特征信息,实现高速的元数据访问是提高数据库查询性能的有效途径。为了避免网络延迟,加速查询优 化, PieCloudDB 实现了元数据层全新的缓存架构,有效减少了访问元数据服务器带来的网络通信开销和元数据服务 12 全新的存储引擎「简墨」 器的负载,大幅提升了元数据访问的速度,从而提高数据库系统性能。 灵活进行扩缩容,随着负载的变化实现高效的伸缩, 轻松应对PB级海量数据。 基于自主研发的高效优化器--达奇,PieCloudDB可以更智能高效地生成统计信息,并生成更高效的查询计划,达奇优 化器支持聚集下推,预计算,Block Skipping等高级特性,全面满足各种复杂的分析查询需求。 13 PieCloudDB 产品优势 作为一款云原生虚拟数仓,PieCloudDB0 码力 | 17 页 | 2.02 MB | 1 年前3
πDataCS赋能工业软件创新与实践OpenPie. All rights reserved. OpenPie Confidential PieCloudVector与LLM在私域知识库领域的应用实践路径 π D a t a C S 优 势 2 : 全 面 支 持 ⼤ 语 ⾔ 基 础 模 型 和 私 域 数 据 结 合 做 垂 直 应 用 @2024 OpenPie. All rights reserved. OpenPie Confidential dVector @2024 OpenPie. All rights reserved. OpenPie Confidential P i e C l o u d V e c t o r 竞 争 优 势 专用向量数据库 具备向量搜索能⼒的云原⽣虚拟数仓 具备向量搜索能⼒的传统数据库 πCloudVector • 冗余数据、过度的数据搬运、分布式组件之间 的数据缺乏⼀致性 • 专业技能的额外劳动⼒成本、额外的许可成本0 码力 | 36 页 | 4.25 MB | 1 年前3
云原生数据库 PieCloudDB eMPP架构设计与实现是⼀个基于eMPP架构的云原⽣分布式优化器,它 可以为海量数据集上的复杂OLAP查询提供最优的查询计划。 • 分布式优化器 • 处理复杂OLAP查询 • 云原生优化器 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 更多⾼阶计算功能 • 聚集下推:1.0已经⽀持,在⼀些情况下可以⼗倍百倍更多倍提升0 码力 | 31 页 | 1.43 MB | 1 年前3
PieCloudDB:基于PostgreSQL的eMPP云原生数据库计算节点间 并行执行 多个更小的 计划单元 @2022 OpenPie. All rights reserved. OpenPie Confidential 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 @2022 OpenPie. All rights reserved. OpenPie0 码力 | 45 页 | 1.32 MB | 1 年前3
PieCloudDB 的云原生之路查询提供最优的查询计划。 • 分布式优化器 • 处理复杂 OLAP 查询 • 云原生优化器 PieCloudDB 优化器「达奇」 IvorySQL开源数据库社区 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 IvorySQL开源数据库社区 云原生优化器 聚集下推 预计算 文件剪裁0 码力 | 47 页 | 1.80 MB | 1 年前3
PieCloudDB云原生数仓虚拟化之路PieCloudDB Optimizer @2022 OpenPie. All rights reserved. OpenPie Confidential 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 @2022 OpenPie. All rights reserved. OpenPie0 码力 | 44 页 | 1.64 MB | 1 年前3
AGI 趋势下的云原生数据计算系统云原生存储架构,元数据、数据和计算全分离 核 心 技 术 突 破 • 数据一次入库永不出户,数据可用不可见,跑算力不跑数据 • 全链路加密保证数据安全 • JANM存储引擎等技术有效组织数据配合大模型精调 u 首创云原生eMPP架构 u 国内数仓虚拟化技术提出者 云原生数据计算系统 PieDataCS数据底座为AI大模型赋能 云原生数据计算系统 虚拟数仓引擎设计 云原生数据计算系统 分布式优化器设计0 码力 | 26 页 | 2.84 MB | 1 年前3
如何从零开始参与技术社区?Mundo元数据管理系统 统⼀Catalog 公有云 私有云 政务云 ⾏业云 信创云 • DataSharing 技术原⽣支持数据要素流转 • TimeTraveling 等技术有效组织数据配合⼤模型精调 @2024 OpenPie. All rights reserved. OpenPie Confidential 国内总贡献次数 拓数派 278 124 拓 数 派 团 队 深 耕 国 际 技0 码力 | 25 页 | 871.00 KB | 1 年前3
共 9 条
- 1













