PieCloudDB Database 产品白皮书 Analyze,可以在数据发生变化的时候自动完成Analyze,及时生成准确的统计信息。 PieCloudDB 支持元数据和用户数据的缓存,计算节点在执行查询时不再需要频繁的访问元数据服务和存储服务,降 低了元数据访问的网络延迟,加快了用户数据的访问速度。 pieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化,完整支持 TPC-H 和 TPC-D5 等测试,实现 了包括聚集下准、Block Skipping PieCloudDB 的计算层,各个计算节点针对元数据和用户数据都设计了多层缓存结构。其中,元数据作为数据库系 统中最重要的特征信息,实现高速的元数据访问是提高数据库查询性能的有效途径。为了避免网络延迟,加速查询优 化,PieCloudDB8 实现了元数据层全新的缓存架构,有效减少了访问元数据服务器带来的网络通信开销和元数据服务 1 Openpie | PiecloudDB 基于eMPP (弹性大规模并行计算) 据库系统性能。 pieCloudDB 打造了用户数据统一缓存管理功能,使得数据计算在多数情况下均为本地计算,避免了 PieCloudDB 计算 节点与对象存储之间的数据移动,提高计算效率,减少网络延迟和系统响应时间,保证用户的实时性需求。 * 全新的存储引擎 【简黑) pieCloudDB 打造了全新的存储引擎--简墨 (JANM) ,实现了基于对象存储的行列混存结构 。行列混存结合了行存和0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书Analyze,可以在数据发生变化的时候自动完成Analyze,及时生成准确的统计信息。 PieCloudDB 支持元数据和用户数据的缓存,计算节点在执行查询时不再需要频繁的访问元数据服务和存储服务,降 低了元数据访问的网络延迟,加快了用户数据的访问速度。 PieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化,完整支持 TPC-H 和 TPC-DS 等测试,实现 了包括聚集下推、Block PieCloudDB 的计算层,各个计算节点针对元数据和用户数据都设计了多层缓存结构。其中,元数据作为数据库系 统中最重要的特征信息,实现高速的元数据访问是提高数据库查询性能的有效途径。为了避免网络延迟,加速查询优 化, PieCloudDB 实现了元数据层全新的缓存架构,有效减少了访问元数据服务器带来的网络通信开销和元数据服务 12 全新的存储引擎「简墨」 器的负载,大幅提升了元数据访问的速度,从而提高数据库系统性能。 系统性能。 PieCloudDB 打造了用户数据统一缓存管理功能,使得数据计算在多数情况下均为本地计算,避免了 PieCloudDB 计算 节点与对象存储之间的数据移动,提高计算效率,减少网络延迟和系统响应时间,保证用户的实时性需求。 PieCloudDB 打造了全新的存储引擎--简墨(JANM),实现了基于对象存储的行列混存结构。行列混存结合了行存和 列存的优势,允许面向列的压缩方案0 码力 | 17 页 | 2.02 MB | 1 年前3
云原生数据库 PieCloudDB eMPP架构设计与实现云原生分布式SQL数据库 一个云原生实时大数据平台基座 愿景:安全可靠 使用简单 功能齐全 性能极致 传统分布式MPP架构痛点 缺乏弹性 业务使用不灵活 成本高昂 集群固定,资源利用率低 木桶效应 扩缩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 我们需要一个云原生数据库 云解决了什么? 借助于云上分布式存储,解耦存储 借助于虚拟化技术和之上的IaaS,解耦计算 多个集群(虚拟数仓)可以共享⼀份元数据 • FoundationDB⾼可⽤设计、备份恢复保证元数据的可靠性和可 ⽤性 元数据管理缓存 • ⺫的: • 减轻FoundationDB集群负担 • 加速查询优化(⺴络延迟远⾼于内存延迟) • 以Postgres原⽣的元数据缓存概念为基础,优化重构实现适⽤于 多集群架构 ⽤户数据存储引擎 • PAX(⾏列混存)配以⾼效压缩 • Block⽂件为⼀个存储(MVCC)单位0 码力 | 31 页 | 1.43 MB | 1 年前3
PieCloudDB 的云原生之路产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 IvorySQL开源数据库社区 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 集群固定,资源利用率低 木桶效应 扩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 传统分布式 MPP 架构痛点 IvorySQL开源数据库社区 PART 02 云原生数据库 业可灵活进行扩缩容,随着负载的变化实现高效的伸缩, 轻松应对 PB 级海量数据。 全新的存储「简墨」和缓存架构设计 在计算层,各个计算节点针对元数据和用户数据都设计了多 层缓存结构,避免网络延迟和数据移动,提高计算效率,保 证用户的实时性需求。PieCloudDB 针对底层对象存储设计了 高效的文件格式,可在节省网络请求的同时提高计算效率。 全新的优化器「达奇」 PieCloudDB 可根据客户需求在任何 IaaS云和裸硬件上安装。 可打通多云的数据管道, 解锁对特定IaaS云的依赖 并获得云资源议价权。 实时处理 在计算层,各个计算节点针对元数据和用 户数据都设计了多层缓存结构,避免网络 延迟和数据移动,提高计算效率,保证用 户的实时性需求。 数据安全 PieCloudDB 提供企 业级透明数据加密。 运用实时加密,高强 度算法,多级密钥等 技术保护数据安全。 IvorySQL开源数据库社区0 码力 | 47 页 | 1.80 MB | 1 年前3
PieCloudDB云原生数仓虚拟化之路OpenPie. All rights reserved. OpenPie Confidential 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 集群固定,资源利用率低 木桶效应 扩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 传统分布式MPP架构痛点 @2022 OpenPie. All rights reserved 业可灵活 进⾏扩缩容,随着负载的变化实现⾼效的伸缩,轻松应对 PB级海量数据。 全新的存储「简墨」和缓存架构设计 在计算层,各个计算节点针对元数据和用户数据都设计了多 层缓存结构,避免⽹络延迟和数据移动,提⾼计算效率,保 证⽤户的实时性需求。PieCloudDB针对底层对象存储设计了 高效的文件格式,可在节省⽹络请求的同时提⾼计算效率。 全新的优化器「达奇」 PieCloudDB 可根据客户需求在任何 IaaS云和裸硬件上安装。 可打通多云的数据管道, 解锁对特定IaaS云的依赖 并获得云资源议价权。 实时处理 在计算层,各个计算节点针对元数据和用 户数据都设计了多层缓存结构,避免网络 延迟和数据移动,提高计算效率,保证用 户的实时性需求。 数据安全 PieCloudDB提供企业 级透明数据加密。运 用实时加密,高强度 算法,多级密钥等技 术保护数据安全。 @2022 OpenPie0 码力 | 44 页 | 1.64 MB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCS业可灵活进行扩缩容,随着负载的变化实现高效的伸缩,轻松 应对PB级海量数据。 全新的存储「简墨」和缓存架构设计 在计算层,各个计算节点针对元数据和用户数据都设计了多层 缓存结构,避免网络延迟和数据移动,提高计算效率,保证用 户的实时性需求。PieCloudDB针对底层对象存储设计了高效的 文件格式,可在节省网络请求的同时提高计算效率。 全新的优化器「达奇」 PieCloudDB 有限的查询语言能力、可编程性和可扩展性 • 有限的工具集成 • 较差的数据完整性和可用性 打破专用向量数据库的局限性 • 统一的数据平台,在动态扩缩容过程中无需移动 数据,充分保障数据的一致性 • 使用简单,学习成本低,无需额外投入 • 既满足了向量存储和向量搜索的需求,又升级实 现了云上分布式向量化计算的技术突破 • 支持多种向量搜索算法,为不同的业务场景提供 更灵活高效的解决方案 突破传统数据库的技术瓶颈0 码力 | 29 页 | 7.46 MB | 1 年前3
πDataCS赋能工业软件创新与实践业可灵活 进⾏扩缩容,随着负载的变化实现⾼效的伸缩,轻松应对 PB级海量数据。 全新的存储「简墨」和缓存架构设计 在计算层,各个计算节点针对元数据和用户数据都设计了多 层缓存结构,避免⽹络延迟和数据移动,提⾼计算效率,保 证用户的实时性需求。PieCloudDB针对底层对象存储设计了 ⾼效的⽂件格式,可在节省⽹络请求的同时提⾼计算效率。 全新的优化器「达奇」 PieCloudDB 有限的查询语⾔能⼒、可编程性和可扩展性 • 有限的⼯具集成 • 较差的数据完整性和可用性 打破专用向量数据库的局限性 • 统⼀的数据平台,在动态扩缩容过程中⽆需移 动数据,充分保障数据的⼀致性 • 使用简单,学习成本低,⽆需额外投⼊ • 既满⾜了向量存储和向量搜索的需求,又升级 实现了云上分布式向量化计算的技术突破 • 支持多种向量搜索算法,为不同的业务场景提 供更灵活⾼效的解决⽅案 突破传统数据库的技术瓶颈0 码力 | 36 页 | 4.25 MB | 1 年前3
云原生数据库 PieCloudDB : Unbreakable 安全特性剖析来自用户的需求(1) • 密钥自主可控 • 主密钥存储于安全区域中 • 密钥不出区 • 加密密钥支持轮换 • 按时间/条件进行密钥轮换 • 无需停机,不中断服务 • 对性能影响小 • 避免额外造成查询延迟 • 不影响批量读取,流式数据写入性能 来自用户的需求(2) • 支持国密标准 • 合规 • 加密算法可选 • 免配置 • 开箱即用 技术挑战(1) • 不可避免的性能损失 • 选用支持硬件加速的加密算法0 码力 | 34 页 | 599.00 KB | 1 年前3
PieCloudDB:基于PostgreSQL的eMPP云原生数据库OpenPie. All rights reserved. OpenPie Confidential 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 集群固定,资源利用率低 木桶效应 扩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 传统分布式MPP架构痛点 @2022 OpenPie. All rights reserved0 码力 | 45 页 | 1.32 MB | 1 年前3
共 9 条
- 1













