云原生虚拟数仓 PieCloudDB 的架构和关键模块实现Confidential • 在世界范围内的统计信息显示,Nosql和数据湖已经不在数据分析 领域占有主要市场 • Nosql和数据湖缺少很多支持数据分析的重要特性 o 缺少在高并发场景下的隔离性和一致性 o 和现有的BI工具很难集成 • 关系型数据库已经重新成为数据分析的主要平台 NoSQL 和数据湖已经不再是数据分析的主要平台 @2022 OpenPie. All rights reserved OpenPie. All rights reserved. OpenPie Confidential 计算引擎方面 • 完备的SQL语言支持 • 高效的分布式计算能力 • 完备的事务支持,隔离性 一致性 原 子性 公有云特性方面 • 存算分离 • 弹性的计算集群 • 只为必要的计算付费 @2022 OpenPie. All rights reserved. OpenPie Confidential reserved. OpenPie Confidential @2022 OpenPie. All rights reserved. OpenPie Confidential • 原子性 • 一致性 • 隔离性 • 持久性 @2022 OpenPie. All rights reserved. OpenPie Confidential • Segment节点并不持有持久化的数据,在扩张/收缩的过程中不涉及数据的移动0 码力 | 43 页 | 1.14 MB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCSπCloudVector • 冗余数据、过度的数据搬运、分布式组件之间的 数据缺乏一致性 • 专业技能的额外劳动力成本、额外的许可成本 • 有限的查询语言能力、可编程性和可扩展性 • 有限的工具集成 • 较差的数据完整性和可用性 打破专用向量数据库的局限性 • 统一的数据平台,在动态扩缩容过程中无需移动 数据,充分保障数据的一致性 • 使用简单,学习成本低,无需额外投入 • 既满足了向量存储和向量搜索的需求,又升级实 支持多种向量搜索算法,为不同的业务场景提供 更灵活高效的解决方案 突破传统数据库的技术瓶颈 • 无法弹性扩缩向量化存储和计算的资源 • 在向量化计算的场景下,易用性和性能较差 • 对元数据变更的功能有限,导致了数据一致性等 问题 • 传统数据库存在的安全性、可靠性、在线性方面 的技术瓶颈 服务器无感知(Serverless)计算引擎 πCloudML (Beta) (大模型) 机器学习 私有云 Graph0 码力 | 29 页 | 7.46 MB | 1 年前3
PieCloudDB:基于PostgreSQL的eMPP云原生数据库新硬件的使用 @2022 OpenPie. All rights reserved. OpenPie Confidential 构建新一代云原生存储引擎 • 数据分布和弹性 • 分布式eMPP架构 (一致性Hash) • 本地数据减少高延时的云存储访问 • 减少数据移动 • 扩缩容最少的数据移动 • 数据安全性 • 透明数据加密 • 三级密钥 • 实时加解密 @2022 OpenPie0 码力 | 45 页 | 1.32 MB | 1 年前3
PieCloudDB 的云原生之路o CPU/GPU 高速缓存访问 o 数据的局部性优化(SIMD) o 现代存储技术 o 新硬件的使用 IvorySQL开源数据库社区 • 数据分布和弹性 o 分布式 eMPP 架构 (一致性Hash) o 本地数据减少高延时的云存储访问 o 减少数据移动 o 扩缩容最少的数据移动 • 数据安全性 o 透明数据加密 o 三级密钥 o 实时加解密 构建新一代云原生存储引擎0 码力 | 47 页 | 1.80 MB | 1 年前3
PieCloudDB云原生数仓虚拟化之路新硬件的使用 @2022 OpenPie. All rights reserved. OpenPie Confidential 构建新一代云原生存储引擎 • 数据分布和弹性 • 分布式eMPP架构 (一致性Hash) • 本地数据减少高延时的云存储访问 • 减少数据移动 • 扩缩容最少的数据移动 • 数据安全性 • 透明数据加密 • 三级密钥 • 实时加解密 @2022 OpenPie0 码力 | 44 页 | 1.64 MB | 1 年前3
PieCloudDB Database 产品白皮书 会自动快速发现并调度新的节点蔡代故障节点,同时也会在后台尝试修复故障节点,从而保证 PieCloudDB 服务的高可用性。 pieCloudDB 的存鱼引擎,支持对象存储、HDF5、NAS等分布式存储,数据的完整性、一致性和可靠性等由分布式存 储的多副本、EC以及灾备能力进行保障,将由于人为或自然原因导致的数据丢失概率降低到最低,保证单个硬件设备 的故障不会影响业务。用户可以根据实际需求选用最适合的分布式存储方案。0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书会自动快速发现并调度新的节点替代故障节点,同时也会在后台尝试修复故障节点,从而保证 PieCloudDB 服务的高可用性。 PieCloudDB 的存储引擎,支持对象存储、HDFS、NAS等分布式存储,数据的完整性、一致性和可靠性等由分布式存 储的多副本、EC以及灾备能力进行保障,将由于人为或自然原因导致的数据丢失概率降低到最低,保证单个硬件设备 的故障不会影响业务。用户可以根据实际需求选用最适合的分布式存储方案。0 码力 | 17 页 | 2.02 MB | 1 年前3
共 7 条
- 1













