云时代下多数据计算引擎的设计与实现Discoveries”「数据计算,只为新发现」 为使命. • 核心团队来自于各大厂名校,有丰富的数据库(Greenplum,DB2,ClickHouse等)研发 和产业经验. • 产品 πDataCS:多计算引擎,包括自研分布式数据库PieCloudDB,自研分布式向量数据库 等. • PieCloudDB 存储底座是各计算引擎的载体. • 已落地或者正在落地:IoT、金融、新能源、医疗等行业. @2024 OpenPie. All rights reserved. OpenPie Confidential 云时代 数据计算 多数据模态支持 广泛的生态支持 “一份数据,多引擎计算”的述求 让数据流动起来 @2024 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB 简介 一款云原生分布式 分析型数据库 OpenPie Confidential JANM: 大数据计算系 统云存储底座 @2024 OpenPie. All rights reserved. OpenPie Confidential 多计算引擎 内置计算引擎 Postgres执行器 全新的向量化执行引 擎 向量数据库 单机和分布式 Spark 客户依赖 跑批任务 机器学习 …… ... 按需增加 @20240 码力 | 15 页 | 3.09 MB | 1 年前3
PieCloudDB 的云原生之路池化资源,按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用,运维等工作交给 IaaS/SaaS 厂商 IvorySQL开源数据库社区 上云≠云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 IvorySQL开源数据库社区 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 2 3 产 品 理 念 最 终 实 现 大 数 据 愿 景 Big Data Promises Finally Come True IvorySQL开源数据库社区 • 秒级扩缩容 • 多集群共享一份数据集 • 用户只需为存储和计算付费 • 扩展困难(后期升级部署困难) • 木桶效应 • 大量数据孤岛问题 计算层 存储层 MPP: Massive Parallel Processing IvorySQL开源数据库社区 P i e C l o u d D B 新 一 代 云 原 生 虚 拟 数 仓 核 心 价 值 多个数仓归并至云虚拟数仓,打破传统数仓场景下 数据孤岛,解决数据多副本问题,帮助企业降低数 仓管理复杂度,以更低的成本实现存算资源在云上 更灵活的配置。 TDE 技术保证了所有数据在落盘前完成加密,服务 器无感知技术(Serverless)利用云上无限计算资0 码力 | 47 页 | 1.80 MB | 1 年前3
PieCloudDB云原生数仓虚拟化之路用户专注于使用,运维等工作交给IaaS/SaaS厂商 @2022 OpenPie. All rights reserved. OpenPie Confidential 上云 ≠ 云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 @2022 OpenPie. All rights reserved. OpenPie Confidential Data Promises Finally Come True @2022 OpenPie. All rights reserved. OpenPie Confidential • 秒级扩缩容 • 多集群共享一份数据集 • 用户只需为存储和计算付费 • 扩展困难(后期升级部署困难) • 木桶效应 • 大量数据孤岛问题 计算层 存储层 MPP: Massive Parallel Processing OpenPie Confidential P i e C l o u d D B 新 一 代 云 原 生 虚 拟 数 仓 核 心 价 值 多个数仓归并⾄云虚拟数仓,打破传统数仓场景下 数据孤岛,解决数据多副本问题,帮助企业降低数 仓管理复杂度,以更低的成本实现存算资源在云上 更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密,服务 器⽆感知技术(Serverless)利⽤云上⽆限计算资源0 码力 | 44 页 | 1.64 MB | 1 年前3
PieCloudDB:基于PostgreSQL的eMPP云原生数据库用户专注于使用,运维等工作交给IaaS/SaaS厂商 @2022 OpenPie. All rights reserved. OpenPie Confidential 上云 ≠ 云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 @2022 OpenPie. All rights reserved. OpenPie Confidential @2022 OpenPie. All rights reserved. OpenPie Confidential 一个云原生实时大数据平台 平台底层:eMPP 云原生分布式SQL数据库 我们的目标:支持多模,serverless的实时大数据平台 关于PieCloudDB 使用简单 功能齐全 性能极致 安全可靠 @2022 OpenPie. All rights reserved. OpenPie rights reserved. OpenPie Confidential 元数据管理的设计目标 实现多节点共同访问的数据存储 实现分布式锁 • 高可用和多集群 • Multi-master • 多机并发访问 • 分布式环境下的多版本 @2022 OpenPie. All rights reserved. OpenPie Confidential mstore — FoundationDB上的Catalog0 码力 | 45 页 | 1.32 MB | 1 年前3
PieCloudDB Database 产品白皮书 提供元数据服务,如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能; 2. 计算节点: 无状态节点 (包括 Coordinator 和 Executer) ,主要负责接收用户请求和数据计算,支持 动态弹性伸缩,提供数据查询 、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能; 3. 存储节点; 存算分离架构,支持本地存储和云存储,推荐采用对象存储,提供数据压缩、数据加密、 多模存储以及多级缓存等功能; 后台尝试修复故障节点,从而保证 PieCloudDB 服务的高可用性。 pieCloudDB 的存鱼引擎,支持对象存储、HDF5、NAS等分布式存储,数据的完整性、一致性和可靠性等由分布式存 储的多副本、EC以及灾备能力进行保障,将由于人为或自然原因导致的数据丢失概率降低到最低,保证单个硬件设备 的故障不会影响业务。用户可以根据实际需求选用最适合的分布式存储方案。 此外,PieCloudDB 提供的独立的元数据服务 (Catalog Service) 保证元数据存取的效率和高可用性。PieCloudDB 元 数据采用分布式 KV 存储管理,具有完备的高可用方案。在 PieCloudDB 中,每份元数据都将以多副本的形式分散到多 个服务 并支持定时备份,以确保避免因为用户数据的丢失而造成的损失。 , 高性能的数仓引擎 PieCloudDB 采用高效并行的方式进行数据加载和处理,处理速度随节点增加而提升,支持流数据快速加载。0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书算节点、存储节点以及云原生管控平台节 点等共四种角色,具体说明如下: 1. 元数据节点: 提供元数据服务,如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能; 2. 计算节点: 无状态节点(包括 Coordinator 和 Executer),主要负责接收用户请求和数据计算,支持 据加载、连接管理、并行计算以及资源隔离 等功能; 3. 存储节点: 存算分离架构,支持本地存储和云存储,推荐采用对象存储,提供数据压缩、数据加密、 多模存储以及多级缓存等功能; 4. 云原生管控平台节点: PieCloudDB 集群管控节点,提供数据洞察和集群运维等功能,支持可视化的 故障节点,从而保证 PieCloudDB 服务的高可用性。 PieCloudDB 的存储引擎,支持对象存储、HDFS、NAS等分布式存储,数据的完整性、一致性和可靠性等由分布式存 储的多副本、EC以及灾备能力进行保障,将由于人为或自然原因导致的数据丢失概率降低到最低,保证单个硬件设备 的故障不会影响业务。用户可以根据实际需求选用最适合的分布式存储方案。 此外,PieCloudDB0 码力 | 17 页 | 2.02 MB | 1 年前3
πDataCS赋能工业软件创新与实践等流批⼀体处理、LLM的向量数据库以及GIS地理数据库等。 1 2 3 ⼤模型数据计算系统,以云原⽣技术重构数据存储和计算,⼀份数据,多引擎数据计算,AI数学模型、数据和 计算三者互为增强,全面升级⼤数据系统⾄⼤模型时代 ,赋能⾏业AI场景应用。 具备整体数据平台⽅案,支持多模数据处理(结构化、半结构化 以及非结构化数据),实现数据共享和分析。 软件优化 + 新硬件(FPGA)加速,实现数据全链路的性能飞跃, 让数据存储、SQL查询、向量计算以及机器学习等能⼒全面升级。 @2024 OpenPie. All rights reserved. OpenPie Confidential • 全新云原⽣架构「⼀份数据,多引擎计算」 弹 性 扩 缩 容 , 打 破 数 据 孤 岛 • 全 面 支 持 H T A P 湖 仓 ⼀ 体 和 向 量 计 算 • 原 ⽣ 支 持 数 据 治 理 , 三 权 分 离 • 支 πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (⼤模型)机器学习 向量数据计算 ⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经⽹络) 私有云 Mundo元数据管理系统 统⼀Catalog @2024 OpenPie0 码力 | 36 页 | 4.25 MB | 1 年前3
云原生数据库 PieCloudDB : Unbreakable 安全特性剖析云原生安全 • 传输层加密 • 缓存数据加密 • 存储安全 • 元数据持久化存储 • 用户数据多副本加密储存 • 计算安全 • 集群失效不影响用户数据 • ACID保证 三大区域 • 云原生安全 • 传输层加密 • 缓存数据加密 • 存储安全 • 元数据持久化存储 • 用户数据多副本加密储存 • 计算安全 • 集群失效不影响用户数据 • ACID保证 透明加密 透明加密的定义 次级密钥均在持久化存储中 • 页级密钥与数据共存 主密钥 用户创建 用户信任域 主密钥 租户密钥 用户创建 租户创建 用户信任域 持久化存储区域 主密钥 租户密钥 表密钥 用户创建 租户创建 表创建 用户信任域 持久化存储区域 主密钥 租户密钥 表密钥 页密钥 用户创建 租户创建 表创建 数据写入 用户信任域 持久化存储区域 数据存储区域 透明加密实现细节 加密算法库 租户密钥生成 主密钥 用户信任域 租户创建请求 租户密钥生成 主密钥 用户信任域 密钥生成 租户创建请求 加密 租户密钥生成 持久化存储区域 主密钥 用户信任域 密钥生成 租户创建请求 加密 存储 次级密钥生成 对应存储区域 密钥生成 查询请求 加密 存储 密钥储存区 上级密钥 租户密钥读取 持久化存储区域 用户信任域 解密 主密钥 租户密钥读取0 码力 | 34 页 | 599.00 KB | 1 年前3
云原生数据库 PieCloudDB eMPP架构设计与实现借助于虚拟化技术和之上的IaaS,解耦计算 池化资源,按需使用 基础软件尤其是数据库软件上云已是大势所趋 用户专注于使用,其他事情交给IaaS/SaaS厂商 上云 ≠ 云原生 计算&存储 弹性 智能化云原生平 台 多租户隔离 • 存储资源和计算资源:分离和隔离 • 资源伸缩快速简单 • 计算、存储:按需付费 • 智能管理,复杂交给*aaS厂商 PieCloudDB 重要特点 eMPP ACID; 完备的事务支持 (隔离级别:RR, RC) 完善的SQL标准支持 安全可靠 友好的用户接口(websql, ODBC/JDBC driver等). 云原生 云中立 • 弹性计算资源(横向纵向)、极速调整 • 多集群是另外一个弹性的维度 • 共享用户数据(如按需付费的对象存储) • 共享元数据 • MPP架构:分布式,海量数据并行处理 • e代表弹性(elastic) 完善的Postgres生态 为什么选择Postgres? 为什么选择Postgres? • 关于Postgres • 公司中⽴,开源协议友好,国际⼀流⼯程⽔准的先进开源数据库 • Postgres对存储扩展,插件扩展⽀持友好 • 天然⾃带⼀定的多模⽀持 (原⽣或者插件) • 采⽤度和流⾏度持续上升 • 优秀的⽣态 • 我们的选择 • 很多功能不⽤也没必要重新造轮⼦ • 和⼀流的产品和⼈才⼀起成⻓ • 团队深度理解Postgres内核代码,在社区参与诸多贡献0 码力 | 31 页 | 1.43 MB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCS驱动企业实现从"软件公司"到"数据公司"再到"数学公司"的持续进阶。 拓数派旗下大模型数据计算系统(PieDataComputing System,缩写πDataCS),以云原生技术 重构数据存储和计算,一份存储,多引擎数据计算,全面升级大数据系统至大模型时代,使得自主可 控的大模型数据计算系统保持全球领先,成为AI的基础科技底座的同时,开启AI技术的新范式。 πDataCS旨在助力企业优化计算瓶颈、充分利用 80 4 1 125 5 2 180 6 2 数 据 计 算 , 只 为 新 发 现 (Data Computing for New Discoveries) • 全新云原生架构「一份数据,多引擎计算」 弹 性 扩 缩 容 , 打 破 数 据 孤 岛 • 全 面 支 持 H T A P 湖 仓 一 体 和 向 量 计 算 • 原 生 支 持 数 据 治 理 , 三 权 πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (大模型)机器学习 向量数据计算 大模型训练… 自 研 简 墨 存 储 … 统一数据格式 | 一份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经网络) 私有云 Mundo元数据管理系统 统一Catalog 是一个存储系统+计算框架0 码力 | 29 页 | 7.46 MB | 1 年前3
共 14 条
- 1
- 2













