PieCloudDB 的云原生之路借助于云上虚拟化技术和之上的 IaaS,解耦 计算 池化资源,按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用,运维等工作交给 IaaS/SaaS 厂商 IvorySQL开源数据库社区 上云≠云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 IvorySQL开源数据库社区 我们需要一个云原生大数据平台 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 集群固定,资源利用率低 木桶效应 扩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 传统分布式 MPP 架构痛点 IvorySQL开源数据库社区 PART 02 云原生数据库 PieCloudDB 简介 IvorySQL开源数据库社区 数据 计算 发现 数据:云上数据 备数据共享的能力。 例如:投资管理系统和财务管理系统可以各自管理,按需分享。 计算:云上计算资源可以弹性分配。有查询计算任务的时候按需启动, 按照使用时间和规模计算成本,而不是购买大量服务器静置为不确定 的使用额外支付成本。 发现:在云上,对计算模型以更低成本提供指数级的存储和计算资源, 帮助甲方的业务模型发现新洞察或者提高精准度,从而建立竞争壁垒。 1 2 3 产 品 理0 码力 | 47 页 | 1.80 MB | 1 年前3
PieCloudDB云原生数仓虚拟化之路耦计算 池化资源,按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用,运维等工作交给IaaS/SaaS厂商 @2022 OpenPie. All rights reserved. OpenPie Confidential 上云 ≠ 云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 @2022 @2022 OpenPie. All rights reserved. OpenPie Confidential 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 集群固定,资源利用率低 木桶效应 扩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 传统分布式MPP架构痛点 @2022 OpenPie. All rights reserved 备数据共享的能⼒。 例如:投资管理系统和财务管理系统可以各⾃管理,按需分享。 计算:云上计算资源可以弹性分配。有查询计算任务的时候按需启动, 按照使⽤时间和规模计算成本,⽽不是购买⼤量服务器静置为不确定 的使⽤额外⽀付成本。 发现:在云上,对计算模型以更低成本提供指数级的存储和计算资源, 帮助甲方的业务模型发现新洞察或者提高精准度,从⽽建⽴竞争壁垒。 1 2 3 产 品 理0 码力 | 44 页 | 1.64 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书化转型面临巨大挑战,急需一款数据库产品,帮助其最大化利用数据资产,降本增效,进行更智能高效的数据计算。 数据库的未来在云上 随着云计算时代的到来,不仅使得计算成本极大地降低,也提供了无限丰富的计算资源,释放出数据计算产生智能的 更多机会。早在2019年,Gartner便做出预测:数据库市场的未来在云上 。在2022年首次发布的《数据库中国市场 指南》(Market Guide for 1/n(n为机器数量),节省了海量数据的处理时间。 传统数据仓库的计算和存储是紧密耦合的,计算资源和存储资源按某一比例强绑定,因此用户在扩容时,必须同时扩 容计算资源和存储资源,在扩缩容、运维、迁移上都存在一定的挑战。当企业遇到负载高峰时刻或需要紧急得到某个 报表结果时,传统数据仓库无法及时扩资源,导致大数据系统无法弹性、快速地分析业务数据,错失了充分挖掘数据 价值所带来的商业机会。 传 传 统 数 据 仓 库 架 构 成 本 高 昂 传统数据仓库价格高昂的软硬件、开发运维人员的高昂薪资需要企业进行巨大的前期投入。传统数据仓库客户的生产 环境资源利用率,无论是存储或是计算资源往往都不尽人意。随着存储和工作负载需求的日益增长,面临数据库的扩 容和升级时,由于传统数据仓库架构存储和计算的紧密耦合,往往需要企业花费巨大的运维和时间成本,且操作繁 琐。 木 桶 效 应 传统0 码力 | 17 页 | 2.02 MB | 1 年前3
PieCloudDB Database 产品白皮书 化转型面临巨大挑战,急需一款数据库产品,帮助其最大化利用数据资产,降本增效,进行更智能高效的数据计算。 数据库的未来在云上 随着云计算时代的到来,不仅使得计算成本极大地降低,也提供了无限丰富的计算资源,释放出数据计算产生智能的 更多机会。早在2019年,Gartner便做出预测: 数据库市场的未来在云上 作。在2022年首次发布的《数据库中国市场 指南》 (Market Guide for DBMS,China) ,节省了海量数据的处理时间。 传统数据仓库架构 然而,随着数据量的不断尝升,企业对数据仓库的要求也越来越高,在使用过程中,传统 MPP 数据库解决方案迎来 了一系列的瓶颈: 传统数据仓库的计算和存情是| 容计算资源和存储资源,在扩缩容、运维、迁移上都存在一, 报表结! 传统数据仓库无法及时扩 导致大数据系统天 价值所带来的商业机会 用户在扩 必须同时扩 企业遇到负 时刻或需要紧急得到某个 法弹 PiecloudDB 基于eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 传统数据仓库价格高昂的软硬件、开发运维人员的高晶薪资需要企业进行巨大的前期投入。传统数据仓库客户的生产 环境资源利用率,无论是存储或是计算资源往往都不尽人意。随着存储和工作负载需求的日益增长,面临数据库的扩 容和升级时,由于传统数据仓库架构存储和计算的紧密耦合,往往需要企业花费巨大的运维和时间成本,且操作繁 琐。 木桶效应0 码力 | 17 页 | 2.68 MB | 1 年前3
πDataCS赋能工业软件创新与实践等流批⼀体处理、LLM的向量数据库以及GIS地理数据库等。 1 2 3 ⼤模型数据计算系统,以云原⽣技术重构数据存储和计算,⼀份数据,多引擎数据计算,AI数学模型、数据和 计算三者互为增强,全面升级⼤数据系统⾄⼤模型时代 ,赋能⾏业AI场景应用。 具备整体数据平台⽅案,支持多模数据处理(结构化、半结构化 以及非结构化数据),实现数据共享和分析。 软件优化 + 新硬件(FPGA)加速,实现数据全链路的性能飞跃, 让数据存储、SQL查询、向量计算以及机器学习等能⼒全面升级。 @2024 OpenPie. All rights reserved. OpenPie Confidential • 全新云原⽣架构「⼀份数据,多引擎计算」 弹 性 扩 缩 容 , 打 破 数 据 孤 岛 • 全 面 支 持 H T A P 湖 仓 ⼀ 体 和 向 量 计 算 • 原 ⽣ 支 持 数 据 治 理 , 三 权 分 离 • 支 πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (⼤模型)机器学习 向量数据计算 ⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经⽹络) 私有云 Mundo元数据管理系统 统⼀Catalog @2024 OpenPie0 码力 | 36 页 | 4.25 MB | 1 年前3
PieCloudDB:基于PostgreSQL的eMPP云原生数据库耦计算 池化资源,按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用,运维等工作交给IaaS/SaaS厂商 @2022 OpenPie. All rights reserved. OpenPie Confidential 上云 ≠ 云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 @2022 成本高昂 集群固定,资源利用率低 木桶效应 扩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 传统分布式MPP架构痛点 @2022 OpenPie. All rights reserved. OpenPie Confidential 一个云原生实时大数据平台 平台底层:eMPP 云原生分布式SQL数据库 我们的目标:支持多模,serverless的实时大数据平台 重要特点 eMPP 完备的事务支持 完善的SQL标准支持 Postgres生态支持 安全 友好的用户接口(WebSql, ODBC/JDBC driver等). 云原生 • 弹性计算资源(横向和纵向)、极速调整 • 共享用户数据(典型如廉价对象存储) • 共享元数据 • MPP架构:分布式,海量数据并行处理 @2022 OpenPie. All rights reserved0 码力 | 45 页 | 1.32 MB | 1 年前3
云时代下多数据计算引擎的设计与实现Discoveries”「数据计算,只为新发现」 为使命. • 核心团队来自于各大厂名校,有丰富的数据库(Greenplum,DB2,ClickHouse等)研发 和产业经验. • 产品 πDataCS:多计算引擎,包括自研分布式数据库PieCloudDB,自研分布式向量数据库 等. • PieCloudDB 存储底座是各计算引擎的载体. • 已落地或者正在落地:IoT、金融、新能源、医疗等行业. @2024 OpenPie. All rights reserved. OpenPie Confidential 云时代 数据计算 多数据模态支持 广泛的生态支持 “一份数据,多引擎计算”的述求 让数据流动起来 @2024 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB 简介 一款云原生分布式 分析型数据库 OpenPie Confidential JANM: 大数据计算系 统云存储底座 @2024 OpenPie. All rights reserved. OpenPie Confidential 多计算引擎 内置计算引擎 Postgres执行器 全新的向量化执行引 擎 向量数据库 单机和分布式 Spark 客户依赖 跑批任务 机器学习 …… ... 按需增加 @20240 码力 | 15 页 | 3.09 MB | 1 年前3
云原生数据库 PieCloudDB eMPP架构设计与实现传统分布式MPP架构痛点 缺乏弹性 业务使用不灵活 成本高昂 集群固定,资源利用率低 木桶效应 扩缩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 我们需要一个云原生数据库 云解决了什么? 借助于云上分布式存储,解耦存储 借助于虚拟化技术和之上的IaaS,解耦计算 池化资源,按需使用 基础软件尤其是数据库软件上云已是大势所趋 用户专注于使用,其他事情交给IaaS/SaaS厂商 用户专注于使用,其他事情交给IaaS/SaaS厂商 上云 ≠ 云原生 计算&存储 弹性 智能化云原生平 台 多租户隔离 • 存储资源和计算资源:分离和隔离 • 资源伸缩快速简单 • 计算、存储:按需付费 • 智能管理,复杂交给*aaS厂商 PieCloudDB 重要特点 eMPP ACID; 完备的事务支持 (隔离级别:RR, RC) 完善的SQL标准支持 安全可靠 友好的用户接口(websql 友好的用户接口(websql, ODBC/JDBC driver等). 云原生 云中立 • 弹性计算资源(横向纵向)、极速调整 • 多集群是另外一个弹性的维度 • 共享用户数据(如按需付费的对象存储) • 共享元数据 • MPP架构:分布式,海量数据并行处理 • e代表弹性(elastic) 完善的Postgres生态 为什么选择Postgres? • 关于Postgres • 公司中⽴,0 码力 | 31 页 | 1.43 MB | 1 年前3
云原生数据库 PieCloudDB : Unbreakable 安全特性剖析云原生安全 • 传输层加密 • 缓存数据加密 • 存储安全 • 元数据持久化存储 • 用户数据多副本加密储存 • 计算安全 • 集群失效不影响用户数据 • ACID保证 三大区域 • 云原生安全 • 传输层加密 • 缓存数据加密 • 存储安全 • 元数据持久化存储 • 用户数据多副本加密储存 • 计算安全 • 集群失效不影响用户数据 • ACID保证 透明加密 透明加密的定义 次级密钥均在持久化存储中 • 页级密钥与数据共存 主密钥 用户创建 用户信任域 主密钥 租户密钥 用户创建 租户创建 用户信任域 持久化存储区域 主密钥 租户密钥 表密钥 用户创建 租户创建 表创建 用户信任域 持久化存储区域 主密钥 租户密钥 表密钥 页密钥 用户创建 租户创建 表创建 数据写入 用户信任域 持久化存储区域 数据存储区域 透明加密实现细节 加密算法库 租户密钥生成 主密钥 用户信任域 租户创建请求 租户密钥生成 主密钥 用户信任域 密钥生成 租户创建请求 加密 租户密钥生成 持久化存储区域 主密钥 用户信任域 密钥生成 租户创建请求 加密 存储 次级密钥生成 对应存储区域 密钥生成 查询请求 加密 存储 密钥储存区 上级密钥 租户密钥读取 持久化存储区域 用户信任域 解密 主密钥 租户密钥读取0 码力 | 34 页 | 599.00 KB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCS驱动企业实现从"软件公司"到"数据公司"再到"数学公司"的持续进阶。 拓数派旗下大模型数据计算系统(PieDataComputing System,缩写πDataCS),以云原生技术 重构数据存储和计算,一份存储,多引擎数据计算,全面升级大数据系统至大模型时代,使得自主可 控的大模型数据计算系统保持全球领先,成为AI的基础科技底座的同时,开启AI技术的新范式。 πDataCS旨在助力企业优化计算瓶颈、充分利用 80 4 1 125 5 2 180 6 2 数 据 计 算 , 只 为 新 发 现 (Data Computing for New Discoveries) • 全新云原生架构「一份数据,多引擎计算」 弹 性 扩 缩 容 , 打 破 数 据 孤 岛 • 全 面 支 持 H T A P 湖 仓 一 体 和 向 量 计 算 • 原 生 支 持 数 据 治 理 , 三 权 πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (大模型)机器学习 向量数据计算 大模型训练… 自 研 简 墨 存 储 … 统一数据格式 | 一份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经网络) 私有云 Mundo元数据管理系统 统一Catalog 是一个存储系统+计算框架0 码力 | 29 页 | 7.46 MB | 1 年前3
共 16 条
- 1
- 2













