PieCloudDB Database 产品白皮书 基灿异并行计算) 的云原生虚拟数仓 产品白皮书 ENRANSGenpPie.com 20230penPieAIIRight Reserved, Openpie | PiecloudDB 基于eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 行业背景 数据量的爆发式增长 数据库的未来在云上 传统数仓的痛点 云时代的数据处理要求 piecloudDB,云原生虚拟数仓 PieCloudDB 产品概述 PieCloudDB 产品核心技术 PieCloudDB8 产品优势 关于OpenpPie 附录: 术语表 11 13 15 16 openpie | PiecloudDB 基于 eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 百岗 行业背景 石油是工业的血液,数据是数字经济的“石油”,数据分析则是石油精炼。 随着信息技术的发展,互联网应用的加速普及,人类进入了数字经济时代。进入二十一世纪以后,随着移动互联网技 一趋势靠拢。2020 年数据显示,云数据库已占据整体数据库市场份额的40%,2022年云数据库营收数据将占据数据 库整体市场的半数以上。 OpenpPie | PiecloudDB 基于eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 SN 中 Market Guide for DBMS, China0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书PieCloudDB Database 基于 eMPP (弹性大规模并行计算)的云原生虚拟数仓 产品白皮书 www.OpenPie.com ©2023 OpenPie All Right Reserved . 行业背景 数据量的爆发式增长 数据库的未来在云上 传统数仓的痛点 云时代的数据处理要求 PieCloudDB,云原生虚拟数仓 很多受欢迎的数据库仓库均为分布式数据库,而典型的传统分布式数据库系统大多是 MPP(大规模并行计算)架构。 MPP 架构的数据库以 PC 服务器为单位,通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录, MPP 数据库会尝试在每台 PC 服务器的硬盘上分布1亿条记录。数据计算时,所有机器同时并行计算,理论上最高可以 把计算时间降低到单机部署的 1/n(n为机器数量),节省了海量数据的处理时间。 传统数据仓 对于传统 MPP 数仓,企业往往会需要配备运维人力,且对运维、开发人员要求高,需要相关人员掌握复杂的技术 栈,技术的更新迭代迅速,相关人员需保持积极的知识更新意识。相关人才市场较小,人才匮乏。高昂的学习成本造 成用户使用过程中性能差、故障率高、故障修复时间长等问题。 5 云时代的数据处理要求 随着数据量和计算能力的爆发式增长,云计算技术的迅猛发展,云原生架构愈受欢迎,云原生时代应运而生。云原生0 码力 | 17 页 | 2.02 MB | 1 年前3
PieCloudDB 的云原生之路效的查询计划,达奇优化器支持聚集下推,预计算,Block Skipping 等高级特性,全面满足各种复杂的分析查询需求。 IvorySQL开源数据库社区 文本 时间序列分析 机器学习 数据转换 深度学习 传统BI 地理信息 PieCloudDB 设计原则:100%符合DB标准 100%兼容DW生态体系 Ø 关系型数学 Ø 完整的 SQL 标准 Ø ACID 事务 IvorySQL开源数据库社区 PieCloudDB 核心技术优势 ü 以云计算架构为设计基础 实现云上存算分离 · eMPP:elastic Massive Parallel Processing 弹性大规模并行计算 ü 首创 eMPP 分布式技术实现云上弹性大规模并行计算 存算分离 云上计算资源可弹性 分配,有查询计算任 务的时候按需启动, 按照使用时间和规模 计算成本。 弹性计算 企业可灵活进行扩缩容,随 着负载的变化实现高效的伸0 码力 | 47 页 | 1.80 MB | 1 年前3
PieCloudDB云原生数仓虚拟化之路Skipping等高级特性,全面满足各种复杂的分析查询需求。 @2022 OpenPie. All rights reserved. OpenPie Confidential 文本 时间序列分析 机器学习 数据转换 深度学习 传统BI 地理信息 P i e C l o u d D B 设 计 原 则 : 1 0 0 % 符 合 D B 标 准 100%兼容DW生态体系 Ø 关系型数学 Ø 完整的SQL 以云计算架构为设计基础 实现云上存算分离 · eMPP:elastic Massive Parallel Processing 弹 性 大 规 模 并 行 计 算 ü 首创eMPP分布式技术实现云上弹性大规模并行计算 存算分离 云上计算资源可弹性 分配,有查询计算任 务的时候按需启动, 按照使用时间和规模 计算成本。 弹性计算 企业可灵活进行扩缩容,随 着负载的变化实现高效的伸 缩,轻松应对PB级海量数据。0 码力 | 44 页 | 1.64 MB | 1 年前3
πDataCS赋能工业软件创新与实践具备整体数据平台⽅案,支持多模数据处理(结构化、半结构化 以及非结构化数据),实现数据共享和分析。 软件优化 + 新硬件(FPGA)加速,实现数据全链路的性能飞跃, 让数据存储、SQL查询、向量计算以及机器学习等能⼒全面升级。 @2024 OpenPie. All rights reserved. OpenPie Confidential • 全新云原⽣架构「⼀份数据,多引擎计算」 弹 性 扩 缩 据 结 合 开 发 垂 直 应 用 • CMU战略合作⼤模型基础理论,训练合作⼀事⼀议 πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (⼤模型)机器学习 向量数据计算 ⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经⽹络) 和复用。 国内自主研发,具备社区版、商业版以及云SaaS服务,与国产软硬件完美兼容, 属于信创产业。支持公有云,可充分利用云资源的弹性能⼒。组件少,提供可 视化管理平台,运维管理简单,通过短暂学习即可掌握,⽆论是原厂商还是⽣ 态合作伙伴都可以直接提供技术服务,7 * 24的安⼼保障。 @2024 OpenPie. All rights reserved. OpenPie Confidential0 码力 | 36 页 | 4.25 MB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCS结 合 开 发 垂 直 应 用 • CMU战略合作大模型基础理论,训练合作一事一议 πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (大模型)机器学习 向量数据计算 大模型训练… 自 研 简 墨 存 储 … 统一数据格式 | 一份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经网络) 和复用。 国内自主研发,具备社区版、商业版以及云SaaS服务,与国产软硬件完美兼容, 属于信创产业。支持公有云,可充分利用云资源的弹性能力。组件少,提供可视 化管理平台,运维管理简单,通过短暂学习即可掌握,无论是原厂商还是生态合 作伙伴都可以直接提供技术服务,7 * 24的安心保障。 πDataCS 优势1 :全面升级Hadoop大数据和Greenplum数仓至云原生数据平台 PieC 有限的查询语言能力、可编程性和可扩展性 • 有限的工具集成 • 较差的数据完整性和可用性 打破专用向量数据库的局限性 • 统一的数据平台,在动态扩缩容过程中无需移动 数据,充分保障数据的一致性 • 使用简单,学习成本低,无需额外投入 • 既满足了向量存储和向量搜索的需求,又升级实 现了云上分布式向量化计算的技术突破 • 支持多种向量搜索算法,为不同的业务场景提供 更灵活高效的解决方案 突破传统数据库的技术瓶颈0 码力 | 29 页 | 7.46 MB | 1 年前3
云时代下多数据计算引擎的设计与实现OpenPie Confidential 多计算引擎 内置计算引擎 Postgres执行器 全新的向量化执行引 擎 向量数据库 单机和分布式 Spark 客户依赖 跑批任务 机器学习 …… ... 按需增加 @2024 OpenPie. All rights reserved. OpenPie Confidential 产品子功能 太多分支? • 抽象的⽂件协议接⼝0 码力 | 15 页 | 3.09 MB | 1 年前3
如何从零开始参与技术社区?技 术 u 中国唯⼀全自研Table Format技术 ⼤模型数据计算系统技术突破 πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (⼤模型) 机器学习 向量数据计算 ⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经⽹络)0 码力 | 25 页 | 871.00 KB | 1 年前3
PieCloudDB:基于PostgreSQL的eMPP云原生数据库PieCloudDB 核心技术优势 ü 以云计算架构为设计基础 实现云上存算分离 · eMPP:elastic Massive Parallel Processing 弹性大规模并行计算 ü 首创eMPP分布式技术实现云上弹性大规模并行计算 ¶OŠ· !"#$%&'() *+,-./#$0 12345678, 59:;3<=>? #$@AB ¸¹NO CD'EFGHIJK,L MNO2PQRSTU2V0 码力 | 45 页 | 1.32 MB | 1 年前3
大模型时代下向量数据库的设计与应用GraphRAG 欢迎关注我们! 麦思博(msup)有限公司是一家面向技术型企业的培训咨询机构,携手2000余位 中外客座导师,服务于技术团队的能力提升、软件工程效能和产品创新迭代, 超过3000余家企业续约学习,是科技领域占有率第1的客座导师品牌,msup以 整合全球领先经验实践为己任,为中国产业快速发展提供智库。 高可用架构主要关注互联网架构及高可用、可扩展及高性能领域的知识传播。 订阅用户覆盖主0 码力 | 28 页 | 1.69 MB | 1 年前3
共 11 条
- 1
- 2













