云原生虚拟数仓 PieCloudDB 的架构和关键模块实现rights reserved. OpenPie Confidential select * from t1 left join t2 on t1.a = t2.c and t2.d > 9 and t1.b > 0 inner join t3 where t2.d < 100 and t1.a = t3.e and t3.f < 5; @2022 OpenPie. All rights reserved avg(b.y) FROM a JOIN b ON a.i = b.j GROUP BY a.i; Gather Motion 3:1 (slice1; segments: 3) -> Finalize GroupAggregate Group Key: a.i -> Sort Sort Key: a.i -> Hash Join Hash Cond: (a.i = b.j) -> HashAggregate Group Key: b.j -> Seq Scan on b @2022 OpenPie. All rights reserved. OpenPie Confidential EXPLAIN (COSTS OFF) SELECT a.i, avg(b.y) FROM a JOIN b ON a.i = b.j GROUP BY a.i; Gather Motion0 码力 | 43 页 | 1.14 MB | 1 年前3
PieCloudDB云原生数仓虚拟化之路虚 拟 化 数 仓 虚 拟 化 @2022 OpenPie. All rights reserved. OpenPie Confidential P i e C l o u d D B 产 品 版 本 和 部 署 方 式 一体机 企业版/社区版 云上云版 ü 领先的数仓虚拟化技术 ü 云原⽣Serverless架构 ü 第三⽅计费模式 ü 持续产品升级,体验产品最新特性 o u d D B 新 一 代 云 原 生 虚 拟 数 仓 核 心 价 值 多个数仓归并⾄云虚拟数仓,打破传统数仓场景下 数据孤岛,解决数据多副本问题,帮助企业降低数 仓管理复杂度,以更低的成本实现存算资源在云上 更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密,服务 器⽆感知技术(Serverless)利⽤云上⽆限计算资源 和弹性保证了虚拟数仓永远在线可⽤,S3存储和跨 云灾备能⼒保证了永不丢数。 reserved. OpenPie Confidential 文本 时间序列分析 机器学习 数据转换 深度学习 传统BI 地理信息 P i e C l o u d D B 设 计 原 则 : 1 0 0 % 符 合 D B 标 准 100%兼容DW生态体系 Ø 关系型数学 Ø 完整的SQL 标准 Ø ACID 事务 @2022 OpenPie. All rights reserved0 码力 | 44 页 | 1.64 MB | 1 年前3
云原生数据库PieCloudDB 性能优化之路搜索整个连接顺序空间,为连接操作生成连接路径 • O(n!) • 动态规划 • 遗传算法 • 考虑外连接对连接顺序的限制 (A leftjoin B on (Pab)) innerjoin C on (Pbc) != A leftjoin (B innerjoin C on (Pbc)) on (Pab) • 处理GROUP BY、 聚集、窗口函数、DISTINCT • 处理集合操作 • 这些分布式的查询计划会被分为更小的单元,并被分发到不同的工作节点中并行执行 • 对于聚集操作,利用分布式的优势,在工作节点之间通过多阶段聚集来提升性能 # explain (costs off) select sum(b) from t group by a; QUERY PLAN ------------------------------------------------------------ Gather -> Partial HashAggregate Group Key: a -> Seq Scan on t # explain (costs off) select sum(distinct b) from t group by a; QUERY PLAN ------------------------------------------------------------------0 码力 | 26 页 | 711.44 KB | 1 年前3
PieCloudDB:基于PostgreSQL的eMPP云原生数据库lmnopqmr struvw&xyz{bZ|}~•€•‚ƒ„ …†‡ˆ‰Š‹Œ$M•674@ŽAC•<•:;‡NO‘’Q“Nk”:•x –R4—66Š˜™'š:›œ•jžXŸ ¡¢Z£`:¤S$M¥¦§ ¨©:ª{Rkž«¬-®¯u®°Z±²³‡$M•´µ„ 打造立足于国内 基础数据计算领域的世界级高科技创新驱动机构 CONTENTS @2022 OpenPie. All rights OpenPie. All rights reserved. OpenPie Confidential D a t a C o m p u t i n g f o r N e w D i s c o v e r i e s 数 据 计 算 , 只 为 新 发 现 01 元数据管理 @2022 OpenPie. All rights reserved. OpenPie Confidential 元数据管理的设计目标 OpenPie. All rights reserved. OpenPie Confidential D a t a C o m p u t i n g f o r N e w D i s c o v e r i e s 数 据 计 算 , 只 为 新 发 现 02 分布式引擎 @2022 OpenPie. All rights reserved. OpenPie Confidential 计算0 码力 | 45 页 | 1.32 MB | 1 年前3
PostgreSQL 查询优化器解析world-class high-tech innovation- driven institution in the field of data computing • PieCloudDB, OpenPie’s flagship product, is a cutting- edge cloud-native data warehouse. It delivers elastic, highly available Joins to Inner Joins @2024 OpenPie. All rights reserved. OpenPie Confidential • If the outer join's own quals are strict for any nullable Var that was forced null by higher qual levels SELECT * FROM joins that may null some Vars in the clause are considered to be used in the clause. • An outer join's own JOIN/ON quals mentioning nonnullable side rels cannot be pushed down below that outer join. Distribute0 码力 | 37 页 | 851.23 KB | 1 年前3
πDataCS赋能工业软件创新与实践OpenPie. All rights reserved. OpenPie Confidential PieCloudVector与LLM在私域知识库领域的应用实践路径 π D a t a C S 优 势 2 : 全 面 支 持 ⼤ 语 ⾔ 基 础 模 型 和 私 域 数 据 结 合 做 垂 直 应 用 @2024 OpenPie. All rights reserved. OpenPie Confidential 数 据 S3 /HDFS/NAS Data Table Data Table Data Table Executor Executor Executor Executor Executor 虚拟数仓 3 计算节点无状态 Serverless ... ... Coordinator X + Y + Z+ +N 财务部门 投资部门 存储节点统一进 S3/HDFS/NAS d D B 云 原 ⽣ 虚 拟 数 仓 核 ⼼ 价 值 物理数仓整合到云原⽣数据计算平台,根据数据授 权动态创建虚拟数仓,打破数据孤岛,解决数据多 副本问题,帮助企业降低数仓管理复杂度,以更低 的成本实现存算资源在云上更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密,服务 器⽆感知技术(Serverless)利用云上⽆限计算资源 和弹性保证了虚拟数仓永远在线可用,S3存储和跨0 码力 | 36 页 | 4.25 MB | 1 年前3
云原生数据库 PieCloudDB eMPP架构设计与实现2022/12/14-16 2OlO OynamoDB CirroD 叩i Hubble B . SinoOB Ste 云树Sh可d :.. G.IIX卢罩" abr ::::· … .• e …. pyH� un lytlcD r.p ur re 。 Rock.s 2014 2018 2022 云原⽣数据库 PieCloudDB eMPP架构设计与实现 聚集下推:1.0已经⽀持,在⼀些情况下可以⼗倍百倍更多倍提升 • SELECT a.i, SUM(a.j) FROM agg_pushdown_t a, agg_pushdown_t b WHERE a.i = b.i GROUP BY 1; • QUERY PLAN • --------------------------------------------------------------------------- Motion 3:3 (slice2; segments: 3) • Hash Key: a.i • -> Hash Join • Hash Cond: (b.i = a.i) • -> Seq Scan on agg_pushdown_t b • -> Hash • -> Broadcast Motion 3:3 (slice3; segments: 3) • -> Partial HashAggregate0 码力 | 31 页 | 1.43 MB | 1 年前3
PieCloudDB 的云原生之路spinoff/retire 对计算资源无感知 虚拟机高在线 服 务 器 虚 拟 化 数 仓 虚 拟 化 IvorySQL开源数据库社区 P i e C l o u d D B 版 本 和 部 署 方 式 一体机 企业版/社区版 云上云版 ü 领先的数仓虚拟化技术 ü 云原生 Serverless 架构 ü 第三方计费模式 ü 持续产品升级,体验产品最新特性 ü u d D B 新 一 代 云 原 生 虚 拟 数 仓 核 心 价 值 多个数仓归并至云虚拟数仓,打破传统数仓场景下 数据孤岛,解决数据多副本问题,帮助企业降低数 仓管理复杂度,以更低的成本实现存算资源在云上 更灵活的配置。 TDE 技术保证了所有数据在落盘前完成加密,服务 器无感知技术(Serverless)利用云上无限计算资 源和弹性保证了虚拟数仓永远在线可用,S3 存储和 虚拟数仓 2 ... 虚拟数仓 N Segment ... 销售部门 ... ... 存储节点统一进 S3/HDFS/NAS 元数据统一 映射管理 ü 数量级降低成本的时候数量级增加数据计算空间(私有部署更加敏感) 元数据 FoundationDB CataLog S3 /HDFS/NAS Data Table Data Table Data Table Segment0 码力 | 47 页 | 1.80 MB | 1 年前3
PieCloudDB Database 社区版集群安装部署手册 V2.1........................................................................... 4 2. PIECLOUDDB 和 K8S 一起部署方案 ............................................................................................ ................................................................................... 10 2.9 安装 K8S 集群 ................................................................................................ .............................................................................. 14 3. PDB 基于已有 K8S 的部署方案 .............................................................................................0 码力 | 42 页 | 1.58 MB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCS据 S3 /HDFS/NAS Data Table Data Table Data Table Executor Executor Executor Executor Executor 虚拟数仓 3 计算节点无状态 Serverless ... ... Coordinator X + Y + Z+ +N 财务部门 投资部门 存储节点统一进 S3/HDFS/NAS 问题,帮助企业降低数仓管理复杂度,以更低的成本 实现存算资源在云上更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密,服务器 无感知技术(Serverless)利用云上无限计算资源和 弹性保证了虚拟数仓永远在线可用,S3存储和跨云灾 备能力保证了永不丢数。 数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开无限数据计算空间,支 撑更大模型所需的数据和计算。更好地赋能业务发展并 走向绿色。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐石 | 高安全 高在线 高可靠 突 破 性 创 新 的 核 心 技 术 出 色 的 数 仓 成 本 效 益 P i e C l o u d D B 技 术 突 破 : 数 仓 虚 拟 化 云原生存算分离架构 运用元数据-计算-数据分离的三层架构,实现云上存储资源与 计算资源的独立管理。云上计算资源可弹性分配,有查询计算 任务的时候按需启动,按照使用时间和规模计算成本。0 码力 | 29 页 | 7.46 MB | 1 年前3
共 20 条
- 1
- 2













