PieCloudDB云原生数仓虚拟化之路
器 虚 拟 化 数 仓 虚 拟 化 @2022 OpenPie. All rights reserved. OpenPie Confidential P i e C l o u d D B 产 品 版 本 和 部 署 方 式 一体机 企业版/社区版 云上云版 ü 领先的数仓虚拟化技术 ü 云原⽣Serverless架构 ü 第三⽅计费模式 ü 持续产品升级,体验产品最新特性 版 社 区 版 云 上 云 版 一 体 机 @2022 OpenPie. All rights reserved. OpenPie Confidential P i e C l o u d D B 新 一 代 云 原 生 虚 拟 数 仓 核 心 价 值 多个数仓归并⾄云虚拟数仓,打破传统数仓场景下 数据孤岛,解决数据多副本问题,帮助企业降低数 仓管理复杂度,以更低的成本实现存算资源在云上 reserved. OpenPie Confidential 文本 时间序列分析 机器学习 数据转换 深度学习 传统BI 地理信息 P i e C l o u d D B 设 计 原 则 : 1 0 0 % 符 合 D B 标 准 100%兼容DW生态体系 Ø 关系型数学 Ø 完整的SQL 标准 Ø ACID 事务 @2022 OpenPie. All rights reserved0 码力 | 44 页 | 1.64 MB | 1 年前3PieCloudDB:基于PostgreSQL的eMPP云原生数据库
@2022 OpenPie. All rights reserved. OpenPie Confidential !"#$%&'()*+,-./01234567489:;1<=>=? @AB3C>75D?EAF?G4H?<7IJAK4F74I8L$MNO:PQR(STQUV: WXYZ[[\]^_`ab:cWdefghijklmnopqmr struvw&xyz{bZ|}~•€•‚ƒ„ …†‡ eMPP分布式 引擎 存储服务 透明数据加密 @2022 OpenPie. All rights reserved. OpenPie Confidential D a t a C o m p u t i n g f o r N e w D i s c o v e r i e s 数 据 计 算 , 只 为 新 发 现 01 元数据管理 @2022 OpenPie. All rights reserved 实现新的基于key-value的存储来存放系统表 @2022 OpenPie. All rights reserved. OpenPie Confidential D a t a C o m p u t i n g f o r N e w D i s c o v e r i e s 数 据 计 算 , 只 为 新 发 现 02 分布式引擎 @2022 OpenPie. All rights reserved0 码力 | 45 页 | 1.32 MB | 1 年前3πDataCS赋能工业软件创新与实践
24的安⼼保障。 @2024 OpenPie. All rights reserved. OpenPie Confidential PieCloudVector与LLM在私域知识库领域的应用实践路径 π D a t a C S 优 势 2 : 全 面 支 持 ⼤ 语 ⾔ 基 础 模 型 和 私 域 数 据 结 合 做 垂 直 应 用 @2024 OpenPie. All rights reserved 按需弹性开启/关闭虚拟数仓,灵活配置存算节点 ü 打破数据孤岛,消除数据多副本 @2024 OpenPie. All rights reserved. OpenPie Confidential P i e C l o u d D B 云 原 ⽣ 虚 拟 数 仓 核 ⼼ 价 值 物理数仓整合到云原⽣数据计算平台,根据数据授 权动态创建虚拟数仓,打破数据孤岛,解决数据多 副本问题,帮助企业降低数仓管理复杂度,以更低 的成本实现存算资源在云上更灵活的配置。 核 ⼼ 技 术 出 ⾊ 的 数 仓 成 本 效 益 @2024 OpenPie. All rights reserved. OpenPie Confidential P i e C l o u d D B 技 术 突 破 : 数 仓 虚 拟 化 云原⽣存算分离架构 运用元数据-计算-数据分离的三层架构,实现云上存储资源与 计算资源的独立管理。云上计算资源可弹性分配,有查询计 算任务的时候按需启动,按照使用时间和规模计算成本。0 码力 | 36 页 | 4.25 MB | 1 年前3云原生虚拟数仓 PieCloudDB 的架构和关键模块实现
reserved. OpenPie Confidential select * from t1 left join t2 on t1.a = t2.c and t2.d > 9 and t1.b > 0 inner join t3 where t2.d < 100 and t1.a = t3.e and t3.f < 5; @2022 OpenPie. All rights reserved. OpenPie 'A' UNION ALL --recursive term referring to "subdepartment" SELECT d.* FROM department AS d, subdepartment AS sd WHERE sd.id = d.parent_department ) SELECT * FROM subdepartment; @2022 OpenPie. All0 码力 | 43 页 | 1.14 MB | 1 年前3云原生数据库PieCloudDB 性能优化之路
a = bar.c; SELECT ... FROM foo LEFT JOIN bar ON (...) WHERE bar.d = 42; => SELECT ... FROM foo INNER JOIN bar ON (...) WHERE bar.d = 42; 外连接的上层有严格的约束条件,且该约束条件限定了来自 nullable side 的某一变量为非 NULL 值 SELECT (slice3; segments: 3) -> Partial HashAggregate Group Key: t2.b -> Seq Scan on t2 D a t a C o m p u t i n g f o r N e w D i s c o v e r i e s 数 据 计 算 , 只 为 新 发 现0 码力 | 26 页 | 711.44 KB | 1 年前3PieCloudDB 的云原生之路
虚拟数仓动态 spinoff/retire 对计算资源无感知 虚拟机高在线 服 务 器 虚 拟 化 数 仓 虚 拟 化 IvorySQL开源数据库社区 P i e C l o u d D B 版 本 和 部 署 方 式 一体机 企业版/社区版 云上云版 ü 领先的数仓虚拟化技术 ü 云原生 Serverless 架构 ü 第三方计费模式 ü 持续产品升级,体验产品最新特性 全面适配信创环境 公 有 云 私 有 云 裸 硬 件 企 业 版 社 区 版 云 上 云 版 一 体 机 IvorySQL开源数据库社区 P i e C l o u d D B 新 一 代 云 原 生 虚 拟 数 仓 核 心 价 值 多个数仓归并至云虚拟数仓,打破传统数仓场景下 数据孤岛,解决数据多副本问题,帮助企业降低数 仓管理复杂度,以更低的成本实现存算资源在云上0 码力 | 47 页 | 1.80 MB | 1 年前3云原生虚拟数仓 PieCloudDB ETL 方案设计与实现
r.a, r.b+r.c, func(r.d) … FROM (SELECT meta, raw FROM foreign_table LATERAL JOIN formatter(raw) AS r) sub; • INSERT 模式,步骤4 插入目标表 INSERT INTO table SELECT r.a, r.b+r.c, func(r.d) … FROM (SELECT meta • 数据可以重复,但不可以有事务逻辑错误 • Merge/Upsert 模式,步骤1 将数据解析完成,导入与目标表类型相同的临时表中 SELECT r.a, r.b+r.c, func(r.d) … FROM (SELECT meta, raw FROM foreign_table LATERAL JOIN formatter(raw) AS r) parsed; • Merge/Upsert0 码力 | 29 页 | 5.24 MB | 1 年前3云原生数据库 PieCloudDB : Unbreakable 安全特性剖析
Unbreakable 安全特性剖析 王 淏 舟 P i e C l o u d D B 资 深 技 术 专 家 O p e n P i e | 拓 数 派 打造立足于国内 基础数据计算领域的世界级高科技创新驱 动机构 !"#$%&'()*+,-./01234567489:;1<=>=? @AB3C>75D?EAF?G4H?<7IJAK4F74I8L$MNO:PQR(STQUV: WX0 码力 | 34 页 | 599.00 KB | 1 年前3PieCloudDB Database 云原生平台用户手册社区版V2.1
warehouse=���� ID' psql -h ���� -U ��� -p ��� -d ����� ����� david �����PSQL ������� export PGOPTIONS='-c warehouse=cl***********' psql -h 1**.***.*** -p 5432 -U david -d openpie �� Python psycopg2 ��0 码力 | 69 页 | 4.35 MB | 1 年前3PostgreSQL 查询优化器解析
be non-null SELECT ... FROM foo LEFT JOIN bar ON (...) WHERE bar.d = 42; => SELECT ... FROM foo INNER JOIN bar ON (...) WHERE bar.d = 42; Reduce Outer Joins to Inner Joins @2024 OpenPie. All rights0 码力 | 37 页 | 851.23 KB | 1 年前3
共 15 条
- 1
- 2