兼容龙蜥的云原生大模型数据计算系统:πDataCSfoQ报道) • 归国前就职于美国Oracle公司数据库服务器技术部门,是Oracle Cloud Control的分布式调动引擎的 主要贡献者之一。 • 因为参与Pivotal的拆分创建、C轮融资和IPO成功,以及主导的Greenplum产品在全球范围的开源影 响力,被《数字商业周刊》选为2019年度封面人物。(《数商周刊》报道) 拓数派创始人、董事长兼首席执行官 • 冯雷带领团队 Guo) 合 伙 人 & C T O • 中国科技大学少年班 • 18年+底层基础软件领域开发经验 • 原Greenplum/HAWQ首席内核架构师 陆公瑜(Brian Lu) 合 伙 人 & C O O • 英国约克大学 • 15年+产品生态建设和运营管理经验 • 原Greenplum中国社区发起人 冯 雷(Ray Von) 创 始 人 & C E O • 浙江物理奥赛银牌 in One),提供3种计算引擎、1种 Lakehouse引擎,1个硬件加速器,应对各种场景的计算,同时也兼容Spark、 Flink等计算任务,保留用户的使用习惯。 生态完善,支持主流的开发语言和数据科学工具,支持多模数据处理(结构化、 半结构化以及非结构化),提供标准的SQL接口和API,完成各种复杂场景的数据 处理,业务开发周期短,现存的代码基本可以无缝迁移和复用。 国内自主研发0 码力 | 29 页 | 7.46 MB | 1 年前3
PieCloudDB Database 产品白皮书 ,云原生时代应运而生。云原生 时代,越来越多的企业将应用向云上迁移,而越来越多的数据也流向云上。公有云带来了众多优势: 时可以申请/释放的计算资源 霹 无限的计算资源 亿-曾 无限的存信池 C 二 低价的对象存储 Openpie | PiecloudDB 基于eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 些优势使云原生数据库得以降低计算成本,提供无限丰富的计算资源,实现分钟级的伸缩性和真正的高可用,释放 持其中的OLAP 特性) ,支持窗口函数等高阶表达式。此外, PieCloudDB 容 PostgreSQL 协议,支持标准数据库接 口 (0DBC、JDBC等) 。 对5QL的全面支持和多种过程语言 (Procedure Language) 的支持使得 PieCloudDB 可以无锋集成业内常见的提取/ 转换/加载 (ETL) 和 Bl (商业智能) 工具。企业只需安排少量的集成工作,就可以使用现有的使用标准 模块,让用户可以访问 HDFS、MySQL 、Oracle等外部数据。PieCloudDB 支持JS5ON,XML,Parquet以及 二进制数据等格式,同时,PieCloudDB 既支持用户利用过程语言自行开发模块进行数据分析也原生兼容开源机器学 习库Apache MADlib,从而可以原生实现一些高级机器学习功能。该拓展提供数学、统计学以及机器学习方法,包括 但不限于线性回归、关联规则、贝叶斯分类、决策树和随机森林等算法支持。同时0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓 PieCloudDB 的架构和关键模块实现以关系型数据库为基础的数据仓库很难适应云环境 @2022 OpenPie. All rights reserved. OpenPie Confidential 计算引擎方面 • 完备的SQL语言支持 • 高效的分布式计算能力 • 完备的事务支持,隔离性 一致性 原 子性 公有云特性方面 • 存算分离 • 弹性的计算集群 • 只为必要的计算付费 @2022 OpenPie. All @2022 OpenPie. All rights reserved. OpenPie Confidential select * from t1 left join t2 on t1.a = t2.c and t2.d > 9 and t1.b > 0 inner join t3 where t2.d < 100 and t1.a = t3.e and t3.f < 5; @2022 OpenPie SQL: select * from t1, t2 where t1.a = t2.c; Time travel 到时间点 select * from t1 at ‘2023-03-20 10:30:33’, t2 at ‘2023-03-19 11:32:23’ where t1.a = t2.c; Time travel 到某个时间段之前 select * from t1 before0 码力 | 43 页 | 1.14 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书持其中的OLAP 特性),支持窗口函数等高阶表达式。此外, PieCloudDB 兼容 PostgreSQL 协议,支持标准数据库接 口(ODBC、JDBC 等)。 对SQL的全面支持和多种过程语言(Procedure Language)的支持使得 PieCloudDB 可以无缝集成业内常见的提取/ 转换/加载(ETL)和 BI(商业智能)工具。企业只需安排少量的集成工作,就可以使用现有的使用标准 (FDW)模块,让用户可以访问 HDFS、MySQL 、Oracle等外部数据。PieCloudDB 支持 JSON,XML, Parquet以及 二进制数据等格式,同时,PieCloudDB 既支持用户利用过程语言自行开发模块进行数据分析也原生兼容开源机器学 习库 Apache MADlib,从而可以原生实现一些高级机器学习功能。该拓展提供数学、统计学以及机器学习方法,包括 但不限于线性回归、关联规则、贝0 码力 | 17 页 | 2.02 MB | 1 年前3
PostgreSQL 查询优化器解析Confidential SELECT * FROM foo WHERE EXISTS (SELECT 1 FROM bar WHERE foo.a = bar.c); => SELECT * FROM foo SEMI JOIN bar ON foo.a = bar.c; Convert IN, EXISTS Sub-selects to Semi-joins @2024 OpenPie. All rights Confidential SELECT * FROM foo JOIN (SELECT bar.c FROM bar JOIN baz ON TRUE) AS sub ON foo.a = sub.c; => SELECT * FROM foo JOIN (bar JOIN baz ON TRUE) ON foo.a = bar.c; Flatten Sub-selects If Possible @2024 higher qual levels SELECT * FROM foo LEFT JOIN bar ON foo.a = bar.c WHERE bar.c IS NULL; => SELECT * FROM foo ANTI JOIN bar on foo.a = bar.c; Reduce Outer Joins to Anti Joins @2024 OpenPie. All rights0 码力 | 37 页 | 851.23 KB | 1 年前3
云原生数据库PieCloudDB 性能优化之路FROM bar WHERE foo.a = bar.c); => SELECT … FROM foo *SEMI JOIN* bar ON foo.a = bar.c; SELECT * FROM foo JOIN (SELECT bar.c FROM bar JOIN baz ON TRUE) AS sub ON foo.a = sub.c; => SELECT * FROM foo foo JOIN (bar JOIN baz ON TRUE) ON foo.a = bar.c; SELECT ... FROM foo LEFT JOIN bar ON (...) WHERE bar.d = 42; => SELECT ... FROM foo INNER JOIN bar ON (...) WHERE bar.d = 42; 外连接的上层有严格的约束条件,且该约束条件限定了来自 的某一变量为非 NULL 值 SELECT * FROM foo LEFT JOIN bar ON foo.a = bar.c WHERE bar.c IS NULL; => SELECT * FROM foo *ANTI JOIN* bar on foo.a = bar.c; 外连接本身有严格的连接条件,且该连接条件引用了来自 nullable side 的某一变量,且该变量被上 层的约束条件限定为0 码力 | 26 页 | 711.44 KB | 1 年前3
PieCloudDB云原生数仓虚拟化之路大量数据孤岛问题 计算层 存储层 MPP: Massive Parallel Processing eMPP : elastic Massive Parallel Processing 传 统 P C 时 代 数 据 库 PieCloudDB云原生时代数据库 突 破 创 新 eMPP分布式专利技术加持 PieCloudDB为企业构建「坚如磐石」的云原生虚拟数仓 @2022 OpenPie. All 虚拟机⾼在线 服 务 器 虚 拟 化 数 仓 虚 拟 化 @2022 OpenPie. All rights reserved. OpenPie Confidential P i e C l o u d D B 产 品 版 本 和 部 署 方 式 一体机 企业版/社区版 云上云版 ü 领先的数仓虚拟化技术 ü 云原⽣Serverless架构 ü 第三⽅计费模式 ü 持续产品升级,体验产品最新特性 硬 件 企 业 版 社 区 版 云 上 云 版 一 体 机 @2022 OpenPie. All rights reserved. OpenPie Confidential P i e C l o u d D B 新 一 代 云 原 生 虚 拟 数 仓 核 心 价 值 多个数仓归并⾄云虚拟数仓,打破传统数仓场景下 数据孤岛,解决数据多副本问题,帮助企业降低数 仓管理复杂度,以更低的成本实现存算资源在云上0 码力 | 44 页 | 1.64 MB | 1 年前3
PieCloudDB Database 云原生平台用户手册社区版V2.1�����������������������������������������删 csv �������� ��������������������������� Control�Command�+ c ���� ����� 26 6. ���� -- ���� ����� PieCloudDB��������������������������������� "����",c."��","����","��","��","��","��" from "������"."����_2020_2023" as a left join "������"."������" as b on a."����" = b."����" left join "����"."����_2020_2023" as c on a."����" = c."����" order by a."����" desc ); -- ��������� create view "������"."��������_2020_2023" as ( select "����",a."����", a."����", "����", "����", "��", "��", "��", "��0 码力 | 69 页 | 4.35 MB | 1 年前3
PieCloudDB:基于PostgreSQL的eMPP云原生数据库@2022 OpenPie. All rights reserved. OpenPie Confidential !"#$%&'()*+,-./01234567489:;1<=>=? @AB3C>75D?EAF?G4H?<7IJAK4F74I8L$MNO:PQR(STQUV: WXYZ[[\]^_`ab:cWdefghijklmnopqmr struvw&xyz{bZ|}~•€•‚ƒ„ 引擎 存储服务 透明数据加密 @2022 OpenPie. All rights reserved. OpenPie Confidential D a t a C o m p u t i n g f o r N e w D i s c o v e r i e s 数 据 计 算 , 只 为 新 发 现 01 元数据管理 @2022 OpenPie. All rights reserved. 实现新的基于key-value的存储来存放系统表 @2022 OpenPie. All rights reserved. OpenPie Confidential D a t a C o m p u t i n g f o r N e w D i s c o v e r i e s 数 据 计 算 , 只 为 新 发 现 02 分布式引擎 @2022 OpenPie. All rights reserved.0 码力 | 45 页 | 1.32 MB | 1 年前3
πDataCS赋能工业软件创新与实践原 Greenplum产品及社区核⼼成员 均已加⼊拓数派。成员毕业自 CMU、北⼤、清华和科⼤少年班 等顶级学术机构,并有成员获有 奥赛奖牌。 郭罡(Paul Guo) 合 伙 ⼈ & C T O • 中国科技⼤学少年班 • 18年+底层基础软件领域开发经验 • 原Greenplum首席内核架构师 • Apache HAWQ PMC成员 陆公瑜(Brian Lu) 合伙⼈&COO 合伙⼈&COO • 英国约克⼤学 • 15年+产品⽣态建设和运营管理经验 • 原Greenplum中国社区发起⼈ • Greenplum社区从0到万 冯 雷(Ray Von) 创 始 ⼈ & C E O • 浙江物理奥赛银牌得主 • 北京⼤学物理经济学双学位 • 卡内基梅隆⼤学(CMU)硕⼠学位,校友会主席 • 原Pivotal/Greenplum(中国)创始⼈ @2024 OpenPie @2024 OpenPie. All rights reserved. OpenPie Confidential PieCloudVector与LLM在私域知识库领域的应用实践路径 π D a t a C S 优 势 2 : 全 面 支 持 ⼤ 语 ⾔ 基 础 模 型 和 私 域 数 据 结 合 做 垂 直 应 用 @2024 OpenPie. All rights reserved. OpenPie0 码力 | 36 页 | 4.25 MB | 1 年前3
共 16 条
- 1
- 2













