云原生数据库 PieCloudDB eMPP架构设计与实现为什么选择Postgres? • 关于Postgres • 公司中⽴,开源协议友好,国际⼀流⼯程⽔准的先进开源数据库 • Postgres对存储扩展,插件扩展⽀持友好 • 天然⾃带⼀定的多模⽀持 (原⽣或者插件) • 采⽤度和流⾏度持续上升 • 优秀的⽣态 • 我们的选择 • 很多功能不⽤也没必要重新造轮⼦ • 和⼀流的产品和⼈才⼀起成⻓ • 团队深度理解Postgres内核代码,在社区参与诸多贡献 各种Postgres/Greenplum组件或者功能天然⽀持,如In- database AI组件Madlib, json, text等 • 实时ETL/ELT性能对⽐PieCloudDB 1.0有巨⼤提升 • 流处理:原⽣⽀持kafka数据导⼊和查询, 在PieCloudDB侧导⼊ 实现exactly once语义 智能化云原⽣平台 (数据服务平台) 面向用户,做到开箱即用:离数据分析更近, 离繁琐操作更远;0 码力 | 31 页 | 1.43 MB | 1 年前3
πDataCS赋能工业软件创新与实践升级了数据中台的安全审计应用,采用PieCloudDB替换了ES,支持半结构化数据的查询(json/xml等数据格式), 应用开发不用再基于SPL查询语法,改用通用型的SQL语法即可,⼤⼤缩短了应用开发和迭代周期; Ø 具备流批⼀体化能⼒,兼容Spark和Flink等应用程序,替换了部分Spark应用(SparkSQL); Ø 与集团内部的云平台进⾏了统⼀集成,通过API接⼝实现了系统对接,统⼀进⾏租户和资源的管理,支持资源管控和 客 户 案 例 : ⼤ 型 先 进 制 造 企 业 , 通 过 π D a t a C S 全 面 构 建 国 产 化 数 据 底 座 数据 资源 Kafka 数据 采集 实时同步 批量采集 流 式 数 据 MEGDAO完⼯调试移 动端数据 数据 存储 计算 πDataCS 数字底座 数据 共享 实时 加密 并⾏计算 复杂查询 预计算 多租户 多模存储 向量化 … 计算集群10 码力 | 36 页 | 4.25 MB | 1 年前3
PieCloudDB Database V2.1 版本说明于 Cascades 模型的模块化查询优化器,帮助用户对 SQL 进行优化,生成高效的查询计 划。 • 支持超大数据量字段 • 支持快速 ETL/ELT: Kafka 流数据导入支持,copy 性能大幅提升。 • 外部数据源的查询(实验性功能): PieCloudDB 支持 foreign-data wrapper 模块,使用户可以访问包括但不限于0 码力 | 3 页 | 257.15 KB | 1 年前3
云原生虚拟数仓 PieCloudDB ETL 方案设计与实现语句到 PieCloudDB 控制节点 • 收集执行结果,记录进度和错误信息 • INSERT/MERGE 模式 • INSERT 模式,支持单纯导入场景 • 与现有数据没有逻辑关联的时序数据流 • INSERT 模式,步骤1 Ø PieCloudDB Foreign Table,postgres扩展,需要为数据源单独开发 Ø 控制节点上读取数据源信息,决定是否拆分,生成任务信息 Ø 计0 码力 | 29 页 | 5.24 MB | 1 年前3
PieCloudDB Database 产品白皮书 中,每份元数据都将以多副本的形式分散到多 个服务 并支持定时备份,以确保避免因为用户数据的丢失而造成的损失。 , 高性能的数仓引擎 PieCloudDB 采用高效并行的方式进行数据加载和处理,处理速度随节点增加而提升,支持流数据快速加载。 PieCloudDB 的eMPP (弹性大规模并行计算) 架构让数据计算可以自动化弹性伸缩,用户可以根据计算任务灵活的分 配最优数量的节点执行查询。同时PieCloudDB的多集群能力0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书中,每份元数据都将以多副本的形式分散到多 个服务节点,并支持定时备份,以确保避免因为用户数据的丢失而造成的损失。 PieCloudDB 采用高效并行的方式进行数据加载和处理,处理速度随节点增加而提升,支持流数据快速加载。 PieCloudDB 的 eMPP(弹性大规模并行计算)架构让数据计算可以自动化弹性伸缩,用户可以根据计算任务灵活的分 配最优数量的节点执行查询。同时PieCloudDB的多集群能0 码力 | 17 页 | 2.02 MB | 1 年前3
共 6 条
- 1













