统一Catalog 是一个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题，是 大数据技术中的基石。让用户可以在不了解分布式底层细节的情况下，开发分布 式程序，以一种可靠、高效、可伸缩的方式进行数据处理。 组件很多，常见约30个，基础组件包括：Hadoop通用功能库、HDFS、 MapReduce以及YARN 。可视化管理是Ambari，其他的计算引擎、列存数据库 等都需要额外的组件， Flink等计算任务，保留用户的使用习惯。 生态完善，支持主流的开发语言和数据科学工具，支持多模数据处理（结构化、 半结构化以及非结构化），提供标准的SQL接口和API，完成各种复杂场景的数据 处理，业务开发周期短，现存的代码基本可以无缝迁移和复用。 国内自主研发，具备社区版、商业版以及云SaaS服务，与国产软硬件完美兼容， 属于信创产业。支持公有云，可充分利用云资源的弹性能力。组件少，提供可视 化管理平台，运维管

提供计算资源、存储资源和网络资源，PieCloudDB 支持部署在物理服务器、庶拟机以及容 器中,同时也提供 PieCloudDB 公有云 Saa5 服务。 * ”数据处理层 PieCloudDB 核心服务层，提供了并行数据处理能力，拥有元数据节点、计算节点、存储节点以及云原生平台节点等 共四种角色，具体说明如下: 1. 元数据节点; 提供元数据服务，如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能; PieCloudDB 集群管控节点，提供数据洞察和集群运维等功能，支持可视化的数据 分析、性能监控、集群启停、自动化部署以及权限管控等能力; 用户或者应用可直接调用 PieCloudDB 云原生虚拟数仓服务进行数据分析，提供标准的 SQL 接口，且内置各种分析工 具，并原生兼容 Postgres 生态，可以很好地处理地理信息数据和文本，未来会扩展其他 Ap| 接口，支持常见的数仓的 数据分析和人工智能、数据科学等功能。 PieCloudDB 中，每份元数据都将以多副本的形式分散到多 个服务 并支持定时备份，以确保避免因为用户数据的丢失而造成的损失。 ， 高性能的数仓引擎 PieCloudDB 采用高效并行的方式进行数据加载和处理，处理速度随节点增加而提升，支持流数据快速加载。 PieCloudDB 的eMPP (弹性大规模并行计算) 架构让数据计算可以自动化弹性伸缩，用户可以根据计算任务灵活的分 配最优数量的节

提供计算资源、存储资源和网络资源，PieCloudDB 支持部署在物理服务器、虚拟机以及容 器中，同时也提供 PieCloudDB 公有云 SaaS 服务。 数据处理层 PieCloudDB 核心服务层，提供了并行数据处理能力，拥有元数据节点、计算节点、存储节点以及云原生管控平台节 点等共四种角色，具体说明如下： 1. 元数据节点： 提供元数据服务，如元 集群管控节点，提供数据洞察和集群运维等功能，支持可视化的 数据分析、性能监控、集群启停、自动化部署以及权限管控等能力; 数据应用层： 用户或者应用可直接调用 PieCloudDB 云原生虚拟数仓服务进行数据分析，提供标准的 SQL 接口，且内置各种分析工 具，并原生兼容 Postgres 生态，可以很好地处理地理信息数据和文本，未来会扩展其他 API 接口，支持常见的数仓的 数据分析和人工智能、数据科学等功能。 存储管理，具有完备的高可用方案。在 PieCloudDB 中，每份元数据都将以多副本的形式分散到多 个服务节点，并支持定时备份，以确保避免因为用户数据的丢失而造成的损失。 PieCloudDB 采用高效并行的方式进行数据加载和处理，处理速度随节点增加而提升，支持流数据快速加载。 PieCloudDB 的 eMPP（弹性大规模并行计算）架构让数据计算可以自动化弹性伸缩，用户可以根据计算任务灵活的分 配最优数量的

user_type …; SELECT meta, raw FROM foreign_table LATERAL JOIN formatter(raw); • INSERT 模式，步骤3 对解析出的列执行数据转换操作 SELECT r.a, r.b+r.c, func(r.d) … FROM (SELECT meta, raw FROM foreign_table LATERAL JOIN formatter(raw)

Nosql对于复杂查询的支持差 NoSQL和数据湖很难胜任数据分析的工作场景 @2022 OpenPie. All rights reserved. OpenPie Confidential • 使用数据湖为基础进行数据分析需要多个组件进行集成部署，多个 组件的配合需要大量的开发工作 • 许多缺乏 ANSI SQL 支持，需要专门的技术技能 • 专用引擎/工具（例如图形数据库）通常难以与记录系统集成，限制

• 我与 OpenPie • 社区贡献的从0到1 • 如何进⾏代码贡献 @2024 OpenPie. All rights reserved. OpenPie Confidential 关 于 我 • 王刚（Tender Wang） • 拓数派 PieCloudDB 技术专家 • 多次参与PostgreSQL 代码贡献 @2024 OpenPie. All rights reserved OpenPie Confidential 核⼼代码相关的贡献 • Bug report • Review patch • Write patch How to Contribute to PostgreSQL @2024 OpenPie. All rights reserved. OpenPie Confidential “周边”代码相关的贡献 • Contrib/ • Driver

发布。 • 产品已经在⼀些⾦融、医疗等⾏业开始使⽤。 关于我 • 毕业于中国科技⼤学，AI相关专业 • 毕业 1 年后到现在⼀直从事底层基础软件开发，10多年开发经验 • 领域涉及到： • 代码级/算法级/系统级性能优化 • Linux/Unix内核和系统开发、虚拟化（芯⽚KVM⽀持实现）和云计算架 构、⾼速⺴络开发（内核和应⽤层如DPDK） • 分布式系统（SQL/NoSQL/存储) 天然⾃带⼀定的多模⽀持 (原⽣或者插件） • 采⽤度和流⾏度持续上升 • 优秀的⽣态 • 我们的选择 • 很多功能不⽤也没必要重新造轮⼦ • 和⼀流的产品和⼈才⼀起成⻓ • 团队深度理解Postgres内核代码，在社区参与诸多贡献 PieCloudDB 架构 元数据管理 基于 MVCC 的事务隔离级别 使用 FoundationDB Key 的自然排序 实现索引 将元组以 key-value 的形式存储

解决方案架构经验， 在加入拓数派前曾就职于开源大数据平台Greenplum团队，担任外部 数据源访问框架，对象存储访问扩展，ETL工具等产品模块的研发， 并曾参与PostgreSQL多个版本的代码贡献，拥有丰富的存储模块核心 开发和性能优化等实践经验。 邱培峰 拓数派向量数据库负责人 拓数派：大模型数据计算系统先行者 • 拓数派（ OpenPie）是立足于国内的基础数据计算领域高科技

PieCloudDB 重新打造 PostgreSQL 12.x 实现存算分离 PieCloudDB 对几乎所有内核模块做了大量的创新 PieCloudDB 内核团队拥有强悍的Postgres内核代码掌控能力 • 将来会保持和Postgres内核大版本对齐 团队也拥有丰富的Postgres内核大版本升级合并经验 @2022 OpenPie. All rights reserved. OpenPie

Flink等计算任务，保留用户的使用习惯。 ⽣态完善，支持主流的开发语⾔和数据科学⼯具，支持多模数据处理（结构化、 半结构化以及非结构化），提供标准的SQL接⼝和API，完成各种复杂场景的数 据处理，业务开发周期短，现存的代码基本可以⽆缝迁移和复用。 国内自主研发，具备社区版、商业版以及云SaaS服务，与国产软硬件完美兼容， 属于信创产业。支持公有云，可充分利用云资源的弹性能⼒。组件少，提供可 视化管理平台，运维管