所有服务器需要配置 yum，且能够连接 Internet。 l 部署方案有两种，请根据实际情况选择： Ø 本地无 K8S 环境和对象存储，请选择第二章节《PieCloudDB 和 K8S 一起部署方案》 Ø 本地有 K8S 环境和对象存储，请选择第三章节《PieCloudDB 基于已有 K8S 的部署方案》 2. PieCloudDB 和 K8S 一起部署方案 的 plugin 路径 1. mkdir -p /root/.local/share/helm/plugins/helm-push && tar - zxvf helm-push_0.10.2_linux_amd64.tar.gz - C /root/.local/share/helm/plugins/helm-push ##在 Plugins 路径下创建 helm-push 的 plugin 路径 1. mkdir -p /root/.local/share/helm/plugins/helm-push && tar - zxvf helm-push_0.10.2_linux_amd64.tar.gz - C /root/.local/share/helm/plugins/helm-push ##在 Plugins 路径下创建 helm-push

bar (5 rows) • 主要处理查询语句中FROM和WHERE部分 • 同时也会考虑到ORDER BY的信息 • 代价驱动 • 为基表生成扫描路径，并计算扫描路径的代价和结果集大小 • 搜索整个连接顺序空间，为连接操作生成连接路径 • O(n!) • 动态规划 • 遗传算法 • 考虑外连接对连接顺序的限制 (A leftjoin B on (Pab)) innerjoin C • 处理GROUP BY、 聚集、窗口函数、DISTINCT • 处理集合操作 • 处理ORDER BY • 以上每一步操作都会产生一个或多个路径 • 为每个路径添加LockRows, Limit, ModifyTable • 把最优路径转换为查询计划 • 对最优计划进行一些调整 02 • PieCloudDB优化器拓展了PostgreSQL优化器，使其适用于分布式架构 • 引 Key: a -> Streaming HashAggregate Group Key: a, b -> Seq Scan on t 03 • PieCloudDB优化器针对云原生的特性，结合对象存储的设计，实现了更多高阶 的优化 • 聚集下推 • Block skipping • 预计算 • … • 通过把聚集操作下推到连接操作之前去执行，在有些情况下可以极大的减少连接 操作需要处理的数据量

驱动企业实现从"软件公司"到"数据公司"再到"数学公司"的持续进阶。 拓数派旗下大模型数据计算系统（PieDataComputing System，缩写πDataCS），以云原生技术 重构数据存储和计算，一份存储，多引擎数据计算，全面升级大数据系统至大模型时代，使得自主可 控的大模型数据计算系统保持全球领先，成为AI的基础科技底座的同时，开启AI技术的新范式。 πDataCS旨在助力企业优化计算 大模型训练… 自 研 简 墨 存 储 … 统一数据格式 | 一份数据多引擎计算｜兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经网络） 私有云 Mundo元数据管理系统 统一Catalog 是一个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题，是 大数据技术中的基石。让用户可以在不了解分布式底层细节的情况下，开发分布 期运维管理很麻烦，市场上相关人 才储备量不多，技术兜底依赖于Cloudera，国内第三方公司主要是基础运维和开 发为主。 大模型数据计算系统，以云原生技术重构数据存储和计算，一份数据，多引擎数 据计算。主要解决海量数据的存储和实时计算问题，具备湖仓一体化的能力，用 户可根据实际情况去选择合适的数据计算引擎。 灵活可扩展的插件式引擎，组件少而精（All in One），提供3种计算引擎、1种

⼤模型数据计算系统，以云原⽣技术重构数据存储和计算，⼀份数据，多引擎数据计算，AI数学模型、数据和 计算三者互为增强，全面升级⼤数据系统⾄⼤模型时代 ，赋能⾏业AI场景应用。 具备整体数据平台⽅案，支持多模数据处理（结构化、半结构化 以及非结构化数据），实现数据共享和分析。 软件优化 + 新硬件（FPGA）加速，实现数据全链路的性能飞跃， 让数据存储、SQL查询、向量计算以及机器学习等能⼒全面升级。 πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (⼤模型)机器学习 向量数据计算 ⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算｜兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经⽹络） 私有云 Mundo元数据管理系统 统⼀Catalog @2024 OpenPie. All rights rights reserved. OpenPie Confidential πDataCS 优势1 ：全面升级Hadoop⼤数据和Greenplum数仓⾄云原⽣数据平台 是⼀个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题， 是⼤数据技术中的基⽯。让用户可以在不了解分布式底层细节的情况下，开发 分布式程序，以⼀种可靠、⾼效、可伸缩的⽅式进⾏数据处理。 组件很多，常见约30个，基

队和数字化转型团队； l 国内虚拟数仓和eMPP技术提出者，不断在数据 计算引擎方向进行创新，全面拥抱AI技术趋势。 企业介绍 云原生数据计算系统 围绕数据组织云原生计算系统， 重构数据存储和计算，一份存 储，多引擎数据计算，全面升 级大数据系统至大模型时代。 02 中国AGI发展趋势 中国AGI市场融资非常活跃， AGI顶级人才非常欠缺，整 个市场将长期保持快速增 长态势。 Agent正逐渐成为探索的核心路径。但随着时间的推移，大模型的一些局限性开始显现，尽管大模型在模仿人类 认知方面取得了显著进步，但要达到真正的通用智能，仍需克服重重困难。因此，AI Agent作为新的研究方向，开始受至越来越多的关注。 AI Agent成为推动AI技术革命的关键力量 云原生数据计算系统 围绕数据组织云原生计算系统，重构数据存储和计算， 一份存储，多引擎数据计算，全面升级大数据系统至大 Data Sharing 技术原生支持数据要素流转 • 中国唯一全自研的Table Format技术 • 云原生存储架构，元数据、数据和计算全分离 核 心 技 术 突 破 • 数据一次入库永不出户，数据可用不可见，跑算力不跑数据 • 全链路加密保证数据安全 • JANM存储引擎等技术有效组织数据配合大模型精调 u 首创云原生eMPP架构 u 国内数仓虚拟化技术提出者 云原生数据计算系统

与大数据领域。拥有多年数据库内核研发和配套解决方案架构经验， 在加入拓数派前曾就职于开源大数据平台Greenplum团队，担任外部 数据源访问框架，对象存储访问扩展，ETL工具等产品模块的研发， 并曾参与PostgreSQL多个版本的代码贡献，拥有丰富的存储模块核心 开发和性能优化等实践经验。 邱培峰 拓数派向量数据库负责人 拓数派：大模型数据计算系统先行者 • 拓数派（ OpenPie）是立足于国内的基础数据计算领域高科技 P10 （filtered） P2 （filtered） 向量数据库 • 存储向量和原始实体(文字/图像/语音)及元信息，并将它们关联起来 • 对向量数据建立索引，可以实现高效近似搜索 • 配套调用接口和生态工具 • 技术路线 • 从向量搜索及索引算法实现出发，为其搭配数据库功能 • 从数据存储方案(关系型数据库/非关系型数据库)出发，为其开发向量搜索及索引算法 PieCloudVector QPS大幅提升 PieCloudVector • Faiss OpenMP线程改造 • 内存占用大幅降低 PieCloudVector • Faiss与postgres内核对接 - gpu搜索的特殊路径 • 避免并发调用gpu • 查询请求按批单线程提交 PieCloudVector • 兼容国产硬件和操作系统 PieCloudVector • 通过信通院测试 案例分析 - 东吴证券秀财gpt

。数据被称为数字经济时代的“石 油”，如同石油驱动了工业化时代的进步，大数据将推动智能化与数字化时代的发展。 数据量的爆发式增长 为了挖掘数据的价值，企业面临着海量数据的存储与分析需求，业务也面临着更多热点及突发流量所带来的挑战。面 对数据计算（Data Computing）的巨大诉求、数据组织的运行成本的急剧增加、数据格式的丰富多样，企业的数字 化转型面临巨大挑战 服务器为单位，通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录， MPP 数据库会尝试在每台 PC 服务器的硬盘上分布1亿条记录。数据计算时，所有机器同时并行计算，理论上最高可以 把计算时间降低到单机部署的 1/n（n为机器数量），节省了海量数据的处理时间。 传统数据仓库的计算和存储是紧密耦合的，计算资源和存储资源按某一比例强绑定，因此用户在扩容时，必须同时扩 容计算资源和存储资源，在扩缩容、运 本 高 昂 传统数据仓库价格高昂的软硬件、开发运维人员的高昂薪资需要企业进行巨大的前期投入。传统数据仓库客户的生产 环境资源利用率，无论是存储或是计算资源往往都不尽人意。随着存储和工作负载需求的日益增长，面临数据库的扩 容和升级时，由于传统数据仓库架构存储和计算的紧密耦合，往往需要企业花费巨大的运维和时间成本，且操作繁 琐。 木 桶 效 应 传统 MPP 数据仓库架构存在“木桶效应”

击需视各2nk 2n 2n6 201 2018 20192070 20717022 2973 2024 2025 1DC:全球数据圈预测 数据量的爆发式增长 为了挖掘数据的价值，企业面临着海量数据的存储与分析需求，业务也面临着更多热点及突发流量所带来的挑战。面 对数据计算 (Data Computing) 的巨大诉求、数据组织的运行成本的急剧增加、数据格式的丰富多样，企业的数字 化转型面临巨大挑 传统数仓的痛点 很多受欢迎的数据库仓库均为分布式数据库，而典型 分布式数据库系统大多是 MPP (大规模并行计算) 架构。 MPP 架构的数据库以 PC 服务器为单位，通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录 MPP 数据库会尝试在每台 PC 服务器的硬盘上分布1 录。数据计算时，所有机器同时并行计算，理论上最 把计算时间降低到单机部署的 1/n (n为机器数量) ，节省了海量数据的处理时间。 ，节省了海量数据的处理时间。 传统数据仓库架构 然而，随着数据量的不断尝升，企业对数据仓库的要求也越来越高，在使用过程中，传统 MPP 数据库解决方案迎来 了一系列的瓶颈: 传统数据仓库的计算和存情是| 容计算资源和存储资源，在扩缩容、运维、迁移上都存在一， 报表结! 传统数据仓库无法及时扩 导致大数据系统天 价值所带来的商业机会 用户在扩 必须同时扩 企业遇到负 时刻或需要紧急得到某个 法弹

基础数据计算领域的世界级高科技创新驱动机构 CONTENTS @2022 OpenPie. All rights reserved. OpenPie Confidential 云解决了什么？ 借助于云上分布式存储，解耦存储 借助于云上虚拟化技术和之上的IaaS，解耦计算 池化资源，按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用，运维等工作交给IaaS/SaaS厂商 @2022 OpenPie OpenPie. All rights reserved. OpenPie Confidential 上云 ≠ 云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 @2022 OpenPie. All rights reserved. OpenPie Confidential 我们需要一个云原生大数据平台 缺乏弹性 Postgres生态支持 安全 友好的用户接口（WebSql, ODBC/JDBC driver等). 云原生 • 弹性计算资源（横向和纵向）、极速调整 • 共享用户数据（典型如廉价对象存储） • 共享元数据 • MPP架构：分布式，海量数据并行处理 @2022 OpenPie. All rights reserved. OpenPie Confidential Postgres

pieclouddb.com CONTENTS @2022 OpenPie. All rights reserved. OpenPie Confidential 云解决了什么？ 借助于云上分布式存储，解耦存储 借助于云上虚拟化技术和之上的IaaS，解耦计算 池化资源，按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用，运维等工作交给IaaS/SaaS厂商 @2022 OpenPie OpenPie. All rights reserved. OpenPie Confidential 上云 ≠ 云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 @2022 OpenPie. All rights reserved. OpenPie Confidential 我们需要一个云原生大数据平台 缺乏弹性 计算：云上计算资源可以弹性分配。有查询计算任务的时候按需启动， 按照使⽤时间和规模计算成本，⽽不是购买⼤量服务器静置为不确定 的使⽤额外⽀付成本。 发现：在云上，对计算模型以更低成本提供指数级的存储和计算资源， 帮助甲方的业务模型发现新洞察或者提高精准度，从⽽建⽴竞争壁垒。 1 2 3 产 品 理 念 最 终 实 现 大 数 据 愿 景 Big Data Promises Finally