reserved. OpenPie Confidential @2024 OpenPie. All rights reserved. OpenPie Confidential πDataCS 赋能⼯业软件创新与实践 吴疆 拓数派产品社区总监 CONTENTS @2024 OpenPie. All rights reserved. OpenPie Confidential 杭州拓数派科技发展有限公司 均已加⼊拓数派。成员毕业自 CMU、北⼤、清华和科⼤少年班 等顶级学术机构，并有成员获有 奥赛奖牌。 郭罡（Paul Guo） 合 伙 ⼈ & C T O • 中国科技⼤学少年班 • 18年+底层基础软件领域开发经验 • 原Greenplum首席内核架构师 • Apache HAWQ PMC成员 陆公瑜（Brian Lu） 合伙⼈&COO • 英国约克⼤学 • 15年+产品⽣态建设和运营管理经验 模型、数据和 计算三者互为增强，全面升级⼤数据系统⾄⼤模型时代 ，赋能⾏业AI场景应用。 具备整体数据平台⽅案，支持多模数据处理（结构化、半结构化 以及非结构化数据），实现数据共享和分析。 软件优化 + 新硬件（FPGA）加速，实现数据全链路的性能飞跃， 让数据存储、SQL查询、向量计算以及机器学习等能⼒全面升级。 @2024 OpenPie. All rights reserved.

毕业于中国科技⼤学，AI相关专业 • 毕业 1 年后到现在⼀直从事底层基础软件开发，10多年开发经验 • 领域涉及到： • 代码级/算法级/系统级性能优化 • Linux/Unix内核和系统开发、虚拟化（芯⽚KVM⽀持实现）和云计算架 构、⾼速⺴络开发（内核和应⽤层如DPDK） • 分布式系统（SQL/NoSQL/存储) • 最近 7+ 年⼀直从事开源分布式数据库开发 一个eMPP 云原生分布式SQL数据库 访问困难 运维成本 运维和DBA 我们需要一个云原生数据库 云解决了什么？ 借助于云上分布式存储，解耦存储 借助于虚拟化技术和之上的IaaS，解耦计算 池化资源，按需使用 基础软件尤其是数据库软件上云已是大势所趋 用户专注于使用，其他事情交给IaaS/SaaS厂商 上云 ≠ 云原生 计算&存储 弹性 智能化云原生平 台 多租户隔离 • 存储资源和计算资源：分离和隔离 • MPP架构：分布式，海量数据并行处理 • e代表弹性(elastic) 完善的Postgres生态 为什么选择Postgres？ • 关于Postgres • 公司中⽴，开源协议友好，国际⼀流⼯程⽔准的先进开源数据库 • Postgres对存储扩展，插件扩展⽀持友好 • 天然⾃带⼀定的多模⽀持 (原⽣或者插件） • 采⽤度和流⾏度持续上升 • 优秀的⽣态 • 我们的选择 • 很多功能不⽤也没必要重新造轮⼦

大模型时代下向量数据库的设计与应用 个人简介 目前在拓数派负责向量数据库PieCloudVector产品，聚焦于大模型 与大数据领域。拥有多年数据库内核研发和配套解决方案架构经验， 在加入拓数派前曾就职于开源大数据平台Greenplum团队，担任外部 数据源访问框架，对象存储访问扩展，ETL工具等产品模块的研发， 并曾参与PostgreSQL多个版本的代码贡献，拥有丰富的存储模块核心 开发和性能优化等实践经验。 支持向量标量混合查询 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持主流的ann算法，如ivf和hnsw等 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持向量编码和压缩如PQ等 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持二进制索引 • 支持多级索引如HNSW+IVF等 构，携手2000余位 中外客座导师，服务于技术团队的能力提升、软件工程效能和产品创新迭代， 超过3000余家企业续约学习，是科技领域占有率第1的客座导师品牌，msup以 整合全球领先经验实践为己任，为中国产业快速发展提供智库。 高可用架构主要关注互联网架构及高可用、可扩展及高性能领域的知识传播。 订阅用户覆盖主流互联网及软件领域系统架构技术从业人员。 高可用架构系列 社群是一个社区组织，其

Discoveries”「数据计算，只为新发现」为使命，致力于在数字原生时代,运用突破性计算理论、 独创的云原生数据库旗舰产品以及之上的算法和数学模型,建立下一代云原生数据平台的前沿标准, 驱动企业实现从"软件公司"到"数据公司"再到"数学公司"的持续进阶。 拓数派旗下大模型数据计算系统（PieDataComputing System，缩写πDataCS），以云原生技术 重构数据存储和计算，一份存储， 技术部门，是Oracle Cloud Control的分布式调动引擎的 主要贡献者之一。 • 因为参与Pivotal的拆分创建、C轮融资和IPO成功，以及主导的Greenplum产品在全球范围的开源影 响力，被《数字商业周刊》选为2019年度封面人物。（《数商周刊》报道） 拓数派创始人、董事长兼首席执行官 • 冯雷带领团队实现数据库云原生虚拟化突破，打造的PieCloudDB(πCloudDB)数据库是来自本土的 我们秉承硅谷创新文化和普及数字化公益等社会责任。在公司成长的过程中，不遗余力为人才提供一个成为业内明星的平 台和通道。 郭罡（Paul Guo） 合 伙 人 & C T O • 中国科技大学少年班 • 18年+底层基础软件领域开发经验 • 原Greenplum/HAWQ首席内核架构师 陆公瑜（Brian Lu） 合 伙 人 & C O O • 英国约克大学 • 15年+产品生态建设和运营管理经验 • 原Greenplum中国社区发起人

IvorySQL开源数据库社区 IvorySQL 用户组技术沙龙北京站 IvorySQL开源数据库社区 PieCloudDB 的云原生之路 姓名：吴疆 公司：拓数派 职位：产品及推广总监 IvorySQL开源数据库社区 吴疆 IvorySQL开源数据库社区 打造立足于国内 基础数据计算领域的世界级高科技创新驱动机构 杭州拓数派科技发展有限公司（又称“OpenPie”），以 “Data PieCloudDB，以云计算架构为设 计基础，首创全新 eMPP 分布式技术，帮助企业建立竞争壁垒 的同时，实现数据价值最大化，并在新基建中承担可靠和可控 的世界级云数据库底座。 IvorySQL开源数据库社区 2021 2022 当天即获得腾讯投资天使轮投资 成为 Day-1 准独角兽 7月 与中国人民大学成立实习基地，打造 中国的云原生数据库世界级智力高地 11月 4月 获得元禾重元和东吴证券 IvorySQL开源数据库社区 免费试用 PieCloudDB 云上云版：https://app.pieclouddb.com IvorySQL开源数据库社区 目录 数据库的云原生远景 01 云原生数据库 PieCloudDB 简介 02 PieCloudDB 的架构特点 03 总结 04 IvorySQL开源数据库社区 PART 01 数据库的云原生远景 IvorySQL开源数据库社区

量提高查询性能。此外，PiecloudDB PiecloudDB 还支持查询优化器Orca。Orca是一款开源的、基于Cascades 模型的模块化查询优化器, 可以帮助用户对SQL进行优化，生成高效的查询计划。 此外，PieCloudDB 兼容 ORCA 优化器 (DORCA 是一款开源的、基于 Cascades 模型的模块化查询优化器，可以帮助用 户对 SQL 进行优化，生成高效的查询计划) HDFS、MySQL 、Oracle等外部数据。PieCloudDB 支持JS5ON，XML，Parquet以及 二进制数据等格式，同时，PieCloudDB 既支持用户利用过程语言自行开发模块进行数据分析也原生兼容开源机器学 习库Apache MADlib，从而可以原生实现一些高级机器学习功能。该拓展提供数学、统计学以及机器学习方法，包括 但不限于线性回归、关联规则、贝叶斯分类、决策树和随机森林等算法支持。同时 Openpie 在读取 少量数据时，提高Cache命中率，减少MO 次数。 pieCloudDB实现了存储中立，支持公有云、私有云、混合云。PieCloudDB 除支持自己的存储格式，还支持部署在存 储系统的开源格式，例如 Parquet。 此外，PieCloudDB 针对对象存储进行了优化，对分布式处理和写处理进行了增强，在特定查询场景下，避免了重组 操作，提高了 /0O 效率。 * eMPP 分布式技术

等测试，实现 了包括聚集下推、Block Skipping 等功能模块，大大缩短执行时间，高效的数据查询提高了数据分析的实时性。 此外，PieCloudDB 兼容 ORCA 优化器（ORCA 是一款开源的、基于 Cascades 模型的模块化查询优化器，可以帮助用 户对 SQL 进行优化，生成高效的查询计划）。 PieCloudDB 通过独特的设计，具备原生多租户能力，每个租户有自己的数据库和虚拟数仓。不同的租户互相隔离， 通过预计算每个块(block) 中列聚集信息，在执行期间跳过非必要的数据块，减少数据读取量提高查询性能。此外，PieCloudDB PieCloudDB 还支持查询优化器Orca。Orca是一款开源的、基于Cascades 模型的模块化查询优化器， 可以帮助用户对SQL进行优化，生成高效的查询计划。 湖仓一体化分析 PieCloudDB 支持统一的资源管控，通过云原生存储引擎支持多种存 、Oracle等外部数据。PieCloudDB 支持 JSON，XML， Parquet以及 二进制数据等格式，同时，PieCloudDB 既支持用户利用过程语言自行开发模块进行数据分析也原生兼容开源机器学 习库 Apache MADlib，从而可以原生实现一些高级机器学习功能。该拓展提供数学、统计学以及机器学习方法，包括 但不限于线性回归、关联规则、贝叶斯分类、决策树和随机森林等算法支持。同时

Janm）支持 S3/HDFS/Posix. • 架构：Share Nothing on share storage. • 丰富的外围产品支持. • 将来会支持单机和HTAP. Postgres生态 软件交付版本 （最新版本：v2.11） • 社区版 • 企业版 • CoC（云上云）版 @2024 OpenPie. All rights reserved. OpenPie Confidential 赋能更多的计算形态. • 云上计算调度. @2024 OpenPie. All rights reserved. OpenPie Confidential 计算外延 • 仓湖一体：仓衍生支持开源表格式 • 先读，Iceberg on hdfs/s3读取已基本支持. • 长远不排除”一等公民”. • 联邦查询. @2024 OpenPie. All rights reserved. OpenPie

....................................................................................... 5 2.4 上传软件包 ................................................................................................. ...................................................................................... 16 3.1 上传软件包 ................................................................................................. ....................................................................................... 27 3.13 软件部署 ................................................................................................

PieCloudDB：云原⽣分布式 虚拟数仓的过去、现在和未来 郭罡 拓数派 @2022 OpenPie. All rights reserved. OpenPie Confidential 关于我 • 18年+基础软件⼀线经验 • 9年：Unix/Linux应⽤和内核开发、虚拟化（芯⽚KVM内核⽀持）、⾼速 ⽹络开发（NIC驱动、IB、DPDK、OVS offload）等. • 2年：分布式系统（存储和缓存）开发、云计算平台架构 ⼀款云原⽣分布式虚拟数仓 • Data: Shared Storage (S3/HDFS/NAS) • Meta: Shared on NoSQL (当前是FoundationDB） • Postgres⽣态 • 软件交付版本 • 社区版 (免费获取) • 企业版 • CoC（云上云）版（免费试⽤） @2022 OpenPie. All rights reserved. OpenPie Confidential