的业务信息化系统。我们在真实 客户场景中，常常看到很多企业有成百上千个集群，但这些集群的元数据往往都是一样的。这种情况下，很多元数据 会在不同集群间存在不一致的版本信息。此外，如果企业需要做跨集群的访问，往往非常困难，会造成数据孤岛的存 在。 运维成本 对于传统 MPP 数仓，企业往往会需要配备运维人力，且对运维、开发人员要求高，需要相关人员掌握复杂的技术 栈，技术的更新迁代迅速，相关人员需保 和 Bl (商业智能) 工具。企业只需安排少量的集成工作，就可以使用现有的使用标准 SQL 结构和接 口的分析工具让应用在 PieCloudDB -上 从而避免了企业受制于供应商，帮助企业在控制业务风险的同时推动创 新。 。 多维度弹性扩缩容 pieCloudDB 采取存算分离的eMPP (弹性大规模并行计算) 设计架构。存储侧支持标准对象存储，可以充分利用云计 算平台的优势，让对象存 Analyze，可以在数据发生变化的时候自动完成Analyze，及时生成准确的统计信息。 PieCloudDB 支持元数据和用户数据的缓存，计算节点在执行查询时不再需要频繁的访问元数据服务和存储服务，降 低了元数据访问的网络延迟，加快了用户数据的访问速度。 pieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化，完整支持 TPC-H 和 TPC-D5 等测试，实现 了包括聚集下准、Block

务信息化系统。我们在真实 客户场景中，常常看到很多企业有成百上千个集群，但这些集群的元数据往往都是一样的。这种情况下，很多元数据 会在不同集群间存在不一致的版本信息。此外，如果企业需要做跨集群的访问，往往非常困难，会造成数据孤岛的存 在。 运 维 成 本 对于传统 MPP 数仓，企业往往会需要配备运维人力，且对运维、开发人员要求高，需要相关人员掌握复杂的技术 栈，技术的更新迭代迅速 转换/加载（ETL）和 BI（商业智能）工具。企业只需安排少量的集成工作，就可以使用现有的使用标准 SQL 结构和接 口的分析工具让应用在 PieCloudDB 上运行，从而避免了企业受制于供应商，帮助企业在控制业务风险的同时推动创 新。 PieCloudDB 采取存算分离的 eMPP（弹性大规模并行计算）设计架构。存储侧支持标准对象存储，可以充分利用云计 算平台的优势，让对象存储接近无限的容 Analyze，可以在数据发生变化的时候自动完成Analyze，及时生成准确的统计信息。 PieCloudDB 支持元数据和用户数据的缓存，计算节点在执行查询时不再需要频繁的访问元数据服务和存储服务，降 低了元数据访问的网络延迟，加快了用户数据的访问速度。 PieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化，完整支持 TPC-H 和 TPC-DS 等测试，实现 了包括聚集下推、Block

执⾏器 协调器 虚拟数仓2 执⾏器 … 连接管理 查询优化器 资源隔离 向量化执⾏ 事务管理 执⾏计划 并⾏计算 ⾼可用 数据查询 数据加载 弹性伸缩 自定义函数 集群管控 元数据访问 业务数据读写 元数据映射 元数据： Ø 分布式KV，存储系统表 Ø 基于key的自然排序实现索引 Ø ⾼性能 Ø 基于watcher机制的⾼效分布式锁管理 Ø 基于MVCC的事务隔离级别 见》中提出， 完善敏感信息存储与传输等⾼风险环节的控制措施，对数据、⽂ 档的访问应建立严格的审批机制，对用于测试的⽣产数据要进⾏ 脱敏处理，严格防⽌敏感信息泄露。 存 储 层 Table Log … 密⽂ 存储 ⼀级密钥 ⼆级密钥 三级密钥 数据 访问 PieDataCS 加密 模块 存储 引擎 业务系统 明⽂访问 其他请求 根据权限返回 KMS服务 传输加密 实时加解密 数据质量 数据资产目录 元数据统⼀管理 数据安全 离线计算 数据⾎缘 数据标准 实时计算 作业调度 数据交换 机器学习 数据API服务 运维管控 数据中台 数据 治理 和计算 丰富图表 多终端访问 炫酷⼤屏 自助实时BI 异常预警 数据 展示 可视化BI 销售线索分析 分析结果 落数据库 4S店选址分析 API接⼝ （⼿机/车机） 车 联 数 据 应 用 驾驶操控 电池医⽣

当 HLL 比较稀疏时支持使用游程编码，可以节省 60%-95% 的存储空间。 2 l 优化 Block Skipping 实现 JANM 的虚拟索引。对于某些特殊的访问方法，表的数据文件/块已经包 含可以用作索引的信息，通过虚拟索引不仅可以利用这些信息来提高性能，而 且能减少维护开销。 l 简墨 JAMN 相关优化 n 通过 Delte Encoding pdb_enable_janm_toast，控制 JANM 访问方法中的 Toast。 n 新增建表选项 page_size，设置生成新 Page 的大小限制，以兆字节为单 位。 n 新增建表选项 block_file_size，设置生成新文件的 Block 文件大小限制， 以兆字节为单位。 n 新增建表选项 num_stat_col，控制文件内统计列数，为每个 JANM 文件 50。 l 临时表相关 n 新增 GUC 参数 pdb_temptable_local_limit_filesize 和 pdb_temptable_local_limit_filenum，控制临时表的数据文件溢出到远 端存储。 n 支持 autovacuum 清理孤立的临时表。 l pgaudit 插件 支持使用 pgaudit 插件生成审计日志。 l Kafka 接口

PieCloudDB 的计算层，各个计算节点针对元数据都设计了 多层缓存结构。 其中，针对元数据，PieCloudDB 实现了元数据层全新的缓存机制，有效减少了访问元 数据服务器带来的网络通信开销和元数据服务器的负载，提高元数据访问的速度。 • 可观察性增强：可得到更多的查询时系统的统计信息，包括元数据管理、S3 等。 • Vacuum 优化：在元数据层通过快速过滤不需要 vacuum 性能大幅提升。 • 外部数据源的查询（实验性功能）： PieCloudDB 支持 foreign-data wrapper 模块，使用户可以访问包括但不限于 HDFS、MySQL 等数据源，同时支持用户自行开发 模块来访问新的存储数据源 。 管控平台 • 用户权限优化：通过更加清晰的 UI 设计，为用户提供一体化的权限管理 • 注 注册选项增加：增加了手机注册选项，用户现可选择通过手机或邮件进行用户注 册 • 稳定性优化： o SQL 结果集缓存优化 o 优化端到端访问控制管理和证书管理，增强安全能力 o 一键部署优化 • 数据洞察优化： o SQL 结果页面 UI 更新，界面更加简洁优雅。优化超长结果显示，可支持选中结 果直接复制 o 支持执行请求时自由切入/切出页面，不影响用户进行其他操作

目前在拓数派负责向量数据库PieCloudVector产品，聚焦于大模型 与大数据领域。拥有多年数据库内核研发和配套解决方案架构经验， 在加入拓数派前曾就职于开源大数据平台Greenplum团队，担任外部 数据源访问框架，对象存储访问扩展，ETL工具等产品模块的研发， 并曾参与PostgreSQL多个版本的代码贡献，拥有丰富的存储模块核心 开发和性能优化等实践经验。 邱培峰 拓数派向量数据库负责人 拓数派：大模型数据计算系统先行者 LLVM解析源码，找到所有 OpenMP指令语句 • 转换为调用自定义线程池和 lambda表达式 • 共享变量替换及并发保护 PieCloudVector • Faiss OpenMP线程改造 • 控制全局线程数 • 降低线程锁冲突 • 降低内存使用 PieCloudVector • Faiss OpenMP线程改造 • 避免无效线程 PieCloudVector • Faiss OpenMP线程改造

• 第⼆步分布式化 @2022 OpenPie. All rights reserved. OpenPie Confidential 构建之路 - 数据存储 • 数据存储设计考虑 • S3访问友好（各种统计数据⽤于data skipping、查询加速等） • OLAP友好（PG的HEAP是OLTP⾏存引擎） • 计算引擎加速友好（SIMD, SIMT, etc） @2022 OpenPie (简墨） • ⼀个S3⽂件内所有数据MVCC可⻅性⼀致 (U/D/I写新⽂件）. • ⾏列混存，Cache访问友好. • 附带元数据⽤于data skipping、预聚集等. • Encode/Compress • Encryption (TDE) • Large-size column • 访问时候内存Arrow Format • Medium-size block size • …... @2022 • 更加灵活可控实现. • …... • 但是我们还是可通过foreign data wrapper访问Parquet, etc. @2022 OpenPie. All rights reserved. OpenPie Confidential 构建之路 - 数据访问加速 • S3访问考虑（提升性能 & 降低成本） • 使⽤缓存，⻓远来说分布式缓存. • 虚拟数仓：⼀致性Hash存储缓存⽂件

OpenPie Confidential 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 集群固定，资源利用率低 木桶效应 扩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 传统分布式MPP架构痛点 @2022 OpenPie. All rights reserved. OpenPie Confidential 一个云原生实时大数据平台 @2022 OpenPie. All rights reserved. OpenPie Confidential 元数据管理的设计目标 实现多节点共同访问的数据存储 实现分布式锁 • 高可用和多集群 • Multi-master • 多机并发访问 • 分布式环境下的多版本 @2022 OpenPie. All rights reserved. OpenPie Confidential mstore 现代的硬件 • CPU/GPU 高速缓存访问 • 数据的局部性优化 （SIMD） • 现代存储技术 • 新硬件的使用 @2022 OpenPie. All rights reserved. OpenPie Confidential 构建新一代云原生存储引擎 • 数据分布和弹性 • 分布式eMPP架构 (一致性Hash) • 本地数据减少高延时的云存储访问 • 减少数据移动 • 扩缩容最少的数据移动

.................................................................................... 40 5.4 配置连接访问 .................................................................................................. config-sample.yaml -a artifact.tar.gz 可以输入 harbor 的节点地址至网页端访问查看，本次操作中 harbor 服务器是 pie5 节点，具体根据实际 情况进行修改，查看界面如下： • 访问地址：https://10.24.31.155/ • 用户名：admin • 密码：Harbor12345 2.7 config-sample.yaml -a artifact.tar.gz 可以输入 harbor 的节点地址至网页端访问查看，本次操作中 harbor 服务器是 pie5 节点，具体根据实际 情况进行修改，查看界面如下： • 访问地址：https://10.24.31.155/ • 用户名：admin • 密码：Harbor12345

IvorySQL开源数据库社区 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 集群固定，资源利用率低 木桶效应 扩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 传统分布式 MPP 架构痛点 IvorySQL开源数据库社区 PART 02 云原生数据库 PieCloudDB 简介 IvorySQL开源数据库社区 数据 分布式引擎 存储服务 透明数据加密 优化器 IvorySQL开源数据库社区 01 元数据管理 IvorySQL开源数据库社区 实现多节点共同访问的数据存储 实现分布式锁 • 高可用和多集群 • Multi-master • 多机并发访问 • 分布式环境下的多版本 元数据管理的设计目标 IvorySQL开源数据库社区 mstore — FoundationDB上的Catalog HDFS，NAS，本地磁盘 o 公有云，私有云，混合云 • 现代的硬件 o CPU/GPU 高速缓存访问 o 数据的局部性优化（SIMD） o 现代存储技术 o 新硬件的使用 IvorySQL开源数据库社区 • 数据分布和弹性 o 分布式 eMPP 架构 (一致性Hash) o 本地数据减少高延时的云存储访问 o 减少数据移动 o 扩缩容最少的数据移动 • 数据安全性 o 透明数据加密