PieCloudDB的云原生数仓虚拟化之路 吴疆 Openpie产品和推广总监 @2022 OpenPie. All rights reserved. OpenPie Confidential @2022 OpenPie. All rights reserved. OpenPie Confidential 杭州拓数派科技发展有限公司（又称“OpenPie”），以“Data Computing 引领数据计算时代到来 1月 PieCloudDB 爱琴海版本发布 构建坚如磐石的eMPP云原生数仓 3月 2023拓数派战略暨新产品发布会 重磅发布PieCloudDB「云上云」版 云原生数仓虚拟化 引领数据计算时代到来 拓数派基于阿里云构建公共云数据仓库服务 正式上线 @2022 OpenPie. All rights reserved. OpenPie Confidential https://app CONTENTS @2022 OpenPie. All rights reserved. OpenPie Confidential 云解决了什么？ 借助于云上分布式存储，解耦存储 借助于云上虚拟化技术和之上的IaaS，解耦计算 池化资源，按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用，运维等工作交给IaaS/SaaS厂商 @2022 OpenPie. All rights

eMPP （弹性大规模并行计算）的云原生虚拟数仓 产品白皮书 www.OpenPie.com ©2023 OpenPie All Right Reserved . 行业背景 数据量的爆发式增长 数据库的未来在云上 传统数仓的痛点 云时代的数据处理要求 PieCloudDB，云原生虚拟数仓 PieCloudDB 充分结合云计算、大规模并行处理技术的云原生虚拟数仓 PieCloudDB 应运而生， PieCloudDB 帮助企业摆脱了 PC 架 构的限制，满足云原生数字时代需求，成为更好的选择。 能够提供无限存储空间， 随时根据业务需求弹性增加集群和工作节点 在集群完成计算任务时，可以进行资源回收，节省成本 6 PieCloudDB 云原生虚拟数仓 杭州拓数派科技发展有限公司（又称“ ”「数据计算，只为新发现」为使命，旗下云原生虚拟数仓 PieCloudDB，运用全新 eMPP（elastic Massive Parallel Processing） 分布式技术，可将物理数仓整合到云原生数据 计算平台，根据数据授权动态创建虚拟数仓，按需灵活计算，打破数据孤岛，支撑更大模型所需的数据和计算。 PieCloudDB 为企业构建「坚如磐石」的虚拟数仓，以云资源最优化配置实现无限数据计算可能，基于新一代数仓虚

ETL方案设计与实现 邱培峰 拓数派 技术专家 云原生虚拟数仓PieCloudDB 大连理工大学软件工程本科 pgsql@qiupf.dev 邱培峰 拓数派技术专家 ETL解决方案及内核组件研发 PieCloudDB 分布式架构简介 ETL 简述 PieCloudDB ETL方案设计 Postgres -> PieCloudDB 增量数据实时 cdc 演示 01 02 03

OpenPie Confidential • Segment节点并不持有持久化的数据，在扩张/收缩的过程中不涉及数据的移动 • Segment节点不直接访问系统表，事务和锁 • 在扩张时只需要在新的虚拟机节点上部署二进制并向元数据服务注册 @2022 OpenPie. All rights reserved. OpenPie Confidential • Master 节点和 FoundationDB

OpenPie Confidential PieCloudDB：云原⽣分布式 虚拟数仓的过去、现在和未来 郭罡 拓数派 @2022 OpenPie. All rights reserved. OpenPie Confidential 关于我 • 18年+基础软件⼀线经验 • 9年：Unix/Linux应⽤和内核开发、虚拟化（芯⽚KVM内核⽀持）、⾼速 ⽹络开发（NIC驱动、IB、DPDK、OVS 毕业于中国科学技术⼤学（专业语⾳识别）. @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB简介 • ⼀款云原⽣分布式虚拟数仓 • Data: Shared Storage (S3/HDFS/NAS) • Meta: Shared on NoSQL (当前是FoundationDB） • Postgres⽣态 • 软件交付版本 All rights reserved. OpenPie Confidential 构建之路 - 数据访问加速 • S3访问考虑（提升性能 & 降低成本） • 使⽤缓存，⻓远来说分布式缓存. • 虚拟数仓：⼀致性Hash存储缓存⽂件. • Data Skipping (⽐如Block Skipping，预聚集，etc）. • S3访问通⽤优化：并⾏化、预读、异步、Mpp引擎"steal". •

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1153 13.2.1 在物理机或虚拟机上部署运维 TiDB · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1153 整型主键上的聚簇索引 Y Y Y Y Y Y 复合或非整型主键上的聚簇索引 Y Y Y Y Y N 4.5.1.5 其他对象 TiDB 支持一些和表同级的对象： • 视图: 视图是一张虚拟表，该虚拟表的结构由创建视图时的 SELECT 语句定义，TiDB 目前不支持物化视 图。 • 序列: 创建和存储顺序数据。 • 临时表: 临时表是数据不持久化的表。 4.5.1.6 访问控制 TiDB 374645100 ) ORDER BY book_id, user_id; 4.7.5 视图 本章将介绍 TiDB 中的视图功能。 4.7.5.1 概述 TiDB 支持视图，视图是一张虚拟表，该虚拟表的结构由创建视图时的 SELECT 语句定义。 • 通过视图可以对用户只暴露安全的字段及数据，进而保证底层表的敏感字段及数据的安全。 • 将频繁出现的复杂查询定义为视图，可以使复杂查询更加简单便捷。

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 609 11.2.1 在物理机或虚拟机上部署运维 TiDB · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 609 sorter 的支持 #2114 * 支持日志轮替配置 #2182 – TiDB Lightning * 支持 CSV 文件中除 \r 和 \n 之外的自定义行尾 #1297 * 支持表达式索引和依赖于虚拟生成列的索引 #1407 – Dumpling * 支持备份兼容 MySQL 但不支持 START TRANSACTION ... WITH CONSISTENT SNAPSHOT 和 SHOW 4 部署标准集群 4.1 TiDB 软件和硬件环境建议配置 TiDB 作为一款开源分布式 NewSQL 数据库，可以很好的部署和运行在 Intel 架构服务器环境、ARM 架构的服务器 环境及主流虚拟化环境，并支持绝大多数的主流硬件网络。作为一款高性能数据库系统，TiDB 支持主流的 Linux 操作系统环境。 4.1.1 Linux 操作系统版本要求 Linux 操作系统平台 版本 Red

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 588 11.2.1 在物理机或虚拟机上部署运维 TiDB · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 588 4 Bug 修复 • TiDB – 修复投影消除在投影结果为空时执行结果可能错误的问题 #23887 – 修复列包含 NULL 值时查询结果在某些情况下可能错误的问题 #23891 – 当有虚拟列参与扫描时不允许生成 MPP 计划 #23886 32 – 修复 Plan Cache 中对 PointGet 和 TableDual 错误的重复使用 #23187 #23144 #23304 4 部署标准集群 4.1 TiDB 软件和硬件环境建议配置 TiDB 作为一款开源分布式 NewSQL 数据库，可以很好的部署和运行在 Intel 架构服务器环境、ARM 架构的服务器 环境及主流虚拟化环境，并支持绝大多数的主流硬件网络。作为一款高性能数据库系统，TiDB 支持主流的 Linux 操作系统环境。 4.1.1 Linux 操作系统版本要求 Linux 操作系统平台 版本 Red

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1614 13.2.1 在物理机或虚拟机上部署运维 TiDB · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1614 专用索引 TiDB 支持一些特殊场景专用的索引，用以提高特定用例中的查询性能。具体请参考索引和约束。 4.5.1.5 其他对象 TiDB 支持一些和表同级的对象： • 视图: 视图是一张虚拟表，该虚拟表的结构由创建视图时的 SELECT 语句定义，TiDB 目前不支持物化视 图。 • 序列: 创建和存储顺序数据。 • 临时表: 临时表是数据不持久化的表。 4.5.1.6 访问控制 TiDB 374645100 ) ORDER BY book_id, user_id; 4.7.5 视图 本章将介绍 TiDB 中的视图功能。 4.7.5.1 概述 TiDB 支持视图，视图是一张虚拟表，该虚拟表的结构由创建视图时的 SELECT 语句定义。 • 通过视图可以对用户只暴露安全的字段及数据，进而保证底层表的敏感字段及数据的安全。 • 将频繁出现的复杂查询定义为视图，可以使复杂查询更加简单便捷。