PieCloudDB 的云原生之路数仓虚拟化:可将多个数仓统一整合到一个高可用的云虚拟数仓 元数据 Master Segment Host 1 Segment Host 2 Segment Host 3 Master 销售 Master 销售 + 财务 Master 销售 + 财务 + 投资 Segment 虚拟数仓 1 虚拟数仓 2 ... 虚拟数仓 N Segment ... 销售部门 ... ... 存储节点统一进 Data Table Segment Segment Segment Segment Segment 虚拟数仓 3 计算节点无状态 Serverless ... ... Master X + Y + Z+ +N ü 按需弹性开启/关闭虚拟数仓,灵活配置存算节点 ü 打破数据孤岛,消除数据多副本 财务部门 元数据 Master Segment Host 1 Segment Segment Host 2 Segment Host 3 Data Table Data Table Data Table 投资部门 Data Table Data Table Data Table 元数据 Master Segment Host 1 Segment Host 2 Segment Host 3 Data Table Data0 码力 | 47 页 | 1.80 MB | 1 年前3
PieCloudDB云原生数仓虚拟化之路数仓虚拟化:可将多个数仓统一整合到一个高可用的云虚拟数仓 元数据 Master Segment Host 1 Segment Host 2 Segment Host 3 Master 销售 Master 销售 + 财务 Master 销售 + 财务 + 投资 Segment 虚拟数仓 1 虚拟数仓 2 ... 虚拟数仓 N Segment ... 销售部门 ... ... 存储节点统一进 Table Segment Segment Segment Segment Segment 虚拟数仓 3 计算节点无状态 Serverless ... ... Master X + Y + Z+ +N ü 按需弹性开启/关闭虚拟数仓,灵活配置存算节点 ü 打破数据孤岛,消除数据多副本 元数据 Master Segment Host 1 Segment Host Host 2 Segment Host 3 Data Table Data Table Data Table 财务部门 元数据 Master Segment Host 1 Segment Host 2 Segment Host 3 Data Table Data Table Data Table 投资部门 @2022 OpenPie. All rights0 码力 | 44 页 | 1.64 MB | 1 年前3
云原生虚拟数仓 PieCloudDB 的架构和关键模块实现• 隔离性 • 持久性 @2022 OpenPie. All rights reserved. OpenPie Confidential • Segment节点并不持有持久化的数据,在扩张/收缩的过程中不涉及数据的移动 • Segment节点不直接访问系统表,事务和锁 • 在扩张时只需要在新的虚拟机节点上部署二进制并向元数据服务注册 @2022 OpenPie. All rights 云原生架构 @2022 OpenPie. All rights reserved. OpenPie Confidential 云原生特性的实现途径 • 弹性伸缩的集群 • 完全无状态的Segment节点 • Multi-cluster • 独立的系统表 • 分布式的锁和事务 @2022 OpenPie. All rights reserved. OpenPie Confidential0 码力 | 43 页 | 1.14 MB | 1 年前3
共 3 条
- 1













