云原生虚拟数仓PieCloudDB Database产品白皮书数据量的爆发式增长 为了挖掘数据的价值,企业面临着海量数据的存储与分析需求,业务也面临着更多热点及突发流量所带来的挑战。面 对数据计算(Data Computing)的巨大诉求、数据组织的运行成本的急剧增加、数据格式的丰富多样,企业的数字 化转型面临巨大挑战,急需一款数据库产品,帮助其最大化利用数据资产,降本增效,进行更智能高效的数据计算。 数据库的未来在云上 随着 可以无缝集成业内常见的提取/ 转换/加载(ETL)和 BI(商业智能)工具。企业只需安排少量的集成工作,就可以使用现有的使用标准 SQL 结构和接 口的分析工具让应用在 PieCloudDB 上运行,从而避免了企业受制于供应商,帮助企业在控制业务风险的同时推动创 新。 PieCloudDB 采取存算分离的 eMPP(弹性大规模并行计算)设计架构。存储侧支持标准对象存储,可以充分利用云计 PieCloudDB 实现了元数据、计算、存储等三层架构,计算节点不存储用户数据,是无状态的。当计算节点发生故障 时,PieCloudDB 会自动快速发现并调度新的节点替代故障节点,同时也会在后台尝试修复故障节点,从而保证 PieCloudDB 服务的高可用性。 PieCloudDB 的存储引擎,支持对象存储、HDFS、NAS等分布式存储,数据的完整性、一致性和可靠性等由分布式存0 码力 | 17 页 | 2.02 MB | 1 年前3
PieCloudDB Database 产品白皮书 1DC:全球数据圈预测 数据量的爆发式增长 为了挖掘数据的价值,企业面临着海量数据的存储与分析需求,业务也面临着更多热点及突发流量所带来的挑战。面 对数据计算 (Data Computing) 的巨大诉求、数据组织的运行成本的急剧增加、数据格式的丰富多样,企业的数字 化转型面临巨大挑战,急需一款数据库产品,帮助其最大化利用数据资产,降本增效,进行更智能高效的数据计算。 数据库的未来在云上 随着云计算时代的到来, 高可用能力 pieCloudDB 实现了元数据、计算、存储等三层架构,计算节点不存储用户数据,是无状态的。当计算节点发生故障 时,PieCloudDB 会自动快速发现并调度新的节点蔡代故障节点,同时也会在后台尝试修复故障节点,从而保证 PieCloudDB 服务的高可用性。 pieCloudDB 的存鱼引擎,支持对象存储、HDF5、NAS等分布式存储,数据的完整性、一致性和可靠性等由分布式存 储的多副 接操作需要处理的数据量,使得查询性能显著提升。在很多分析型场景下,聚集下推会取得百倍或千 售的性能提升。 2.Block skipping PiecloudDB 实现了Block Skipping的优化机制,在数据库运行查询语句时,通过预计算每个块block) 中列聚集信息,在执行期间跳过非必要的数据块,减少数据读取量提高查询性能。此外,PiecloudDB PiecloudDB 还支持查询优化器Orca。Orca是一款开源的、基于Cascades0 码力 | 17 页 | 2.68 MB | 1 年前3
PieCloudDB Database 社区版集群安装部署手册 V2.1/lib/postgresql/data 在 master 节点检查 PV: 1. kubectl get pv 如果存在 pv-fdb, pv-etcd, pv-minio, pv-postgres,请务必在运行脚本前删除它们: 1. kubectl delete pv pv-fdb pv-minio pv-postgres pv-etcd 2.13 PDB 部署和启动 在 master 节点,用 在 master 节点检查 PV: 1. kubectl get pv 如果存在 pv-fdb, pv-etcd, pv-minio, pv-postgres,请务必在运行脚本前删除它们: 1. kubectl delete pv pv-fdb pv-minio pv-postgres pv-etcd 3.13 软件部署 在 master 节点,用 root 1. 在菜单栏,点击 进入集群界面,如果需要创建集群,点击右上角的 ,输入集群名、规格等信息即可。这里可以根据自身需求选择集群的规格大小,新 集群创建后会自动 启动并运行。 例如,“tom”创建了一个名为“cluster1”、规格大小 “medium” 的集群,启动后显示 。 2. 在集群界面可以更改集群“外部0 码力 | 42 页 | 1.58 MB | 1 年前3
PieCloudDB Database V2.1 版本说明核 • 聚集下推功能得到增强:通过把聚集操作下推到连接操作之前去执行,极大的减 少连接操作需要处理的数据量,使得查询性能显著提升。 • 实现了 Block Skipping 的优化机制:数据库运行查询语句时,通过计算每个块 (block)中列聚集信息,在执行期间跳过非必要的数据块,减少数据读取量提高查询性 能。 • 极速 Analyze(Smart Analyze): PieCloudDB0 码力 | 3 页 | 257.15 KB | 1 年前3
云原生虚拟数仓 PieCloudDB ETL 方案设计与实现• 任务调度总控 pdbconduct • 数据源提取(插件/客户端工具) • 计算节点 Foreign Table, Formatter • 任务调度总控 pdbconduct • 独立运行,通常在 PieCloudDB 控制节点上 • 按需启动数据源(插件)导出 • 发送 SQL 语句到 PieCloudDB 控制节点 • 收集执行结果,记录进度和错误信息 • INSERT/MERGE0 码力 | 29 页 | 5.24 MB | 1 年前3
云原生数据库 PieCloudDB eMPP架构设计与实现智能化云原⽣平台 (数据服务平台) 面向用户,做到开箱即用:离数据分析更近, 离繁琐操作更远; 面向运维,降低部署门槛:在不同的基础设施都能发挥 实力; 面向管理,让管理更轻松:让数据分析运行更透明; 设计目的 智能化云原⽣平台:⾯向⽤户、开箱即⽤ • 降低上⼿难度 — 让⽤户享受数据分析的乐趣 • 使⽤⻔槛低了 — 扩⼤平台受众 • 让更多⽤户离数据更近 — 离繁琐操作更远0 码力 | 31 页 | 1.43 MB | 1 年前3
共 6 条
- 1













