PieCloudDB Database 社区版集群安装部署手册 V2.1
/lib/postgresql/data 在 master 节点检查 PV: 1. kubectl get pv 如果存在 pv-fdb, pv-etcd, pv-minio, pv-postgres,请务必在运行脚本前删除它们: 1. kubectl delete pv pv-fdb pv-minio pv-postgres pv-etcd 2.13 PDB 部署和启动 在 master 节点,用 Harbor12345 11. helm repo update 12. } 备注:适配版本信息, 确保在 deploy.sh 安装时使用的镜像版本(image.tag)与 离线包中包含的镜像版 本一致。 3.12 环境检查和准备 K8S 环境检查: 1. kubectl get nodes -l node-role.kubernetes.io/control- 在 master 节点检查 PV: 1. kubectl get pv 如果存在 pv-fdb, pv-etcd, pv-minio, pv-postgres,请务必在运行脚本前删除它们: 1. kubectl delete pv pv-fdb pv-minio pv-postgres pv-etcd 3.13 软件部署 在 master 节点,用 root0 码力 | 42 页 | 1.58 MB | 1 年前3云原生数据库 PieCloudDB eMPP架构设计与实现
智能化云原⽣平台 (数据服务平台) 面向用户,做到开箱即用:离数据分析更近, 离繁琐操作更远; 面向运维,降低部署门槛:在不同的基础设施都能发挥 实力; 面向管理,让管理更轻松:让数据分析运行更透明; 设计目的 智能化云原⽣平台:⾯向⽤户、开箱即⽤ • 降低上⼿难度 — 让⽤户享受数据分析的乐趣 • 使⽤⻔槛低了 — 扩⼤平台受众 • 让更多⽤户离数据更近 — 离繁琐操作更远 离繁琐操作更远 PieCloudDB 是这么来帮助我们的⽤户的 ⾯向运维 部署运维难度⼩ • 全⾯拥抱容器化技术,可以适配多种环境 • 已⽀持私有信创环境和多云环境 • 既实现私有环境离线部署,也可充分利⽤公有云技术设施 • 数据库维护平台托管 ⾯向管理 多个维度轻松管控 PieCloudDB⽀持 • ⼀个数仓多个计算集群同时运⾏ • 针对不同⽤户业务负载或者不同场景,可以选择不同 集群进⾏数据计算0 码力 | 31 页 | 1.43 MB | 1 年前3πDataCS赋能工业软件创新与实践
存储资源 ⽹络资源 云原⽣资源 中间件 数据库 ⾼性能存储 离线数据 主流组件(Kafka、Flink、Spark、ES) 实时数据 数据 存储 全量数据同步 πDataCS 增量数据同步 可视化ETL 结构化数据处理 非结构化数据处理 数据标准 数据权限体系 数据质量 数据资产目录 元数据统⼀管理 数据安全 离线计算 数据⾎缘 数据标准 实时计算 作业调度 数据交换 机器学习0 码力 | 36 页 | 4.25 MB | 1 年前3云原生虚拟数仓PieCloudDB Database产品白皮书
数据量的爆发式增长 为了挖掘数据的价值,企业面临着海量数据的存储与分析需求,业务也面临着更多热点及突发流量所带来的挑战。面 对数据计算(Data Computing)的巨大诉求、数据组织的运行成本的急剧增加、数据格式的丰富多样,企业的数字 化转型面临巨大挑战,急需一款数据库产品,帮助其最大化利用数据资产,降本增效,进行更智能高效的数据计算。 数据库的未来在云上 随着 可以无缝集成业内常见的提取/ 转换/加载(ETL)和 BI(商业智能)工具。企业只需安排少量的集成工作,就可以使用现有的使用标准 SQL 结构和接 口的分析工具让应用在 PieCloudDB 上运行,从而避免了企业受制于供应商,帮助企业在控制业务风险的同时推动创 新。 PieCloudDB 采取存算分离的 eMPP(弹性大规模并行计算)设计架构。存储侧支持标准对象存储,可以充分利用云计 需创建不同得角色和用户,不同用户可以拥有不同的权限。 PieCloudDB 支持多计算集群(也叫虚拟数仓)配置,提供了一键部署功能,可以按需定义规格(CPU/MEM/节点数 量等),管理运行状态,在允许租户复用资源的同时保证资源隔离 。 PieCloudDB 具备的可视化管理功能界面,支持多种统计数据的汇总和明细展示。提供监控告警功能,具备元数据、 计算节点以及平台工具等完0 码力 | 17 页 | 2.02 MB | 1 年前3PieCloudDB Database 产品白皮书
1DC:全球数据圈预测 数据量的爆发式增长 为了挖掘数据的价值,企业面临着海量数据的存储与分析需求,业务也面临着更多热点及突发流量所带来的挑战。面 对数据计算 (Data Computing) 的巨大诉求、数据组织的运行成本的急剧增加、数据格式的丰富多样,企业的数字 化转型面临巨大挑战,急需一款数据库产品,帮助其最大化利用数据资产,降本增效,进行更智能高效的数据计算。 数据库的未来在云上 随着云计算时代的到来, 接操作需要处理的数据量,使得查询性能显著提升。在很多分析型场景下,聚集下推会取得百倍或千 售的性能提升。 2.Block skipping PiecloudDB 实现了Block Skipping的优化机制,在数据库运行查询语句时,通过预计算每个块block) 中列聚集信息,在执行期间跳过非必要的数据块,减少数据读取量提高查询性能。此外,PiecloudDB PiecloudDB 还支持查询优化器Orca。Orca是一款开源的、基于Cascades ,不同用户可以拥有不同的权限。 。 人性化的管控平台 PieCloudDB 支持多计算集群 (也叫虚拟数仓) 配置,提供了一键部署功能,可以按需定义规格 (CPU/MEM/节点数 量等) ,管理运行状态,在允许租户复用资源的同时保证资源隔离 。 PieCloudDB 具备的可视化管理功能界面,支持多种统计数据的汇总和明细展示。提供监控告警功能,具备元数据 、 计算节点以及平台工具等完善的监控0 码力 | 17 页 | 2.68 MB | 1 年前3PieCloudDB Database V2.1 版本说明
核 • 聚集下推功能得到增强:通过把聚集操作下推到连接操作之前去执行,极大的减 少连接操作需要处理的数据量,使得查询性能显著提升。 • 实现了 Block Skipping 的优化机制:数据库运行查询语句时,通过计算每个块 (block)中列聚集信息,在执行期间跳过非必要的数据块,减少数据读取量提高查询性 能。 • 极速 Analyze(Smart Analyze): PieCloudDB0 码力 | 3 页 | 257.15 KB | 1 年前3云原生虚拟数仓 PieCloudDB ETL 方案设计与实现
• 任务调度总控 pdbconduct • 数据源提取(插件/客户端工具) • 计算节点 Foreign Table, Formatter • 任务调度总控 pdbconduct • 独立运行,通常在 PieCloudDB 控制节点上 • 按需启动数据源(插件)导出 • 发送 SQL 语句到 PieCloudDB 控制节点 • 收集执行结果,记录进度和错误信息 • INSERT/MERGE0 码力 | 29 页 | 5.24 MB | 1 年前3
共 7 条
- 1