PieCloudDB Database 产品白皮书 法弹性、快速地分析业务数据,错失了充分挖掘数据 Openpie | PiecloudDB 基于eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 传统数据仓库价格高昂的软硬件、开发运维人员的高晶薪资需要企业进行巨大的前期投入。传统数据仓库客户的生产 环境资源利用率,无论是存储或是计算资源往往都不尽人意。随着存储和工作负载需求的日益增长,面临数据库的扩 容和升级时,由于传统数据仓库架构存储和 ,会造成数据孤岛的存 在。 运维成本 对于传统 MPP 数仓,企业往往会需要配备运维人力,且对运维、开发人员要求高,需要相关人员掌握复杂的技术 栈,技术的更新迁代迅速,相关人员需保持积极的知识更新意识。根关人才市场较小,人才芽乏。高昂的学习成本造 成用户使用过程中性能差、故障率高、故障修复时间长等问题。 云时代的数据处理要求 随着数据量和计算能力的爆发式增长,云计算技术的迅猛发展,云原生架构愈受欢迎,云原生时代应运而生。云原生 Openpie | PiecloudDB 基于eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 些优势使云原生数据库得以降低计算成本,提供无限丰富的计算资源,实现分钟级的伸缩性和真正的高可用,释放 出数据计算产生更多智能的机会。以下是云原生时代数字企业的典型使用场景 * 每天有数个小的计算任务,需要数个节点 * 每周有一个中等计算任务,需要数十个节点 * 每月有一个大的计算任务,需要数干个节点0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书或需要紧急得到某个 报表结果时,传统数据仓库无法及时扩资源,导致大数据系统无法弹性、快速地分析业务数据,错失了充分挖掘数据 价值所带来的商业机会。 传 统 数 据 仓 库 架 构 成 本 高 昂 传统数据仓库价格高昂的软硬件、开发运维人员的高昂薪资需要企业进行巨大的前期投入。传统数据仓库客户的生产 环境资源利用率,无论是存储或是计算资源往往都不尽人意。随着存储和工作负载需求的日益增长,面临数据库的扩 岛的存 在。 运 维 成 本 对于传统 MPP 数仓,企业往往会需要配备运维人力,且对运维、开发人员要求高,需要相关人员掌握复杂的技术 栈,技术的更新迭代迅速,相关人员需保持积极的知识更新意识。相关人才市场较小,人才匮乏。高昂的学习成本造 成用户使用过程中性能差、故障率高、故障修复时间长等问题。 5 云时代的数据处理要求 随着数据量和计算能力的爆发式增长,云计算技术的迅猛发展, 每周有一个中等计算任务,需要数十个节点 每月有一个大的计算任务,需要数千个节点 无限空间: 灵活伸缩: 资源回收: 这些优势使云原生数据库得以降低计算成本,提供无限丰富的计算资源,实现分钟级的伸缩性和真正的高可用,释放 出数据计算产生更多智能的机会。以下是云原生时代数字企业的典型使用场景: 面对这些不断变化的业务需求和计算任务,企业产生了更高的需求: 充分结合云计算、大规模并行处理技术的云原生虚拟数仓0 码力 | 17 页 | 2.02 MB | 1 年前3
PieCloudDB 的云原生之路技 术 创 新 为 行 业 高 质 量 发 展 注 入 加 速 度 云 计 算 时 代 的 到 来 数 据 计 算 时 代 的 到 来 服务器整合,降低服务器硬件成本 云计算平台统一运维降低成本 服务器资源池可用空间增大 数据资源池可用空间增大 虚拟机动态迁移对硬件无感知 数仓整合,降低服务器硬件或者虚拟机成本 数据计算平台统一 运维降低成本 虚拟数仓数仓高在线 虚拟数仓动态 spinoff/retire spinoff/retire 对计算资源无感知 虚拟机高在线 服 务 器 虚 拟 化 数 仓 虚 拟 化 IvorySQL开源数据库社区 P i e C l o u d D B 版 本 和 部 署 方 式 一体机 企业版/社区版 云上云版 ü 领先的数仓虚拟化技术 ü 云原生 Serverless 架构 ü 第三方计费模式 ü 持续产品升级,体验产品最新特性 ü 器无感知技术(Serverless)利用云上无限计算资 源和弹性保证了虚拟数仓永远在线可用,S3 存储和 跨云灾备能力保证了永不丢数。 数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开无限数据计算空间, 更好地赋能业务发展并走向绿色。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐石 | 高安全 高在线 高可靠 突 破 性 创 新 的 核 心 技 术 出 色 的 数0 码力 | 47 页 | 1.80 MB | 1 年前3
PieCloudDB云原生数仓虚拟化之路PieCloudDB为企业构建「坚如磐石」的云原生虚拟数仓 @2022 OpenPie. All rights reserved. OpenPie Confidential 虚 拟 化 技 术 创 新 为 行 业 高 质 量 发 展 注 入 加 速 度 云 计 算 时 代 的 到 来 数 据 计 算 时 代 的 到 来 服务器整合,降低服务器硬件成本 云计算平台统⼀运维降低成本 服务器资源池可⽤空间增⼤ 数据资源池可⽤空间增⼤ 数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开⽆限数据计算空间, 更好地赋能业务发展并⾛向绿⾊。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐石 | 高安全 高在线 高可靠 突 破 性 创 新 的 核 心 技 术 出 色 的 数 仓 成 本 效 益 @2022 OpenPie. All rights reserved. OpenPie Confidential 完整的SQL 标准 Ø ACID 事务 @2022 OpenPie. All rights reserved. OpenPie Confidential 数仓虚拟化:可将多个数仓统一整合到一个高可用的云虚拟数仓 元数据 Master Segment Host 1 Segment Host 2 Segment Host 3 Master 销售 Master 销售 + 财务 Master0 码力 | 44 页 | 1.64 MB | 1 年前3
PieCloudDB:基于PostgreSQL的eMPP云原生数据库元数据管理 @2022 OpenPie. All rights reserved. OpenPie Confidential 元数据管理的设计目标 实现多节点共同访问的数据存储 实现分布式锁 • 高可用和多集群 • Multi-master • 多机并发访问 • 分布式环境下的多版本 @2022 OpenPie. All rights reserved. OpenPie Confidential 弹性伸缩:集群大小、集群类型、集群数量 • 隔离性:不同租户、不同负载 • 高并发 • 高可用 • 可按使用量付费 @2022 OpenPie. All rights reserved. OpenPie Confidential • 多租户隔离 • 容量和带宽独立于计算伸缩 • 可按使用量付费 • 高可用/可靠存储 • 支持跨多数据中心复制数据 • 唯一真理 • 全局只需要存储一份数据,通过共享存储来实现数据共 All rights reserved. OpenPie Confidential 构建新一代云原生存储引擎 • 数据分布和弹性 • 分布式eMPP架构 (一致性Hash) • 本地数据减少高延时的云存储访问 • 减少数据移动 • 扩缩容最少的数据移动 • 数据安全性 • 透明数据加密 • 三级密钥 • 实时加解密 @2022 OpenPie. All rights reserved0 码力 | 45 页 | 1.32 MB | 1 年前3
大模型时代下向量数据库的设计与应用超过3000余家企业续约学习,是科技领域占有率第1的客座导师品牌,msup以 整合全球领先经验实践为己任,为中国产业快速发展提供智库。 高可用架构主要关注互联网架构及高可用、可扩展及高性能领域的知识传播。 订阅用户覆盖主流互联网及软件领域系统架构技术从业人员。 高可用架构系列 社群是一个社区组织,其精神是“分享+交流”,提倡社区的人人参与,同时从社 区获得高质量的内容。0 码力 | 28 页 | 1.69 MB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCS无感知技术(Serverless)利用云上无限计算资源和 弹性保证了虚拟数仓永远在线可用,S3存储和跨云灾 备能力保证了永不丢数。 数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开无限数据计算空间,支 撑更大模型所需的数据和计算。更好地赋能业务发展并 走向绿色。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐石 | 高安全 高在线 高可靠 突 破 性 创 新 的 核 心 技 术 冗余数据、过度的数据搬运、分布式组件之间的 数据缺乏一致性 • 专业技能的额外劳动力成本、额外的许可成本 • 有限的查询语言能力、可编程性和可扩展性 • 有限的工具集成 • 较差的数据完整性和可用性 打破专用向量数据库的局限性 • 统一的数据平台,在动态扩缩容过程中无需移动 数据,充分保障数据的一致性 • 使用简单,学习成本低,无需额外投入 • 既满足了向量存储和向量搜索的需求,又升级实0 码力 | 29 页 | 7.46 MB | 1 年前3
πDataCS赋能工业软件创新与实践副本问题,帮助企业降低数仓管理复杂度,以更低 的成本实现存算资源在云上更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密,服务 器⽆感知技术(Serverless)利用云上⽆限计算资源 和弹性保证了虚拟数仓永远在线可用,S3存储和跨 云灾备能⼒保证了永不丢数。 数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开⽆限数据计算空间, 支撑更⼤模型所需的数据和计算。更好地赋能业务发 IaaS资源 执⾏器 执⾏器 执⾏器 协调器 协调器 虚拟数仓1 执⾏器 协调器 虚拟数仓2 执⾏器 … 连接管理 查询优化器 资源隔离 向量化执⾏ 事务管理 执⾏计划 并⾏计算 ⾼可用 数据查询 数据加载 弹性伸缩 自定义函数 集群管控 元数据访问 业务数据读写 元数据映射 元数据: Ø 分布式KV,存储系统表 Ø 基于key的自然排序实现索引 Ø ⾼性能 Ø 支撑更⼤模型所需的数据和计算。更好地赋能业务发 展并⾛向绿⾊。 提升数据计算资源利用效益 TDE技术保证了所有数据在落盘前完成加密,服务器 ⽆感知技术(Serverless)利用云上⽆限计算资源和弹 性保证了虚拟数仓永远在线可用,S3存储和跨云灾备 能⼒保证了永不丢数。 坚如磐⽯ | ⾼安全 ⾼在线 ⾼可靠 MPP πPG eMPP 内 核 存 算 分 离 重 写 云原⽣创新设计和专利 ⾏业顶级数据库的 抽象思考和设计原则复用0 码力 | 36 页 | 4.25 MB | 1 年前3
AGI 趋势下的云原生数据计算系统Sharing 技术原生支持数据要素流转 • 中国唯一全自研的Table Format技术 • 云原生存储架构,元数据、数据和计算全分离 核 心 技 术 突 破 • 数据一次入库永不出户,数据可用不可见,跑算力不跑数据 • 全链路加密保证数据安全 • JANM存储引擎等技术有效组织数据配合大模型精调 u 首创云原生eMPP架构 u 国内数仓虚拟化技术提出者 云原生数据计算系统 PieDataCS数据底座为AI大模型赋能0 码力 | 26 页 | 2.84 MB | 1 年前3
如何从零开始参与技术社区?rights reserved. OpenPie Confidential • 全链路加密保证数据安全 核⼼产品优势 • 云原⽣存储架构,元数据、数据和计算全分离 • 数据⼀次⼊库永不出户,数据可用不可见,跑算⼒不跑数据 • 公有云、私有云及混合云,按需部署 • 国产软硬件⼀体机解决⽅案,满⾜特定⾏业用户需求 u 首 创 云 原 ⽣ e M P P 架 构 u 国 内 数 仓 虚 拟 化0 码力 | 25 页 | 871.00 KB | 1 年前3
共 12 条
- 1
- 2













