PieCloudDB Database 产品白皮书 Cascades 模型的模块化查询优化器,可以帮助用 户对 SQL 进行优化,生成高效的查询计划) 。 * 原生多租户支持 PieCloudDB 通过独特的设计,具备原生多租户能力,每个租户有自己的数据库和虚拟数仓。不同的租户互相隔离,, 租户之间数据和元数据彼此都不可见。每个租户可以按需创建不同得角色和用户,不同用户可以拥有不同的权限。 。 人性化的管控平台 PieCloudDB 支持多计算集群 (也叫虚拟数仓) 配置,提供了一键部署功能,可以按需定义规格 (CPU/MEM/节点数 量等) ,管理运行状态,在允许租户复用资源的同时保证资源隔离 。 PieCloudDB 具备的可视化管理功能界面,支持多种统计数据的汇总和明细展示。提供监控告警功能,具备元数据 、 计算节点以及平台工具等完善的监控指标体系,同时支持日志收集和展示,方便用户更好地进行智能化运维。 PieCloudDB 管控平台提供数据洞察、元数据浏览、用户管理、权限管理、SQL 支持统一的资源管控,通过云原生存储引擎支持多种存储模型,用分布式计算引擎和数据接口来实现湖 仓一体化架构。通过云原生大数据服务以更低成本满足企业业务高弹性和敏汪性的需求。 pieCloudDB 打破了数据湖与数据仓库割裂的体系,架构上实现了将数据湖的灵活性、生态丰富与数据仓库的企业级 能力充分融合,帮助企业构建数据湖和数据仓库下合的数据管理平台。 PieCloudDB 内置的 foreign-data wrapper 《FDW)0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书配最优数量的节点执行查询。同时PieCloudDB的多集群能力可轻松面对高并发场景,企业可以根据业务的并发需求动 态扩展 PieCloudDB 集群,满足业务应用的并发需求。 8 原生多租户支持 人性化的管控平台 PieCloudDB 实现了全自动 Analyze,可以在数据发生变化的时候自动完成Analyze,及时生成准确的统计信息。 PieCloudDB 支持元数据和 PieCloudDB 通过独特的设计,具备原生多租户能力,每个租户有自己的数据库和虚拟数仓。不同的租户互相隔离, 租户之间数据和元数据彼此都不可见。每个租户可以按需创建不同得角色和用户,不同用户可以拥有不同的权限。 PieCloudDB 支持多计算集群(也叫虚拟数仓)配置,提供了一键部署功能,可以按需定义规格(CPU/MEM/节点数 量等),管理运行状态,在允许租户复用资源的同时保证资源隔离 。 PieCloudDB 具备的可视化管理功能界面,支持多种统计数据的汇总和明细展示。提供监控告警功能,具备元数据、 计算节点以及平台工具等完善的监控指标体系,同时支持日志收集和展示,方便用户更好地进行智能化运维。 PieCloudDB 管控平台提供数据洞察、 元数据浏览、用户管理、权限管理、SQL 查询历史、ETL 管理等功能。 9 1. 聚集下推 在执行聚0 码力 | 17 页 | 2.02 MB | 1 年前3
PieCloudDB 的云原生之路池化资源,按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用,运维等工作交给 IaaS/SaaS 厂商 IvorySQL开源数据库社区 上云≠云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 IvorySQL开源数据库社区 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 IvorySQL开源数据库社区 文本 时间序列分析 机器学习 数据转换 深度学习 传统BI 地理信息 PieCloudDB 设计原则:100%符合DB标准 100%兼容DW生态体系 Ø 关系型数学 Ø 完整的 SQL 标准 Ø ACID 事务 IvorySQL开源数据库社区 PART 03 PieCloudDB 架构特点 IvorySQL开源数据库社区 数仓虚拟 IvorySQL开源数据库社区 计算 • MPP o 将一个单一计算任务在大量独立的计算机上并行执行。 • 多租户、多集群 • 弹性伸缩:集群大小、集群类型、集群数量 • 隔离性:不同租户、不同负载 • 高并发 • 高可用 • 可按使用量付费 IvorySQL开源数据库社区 计算 • 多租户隔离 • 容量和带宽独立于计算伸缩 • 可按使用量付费 • 高可用/可靠存储 o 支持跨多数据中心复制数据0 码力 | 47 页 | 1.80 MB | 1 年前3
PieCloudDB云原生数仓虚拟化之路用户专注于使用,运维等工作交给IaaS/SaaS厂商 @2022 OpenPie. All rights reserved. OpenPie Confidential 上云 ≠ 云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 @2022 OpenPie. All rights reserved. OpenPie Confidential 时间序列分析 机器学习 数据转换 深度学习 传统BI 地理信息 P i e C l o u d D B 设 计 原 则 : 1 0 0 % 符 合 D B 标 准 100%兼容DW生态体系 Ø 关系型数学 Ø 完整的SQL 标准 Ø ACID 事务 @2022 OpenPie. All rights reserved. OpenPie Confidential 数仓虚拟化: • 将一个单一计算任务在大量独立的计算机上并行执行。 • 多租户、多集群 • 弹性伸缩:集群大小、集群类型、集群数量 • 隔离性:不同租户、不同负载 • 高并发 • 高可用 • 可按使用量付费 @2022 OpenPie. All rights reserved. OpenPie Confidential • 多租户隔离 • 容量和带宽独立于计算伸缩 • 可按使用量付费 •0 码力 | 44 页 | 1.64 MB | 1 年前3
πDataCS赋能工业软件创新与实践reserved. OpenPie Confidential 分布式设计,保证可靠性 计算层: Ø eMPP:根据计算任务智能调度合适的资源,将⼀个单⼀计算 任务在⼤量独立的计算机上并⾏执⾏。 Ø 多租户,资源隔离。 Ø 弹性伸缩,支持多集群协同。 存储层: Ø 存算分离,存储独立扩展。 Ø ⾼可靠,支持跨多数据中⼼的灾备复制。 Ø 节约成本,全局数据唯⼀存储,通过共享存储来实现数据共 享,避免拷贝和维护多份数据副本。 享,避免拷贝和维护多份数据副本。 事务管理: Ø 存两种隔离级别:Read Committed、Repeatable Read Ø ⾼性能事务管理器,支持自动扩展。 Ø ⾼可靠性,支持故障自动容错。 Ø 租户之间的事务管理器完全隔离,互不⼲扰。 @2024 OpenPie. All rights reserved. OpenPie Confidential 数据安全 中华⼈民共和国 ⽹络安全法 具备流批⼀体化能⼒,兼容Spark和Flink等应用程序,替换了部分Spark应用(SparkSQL); Ø 与集团内部的云平台进⾏了统⼀集成,通过API接⼝实现了系统对接,统⼀进⾏租户和资源的管理,支持资源管控和 隔离、数据透明加密以及租户密钥隔离等; Ø 引⼊PieCloudDB虚拟数仓技术,可以让技术栈更加专精,⼤⼤降低了数据中台的开发、运维和使用的门槛,⼤幅提 升了数据应用开发的效率; Ø Pi0 码力 | 36 页 | 4.25 MB | 1 年前3
TiDB 开源分布式关系型数据库项相关标准工作:4分布式数据库技术金融应用规范技术架构》《分布式数据库技术金融应用规范安全 技术要求》《分布式数据库技术金融应用规范灾难恢复要求》 。 ”主导联合技术课题《分布式数据库运维体系研究》《分布式数据库入云及多租户研究》 1.5 荣誉 TiDB 产品荣誉 。 2017 年度产品创新奖 。 2017 年度中国信通院 0SCAR 尖峰开源技术奖 。 2018InfoWorld | Bossie PingCAPCOM 章 - TiDB 开源分布式关系型数据库 2.4 TiFlash 高性能列式分析引擎 为了真正解决企业级用户在高性能实时数据分析领域的业务需求,我们在 TiDB 已有体系架构的基础上, 结合最先进的列式存储与计算技术,研发而成了 Tiflash 高性能列式分析引擎。 Tiflash 是TiDB 数据库的扩展分析引擎,核心基于列存储引擎和矢量计算引擎, 与 TiDB Google Cloud 上部署和使用TiDB 服务,在 云之间可以灵活迁移,用户无需担心被云供应商锁定。 *。 ”企业级安全: 提供数据传输加密与静态数据存储加密,借助虚拟私有网络 (VPC) 实现租户之间的安 全隔离。 。 专家级支持: PingCAP 的原厂工程师具有丰富的 TiDB 运维和调优经验,提供专家级的服务支持,为 用户线上业务保驾护航。 治意,确保业务连 PingCAP.COM0 码力 | 58 页 | 9.51 MB | 1 年前3
HBase最佳实践及优化支持一次性修改多行的API并不保证跨行的原 子性操作 – 一般情况下,API会在结果中分别返回执行成功、 失败以及超时的行操作列表 6 Postgres Conference China 2016 中国用户大会 HBase体系结构 7 Postgres Conference China 2016 中国用户大会 场景及应用 8 Postgres Conference China 2016 中国用户大会 9 HBase Column Family限制(数目,Partition对齐) • Region资源消耗大,实例数目不能太多 • 无法保证服务质量* – Split/Compaction等操作对集群性能影响极大 • 多租户隔离能力差 • 大内存(>100GB)管理差 12 Postgres Conference China 2016 中国用户大会 Kudu的设计目标 • 扫描大数据量时吞吐率高(列式存 储和多副本机制)0 码力 | 45 页 | 4.33 MB | 1 年前3
云原生数据库 PieCloudDB : Unbreakable 安全特性剖析次级密钥均在持久化存储中 • 页级密钥与数据共存 主密钥 用户创建 用户信任域 主密钥 租户密钥 用户创建 租户创建 用户信任域 持久化存储区域 主密钥 租户密钥 表密钥 用户创建 租户创建 表创建 用户信任域 持久化存储区域 主密钥 租户密钥 表密钥 页密钥 用户创建 租户创建 表创建 数据写入 用户信任域 持久化存储区域 数据存储区域 透明加密实现细节 加密算法库 租户密钥生成 主密钥 用户信任域 租户创建请求 租户密钥生成 主密钥 用户信任域 密钥生成 租户创建请求 加密 租户密钥生成 持久化存储区域 主密钥 用户信任域 密钥生成 租户创建请求 加密 存储 次级密钥生成 对应存储区域 密钥生成 查询请求 加密 存储 密钥储存区 上级密钥 租户密钥读取 持久化存储区域 用户信任域 解密 主密钥 租户密钥读取 持久化存储区域 主密钥 用户信任域 密钥储存区 存储 解密 租户密钥读取 持久化存储区域 主密钥 用户信任域 密钥储存区 存储 解密 定时器 次级密钥读取 对应存储区域 内存 存储 解密 定时器 上级密钥 密钥储存区 PART 04 总结 总结 • 用户侧 • 符合审计流程 • 用户无感知 • 业务不变化 • 研发侧 • 不影响内核迭代 • 独立模块,方便后续扩展0 码力 | 34 页 | 599.00 KB | 1 年前3
PieCloudDB:基于PostgreSQL的eMPP云原生数据库用户专注于使用,运维等工作交给IaaS/SaaS厂商 @2022 OpenPie. All rights reserved. OpenPie Confidential 上云 ≠ 云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 @2022 OpenPie. All rights reserved. OpenPie Confidential • 将一个单一计算任务在大量独立的计算机上并行执行。 • 多租户、多集群 • 弹性伸缩:集群大小、集群类型、集群数量 • 隔离性:不同租户、不同负载 • 高并发 • 高可用 • 可按使用量付费 @2022 OpenPie. All rights reserved. OpenPie Confidential • 多租户隔离 • 容量和带宽独立于计算伸缩 • 可按使用量付费 • rights reserved. OpenPie Confidential • ACID - 支持两种隔离级别:读已提交、可重复读 • 扩展性 - 事务管理器无单点性能瓶颈 • 隔离性 - 不同租户之间的事务管理器是完全隔离的,不会相互影响 • 容错性 - 事务管理器支持对各类基础设施故障进行自动容错 事务 @2022 OpenPie. All rights reserved. OpenPie0 码力 | 45 页 | 1.32 MB | 1 年前3
TiDB v8.4 中文手册Analytical Processing, HTAP) 功能。 注意: 如果你对 TiDB HTAP 功能还不太了解,希望快速试用体验,请参阅快速上手 HTAP。 要快速了解 TiDB 在 HTAP 场景下的体系架构与 HTAP 的适用场景,建议先观看下面的培训视频(时长 15 分钟)。 注意本视频只作为学习参考,如需了解详细的 HTAP 相关内容,请参阅下方的文档内容。 3.4.1 HTAP 适用场景 网络和物理磁盘的写入 能力有限,内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈,也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系,需要根据具体系统状态调整节点数量。 97 • TiSpark – 如果你的业务需要基于 Spark 进行分析,请部署 TiSpark。具体步骤,请参阅TiSpark 用户指南。 3.4.4 HTAP 数据准备 Region 导致 leader 资源紧 张成为整个系统读取瓶颈时,启用 Follower Read 功能可明显降低 leader 的负担,并且通过在多个 follower 之间 均衡负载,显著地提升整体系统的吞吐能力。 4.7.8.1.2 何时使用 优化读热点 你可以在TiDB Dashboard 流量可视化页面当中通过可视化的方法分析你的应用程序是否存在热点 Region。你可 以通过将「指标选择框」选择到0 码力 | 5072 页 | 104.05 MB | 10 月前3
共 52 条
- 1
- 2
- 3
- 4
- 5
- 6













