PieCloudDB Database 产品白皮书 会在不同集群间存在不一致的版本信息。此外,如果企业需要做跨集群的访问,往往非常困难,会造成数据孤岛的存 在。 运维成本 对于传统 MPP 数仓,企业往往会需要配备运维人力,且对运维、开发人员要求高,需要相关人员掌握复杂的技术 栈,技术的更新迁代迅速,相关人员需保持积极的知识更新意识。根关人才市场较小,人才芽乏。高昂的学习成本造 成用户使用过程中性能差、故障率高、故障修复时间长等问题。 云时代的数据处理要求 随着数据量和计 列存的优势,允许面向列的压缩方案,压缩率更高,节省存储空间,跳过不必要的列的扫描,提高查询效率; 在读取 少量数据时,提高Cache命中率,减少MO 次数。 pieCloudDB实现了存储中立,支持公有云、私有云、混合云。PieCloudDB 除支持自己的存储格式,还支持部署在存 储系统的开源格式,例如 Parquet。 此外,PieCloudDB 针对对象存储进行了优化,对分布式处理和写处理进行了增强,在特定查询场景下,避免了重组 Data Warehouse,在数据仓库基础之上抽象出来的一种资源调度方法,它可以整合多个数 仓的资源; 。 云原生: 《loud Native,云原生技术使组织能够在新式动态环境 (如公有云、私有云和混合云) 中构建和运行 可缩放的应用程序,能够充分适配和发挥云计算的优势能力; 。 TDE: Transparent Data Encryption,透明数据加密,使用加密密铀或DEK实时进行输入/输出数据加密和解0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书企业需要做跨集群的访问,往往非常困难,会造成数据孤岛的存 在。 运 维 成 本 对于传统 MPP 数仓,企业往往会需要配备运维人力,且对运维、开发人员要求高,需要相关人员掌握复杂的技术 栈,技术的更新迭代迅速,相关人员需保持积极的知识更新意识。相关人才市场较小,人才匮乏。高昂的学习成本造 成用户使用过程中性能差、故障率高、故障修复时间长等问题。 5 云时代的数据处理要求 随着数 列存的优势,允许面向列的压缩方案,压缩率更高,节省存储空间;跳过不必要的列的扫描,提高查询效率;在读取 少量数据时,提高Cache命中率,减少 I/O 次数。 PieCloudDB实现了存储中立,支持公有云、私有云、混合云。PieCloudDB 除支持自己的存储格式,还支持部署在存 储系统的开源格式,例如 Parquet。 此外,PieCloudDB 针对对象存储进行了优化,对分布式处理和写处理进行了增强,在特定查询场景下,避免了重组 eMPP: elastic Massively Parallel Processing,弹性大规模并行处理; 云原生: Cloud Native,云原生技术使组织能够在新式动态环境(如公有云、私有云和混合云)中构建和运行 可缩放的应用程序,能够充分适配和发挥云计算的优势能力; TDE: Transparent Data Encryption,透明数据加密,使用加密密钥或DEK实时进行输入/输出数据加密和解0 码力 | 17 页 | 2.02 MB | 1 年前3
πDataCS赋能工业软件创新与实践增长, 原本采用的Hadoop平台⽆法满⾜业务的分析需求,主要存在以下问题: Ø 数据同步和采集周期较长,实时性很差 Ø 数据量达到PB级别,数据分析性能直线下降 Ø 采用较多开源组件,技术栈太⼴,数据应用开发周期长 Ø Hadoop集群运维成本较⾼,技术响应慢 解决⽅案: 采用PieCloudDB作为核⼼数字底座,完成原来CDH(Hadoop)平台的替换,构建了制造业⾏业云的数据中台服务,既面向集团内 与集团内部的云平台进⾏了统⼀集成,通过API接⼝实现了系统对接,统⼀进⾏租户和资源的管理,支持资源管控和 隔离、数据透明加密以及租户密钥隔离等; Ø 引⼊PieCloudDB虚拟数仓技术,可以让技术栈更加专精,⼤⼤降低了数据中台的开发、运维和使用的门槛,⼤幅提 升了数据应用开发的效率; Ø PieCloudDB具备完善的商业化技术服务,提供本地化技术支持,技术响应更加及时,有效提升服务的SLA; 产业调研材料 ⽂件上传 内容检索 ⽂件调取 前端 应用 ⼀阶段能⼒ 数据 计算 M3E模型 Embeddings Text2vec模型 其他模型 IVFFLAT索引 索引 HNSW索引 混合索引 L2距离 向量搜索 内积 余弦相似度 技术 框架 关联分析 智能问答 ⼆阶段能⼒ 相关资讯 报告⽣成 基础 知识 IVF_PQ索引 索引 ScaNN索引 Binary类索引0 码力 | 36 页 | 4.25 MB | 1 年前3
PieCloudDB:基于PostgreSQL的eMPP云原生数据库OpenPie Confidential 构建新一代云原生存储引擎 • Multi-Could 云上设施 • 对象存储 (数据共享,存算分离) • 兼容HDFS,NAS,本地磁盘 • 公有云,私有云,混合云 • 现代的硬件 • CPU/GPU 高速缓存访问 • 数据的局部性优化 (SIMD) • 现代存储技术 • 新硬件的使用 @2022 OpenPie. All rights reserved Confidential 构建新一代云原生存储引擎 • 用户成本 (存储成本) • 自动选取适应类型的编码 • 压缩 • 减少对象存储的访问开销 • OLAP 性能 • 多级缓存 • 行列混合存储 • 定义内外存的数据格式 • 文件内统计信息 • 智能Analyze @2022 OpenPie. All rights reserved. OpenPie Confidential0 码力 | 45 页 | 1.32 MB | 1 年前3
如何从零开始参与技术社区?Confidential • 全链路加密保证数据安全 核⼼产品优势 • 云原⽣存储架构,元数据、数据和计算全分离 • 数据⼀次⼊库永不出户,数据可用不可见,跑算⼒不跑数据 • 公有云、私有云及混合云,按需部署 • 国产软硬件⼀体机解决⽅案,满⾜特定⾏业用户需求 u 首 创 云 原 ⽣ e M P P 架 构 u 国 内 数 仓 虚 拟 化 技 术 提 出 者 u 云 时 代 存 算 双0 码力 | 25 页 | 871.00 KB | 1 年前3
PieCloudDB:云原生分布式虚拟数仓的诞生之旅reserved. OpenPie Confidential PieCloudDB简介 (cont.) • PieCloudDB产品⽬标 • 安全可靠 使⽤简单 功能⻬全 性能极致 • 公有云、私有云、混合云 • ⼀个构建于⼤数据计算引擎上的⼤数据计算平台 @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB简介 (cont0 码力 | 24 页 | 2.01 MB | 1 年前3
大模型时代下向量数据库的设计与应用为其开发向量搜索及索引算法 PieCloudVector • 基于postgres打造的数据库内核 • 单机或分布式部署 • 支持完整的ACID • SQL进行向量搜索 • 支持向量标量混合查询 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持主流的ann算法,如ivf和hnsw等 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎0 码力 | 28 页 | 1.69 MB | 1 年前3
云原生数据库 PieCloudDB eMPP架构设计与实现• 存储和计算成本 • 各种计算优化 • SIMD, Cache Line • Data Skipping (本地查询和远程读取) • 预聚集 • ...... 存储中⽴ • 公有云,私有云,混合云 • 对象存储 (数据共享,存算分离)按需付 费 • 也⽀持HDFS,NAS ⽤户数据可靠安全 • ⽤户数据⾼可靠实时加解密 (TDE) • 分布式对象存储多副本多可⽤区保证数据安全:“⼀份”数据,0 码力 | 31 页 | 1.43 MB | 1 年前3
PieCloudDB 的云原生之路IvorySQL开源数据库社区 构建新一代云原生存储引擎 • Multi-Could 云上设施 o 对象存储 (数据共享,存算分离) o 兼容 HDFS,NAS,本地磁盘 o 公有云,私有云,混合云 • 现代的硬件 o CPU/GPU 高速缓存访问 o 数据的局部性优化(SIMD) o 现代存储技术 o 新硬件的使用 IvorySQL开源数据库社区 • 数据分布和弹性 o 分布式0 码力 | 47 页 | 1.80 MB | 1 年前3
PieCloudDB云原生数仓虚拟化之路OpenPie Confidential 构建新一代云原生存储引擎 • Multi-Could 云上设施 • 对象存储 (数据共享,存算分离) • 兼容HDFS,NAS,本地磁盘 • 公有云,私有云,混合云 • 现代的硬件 • CPU/GPU 高速缓存访问 • 数据的局部性优化 (SIMD) • 现代存储技术 • 新硬件的使用 @2022 OpenPie. All rights reserved0 码力 | 44 页 | 1.64 MB | 1 年前3
共 10 条
- 1













