云原生虚拟数仓 PieCloudDB 的架构和关键模块实现和数据湖已经不再是数据分析的主要平台 @2022 OpenPie. All rights reserved. OpenPie Confidential • Nosql本身对于高级分析支持差 o 图形,地理信息 • Nosql对于复杂查询的支持差 NoSQL和数据湖很难胜任数据分析的工作场景 @2022 OpenPie. All rights reserved. OpenPie Confidential Confidential • 使用数据湖为基础进行数据分析需要多个组件进行集成部署,多个 组件的配合需要大量的开发工作 • 许多缺乏 ANSI SQL 支持,需要专门的技术技能 • 专用引擎/工具(例如图形数据库)通常难以与记录系统集成,限制 了分析和创新的操作化 NoSQL和数据湖为基础的基础设施需要的分析工具不容易集成和部署 @2022 OpenPie. All rights reserved Confidential • Segment节点并不持有持久化的数据,在扩张/收缩的过程中不涉及数据的移动 • Segment节点不直接访问系统表,事务和锁 • 在扩张时只需要在新的虚拟机节点上部署二进制并向元数据服务注册 @2022 OpenPie. All rights reserved. OpenPie Confidential • Master 节点和 FoundationDB 通过事务的方式协同实现了分布式的事务和锁0 码力 | 43 页 | 1.14 MB | 1 年前3
大模型时代下向量数据库的设计与应用PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持向量编码和压缩如PQ等 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持二进制索引 • 支持多级索引如HNSW+IVF等 • CPU多核并行/GPU加速 PieCloudVector • Faiss与postgres内核对接 - 基础接口 • 增加向量列类型用于基本的加载与卸载0 码力 | 28 页 | 1.69 MB | 1 年前3
PieCloudDB Database 产品白皮书 内置的 foreign-data wrapper 《FDW) 模块,让用户可以访问 HDFS、MySQL 、Oracle等外部数据。PieCloudDB 支持JS5ON,XML,Parquet以及 二进制数据等格式,同时,PieCloudDB 既支持用户利用过程语言自行开发模块进行数据分析也原生兼容开源机器学 习库Apache MADlib,从而可以原生实现一些高级机器学习功能。该拓展提供数学、统计学以及机器学习方法,包括0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书内置的 foreign-data wrapper (FDW)模块,让用户可以访问 HDFS、MySQL 、Oracle等外部数据。PieCloudDB 支持 JSON,XML, Parquet以及 二进制数据等格式,同时,PieCloudDB 既支持用户利用过程语言自行开发模块进行数据分析也原生兼容开源机器学 习库 Apache MADlib,从而可以原生实现一些高级机器学习功能。该拓展提供数学、统计学以及机器学习方法,包括0 码力 | 17 页 | 2.02 MB | 1 年前3
共 4 条
- 1













