πDataCS赋能工业软件创新与实践Flink等计算任务,保留用户的使用习惯。 ⽣态完善,支持主流的开发语⾔和数据科学⼯具,支持多模数据处理(结构化、 半结构化以及非结构化),提供标准的SQL接⼝和API,完成各种复杂场景的数 据处理,业务开发周期短,现存的代码基本可以⽆缝迁移和复用。 国内自主研发,具备社区版、商业版以及云SaaS服务,与国产软硬件完美兼容, 属于信创产业。支持公有云,可充分利用云资源的弹性能⼒。组件少,提供可 视化管理平台,运维管 为海量数据集上的复杂OLAP查 询提供最优的查询计划。 预计算 根据对象存储的特性,为每⼀个数据块预先计算好块内数据的聚集值。通过把聚集操作下推到对数据表 的扫描之上,可以直接利用数据块内预计算的结果,从⽽避免了⼤量的计算。 ⽂件裁剪 利用每个数据块内预计算的结果,提前过滤掉不符合条件的数据块,从⽽减少对数据的扫描和后续 的计算。 @2024 OpenPie. All rights reserved0 码力 | 36 页 | 4.25 MB | 1 年前3
PieCloudDB Database V2.8 Release Note比较稀疏时支持使用游程编码,可以节省 60%-95% 的存储空间。 2 l 优化 Block Skipping 实现 JANM 的虚拟索引。对于某些特殊的访问方法,表的数据文件/块已经包 含可以用作索引的信息,通过虚拟索引不仅可以利用这些信息来提高性能,而 且能减少维护开销。 l 简墨 JAMN 相关优化 n 通过 Delte Encoding 优化 JAMN 文件存储空间。 n 支持指定 JAMN 文件数据压缩方法,包括 None、PGLZ 或者 ZSTD。使用 ZSTD 压缩方法可以大幅度提高数据文件压缩率,降低数据文件存储成本。 n 支持预聚集块扫描节点,对 JAMN 文件块中的数据进行预聚集计算。 n 增强 JANM Data Skipping 对 IN 条件的处理能力。 n 新增 GUC 参数 pdb_enable_janm_toast,控制0 码力 | 4 页 | 144.49 KB | 1 年前3
PieCloudDB Database V2.1 版本说明作之前去执行,极大的减 少连接操作需要处理的数据量,使得查询性能显著提升。 • 实现了 Block Skipping 的优化机制:数据库运行查询语句时,通过计算每个块 (block)中列聚集信息,在执行期间跳过非必要的数据块,减少数据读取量提高查询性 能。 • 极速 Analyze(Smart Analyze): PieCloudDB 实现极速 Analyze,更快的生 成精确的查询规0 码力 | 3 页 | 257.15 KB | 1 年前3
PieCloudDB Database 产品白皮书 得百倍或千 售的性能提升。 2.Block skipping PiecloudDB 实现了Block Skipping的优化机制,在数据库运行查询语句时,通过预计算每个块block) 中列聚集信息,在执行期间跳过非必要的数据块,减少数据读取量提高查询性能。此外,PiecloudDB PiecloudDB 还支持查询优化器Orca。Orca是一款开源的、基于Cascades 模型的模块化查询优化器0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书倍的性能提升。 2. Block Skipping PieCloudDB 实现了Block Skipping的优化机制,在数据库运行查询语句时,通过预计算每个块(block) 中列聚集信息,在执行期间跳过非必要的数据块,减少数据读取量提高查询性能。此外,PieCloudDB PieCloudDB 还支持查询优化器Orca。Orca是一款开源的、基于Cascades 模型的模块化查询优化器,0 码力 | 17 页 | 2.02 MB | 1 年前3
如何从零开始参与技术社区?• 我与 OpenPie • 社区贡献的从0到1 • 如何进⾏代码贡献 @2024 OpenPie. All rights reserved. OpenPie Confidential 关 于 我 • 王刚(Tender Wang) • 拓数派 PieCloudDB 技术专家 • 多次参与PostgreSQL 代码贡献 @2024 OpenPie. All rights reserved OpenPie Confidential 核⼼代码相关的贡献 • Bug report • Review patch • Write patch How to Contribute to PostgreSQL @2024 OpenPie. All rights reserved. OpenPie Confidential “周边”代码相关的贡献 • Contrib/ • Driver0 码力 | 25 页 | 871.00 KB | 1 年前3
云原生数据库 PieCloudDB eMPP架构设计与实现发布。 • 产品已经在⼀些⾦融、医疗等⾏业开始使⽤。 关于我 • 毕业于中国科技⼤学,AI相关专业 • 毕业 1 年后到现在⼀直从事底层基础软件开发,10多年开发经验 • 领域涉及到: • 代码级/算法级/系统级性能优化 • Linux/Unix内核和系统开发、虚拟化(芯⽚KVM⽀持实现)和云计算架 构、⾼速⺴络开发(内核和应⽤层如DPDK) • 分布式系统(SQL/NoSQL/存储) 天然⾃带⼀定的多模⽀持 (原⽣或者插件) • 采⽤度和流⾏度持续上升 • 优秀的⽣态 • 我们的选择 • 很多功能不⽤也没必要重新造轮⼦ • 和⼀流的产品和⼈才⼀起成⻓ • 团队深度理解Postgres内核代码,在社区参与诸多贡献 PieCloudDB 架构 元数据管理 基于 MVCC 的事务隔离级别 使用 FoundationDB Key 的自然排序 实现索引 将元组以 key-value 的形式存储0 码力 | 31 页 | 1.43 MB | 1 年前3
大模型时代下向量数据库的设计与应用解决方案架构经验, 在加入拓数派前曾就职于开源大数据平台Greenplum团队,担任外部 数据源访问框架,对象存储访问扩展,ETL工具等产品模块的研发, 并曾参与PostgreSQL多个版本的代码贡献,拥有丰富的存储模块核心 开发和性能优化等实践经验。 邱培峰 拓数派向量数据库负责人 拓数派:大模型数据计算系统先行者 • 拓数派( OpenPie)是立足于国内的基础数据计算领域高科技0 码力 | 28 页 | 1.69 MB | 1 年前3
PieCloudDB:基于PostgreSQL的eMPP云原生数据库PieCloudDB 重新打造 PostgreSQL 12.x 实现存算分离 PieCloudDB 对几乎所有内核模块做了大量的创新 PieCloudDB 内核团队拥有强悍的Postgres内核代码掌控能力 • 将来会保持和Postgres内核大版本对齐 团队也拥有丰富的Postgres内核大版本升级合并经验 @2022 OpenPie. All rights reserved. OpenPie0 码力 | 45 页 | 1.32 MB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCSFlink等计算任务,保留用户的使用习惯。 生态完善,支持主流的开发语言和数据科学工具,支持多模数据处理(结构化、 半结构化以及非结构化),提供标准的SQL接口和API,完成各种复杂场景的数据 处理,业务开发周期短,现存的代码基本可以无缝迁移和复用。 国内自主研发,具备社区版、商业版以及云SaaS服务,与国产软硬件完美兼容, 属于信创产业。支持公有云,可充分利用云资源的弹性能力。组件少,提供可视 化管理平台,运维管0 码力 | 29 页 | 7.46 MB | 1 年前3
共 10 条
- 1













