πDataCS赋能工业软件创新与实践rights reserved. OpenPie Confidential πDataCS 优势1 :全面升级Hadoop⼤数据和Greenplum数仓⾄云原⽣数据平台 是⼀个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题, 是⼤数据技术中的基⽯。让用户可以在不了解分布式底层细节的情况下,开发 分布式程序,以⼀种可靠、⾼效、可伸缩的⽅式进⾏数据处理。 组件很多,常见约30个 提升转换 CTE和递归 CTE的优化 其他相关优化 聚集下推 通过把聚集操作下推到连接操作之前去执⾏,极⼤的减少连接操作需要处理的数据量,使得查询性能显 著提升。在很多场景下经过严格的测试,聚集下推会取得百倍或千倍的性能提升。 达奇 PieCloudDB Optimizer Ø 基于eMPP架构的云原⽣分布式 优化器; Ø 为海量数据集上的复杂OLAP查 询提供最优的查询计划。 但是,经过处理⽆法识别特定个⼈且不能复原的除外。 • 《中国银⾏业“⼗⼆五”信息科技发展规则监管指导意见》中提出, 完善敏感信息存储与传输等⾼风险环节的控制措施,对数据、⽂ 档的访问应建立严格的审批机制,对用于测试的⽣产数据要进⾏ 脱敏处理,严格防⽌敏感信息泄露。 存 储 层 Table Log … 密⽂ 存储 ⼀级密钥 ⼆级密钥 三级密钥 数据 访问 PieDataCS 加密 模块 存储0 码力 | 36 页 | 4.25 MB | 1 年前3
大模型时代下向量数据库的设计与应用目前在拓数派负责向量数据库PieCloudVector产品,聚焦于大模型 与大数据领域。拥有多年数据库内核研发和配套解决方案架构经验, 在加入拓数派前曾就职于开源大数据平台Greenplum团队,担任外部 数据源访问框架,对象存储访问扩展,ETL工具等产品模块的研发, 并曾参与PostgreSQL多个版本的代码贡献,拥有丰富的存储模块核心 开发和性能优化等实践经验。 邱培峰 拓数派向量数据库负责人 拓数派:大模型数据计算系统先行者 避免并发调用gpu • 查询请求按批单线程提交 PieCloudVector • 兼容国产硬件和操作系统 PieCloudVector • 通过信通院测试 案例分析 - 东吴证券秀财gpt • 采用自研大模型东吴秀财GPT + LangChain开发框架 + PieCloudVector向量数据库构建了AIGC应 用平台,接入了交易应用的结构化数据和非结构化数据,其中非结构化数据主要是文本类数据0 码力 | 28 页 | 1.69 MB | 1 年前3
AGI 趋势下的云原生数据计算系统中国AGI市场融资非常活跃, AGI顶级人才非常欠缺,整 个市场将长期保持快速增 长态势。 01 AIGC全生命周期管理 基于PieCloudML,为企业构 建统一的MaaS框架和AIGC开 发框架,对模型和AI Agent进 行高效管理。 03 案例分享 基于PieDataCS的用户案例实 践,从基础的数据底座到 AIGC应用全场景覆盖。 04 中国AGI发展趋势 国内AGI市场增长趋势预测 说明:数据来自InfoQ研究中心 中国AGI发展趋势 l 中国AGI市场自下向上分为基础设施层、模型层、中间层和应用层四层,这四层结构共同构成了中国AGI市场的技术框架。 国内AGI市场分层 中国AGI发展趋势 l 在通往AGI的征途上,AI Agent正逐渐成为探索的核心路径。但随着时间的推移,大模型的一些局限性开始显现,尽管大模型在模仿人类 认知方面取 结构化和半结构化数据同步 云原生数据计算系统 向量计算引擎设计 云原生数据计算系统 多模态数据共享 AIGC全生命周期管理 基于PieCloudML,为企业构建统一的MaaS框架和 AIGC开发框架,对模型和AI Agent进行高效管理。 03 AIGC全生命周期管理 PieCloudML引擎设计 AIGC全生命周期管理 MaaS底座主流架构 AIGC全生命周期管理 AIGC应用组织0 码力 | 26 页 | 2.84 MB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCS一份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经网络) 私有云 Mundo元数据管理系统 统一Catalog 是一个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题,是 大数据技术中的基石。让用户可以在不了解分布式底层细节的情况下,开发分布 式程序,以一种可靠、高效、可伸缩的方式进行数据处理。 组件很多,常见约30个0 码力 | 29 页 | 7.46 MB | 1 年前3
PieCloudDB Database 产品白皮书 数据服务和存储服务,降 低了元数据访问的网络延迟,加快了用户数据的访问速度。 pieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化,完整支持 TPC-H 和 TPC-D5 等测试,实现 了包括聚集下准、Block Skipping 等功能模块,大大缩短执行时间,高效的数据查询提高了数据分析的实时性。 1. 票集下推 在执行聚集函数的过程中,查询优化器会把聚集操作下推到连接操作之前去执行,可以极大地减少连0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书存储服务,降 低了元数据访问的网络延迟,加快了用户数据的访问速度。 PieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化,完整支持 TPC-H 和 TPC-DS 等测试,实现 了包括聚集下推、Block Skipping 等功能模块,大大缩短执行时间,高效的数据查询提高了数据分析的实时性。 此外,PieCloudDB 兼容 ORCA 优化器(ORCA 是一款开源的、基于0 码力 | 17 页 | 2.02 MB | 1 年前3
共 6 条
- 1













