兼容龙蜥的云原生大模型数据计算系统:πDataCS所有的 独角兽和准独角兽企业中唯一“年度创业人物”。 拓数派引领数据计算领域新发展。(中国网报道) • 原Pivotal中国领团队和原Greenplum产品及社区核心成员均已加入拓数派。成员毕业自CMU、北大、清华和科大少年班 等顶级学术机构,并有成员获有奥赛奖牌。 • 我们秉承硅谷创新文化和普及数字化公益等社会责任。在公司成长的过程中,不遗余力为人才提供一个成为业内明星的平 台和通道。 CMU战略合作大模型基础理论,训练合作一事一议 πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (大模型)机器学习 向量数据计算 大模型训练… 自 研 简 墨 存 储 … 统一数据格式 | 一份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经网络) 私有云 Mundo元数据管理系统 全新的存储「简墨」和缓存架构设计 在计算层,各个计算节点针对元数据和用户数据都设计了多层 缓存结构,避免网络延迟和数据移动,提高计算效率,保证用 户的实时性需求。PieCloudDB针对底层对象存储设计了高效的 文件格式,可在节省网络请求的同时提高计算效率。 全新的优化器「达奇」 PieCloudDB可以更智能高效地生成统计信息,并生成更高效 的查询计划,达奇优化器支持聚集下推,预计算,Block Sk0 码力 | 29 页 | 7.46 MB | 1 年前3
如何从零开始参与技术社区?拟 化 技 术 提 出 者 u 云 时 代 存 算 双 重 分 离 技 术 u 中国唯⼀全自研Table Format技术 ⼤模型数据计算系统技术突破 πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (⼤模型) 机器学习 向量数据计算 ⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 conditions be handled? • Are there any system catalog changes? • Are there any dump/restore issues? If so, fix pg_dump. • Does psql need to be modified? @2024 OpenPie. All rights reserved. OpenPie Confidential yourself, so no worries we are all here to learn :) -- Michael Paquier @2024 OpenPie. All rights reserved. OpenPie Confidential So Let’s0 码力 | 25 页 | 871.00 KB | 1 年前3
云时代下多数据计算引擎的设计与实现为使命. • 核心团队来自于各大厂名校,有丰富的数据库(Greenplum,DB2,ClickHouse等)研发 和产业经验. • 产品 πDataCS:多计算引擎,包括自研分布式数据库PieCloudDB,自研分布式向量数据库 等. • PieCloudDB 存储底座是各计算引擎的载体. • 已落地或者正在落地:IoT、金融、新能源、医疗等行业. @2024 OpenPie. All0 码力 | 15 页 | 3.09 MB | 1 年前3
AGI 趋势下的云原生数据计算系统场规模发展将由企业市场引领主导,到2030年企业市场规模预计达到3024.6亿元人民币。 国内AGI市场增长趋势预测 说明:数据来自InfoQ研究中心 中国AGI发展趋势 l 中国AGI市场自下向上分为基础设施层、模型层、中间层和应用层四层,这四层结构共同构成了中国AGI市场的技术框架。 国内AGI市场分层 中国AGI发展趋势 l 在通往AGI的征途上,AI Agent正逐渐成为探索 一份存储,多引擎数据计算,全面升级大数据系统至大 模型时代。 02 云原生数据计算系统 大模型数据计算系统概览 • Data Sharing 技术原生支持数据要素流转 • 中国唯一全自研的Table Format技术 • 云原生存储架构,元数据、数据和计算全分离 核 心 技 术 突 破 • 数据一次入库永不出户,数据可用不可见,跑算力不跑数据 • 全链路加密保证数据安全 •0 码力 | 26 页 | 2.84 MB | 1 年前3
πDataCS赋能工业软件创新与实践reserved. OpenPie Confidential 国际顶级创始团队 原 Pivotal 中 国 领 团 队 和 原 Greenplum产品及社区核⼼成员 均已加⼊拓数派。成员毕业自 CMU、北⼤、清华和科⼤少年班 等顶级学术机构,并有成员获有 奥赛奖牌。 郭罡(Paul Guo) 合 伙 ⼈ & C T O • 中国科技⼤学少年班 • 18年+底层基础软件领域开发经验 • CMU战略合作⼤模型基础理论,训练合作⼀事⼀议 πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (⼤模型)机器学习 向量数据计算 ⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经⽹络) 私有云 Mundo元数据管理系统0 码力 | 36 页 | 4.25 MB | 1 年前3
PieCloudDB Database V2.8 Release Note发布日期: 2023 年 10 月 内 核 l 回收站功能 实现回收站来跟踪逻辑上被删除(TRUNCATE/DROP/ALTER 等)的表,这些 表对应的 S3 Block 文件在超过保留期限后会被 autovacuum 删除。 l PieCloudDB 全局缓存系统 n 支持在计算节点为一个查询缓存所需的目录(catalog)信息,在每个虚 拟数仓中,只有一 的虚拟索引。对于某些特殊的访问方法,表的数据文件/块已经包 含可以用作索引的信息,通过虚拟索引不仅可以利用这些信息来提高性能,而 且能减少维护开销。 l 简墨 JAMN 相关优化 n 通过 Delte Encoding 优化 JAMN 文件存储空间。 n 支持指定 JAMN 文件数据压缩方法,包括 None、PGLZ 或者 ZSTD。使用 ZSTD 压缩方法可以大幅度提高数据文件压缩率,降低数据文件存储成本。 n 支持预聚集块扫描节点,对 JAMN 文件块中的数据进行预聚集计算。 n 增强 JANM Data Skipping 对 IN 条件的处理能力。 n 新增 GUC 参数 pdb_enable_janm_toast,控制 JANM 访问方法中的 Toast。 n 新增建表选项 page_size,设置生成新 Page 的大小限制,以兆字节为单 位。 n 新增建表选项0 码力 | 4 页 | 144.49 KB | 1 年前3
PieCloudDB Database 社区版集群安装部署手册 V2.1.............................................................................. 23 3.11 修改 PDB 配置文件信息 ................................................................................................ 2_linux_amd64.tar.gz - C /root/.local/share/helm/plugins/helm-push ##在 Plugins 路径下创建 helm-push 文件夹,并将 helm-push_0.10.2_linux_amd64.tar.gz 解压到该文 件夹下 2.11 推送 PDB 相关 chart 到 harbor 仓库 在 master K8S 环境检查: 1. kubectl get nodes -l node-role.kubernetes.io/control- plane| awk '{print $1}' 请创建文件目录后再进行部署。 如下: 1. - Foundationdb: /var/lib/fdb/data 2. - Etcd: /var/lib/etcd/data 3. - minIO: /var/lib/minio/data0 码力 | 42 页 | 1.58 MB | 1 年前3
PieCloudDB:基于PostgreSQL的eMPP云原生数据库• 行列混合存储 • 定义内外存的数据格式 • 文件内统计信息 • 智能Analyze @2022 OpenPie. All rights reserved. OpenPie Confidential 构建新一代云原生存储引擎 • 完备的事务 • Block文件级别的MVCC实现 • 优化器与执行器的演进 • 向量化 • 文件查询裁剪(Block Skipping) • 聚集下推扫描(PreAgg 提升转换 CTE和递归CTE 的优化 等等 @2022 OpenPie. All rights reserved. OpenPie Confidential 云原生优化器 聚集下推 预计算 文件剪裁 针对云环境的特性,提供更多高阶的优化 @2022 OpenPie. All rights reserved. OpenPie Confidential 安全性增强 生态建设 全链路优化0 码力 | 45 页 | 1.32 MB | 1 年前3
云原生数据库 PieCloudDB : Unbreakable 安全特性剖析表密钥 页密钥 用户创建 租户创建 表创建 数据写入 用户信任域 持久化存储区域 数据存储区域 透明加密实现细节 • 模块化实现 • 优化器、执行器不感知 • 模块完美支持自研存储 • 可插拔加密算法库 • 支持不同硬件加密算法 • 支持国密算法 • 不影响用户业务 • 原有业务无需变化 • 不影响ETL数据导入导出 透明加密组件架构 用户查询 优化器 执行器0 码力 | 34 页 | 599.00 KB | 1 年前3
大模型时代下向量数据库的设计与应用避免并发调用gpu • 查询请求按批单线程提交 PieCloudVector • 兼容国产硬件和操作系统 PieCloudVector • 通过信通院测试 案例分析 - 东吴证券秀财gpt • 采用自研大模型东吴秀财GPT + LangChain开发框架 + PieCloudVector向量数据库构建了AIGC应 用平台,接入了交易应用的结构化数据和非结构化数据,其中非结构化数据主要是文本类数据0 码力 | 28 页 | 1.69 MB | 1 年前3
共 17 条
- 1
- 2













