PieCloudDB Database V2.8 Release NotePieCloudDB 全局缓存系统中添加本地缓存。 l HLL(HyperLogLog)压缩 当 HLL 比较稀疏时支持使用游程编码,可以节省 60%-95% 的存储空间。 2 l 优化 Block Skipping 实现 JANM 的虚拟索引。对于某些特殊的访问方法,表的数据文件/块已经包 含可以用作索引的信息,通过虚拟索引不仅可以利用这些信息来提高性能,而 且能减少维护开销。0 码力 | 4 页 | 144.49 KB | 1 年前3
PieCloudDB Database V2.1 版本说明0 码力 | 3 页 | 257.15 KB | 1 年前3
PieCloudDB Database 社区版集群安装部署手册 V2.1.............................................................................................. 4 2. PIECLOUDDB 和 K8S 一起部署方案 ......................................................................... PieCloudDB 版本 操作系统版本 1 K8S 的 Master pie4 10.24.31.154 root/openpie V2.1.1 Centos 7 2 K8S 的 Worker pie5 10.24.31.155 3 K8S 的 Worker pie6 10.24.31.156 备注: l 基于 K8S 环境搭建 PieCloudDB 环境和对象存储,请选择第三章节《PieCloudDB 基于已有 K8S 的部署方案》 2. PieCloudDB 和 K8S 一起部署方案 2.1 配置 NTP 同步 用 root 用户在每个节点执行如下命令: 1. yum install -y chrony 2. systemctl enable chronyd 3. systemctl start chronyd0 码力 | 42 页 | 1.58 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database社区版安装部署手册V2.10 码力 | 42 页 | 3.71 MB | 1 年前3
PieCloudDB Database 云原生平台用户手册社区版V2.1云原生平台用户手册 ©2023 OpenPie All Rights Reserved. 社区版本 ����� 2 �� PieCloudDB ����� PieCloudDB �������������������� �������������������������������������� �����PieCloudDB ������������������ ������������������������������������������� ����������������������������� 6 2. ���� ����� �����https://app.pieclouddb.com����������������������� �����?������������������ -h 1**.***.*** -p 5432 -U david -d openpie �� Python psycopg2 �� �������� Python ����� psycopg2� import psycopg2 conn = psycopg2.connect(host="1**.***.***", port="5432"0 码力 | 69 页 | 4.35 MB | 1 年前3
AGI 趋势下的云原生数据计算系统AGI顶级人才非常欠缺,整 个市场将长期保持快速增 长态势。 01 AIGC全生命周期管理 基于PieCloudML,为企业构 建统一的MaaS框架和AIGC开 发框架,对模型和AI Agent进 行高效管理。 03 案例分享 基于PieDataCS的用户案例实 践,从基础的数据底座到 AIGC应用全场景覆盖。 04 中国AGI发展趋势 中国AGI市场融资非常活跃,AGI顶级人才非常欠缺,整 国内AGI市场分层 中国AGI发展趋势 l 在通往AGI的征途上,AI Agent正逐渐成为探索的核心路径。但随着时间的推移,大模型的一些局限性开始显现,尽管大模型在模仿人类 认知方面取得了显著进步,但要达到真正的通用智能,仍需克服重重困难。因此,AI Agent作为新的研究方向,开始受至越来越多的关注。 AI Agent成为推动AI技术革命的关键力量 云原生数据计算系统 围绕数据组织云原生计算系统,重构数据存储和计算, 云原生数据计算系统 向量计算引擎设计 云原生数据计算系统 多模态数据共享 AIGC全生命周期管理 基于PieCloudML,为企业构建统一的MaaS框架和 AIGC开发框架,对模型和AI Agent进行高效管理。 03 AIGC全生命周期管理 PieCloudML引擎设计 AIGC全生命周期管理 MaaS底座主流架构 AIGC全生命周期管理 AIGC应用组织 AIGC全生命周期管理0 码力 | 26 页 | 2.84 MB | 1 年前3
云原生虚拟数仓 PieCloudDB 的架构和关键模块实现rights reserved. OpenPie Confidential select * from t1 left join t2 on t1.a = t2.c and t2.d > 9 and t1.b > 0 inner join t3 where t2.d < 100 and t1.a = t3.e and t3.f < 5; @2022 OpenPie. All rights reserved QUERY PLAN ------------------------------------------------------------ Gather Motion 3:1 (slice2; segments: 3) -> GroupAggregate Group Key: sales.brand -> Redistribute Motion 3:3 (slice1; segments: t1, t2 where t1.a = t2.c; Time travel 到时间点 select * from t1 at ‘2023-03-20 10:30:33’, t2 at ‘2023-03-19 11:32:23’ where t1.a = t2.c; Time travel 到某个时间段之前 select * from t1 before ‘1 day’, t2 before0 码力 | 43 页 | 1.14 MB | 1 年前3
云原生虚拟数仓 PieCloudDB ETL 方案设计与实现FOREIGN TABLE foreign_table(meta text, raw bytea); SELECT meta, raw FROM foreign_table; • INSERT 模式,步骤2 Ø PieCloudDB Formatter Ø 解析 Foreign Table产生的 raw 数据,转换为内部行格式,生成需要的各列 CREATE FUNCTION formatter(input (SELECT meta, raw FROM foreign_table LATERAL JOIN formatter(raw) AS r) parsed; • Merge/Upsert 模式,步骤2 临时表内部去重。对于相同逻辑主键LPK的行,取OK最大的那行 INSERT INTO temp_table SELECT all_columns FROM ( SELECT *, row_number() insert 2 2 2 insert 3 3 3 delete 0 4 3 insert 5 lpk data 1 2 2 3 3 5 • Merge/Upsert 模式,示例2 ok lpk op data 1 1 insert 2 2 2 insert 3 3 3 delete 0 4 3 insert 5 5 4 delete 0 lpk data 1 2 3 30 码力 | 29 页 | 5.24 MB | 1 年前3
πDataCS赋能工业软件创新与实践Confidential πDataCS的产品理念及定位 数据 计算 模型 灵活扩展的数据引擎,支持关系型数据库SQL、Spark/Flink 等流批⼀体处理、LLM的向量数据库以及GIS地理数据库等。 1 2 3 ⼤模型数据计算系统,以云原⽣技术重构数据存储和计算,⼀份数据,多引擎数据计算,AI数学模型、数据和 计算三者互为增强,全面升级⼤数据系统⾄⼤模型时代 ,赋能⾏业AI场景应用。 具备整体数 OpenPie. All rights reserved. OpenPie Confidential PieCloudVector与LLM在私域知识库领域的应用实践路径 π D a t a C S 优 势 2 : 全 面 支 持 ⼤ 语 ⾔ 基 础 模 型 和 私 域 数 据 结 合 做 垂 直 应 用 @2024 OpenPie. All rights reserved. OpenPie Confidential Coordinator Executor Host 1 Executor Host 2 Executor Host 3 Coordinator 销售 Coordinator 销售 + 财务 Coordinator 销售 + 财务 + 投资 Executor 虚拟数仓 1 虚拟数仓 2 ... 虚拟数仓 N Executor ... 销售部门 ... ... 元数据统一0 码力 | 36 页 | 4.25 MB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCSPivotal(中国) 创始人 云原生Serverless计算的提出者 Greenplum数据库(中国)创始人 大数据意见领导者 h t m 5 1 1 20 2 2 45 3 2 80 4 1 125 5 2 180 6 2 数 据 计 算 , 只 为 新 发 现 (Data Computing for New Discoveries) • 全新云原生架构「一份数据,多引擎计算」 24的安心保障。 πDataCS 优势1 :全面升级Hadoop大数据和Greenplum数仓至云原生数据平台 PieCloudVector与LLM在私域知识库领域的应用实践路径 πDataCS优势2: 全面支持大语言基础模型和私域数据结合做垂直应用 πDataCS优势3 :云原生下eMPP计算引擎全面颠覆MPP技术,大模型数据计算新范式 SQL语言实现的结构化数据上的模型计算 打破企业数据孤岛,整合企业所有表格类数据资源 Coordinato r Executor Host 1 Executor Host 2 Executor Host 3 Coordinator 销 售 Coordinator 销售 + 财务 Coordinator 销售 + 财务 + 投资 Executor 虚拟数仓 1 虚拟数仓 2 ... 虚拟数仓 N Executor ... 销售部门 ... ...0 码力 | 29 页 | 7.46 MB | 1 年前3
共 22 条
- 1
- 2
- 3













