PieCloudDB Database 社区版集群安装部署手册 V2.1
.......................................................................... 11 2.10 安装 HELM-PUSH 插件 .................................................................................................. ........................................................................... 22 3.9 安装 HELM-PUSH 插件 .................................................................................................. cluster -f config-sample.yaml -a artifact.tar.gz 3. kubectl get pod -A 2.10 安装 helm-push 插件 在 master 节点的 piedbinstaller 目录下执行如下命令: 1. helm env|grep -i plugins ##查看 helm 的 plugin 路径0 码力 | 42 页 | 1.58 MB | 1 年前3兼容龙蜥的云原生大模型数据计算系统:πDataCS
、HDFS、 MapReduce以及YARN 。可视化管理是Ambari,其他的计算引擎、列存数据库 等都需要额外的组件,应对不同的场景需要安装对应的组件和依赖。 生态丰富,对结构化数据、半结构化数据以及非结构化数据都支持,可以很好的 完成各种业务场景的数据处理需求。但是对于开发的要求比较高,需要掌握多种 组件的不同使用方法,业务开发周期会比较久。 国外开源软件,与国产软硬件兼容性差,不符合信创趋势,也无法直接利用云资 户可根据实际情况去选择合适的数据计算引擎。 灵活可扩展的插件式引擎,组件少而精(All in One),提供3种计算引擎、1种 Lakehouse引擎,1个硬件加速器,应对各种场景的计算,同时也兼容Spark、 Flink等计算任务,保留用户的使用习惯。 生态完善,支持主流的开发语言和数据科学工具,支持多模数据处理(结构化、 半结构化以及非结构化),提供标准的SQL接口和API,完成各种复杂场景的数据 应用实践路径 πDataCS优势2: 全面支持大语言基础模型和私域数据结合做垂直应用 πDataCS优势3 :云原生下eMPP计算引擎全面颠覆MPP技术,大模型数据计算新范式 SQL语言实现的结构化数据上的模型计算 打破企业数据孤岛,整合企业所有表格类数据资源 πCloudDB(强逻辑计算) 云原生数据库/ 虚拟数仓 eMPP专利技术发明者/虚拟数仓产品的全球行业领导者 计算引擎之0 码力 | 29 页 | 7.46 MB | 1 年前3πDataCS赋能工业软件创新与实践
⼤模型数据计算系统,以云原⽣技术重构数据存储和计算,⼀份数据,多引擎数据计算,AI数学模型、数据和 计算三者互为增强,全面升级⼤数据系统⾄⼤模型时代 ,赋能⾏业AI场景应用。 具备整体数据平台⽅案,支持多模数据处理(结构化、半结构化 以及非结构化数据),实现数据共享和分析。 软件优化 + 新硬件(FPGA)加速,实现数据全链路的性能飞跃, 让数据存储、SQL查询、向量计算以及机器学习等能⼒全面升级。 @2024 OpenPie 、HDFS、 MapReduce以及YARN 。可视化管理是Ambari,其他的计算引擎、列存数据库 等都需要额外的组件,应对不同的场景需要安装对应的组件和依赖。 ⽣态丰富,对结构化数据、半结构化数据以及非结构化数据都支持,可以很好 的完成各种业务场景的数据处理需求。但是对于开发的要求比较⾼,需要掌握 多种组件的不同使用⽅法,业务开发周期会比较久。 国外开源软件,与国产软硬件兼容性差,不符合信创趋势,也⽆法直接利用云 用户可根据实际情况去选择合适的数据计算引擎。 灵活可扩展的插件式引擎,组件少⽽精(All in One),提供3种计算引擎、1种 Lakehouse引擎,1个硬件加速器,应对各种场景的计算,同时也兼容Spark、 Flink等计算任务,保留用户的使用习惯。 ⽣态完善,支持主流的开发语⾔和数据科学⼯具,支持多模数据处理(结构化、 半结构化以及非结构化),提供标准的SQL接⼝和API,完成各种复杂场景的数0 码力 | 36 页 | 4.25 MB | 1 年前3PieCloudDB Database V2.8 Release Note
pdb_temptable_local_limit_filenum,控制临时表的数据文件溢出到远 端存储。 n 支持 autovacuum 清理孤立的临时表。 l pgaudit 插件 支持使用 pgaudit 插件生成审计日志。 l Kafka 接口 n 支持获取 Kafka FDW 统计数据。 n Kafka FDW 支持 JSON 格式。 l 执行计划信息 支持在0 码力 | 4 页 | 144.49 KB | 1 年前3云原生虚拟数仓 PieCloudDB ETL 方案设计与实现
唯一性与事务性保证 • 断点续传 • 错误处理 • 任务调度总控 pdbconduct • 数据源提取(插件/客户端工具) • 计算节点 Foreign Table, Formatter • 任务调度总控 pdbconduct • 独立运行,通常在 PieCloudDB 控制节点上 • 按需启动数据源(插件)导出 • 发送 SQL 语句到 PieCloudDB 控制节点 • 收集执行结果,记录进度和错误信息0 码力 | 29 页 | 5.24 MB | 1 年前3云原生数据库 PieCloudDB eMPP架构设计与实现
完善的Postgres生态 为什么选择Postgres? • 关于Postgres • 公司中⽴,开源协议友好,国际⼀流⼯程⽔准的先进开源数据库 • Postgres对存储扩展,插件扩展⽀持友好 • 天然⾃带⼀定的多模⽀持 (原⽣或者插件) • 采⽤度和流⾏度持续上升 • 优秀的⽣态 • 我们的选择 • 很多功能不⽤也没必要重新造轮⼦ • 和⼀流的产品和⼈才⼀起成⻓ • 团队深度理解Postgres内核代码,在社区参与诸多贡献0 码力 | 31 页 | 1.43 MB | 1 年前3AGI 趋势下的云原生数据计算系统
计达到3024.6亿元人民币。 国内AGI市场增长趋势预测 说明:数据来自InfoQ研究中心 中国AGI发展趋势 l 中国AGI市场自下向上分为基础设施层、模型层、中间层和应用层四层,这四层结构共同构成了中国AGI市场的技术框架。 国内AGI市场分层 中国AGI发展趋势 l 在通往AGI的征途上,AI Agent正逐渐成为探索的核心路径。但随着时间的推移,大模型的一些局限性开始显现,尽管大模型在模仿人类 国内数仓虚拟化技术提出者 云原生数据计算系统 PieDataCS数据底座为AI大模型赋能 云原生数据计算系统 虚拟数仓引擎设计 云原生数据计算系统 分布式优化器设计 云原生数据计算系统 结构化和半结构化数据同步 云原生数据计算系统 向量计算引擎设计 云原生数据计算系统 多模态数据共享 AIGC全生命周期管理 基于PieCloudML,为企业构建统一的MaaS框架和 AIGC开发框架,对模型和AI0 码力 | 26 页 | 2.84 MB | 1 年前3大模型时代下向量数据库的设计与应用
案例分析 - 东吴证券秀财gpt • 采用自研大模型东吴秀财GPT + LangChain开发框架 + PieCloudVector向量数据库构建了AIGC应 用平台,接入了交易应用的结构化数据和非结构化数据,其中非结构化数据主要是文本类数据 下一步展望 • GraphRAG 欢迎关注我们! 麦思博(msup)有限公司是一家面向技术型企业的培训咨询机构,携手2000余位 中外客座导师,服务0 码力 | 28 页 | 1.69 MB | 1 年前3PieCloudDB Database 产品白皮书
Language) 的支持使得 PieCloudDB 可以无锋集成业内常见的提取/ 转换/加载 (ETL) 和 Bl (商业智能) 工具。企业只需安排少量的集成工作,就可以使用现有的使用标准 SQL 结构和接 口的分析工具让应用在 PieCloudDB -上 从而避免了企业受制于供应商,帮助企业在控制业务风险的同时推动创 新。 。 多维度弹性扩缩容 pieCloudDB 采取存算分离的eMPP 份数据建立多个集群,每个集群拥有独立的计算资源和独立的权限管控,满足业务的隔离性和安全性需求。 * 多级缓存技术 在 PieCloudDB 的计算层,各个计算节点针对元数据和用户数据都设计了多层缓存结构。其中,元数据作为数据库系 统中最重要的特征信息,实现高速的元数据访问是提高数据库查询性能的有效途径。为了避免网络延迟,加速查询优 化,PieCloudDB8 实现了元数据层全新的缓存架构,有效减少 节点与对象存储之间的数据移动,提高计算效率,减少网络延迟和系统响应时间,保证用户的实时性需求。 * 全新的存储引擎 【简黑) pieCloudDB 打造了全新的存储引擎--简墨 (JANM) ,实现了基于对象存储的行列混存结构 。行列混存结合了行存和 列存的优势,允许面向列的压缩方案,压缩率更高,节省存储空间,跳过不必要的列的扫描,提高查询效率; 在读取 少量数据时,提高Cache命中率,减少MO 次数。 pieC0 码力 | 17 页 | 2.68 MB | 1 年前3云原生虚拟数仓PieCloudDB Database产品白皮书
re Language)的支持使得 PieCloudDB 可以无缝集成业内常见的提取/ 转换/加载(ETL)和 BI(商业智能)工具。企业只需安排少量的集成工作,就可以使用现有的使用标准 SQL 结构和接 口的分析工具让应用在 PieCloudDB 上运行,从而避免了企业受制于供应商,帮助企业在控制业务风险的同时推动创 新。 PieCloudDB 采取存算分离的 eMPP(弹性大规 的云原生架构支持用户基于同一 份数据建立多个集群,每个集群拥有独立的计算资源和独立的权限管控,满足业务的隔离性和安全性需求。 在 PieCloudDB 的计算层,各个计算节点针对元数据和用户数据都设计了多层缓存结构。其中,元数据作为数据库系 统中最重要的特征信息,实现高速的元数据访问是提高数据库查询性能的有效途径。为了避免网络延迟,加速查询优 化, PieCloudDB 实现了元数据层全新的缓存架构,有效 计算 节点与对象存储之间的数据移动,提高计算效率,减少网络延迟和系统响应时间,保证用户的实时性需求。 PieCloudDB 打造了全新的存储引擎--简墨(JANM),实现了基于对象存储的行列混存结构。行列混存结合了行存和 列存的优势,允许面向列的压缩方案,压缩率更高,节省存储空间;跳过不必要的列的扫描,提高查询效率;在读取 少量数据时,提高Cache命中率,减少 I/O 次数。0 码力 | 17 页 | 2.02 MB | 1 年前3
共 13 条
- 1
- 2