大模型时代下向量数据库的设计与应用 个人简介 目前在拓数派负责向量数据库PieCloudVector产品，聚焦于大模型 与大数据领域。拥有多年数据库内核研发和配套解决方案架构经验， 在加入拓数派前曾就职于开源大数据平台Greenplum团队，担任外部 数据源访问框架，对象存储访问扩展，ETL工具等产品模块的研发， 并曾参与PostgreSQL多个版本的代码贡献，拥有丰富的存储模块核心 国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎方向进 行创新，全面拥抱AI技术趋势。 目录 • 大模型应用和RAG • 向量近似搜索和向量数据库 • PieCloudVector架构设计与挑战 • 案例介绍 大模型 检索增强生成(RAG) 使用大模型可以构造问答，聊天等应用，但同时也存在以下问题 • 数据时效 - LLM训练数据有截止日期，不包含最新信息，无法准确回答相关信息 通过信通院测试 案例分析 - 东吴证券秀财gpt • 采用自研大模型东吴秀财GPT + LangChain开发框架 + PieCloudVector向量数据库构建了AIGC应 用平台，接入了交易应用的结构化数据和非结构化数据，其中非结构化数据主要是文本类数据 下一步展望 • GraphRAG 欢迎关注我们！ 麦思博(msup)有限公司是一家面向技术型企业的培训咨询机构，携手2000余位

，⼀份数据，多引擎数据计算，AI数学模型、数据和 计算三者互为增强，全面升级⼤数据系统⾄⼤模型时代 ，赋能⾏业AI场景应用。 具备整体数据平台⽅案，支持多模数据处理（结构化、半结构化 以及非结构化数据），实现数据共享和分析。 软件优化 + 新硬件（FPGA）加速，实现数据全链路的性能飞跃， 让数据存储、SQL查询、向量计算以及机器学习等能⼒全面升级。 @2024 OpenPie. All All rights reserved. OpenPie Confidential • 全新云原⽣架构「⼀份数据，多引擎计算」 弹 性 扩 缩 容 ， 打 破 数 据 孤 岛 • 全 面 支 持 H T A P 湖 仓 ⼀ 体 和 向 量 计 算 • 原 ⽣ 支 持 数 据 治 理 ， 三 权 分 离 • 支 持 ⼤ 语 ⾔ 基 础 模 型 和 私 域 数 据 结 合 开 发 垂 直 应 用 库、HDFS、 MapReduce以及YARN 。可视化管理是Ambari，其他的计算引擎、列存数据库 等都需要额外的组件，应对不同的场景需要安装对应的组件和依赖。 ⽣态丰富，对结构化数据、半结构化数据以及非结构化数据都支持，可以很好 的完成各种业务场景的数据处理需求。但是对于开发的要求比较⾼，需要掌握 多种组件的不同使用⽅法，业务开发周期会比较久。 国外开源软件，与国产软硬件兼容性差，不符合信创趋势，也⽆法直接利用云

AGI顶级人才非常欠缺，整 个市场将长期保持快速增 长态势。 01 AIGC全生命周期管理 基于PieCloudML，为企业构 建统一的MaaS框架和AIGC开 发框架，对模型和AI Agent进 行高效管理。 03 案例分享 基于PieDataCS的用户案例实 践，从基础的数据底座到 AIGC应用全场景覆盖。 04 中国AGI发展趋势 中国AGI市场融资非常活跃，AGI顶级人才非常欠缺，整 中国AGI发展趋势 l InfoQ研究中心预计，2030年中国AGI应用市场规模将达到4543.6亿元人民币。 l 2024-2027中国AGI应用市场将经历过速启动期;每年市场增速都将超过100%，2028年起，市场将进入快速成长期，年市场增速保 持在50%以上。并于2027年突破千亿人民币市场规模。 l InfoQ研究中心认为，中国AGI应用市场规模发展将由企业市场引领主导，到2030年企业市场规模预计达到3024 预计达到3024.6亿元人民币。 国内AGI市场增长趋势预测 说明：数据来自InfoQ研究中心 中国AGI发展趋势 l 中国AGI市场自下向上分为基础设施层、模型层、中间层和应用层四层，这四层结构共同构成了中国AGI市场的技术框架。 国内AGI市场分层 中国AGI发展趋势 l 在通往AGI的征途上，AI Agent正逐渐成为探索的核心路径。但随着时间的推移，大模型的一些局限性开始显现，尽管大模型在模仿人类

4 5 6 7 7 8 11 13 15 16 目 录 行 业 背 景 石油是工业的血液，数据是数字经济的“石油”，数据分析则是石油精炼。 随着信息技术的发展，互联网应用的加速普及，人类进入了数字经济时代。进入二十一世纪以后，随着移动互联网技 术、物联网技术、5G等技术的发展，全球数据圈（Global Datasphere）呈指数级递增， IDC预测全球数据圈将于 数据库成为大势所趋，各个企业也都在向这 一趋势靠拢。2020 年数据显示，云数据库已占据整体数据库市场份额的40%，2022年云数据库营收数据将占据数据 库整体市场的半数以上。 1 2 全 球 数 据 圈 预 测 IDC： 3 缺 乏 弹 性 然而，随着数据量的不断攀升，企业对数据仓库的要求也越来越高，在使用过程中，传统 MPP 数据库解决方案迎来 了一系列的瓶颈： 4 传统数仓的痛点 环境 中，常常见到客户在需要扩容时，采取重新新建集群的方式。 数 据 孤 岛 随着业务的发展，数据量的增加，和信息化建设的需求，企业会为不同部门建设相应的业务信息化系统。我们在真实 客户场景中，常常看到很多企业有成百上千个集群，但这些集群的元数据往往都是一样的。这种情况下，很多元数据 会在不同集群间存在不一致的版本信息。此外，如果企业需要做跨集群的访问，往往非常困难，会造成数据孤岛的存

AI的基础科技底座的同时，开启AI技术的新范式。 πDataCS旨在助力企业优化计算瓶颈、充分利用和发挥数据规模优势，构建核心技术壁垒，让大模 型技术全面赋能行业AI场景应用，助力合作伙伴成功，为企业创造更大的商业价值。 全 球 数 据 计 算 系 统 引 领 者 • 归国后在美国500强EMC旗下创建了Greenplum中国，随后在2013年在Paul Maritz（届时VMware 现 (Data Computing for New Discoveries) • 全新云原生架构「一份数据，多引擎计算」 弹 性 扩 缩 容 ， 打 破 数 据 孤 岛 • 全 面 支 持 H T A P 湖 仓 一 体 和 向 量 计 算 • 原 生 支 持 数 据 治 理 ， 三 权 分 离 • 支 持 大 语 言 基 础 模 型 和 私 域 数 据 结 合 开 发 库、HDFS、 MapReduce以及YARN 。可视化管理是Ambari，其他的计算引擎、列存数据库 等都需要额外的组件，应对不同的场景需要安装对应的组件和依赖。 生态丰富，对结构化数据、半结构化数据以及非结构化数据都支持，可以很好的 完成各种业务场景的数据处理需求。但是对于开发的要求比较高，需要掌握多种 组件的不同使用方法，业务开发周期会比较久。 国外开源软件，与国产软硬件兼容性差，不符合信创趋势，也无法直接利用云资

PiecloudDB 基于 eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 百岗 行业背景 石油是工业的血液，数据是数字经济的“石油”，数据分析则是石油精炼。 随着信息技术的发展，互联网应用的加速普及，人类进入了数字经济时代。进入二十一世纪以后，随着移动互联网技 术、物联网技术、5G等技术的发展，全球数据圈 (Global Datasphere) 呈指数级递增， IDC预测全球数据圈将于 。因此真实生产环境 中，常常见到客户在需要扩容时，采取重新新建集群的方式。 数据瑰岛 随着业务的发展，数据量的增加，和信息化建设的需求，企业会为不同部门建设相应的业务信息化系统。我们在真实 客户场景中，常常看到很多企业有成百上千个集群，但这些集群的元数据往往都是一样的。这种情况下，很多元数据 会在不同集群间存在不一致的版本信息。此外，如果企业需要做跨集群的访问，往往非常困难，会造成数据孤岛的存 成用户使用过程中性能差、故障率高、故障修复时间长等问题。 云时代的数据处理要求 随着数据量和计算能力的爆发式增长，云计算技术的迅猛发展，云原生架构愈受欢迎，云原生时代应运而生。云原生 时代，越来越多的企业将应用向云上迁移，而越来越多的数据也流向云上。公有云带来了众多优势: 时可以申请/释放的计算资源 霹 无限的计算资源 亿-曾 无限的存信池 C 二 低价的对象存储 Openpie | PiecloudDB

ü 强⼤的开发者⽀持 ü 云原⽣eMPP专利技术⽀持与赋能 ü 7*24⼩时产品故障服务响应 ü 基于业务需求的专家团队服务 ü 国产化软硬件，技术⾃主可控 ü 存算分离⽀持独⽴扩容 ü 全⾯适配信创环境 公 有 云 私 有 云 裸 硬 件 企 业 版 社 区 版 云 上 云 版 一 体 机 @2022 OpenPie. All rights reserved reserved. OpenPie Confidential P i e C l o u d D B 新 一 代 云 原 生 虚 拟 数 仓 核 心 价 值 多个数仓归并⾄云虚拟数仓，打破传统数仓场景下 数据孤岛，解决数据多副本问题，帮助企业降低数 仓管理复杂度，以更低的成本实现存算资源在云上 更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密，服务 器⽆感知技术（Serverless）利⽤云上⽆限计算资源 扩缩容最少的数据移动 • 数据安全性 • 透明数据加密 • 三级密钥 • 实时加解密 @2022 OpenPie. All rights reserved. OpenPie Confidential 全链路优化 • 全新的存储引擎简墨（JANM） • 基于对象存储的行列混存架构 • 压缩比更好 • Cache命中率更高 • 降低CPU使用率 @2022 OpenPie. All rights

是这么来帮助我们的⽤户的 ⾯向运维 部署运维难度⼩ • 全⾯拥抱容器化技术，可以适配多种环境 • 已⽀持私有信创环境和多云环境 • 既实现私有环境离线部署，也可充分利⽤公有云技术设施 • 数据库维护平台托管 ⾯向管理 多个维度轻松管控 PieCloudDB⽀持 • ⼀个数仓多个计算集群同时运⾏ • 针对不同⽤户业务负载或者不同场景，可以选择不同 集群进⾏数据计算 云原⽣平台⽀持 •

OpenPie Confidential • 在世界范围内的统计信息显示，Nosql和数据湖已经不在数据分析 领域占有主要市场 • Nosql和数据湖缺少很多支持数据分析的重要特性 o 缺少在高并发场景下的隔离性和一致性 o 和现有的BI工具很难集成 • 关系型数据库已经重新成为数据分析的主要平台 NoSQL 和数据湖已经不再是数据分析的主要平台 @2022 OpenPie. All rights reserved. OpenPie Confidential • Nosql本身对于高级分析支持差 o 图形，地理信息 • Nosql对于复杂查询的支持差 NoSQL和数据湖很难胜任数据分析的工作场景 @2022 OpenPie. All rights reserved. OpenPie Confidential • 使用数据湖为基础进行数据分析需要多个组件进行集成部署，多个 组件的配合需要大量的开发工作 rights reserved. OpenPie Confidential @2022 OpenPie. All rights reserved. OpenPie Confidential • 在 AP 场景下，像使用 postgres 一样使用 PieCloudDB • 只为已经发生的计算和存储付费 • 按需启动的关闭多个不同大小的集群，以适应不同类型的任务 • 取得性能和开发效率的高度平衡 @2022

云 版 一 体 机 IvorySQL开源数据库社区 P i e C l o u d D B 新 一 代 云 原 生 虚 拟 数 仓 核 心 价 值 多个数仓归并至云虚拟数仓，打破传统数仓场景下 数据孤岛，解决数据多副本问题，帮助企业降低数 仓管理复杂度，以更低的成本实现存算资源在云上 更灵活的配置。 TDE 技术保证了所有数据在落盘前完成加密，服务 器无感知技术（Serverless）利用云上无限计算资 本地数据减少高延时的云存储访问 o 减少数据移动 o 扩缩容最少的数据移动 • 数据安全性 o 透明数据加密 o 三级密钥 o 实时加解密 构建新一代云原生存储引擎 IvorySQL开源数据库社区 全链路优化 • 全新的存储引擎简墨（JANM） ⚬ 基于对象存储的行列混存架构 ⚬ 压缩比更好 ⚬ Cache 命中率更高 ⚬ 降低 CPU 使用率 IvorySQL开源数据库社区 04 优化器