大模型时代下向量数据库的设计与应用 个人简介 目前在拓数派负责向量数据库PieCloudVector产品，聚焦于大模型 与大数据领域。拥有多年数据库内核研发和配套解决方案架构经验， 在加入拓数派前曾就职于开源大数据平台Greenplum团队，担任外部 数据源访问框架，对象存储访问扩展，ETL工具等产品模块的研发， 并曾参与PostgreSQL多个版本的代码贡献，拥有丰富的存储模块核心 国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎方向进 行创新，全面拥抱AI技术趋势。 目录 • 大模型应用和RAG • 向量近似搜索和向量数据库 • PieCloudVector架构设计与挑战 • 案例介绍 大模型 检索增强生成(RAG) 使用大模型可以构造问答，聊天等应用，但同时也存在以下问题 • 数据时效 - LLM训练数据有截止日期，不包含最新信息，无法准确回答相关信息 基于postgres打造的数据库内核 • 单机或分布式部署 • 支持完整的ACID • SQL进行向量搜索 • 支持向量标量混合查询 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持主流的ann算法，如ivf和hnsw等 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持向量编码和压缩如PQ等 PieCloudVector

拓数派数据计算引擎PieCloudDB虚拟数仓再获信创认可 8月 拓数派⼊选中国信通院“铸基计划”「⾼质量数字化 转型产品及服务全景图」 拓数派再次携WAIC创建智能驾驶科技分会 杭州萧⼭区政府“⼀事⼀议”支持政策获 批 9月 拓数派上榜《毕马威中国-未来独角兽 ⼈⼯智能创新 双30企业（长江三角洲地区）》 10月 2023拓数派年度技术论坛 拓数派⼤模型数据计算系统正式亮相，让AI模型更⼤更快 计算 模型 灵活扩展的数据引擎，支持关系型数据库SQL、Spark/Flink 等流批⼀体处理、LLM的向量数据库以及GIS地理数据库等。 1 2 3 ⼤模型数据计算系统，以云原⽣技术重构数据存储和计算，⼀份数据，多引擎数据计算，AI数学模型、数据和 计算三者互为增强，全面升级⼤数据系统⾄⼤模型时代 ，赋能⾏业AI场景应用。 具备整体数据平台⽅案，支持多模数据处理（结构化、半结构化 MapReduce以及YARN 。可视化管理是Ambari，其他的计算引擎、列存数据库 等都需要额外的组件，应对不同的场景需要安装对应的组件和依赖。 ⽣态丰富，对结构化数据、半结构化数据以及非结构化数据都支持，可以很好 的完成各种业务场景的数据处理需求。但是对于开发的要求比较⾼，需要掌握 多种组件的不同使用⽅法，业务开发周期会比较久。 国外开源软件，与国产软硬件兼容性差，不符合信创趋势，也⽆法直接利用云

4 5 6 7 7 8 11 13 15 16 目 录 行 业 背 景 石油是工业的血液，数据是数字经济的“石油”，数据分析则是石油精炼。 随着信息技术的发展，互联网应用的加速普及，人类进入了数字经济时代。进入二十一世纪以后，随着移动互联网技 术、物联网技术、5G等技术的发展，全球数据圈（Global Datasphere）呈指数级递增， IDC预测全球数据圈将于 成用户使用过程中性能差、故障率高、故障修复时间长等问题。 5 云时代的数据处理要求 随着数据量和计算能力的爆发式增长，云计算技术的迅猛发展，云原生架构愈受欢迎，云原生时代应运而生。云原生 时代，越来越多的企业将应用向云上迁移，而越来越多的数据也流向云上。公有云带来了众多优势： 每天有数个小的计算任务，需要数个节点 每周有一个中等计算任务，需要数十个节点 每月有一个大的计算任务，需要数千个节点 无限空间： 7 PieCloudDB 产品架构 PieCloudDB 整体架构分为三个层次，包括基础设施层、数据处理层及数据应用层。详细阐述如下： 基础设施层 基础设施层为 PieCloudDB 提供计算资源、存储资源和网络资源，PieCloudDB 支持部署在物理服务器、虚拟机以及容 器中，同时也提供 PieCloudDB 公有云 SaaS 服务。 数据处理层 PieCloudDB

PiecloudDB 基于 eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 百岗 行业背景 石油是工业的血液，数据是数字经济的“石油”，数据分析则是石油精炼。 随着信息技术的发展，互联网应用的加速普及，人类进入了数字经济时代。进入二十一世纪以后，随着移动互联网技 术、物联网技术、5G等技术的发展，全球数据圈 (Global Datasphere) 呈指数级递增， IDC预测全球数据圈将于 成用户使用过程中性能差、故障率高、故障修复时间长等问题。 云时代的数据处理要求 随着数据量和计算能力的爆发式增长，云计算技术的迅猛发展，云原生架构愈受欢迎，云原生时代应运而生。云原生 时代，越来越多的企业将应用向云上迁移，而越来越多的数据也流向云上。公有云带来了众多优势: 时可以申请/释放的计算资源 霹 无限的计算资源 亿-曾 无限的存信池 C 二 低价的对象存储 Openpie | PiecloudDB 计算基础设施的一个典范。 PiecloudDB 产品架构 pieCloudDB 整体架构分为三个层次，包括基础设施层、数据处理层及数据应用层。详细阐述如下: 基础设施层为 pieCloudDB 提供计算资源、存储资源和网络资源，PieCloudDB 支持部署在物理服务器、庶拟机以及容 器中,同时也提供 PieCloudDB 公有云 Saa5 服务。 * ”数据处理层 PieCloudDB

核心技术壁垒，让大模 型技术全面赋能行业AI场景应用，助力合作伙伴成功，为企业创造更大的商业价值。 全 球 数 据 计 算 系 统 引 领 者 • 归国后在美国500强EMC旗下创建了Greenplum中国，随后在2013年在Paul Maritz（届时VMware CEO，曾任微软Windows平台总负责人）和Scott Yara的支持下创建了Pivotal中国。 卡内基梅隆大学 ( 业时代》报道） 拓数派创始人、董事长兼首席执行官；原Pivotal/Greenplum(中国)创始人 • 与核心团队在PaaS云第一股Pivotal（PVTL）的成功基础上，在腾讯投资天使轮投资支持下成立 拓数派，打造了国内科技领域屈指可数的Day-1准独角兽企业。(36氪首发报道) • 由于拓数派在云上数据库和数据计算领域的卓越表现，冯雷在杭州万物生长大会上被评为杭州市所有的 独角兽和准独角兽企业中唯一“年度创业人物”。 拓数派数据计算引擎PieCloudDB虚拟数仓再获信创认可 8月 拓数派入选中国信通院“铸基计划”「高质量数字 化转型产品及服务全景图」 拓数派再次携WAIC创建智能驾驶科技分会 杭州萧山区政府“一事一议”支持政策获 批 9月 拓数派上榜《毕马威中国-未来独角兽 人工智能创新双 30企业（长江三角洲地区）》 10月 2023拓数派年度技术论坛 拓数派大模型数据计算系统正式亮相，让AI模型更大更快

基于PieDataCS的用户案例实 践，从基础的数据底座到 AIGC应用全场景覆盖。 04 中国AGI发展趋势 中国AGI市场融资非常活跃，AGI顶级人才非常欠缺，整 个市场将长期保持快速增长态势。 01 中国AGI发展趋势 l InfoQ研究中心预计，2030年中国AGI应用市场规模将达到4543.6亿元人民币。 l 2024-2027中国AGI应用市场将经历过速启动期;每年市场增速都将超过100% 持在50%以上。并于2027年突破千亿人民币市场规模。 l InfoQ研究中心认为，中国AGI应用市场规模发展将由企业市场引领主导，到2030年企业市场规模预计达到3024.6亿元人民币。 国内AGI市场增长趋势预测 说明：数据来自InfoQ研究中心 中国AGI发展趋势 l 中国AGI市场自下向上分为基础设施层、模型层、中间层和应用层四层，这四层结构共同构成了中国AGI市场的技术框架。 国内AGI市场分层 围绕数据组织云原生计算系统，重构数据存储和计算， 一份存储，多引擎数据计算，全面升级大数据系统至大 模型时代。 02 云原生数据计算系统 大模型数据计算系统概览 • Data Sharing 技术原生支持数据要素流转 • 中国唯一全自研的Table Format技术 • 云原生存储架构，元数据、数据和计算全分离 核 心 技 术 突 破 • 数据一次入库永不出户，数据可用不可见，跑算力不跑数据

Nosql和数据湖缺少很多支持数据分析的重要特性 o 缺少在高并发场景下的隔离性和一致性 o 和现有的BI工具很难集成 • 关系型数据库已经重新成为数据分析的主要平台 NoSQL 和数据湖已经不再是数据分析的主要平台 @2022 OpenPie. All rights reserved. OpenPie Confidential • Nosql本身对于高级分析支持差 o 图形，地理信息 图形，地理信息 • Nosql对于复杂查询的支持差 NoSQL和数据湖很难胜任数据分析的工作场景 @2022 OpenPie. All rights reserved. OpenPie Confidential • 使用数据湖为基础进行数据分析需要多个组件进行集成部署，多个 组件的配合需要大量的开发工作 • 许多缺乏 ANSI SQL 支持，需要专门的技术技能 • 专用引擎/工具（例如图形数据库）通常难以与记录系统集成，限制 以关系型数据库为基础的数据仓库很难适应云环境 @2022 OpenPie. All rights reserved. OpenPie Confidential 计算引擎方面 • 完备的SQL语言支持 • 高效的分布式计算能力 • 完备的事务支持，隔离性 一致性 原 子性 公有云特性方面 • 存算分离 • 弹性的计算集群 • 只为必要的计算付费 @2022 OpenPie. All rights reserved

HDFS/NAS 系统上支持原生存储格式。 • 对 Orca 的支持：PieCloudDB 支持查询优化器 Orca。Orca 是一款开源的、基 于 Cascades 模型的模块化查询优化器，帮助用户对 SQL 进行优化，生成高效的查询计 划。 • 支持超大数据量字段 • 支持快速 ETL/ELT： Kafka 流数据导入支持，copy 性能大幅提升。 性能大幅提升。 • 外部数据源的查询（实验性功能）： PieCloudDB 支持 foreign-data wrapper 模块，使用户可以访问包括但不限于 HDFS、MySQL 等数据源，同时支持用户自行开发 模块来访问新的存储数据源 。 管控平台 • 用户权限优化：通过更加清晰的 UI 设计，为用户提供一体化的权限管理 • 注册选项增加 结果页面 UI 更新，界面更加简洁优雅。优化超长结果显示，可支持选中结 果直接复制 o 支持执行请求时自由切入/切出页面，不影响用户进行其他操作 o 支持快捷键执行请求 o 支持 sql 文本查找/替换 • 数据导入优化： o 支持数据导入时自由切入/切出页面，无需用户在导入界面停留等待 o 支持 text 文本格式 o 统一报错信息

PieCloudDB 全局缓存系统 n 支持在计算节点为一个查询缓存所需的目录（catalog）信息，在每个虚 拟数仓中，只有一个目录信息副本从协调节点分发，并共享给所有 Slices/Backends。 n 支持在 PieCloudDB 全局缓存系统中添加本地缓存。 l HLL（HyperLogLog）压缩 当 HLL 比较稀疏时支持使用游程编码，可以节省 60%-95% 的存储空间。 简墨 JAMN 相关优化 n 通过 Delte Encoding 优化 JAMN 文件存储空间。 n 支持指定 JAMN 文件数据压缩方法，包括 None、PGLZ 或者 ZSTD。使用 ZSTD 压缩方法可以大幅度提高数据文件压缩率，降低数据文件存储成本。 n 支持预聚集块扫描节点，对 JAMN 文件块中的数据进行预聚集计算。 n 增强 JANM Data Skipping 和元数据大小。默认值为 32，与 INDEX_MAX_KEYS 相同。 3 l 外表 FDW 相关 n 新增 raw_fdw 外表接口，支持在协调节点和工作节点上执行，以原始字 节（bytea）读取文件。 n 为外表启用部分聚合能力，支持并行聚集下推。 n 新增 fdb_max_retry（替代原 MaxRetry 功能），默认值设置为 50。 l 临时表相关 n 新增

@2022 OpenPie. All rights reserved. OpenPie Confidential 上云 ≠ 云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 @2022 OpenPie. All rights reserved. OpenPie Confidential 我们需要一个云原生大数据平台 云原生分布式SQL数据库 我们的目标：支持多模，serverless的实时大数据平台 关于PieCloudDB 使用简单 功能齐全 性能极致 安全可靠 @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB 重要特点 eMPP 完备的事务支持 完善的SQL标准支持 Postgres生态支持 安全 友好的用户接口（WebSql 容量和带宽独立于计算伸缩 • 可按使用量付费 • 高可用/可靠存储 • 支持跨多数据中心复制数据 • 唯一真理 • 全局只需要存储一份数据，通过共享存储来实现数据共 享，避免拷贝和维护多份数据副本 存储 @2022 OpenPie. All rights reserved. OpenPie Confidential • ACID - 支持两种隔离级别：读已提交、可重复读 • 扩展性 - 事务管理器无单点性能瓶颈