Al原生数据库与RAG 张颖峰 英飞流（上海）信息科技有限公司 创始人 目 录 RAG技术实践 01 Infinity系统架构 02 RAG技术实践 第一部分 基于向量数据库的RAG解决方案 文档 文本块 向量 VectorDB Embedding 向量相似度 提问 答案 查询 结果 文本切分 相关文本块 提示词 提示词模版 对话机器人 搜索 推荐 交易记录 向量数据库 LLM 编排 Copilot RAG典型挑战和解决方案  挑战一：向量召回不准确  挑战四：幻觉、胡说八道  挑战五：定制化成本  挑战二：数据组织混乱丧失语义  挑战三：多样化查询需求  数据加工  数据库  文档结构识别  文字加工  多路召回  融合排序 RAG引擎工作流程 文档格式转换 LLM Answer 大模型答案

开源模型未必更先进，但会更长久 30 | 大模型撞上“算力墙”，超级应用的探寻之路 36 | AI 的三岔路口：专业模型和个人模型 40 | 2024 年 AI 编程技术与工具发展综述 45 | RAG 的 2024：随需而变，从狂热到理性 51 | 大模型训练中的开源数据和算法：机遇及挑战 57 | 2024 年 AI 编程工具的进化 62 | AI 开发者中间件工具生态 2024 年总结 开发技术栈作为切入点，将深入探讨以下中国 AI 大模型领域的代表性开源项目社区。 这些开源项目社区覆盖了深度学习框架、向量数据库、AI辅 助编程、LLM 应用开发框架、模型微调、推理优化、LLM Agent，以及检索增强生成（RAG）等多个关键技术栈。 为了更全面客观地展示中国大模型 LLM 开发技术栈的开源 社区生态，我们使用了 对开源社区的生态评 估体系，希望通过这些数据洞察中国开源开发者在 AI 技术 领域的活跃度、生产力和创新能力。 无法持续更新的知识库，可以通过 RAG（Retrieval Augmented Generation，检索增强 生成）来解决。 RAG 的出现，让各界越来越深刻地认识到，大模型没必要存储那么多知识，只需要如何使 用搜索引擎这个外部工具即可。大模型可以在搜索结果上做进一步的信息筛选和优化，而搜索引 擎弥补了大模型的知识缺陷，实现了 1+1>=2 的效果。 RAG 可以被理解为智能体的最简单形

队； • 国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎方向进 行创新，全面拥抱AI技术趋势。 目录 • 大模型应用和RAG • 向量近似搜索和向量数据库 • PieCloudVector架构设计与挑战 • 案例介绍 大模型 检索增强生成(RAG) 使用大模型可以构造问答，聊天等应用，但同时也存在以下问题 • 数据时效 - LLM训练数据有截止日期，不包含最新信息，无法准确回答相关信息 LLM训练数据多来源于公开渠道，无法接触到私域数据，对特定领域的生成任务质量不高。 • 长期记忆 - LLM本身却没有长期记忆能力，对长时间交互的上下文 Query LLM Response 检索增强生成(RAG) • 将辅助增强数据通过embedding过程转换为向量，加载到向量数据库中并做索引 • 对每个用户输入同样通过embedding过程得到向量，从向量数据库中搜索距离相近数据 • 将这些辅助数据与用户输入同时输入给大模型之后输出

• 针对每种尺寸提供基础模型和 Chat 模型，并确保聊天模型按照人类偏好进行校准； • 对基础模型和 Chat 模型的多语言支持 • 基础模型和聊天模型都支持多种语言； • 支持工具调用、RAG（检索增强文本生成）、角色扮演、AI Agent 等； 想了解更多信息，欢迎访问： • 博客 • GitHub • Hugging Face • ModelScope • Qwen1.5 与外部数据（例如文档、网页等）的连接，我们提供了 LlamaIndex 的详细教程。本指南旨 在帮助用户利用 LlamaIndex 与 Qwen1.5 快速部署检索增强生成（RAG）技术。 1.15.1 环境准备 为实现检索增强生成（RAG），我们建议您首先安装与 LlamaIndex 相关的软件包。 以下是一个简单的代码示例： pip install llama-index pip install from_defaults(persist_dir="save") # load index index = load_index_from_storage(storage_context) 1.15.4 检索增强（RAG） 现在您可以输入查询，Qwen1.5 将基于索引文档的内容提供答案。 query_engine = index.as_query_engine() your_query = "

0 码力 | 56 页 | 835.78 KB | 1 年前

3

10. 检索增强生成 试验 检索增强生成（RAG） 是一种结合预训练参数和非参数记忆的文本生成技术。它使你能够通过你的领域内特有 的包含上下文的知识，来强化预训练模型中的现有知识。使用 RAG，你会先从非参数记忆中去检索相关文档集 （一般是通过在向量数据库中的相似性搜索），再使用 LLM 中的参数记忆生成与检索出的文档一致的输出。我们 发现 RAG 对各种需要大量知识的 NLP 任务十分有用，包括问答，总结和故事生成。

Performance 5 3 License and Copyright 7 4 Installation 9 5 The Basics 15 6 Tutorial 35 7 PyMuPDF, LLM & RAG 45 8 Resources 49 9 Opening Files 51 10 Text 53 11 Images 73 12 Annotations 89 13 Drawing and 24.2. 44 Chapter 6. Tutorial CHAPTER SEVEN PYMUPDF, LLM & RAG Integrating into your Large Language Model (LLM) framework and overall RAG (Retrieval-Augmented Generation) solution provides the fastest PyMuPDFReader loader = PyMuPDFReader() documents = loader.load(file_path="example.pdf") See Building RAG from Scratch for more. 7.3 Preparing Data for Chunking Chunking (or splitting) data is essential

基础模型（V3）：通用模型（2024.12），高效便捷，适用于绝大多数任务，“ ”任务 • 深度思考（R1）：推理模型，复杂推理和深度分析任务，如数理逻辑推理和编程代码，“ ”任务 • 联网搜索：RAG（检索增强生成），知识库更新至 DeepSeek 两种模型对比 操作规范清晰 且对结果有明确要求 操作路径多元、开放， 且对结果没有明确要求 DeepSeek 两种模型对比（5R） 维度

能⼒也会显著下降，⼤量任务都⽆法胜任，就像未发育完全的蝌蚪。

其次，你可以让模型「问哪⼉看哪⼉」，就像只能在特定花蕊上采蜜的蜜蜂，⽆法关注到整体信息。 这通常是通过对上下⽂的降采样或者
RAG（检索增强⽣成）⽅法来实现的，让模型只关注和问题直接 相关的部分，减少计算量。但如此⼀来，模型就⽆法回答那些需要基于全⽂理解来回答的问题（例如 从
50
个简历中对候选⼈的画像进⾏归纳和总结），能⼒⼤打折扣。
⼒机制。模型⽆法对全⽂进⾏完整理解，⽆法处理跨⽂档的⽐较和⻓⽂本的综合理解（例如，⽆法从 ⼀篇
10
万字的⽤⼾访谈录⾳转写中提取最有价值的
10
个观点）。
“蜜蜂”模型，特点是只关注局部，忽略整体。通过对上下⽂的降采样或者RAG（检索增强的⽣ 成），只保留对部分输⼊的注意⼒机制。模型同样⽆法对全⽂进⾏完整理解（例如，⽆法从50个简历 中对候选⼈的画像进⾏归纳和总结）。 “蝌蚪”模型，特点是模型能⼒尚未发育完整。通过减

关键基础之一：知识库打造 知识库打造是DeepSeek更懂企业的基础 知识自动汇集，不流失 多模态数据处理和理解 非结构化文档处理和理解 搜索，辅助内部办公和外部客户服务 为业务大模型RAG做准备 内部知识管理 • 把企业内部的碎片化知识， 把专 家头脑中的经验转化为显性知识 管理起来， 如员工邮件、 文档文 件、 聊天记录、 工作记录等 工作流知识管理 1 外部情报分析 •

working on a retrieval augmented generation system, you should also capture the specific aspects of the RAG system that impact what content was inserted into the prompt, including the query, chunk settings