工具和平台  LLMOps  大模型聚合平台  开发工具 AI 编程  插件、IDE、终端  代码生成工具 编程语言 3 / 32 LLM 技术背景 Transformer 架构和预训练与微调策略是 LLM 技术的核心，随着大规模语言数据集的可用性和计算能 力的提升，研究者们开始设计更大规模的神经网络，以提高对语言复杂性的理解。 GPT (Generative Pre-trained 提供高效的存储和检索能力。通过数据向量化，实现了 在向量数据库中进行高效的相似性计算和查询。 根据向量数据库的的实现方式,可以将向量数据库大致分为两类： 原生的向量数据库专门为存储和检索向量而设计， 所管理的数据是基于对象或数据点的向量表示进行 组织和索引。 包括 等均属于原生向量数据库。 除了选择专业的向量数据库，对传统数据库添加 “向量支持”也是主流方案。比如 等传 统数据库均已支持向量检索。 6 数网络，这些框架通常设计得易于水平扩展， 支持在多个处理器或多个服务器上并行处理。 ：它们提供工具来有效地加 载、处理和迭代大型数据集，这对于训练大 型模型尤为重要。 国产深度学习框架 OneFlow 架构 （图源：https://www.oneflow.org/a/chanpin/oneflow/） 9 / 32 LLM 基础设施：大模型框架及微调 (Fine Tuning) 想要微调一个模型，一般包含以下关键步骤：

对数据进行诊断、预测、关联、聚类分析，常用于问题 定位、需求预测、推荐系统、异常检测等。 对数据进行分类、社交网络分析或时序模式挖掘，常用 于客户细分、信用评分、社交媒体营销、股价预测等。 将数据转化为统计图、热力图、网络关系图、词云、树形 图等，用于揭示数据中蕴含的模式、趋势、异常和洞见。 本质：以多agent实现从数据采集到可视全流程 模型特点 Claude 3.5 sonnet  平衡性能：在模型大小和 性能之间取得平衡，适合 create a table? 切分数据 Can you create a graph using this data? 制作一个图 Can you create a world cloud? 做一个词云 Can you create a chart using this data? 画一个图表 What are the rows and columns in this dataset? 描述一下行和列 语言逻辑清晰，条理分明， 各部分之间过渡自然，逻辑 连贯。在研究现状部分，按 照不同研究领域和主题进行 分类，逻辑性强 报告整体呈现出总分总的逻 辑架构，语言描述清晰，避 免冗长，使用简短的句子表 达复杂的信息 报告整体架构严谨，以引言、 技术原理、应用现状、技术 挑战、未来展望等部分进行 层层递进。语言中多使用中 性描述，客观呈现研究进展 与问题 语言逻辑严谨，条理清晰，各部分

推理时计算」  大模型厂商都在探索慢思考、思维链技术政企、创业者必读 DeepSeek出现之前的十大预判 之三 模型越做越专  除了少数科技巨头，大多数公司都专注于做专业大模型  MoE架构盛行，本质是多个专家模型组成一个大模型  Deepmind的Alpha系列产品是这一趋势的最佳诠释 16政企、创业者必读 DeepSeek出现之前的十大预判 之四 模型越做越小 17  认知决定行动，这场全民AI科普对推动中国AI发展功不可没政企、创业者必读 开源改变行业格局，建立强大生态  开源战胜闭源，促使全球公司、开发者等转到开源  建立强大生态，成为全球人工智能根技术，无推广情况下各国 政府、企业、云厂商纷纷接入，获得全球最大影响力  改变中美竞争格局：美国是闭源封闭垄断思路，中国领导开源 文化，加速中国领先地位  中国人民使用的AI工具先进性已超过美国，普及率超过美国， 使用AI人口 ，形成分布式推理网络  技术门槛降低， 可标准化、SaaS化部署，下载就能用 DeepSeek颠覆式创新——成本暴跌 35政企、创业者必读 惠及全球人民，科技平权，技术平民化  运营商、云服务可免费用，降低云服务成本  大型企业可使用多个DeepSeek，解决不同场景需求  中小企业免费部署，消除数字鸿沟  个人可以拥有自己的DeepSeek ，可以成为超级个体  对于创业者得

. . . . . 5 2.1 LLM 基础概念 . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.2 Transformer 基础架构 . . . . . . . . . . . . . . . . . . . . . . 6 2.3 LLM 基本训练方法 . . . . . . . . . . . . . . . . . . 据特定业务需求对模 型进行微调，以适应特定任务，如行业术语、企业内部知识库等。 3. 离线运行，适用于无网络环境。可在离线环境下运行：适用于无互联网 连接或网络受限的场景。提高系统稳定性：即使云服务宕机，本地大模型依 然可以正常工作，不受外部因素影响。 本教程搭建 DeepSeek 好处 本地搭建 DeepSeek 三个比较实际的好处： • 本教程接入的是 DeepSeek 推理模型 就是正式回答，如下图6所示: 图 6: deepseek-r1 回复之正式回答部分 2 DeepSeek 零基础必知 为了更深入理解 DeepSeek-R1，首先需要掌握 LLM 的基础知识，包括其工 作原理、架构、训练方法。 近年来，人工智能（AI）技术的快速发展催生了大型语言模型（（Large Language Model, LLM））的兴起。LLM 在自然语言处理（NLP）领域 发挥着越来越重要的

工具，其中很多都是开源！ 2.1 问答 2.1.1 ChatGPT ChatGPT 是一个由 OpenAI 开发的大型语言模型，它基于 GPT（Generative Pre-trained Transformer）架构。这种模型通过分析大量的文本数据来学习语 言结构和信息，使其能够生成连贯的文本、回答问题、撰写文章、进行对话等。 6 Figure 3: AI 问答工具 ChatGPT 经过特别训练，可以理解和生成人类语言，从而在多种应用场景中提 1.2 Claude Claude 是 Anthropic 公司开发的一系列大型语言模型，它设计用于执行多种涉 及语言、推理、分析和编码的任务。 2.1.3 通义千问 通义千问（Qwen）是阿里云开发的一系列预训练的大型语言模型，用于聊天、 生成内容、提取信息、总结、翻译、编码、解决数学问题等多种任务。这些模型 在多种语言数据上进行预训练，包括中文和英文，覆盖广泛的领域。 2.2 图像 Figure 一致性：确保应用在开发、测试和生产环境中具有一致的运行环境。 3. 可移植性：容器可以在任何支持 Docker 的系统上运行，实现跨平台的可 移植性。 4. 易于扩展：Docker 可以方便地扩展并支持微服务架构的部署。 基本概念： 1. 容器（Container）：轻量级、独立的可执行软件包，包含了运行所需的代 码、运行时、系统工具、系统库和设置。 2. 镜像（Image）：用于创建容器的只读模板。一个镜像可以包含完整的操作

32B 壁彻算⼒平台+昇腾910B集群 科研计算与多模态处理 四、云端部署替代⽅案 1. 国内云服务商推荐 平台 核⼼优势 适⽤场景 硅基流动 官⽅推荐API，低延迟，⽀持多模态模型 企业级⾼并发推理 腾讯云 ⼀键部署+限时免费体验，⽀持VPC私有化 中⼩规模模型快速上线 PPIO派欧云 价格仅为OpenAI 1/20，注册赠5000万tokens 低成本尝鲜与测试 2. 国际接⼊渠道（需魔法或外企上⽹环境 DeepSeek-R1-UD- IQ1_M 158 GB ≥200 GB 消费级硬件（如Mac Studio） DeepSeek-R1-Q4_K_M 404 GB ≥500 GB ⾼性能服务器/云GPU 下载地址： HuggingFace模型库 Unsloth AI官⽅说明 2. 硬件配置建议 硬件类型 推荐配置 性能表现（短⽂本⽣成） 消费级设备 Mac Studio（192GB统⼀内存） cn/i/OBklluwO 4. 字节跳动⽕⼭引擎：https://console.volcengine.com/ark/region:ark+cn-beijing/experience 5. 百度云千帆：https://console.bce.baidu.com/qianfan/modelcenter/model/buildIn/list 6. 英伟达NIM：https://build.nvidia

（一）基础共性标准 基础共性标准主要包括人工智能术语、参考架构、测试评估、 管理、可持续等标准。 1. 术语标准。规范人工智能相关技术、应用的概念定义， 为其它标准的制定和人工智能研究提供参考，包括人工智能相关 术语定义、范畴、实例等标准。 2. 参考架构标准。规范人工智能相关技术、应用及系统的 逻辑关系和相互作用，包括人工智能参考架构、人工智能系统生 命周期及利益相关方等标准。 3. 测试评估标准。规范人工智能技术发展的成熟度、人工 智能体系架构之间的适配度、行业发展水平、企业智能化能力等 方面的测试及评估的指标要求，包括与人工智能相关的服务能力 成熟度评估，人工智能通用性测试指南、评估原则和等级要求， 企业智能化能力框架及测评要求等标准。 4. 管理标准。规范人工智能技术、产品、系统、服务等全 生命周期涉及的人员、组织管理要求和评价，包括面向人工智能 组织的管 基础数据服务标准。规范人工智能研发、测试、应用等 过程中涉及数据服务的要求，包括数据采集、数据标注、数据治 理、数据质量等标准。 2. 智能芯片标准。规范智能芯片相关的通用技术要求，包 括智能芯片架构、指令集、统一编程接口及相关测试要求、芯片 数据格式和协议等标准。 3. 智能传感器标准。规范单模态、多模态新型传感器的接 口协议、性能评定、试验方法等技术要求，包括智能传感器的架 构、指令

如何使用DeepSeek制作可视化图表？ 如何使用DeepSeek制作可视化图表？ 角色: Mermaid图表代码生成器 功能: 根据用户提供的流程或架构描述，自动生成符合Mermaid语法的图表代码。 技能: 熟悉Mermaid的图表类型和语法，能高效将流程转化为代码。 理解流程分析、架构设计及结构化展示等领域知识。 约束: 代码必须符合Mermaid语法规范。 流程和结构表达需准确清晰。 流程图需要有二级、三级等多层级。 流程图需要有二级、三级等多层级。 输出的代码格式应简洁且易于理解。 工作流程: 询问用户希望绘制哪种类型的图表。 收集详细的流程或架构描述。 根据描述分析并设计图表结构。 生成并输出符合Mermaid语法的代码。 校验代码，确保没有语法错误。 将最终代码提供给用户。 输出格式: Mermaid图表代码。 示例： graph TD; A[开始] --> B[做事情]; B

全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 开放合作、共治共享。在全球范围推动人工智能安全治理国际合作， 共享最佳实践，提倡建立开放性平台，通过跨学科、跨领域、跨地区、跨国界 的对话和合作，推动形成具有广泛共识的全球人工智能治理体系。 2. 人工智能安全治理框架构成 基于风险管理理念，本框架针对不同类型的人工智能安全风险，从技术、 管理两方面提出防范应对措施。同时，目前人工智能研发应用仍在快速发展， 安全风险的表现形式、影响程度、认识感知亦随之变化，防范应对措施也将相

”。 提示语链的设计和应用建立在多个理论基础之上，包括认知 心理学、信息处理理论、系统理论、创造性思维理论和元认 知理论，核心特征包括： 提示语链的作用机制（一） 任务分解与整合 思维框架构建 在提示语设计中，提示语链发挥着至关重要的作用，通过系统性地引导AI生成高质量、创新性的内容。以下 是提示语链在内容生成过程中的七个主要作用机制 1. 将这个复杂的主题分解为几个主要部分，逐一讨论每个部分。 Extrapolate（推演）：将原理应用到新领域 �实战技巧：操作方法 1. 使用“评估矩阵”提示进行系统性筛选 2. 应用“优化循环”提示迭代改进想法 3. 设计“创意组合”提示融合不同概念 4. 使用“叙事架构”提示创建统一的故事线 5. 应用“综合提炼”提示形成最终观点 �实战技巧：操作方法 1. 使用“随机输入”提示引入跨领域元素 2. 应用“类比映射”提示建立领域间的联系 3. 设计“抽象化”提示提取核心原理