LLM 技术报告 大语言模型（LLM） 技术作为人工智能领域的一项重要创 新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门 设计来理解、生成和回应自然语言。这些模型通过分析大量 的文本数据来学习语言的结构和用法，从而能够执行各种语 言相关任务。以 GPT 系列为代表，LLM 以其在自然语言 处理领域的卓越表现，成为推动语言理解、生成和应用的引 擎。 LLM LLM 在多个领域都取得了令人瞩目的成就。在自然语言处 理领域，GPT 系列模型在文本生成、问答系统和对话生成 等任务中展现出色的性能。在知识图谱构建、智能助手开发 等方面，LLM 技术也发挥了关键作用。此外，它还在代码 生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech Tech Map  向量数据库  数据库向量支持  大模型框架、微调 (Fine Tuning)  大模型训练平台与工具 基础设施 LLM Agent  备案上线的中国大模型  知名大模型  知名大模型应用 大模型 算力 工具和平台  LLMOps  大模型聚合平台  开发工具 AI 编程  插件、IDE、终端  代码生成工具 编程语言 3 / 32

DeepSeek是什么？ AI + 国产 + 免费 + 开源 + 强大 • DeepSeek是一家专注通用人工智能（AGI）的中国科技公司，主攻大模型研发与应 用。 • DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。 Deepseek可以做什么？ 直接面向用户或者支持开发者，提供智能对话、文本生成、语义理解、计算推理、代码生成补全等应用场景， 剧本或对话设计 文本创作 长文本摘要（论文、报告） 文本简化（降低复杂度） 多语言翻译与本地化 摘要与改写 02 01 03 文本生成 自然语言理解与分析 知识推理 知识推理 逻辑问题解答（数学、常识推 理） 因果分析（事件关联性） 语义分析 语义解析 情感分析（评论、反馈） 意图识别（客服对话、用户查询） 实体提取（人名、地点、事件） 文本分类 文本分类 当人人都会用AI时，你如何用得更好更出彩？ 推理模型 • 例如：DeepSeek-R1，GPT-o3在逻辑推理、数学推理和实时问题解决方面表现突出。 推理大模型： 推理大模型是指能够在传统的大语言模型基础上，强化推理、逻辑分析和决策能力的模型。它 们通常具备额外的技术，比如强化学习、神经符号推理、元学习等，来增强其推理和问题解决能力。 非推理大模型： 适用于大多数任务，非推理大模型一般侧重于语言生成、上下文理解和自然语言处理，而不强

DeepSeek是什么？ AI + 国产 + 免费 + 开源 + 强大 • DeepSeek是一家专注通用人工智能（AGI）的中国科技公司，主攻大模型研发与应 用。 • DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。 Deepseek可以做什么？ 直接面向用户或者支持开发者，提供智能对话、文本生成、语义理解、计算推理、代码生成补全等应用场景， 剧本或对话设计 文本创作 长文本摘要（论文、报告） 文本简化（降低复杂度） 多语言翻译与本地化 摘要与改写 02 01 03 文本生成 自然语言理解与分析 知识推理 知识推理 逻辑问题解答（数学、常识推 理） 因果分析（事件关联性） 语义分析 语义解析 情感分析（评论、反馈） 意图识别（客服对话、用户查询） 实体提取（人名、地点、事件） 文本分类 文本分类 当人人都会用AI时，你如何用得更好更出彩？ 推理模型 • 例如：DeepSeek-R1，GPT-o3在逻辑推理、数学推理和实时问题解决方面表现突出。 推理大模型： 推理大模型是指能够在传统的大语言模型基础上，强化推理、逻辑分析和决策能力的模型。它 们通常具备额外的技术，比如强化学习、神经符号推理、元学习等，来增强其推理和问题解决能力。 非推理大模型： 适用于大多数任务，非推理大模型一般侧重于语言生成、上下文理解和自然语言处理，而不强

本质：以多agent实现从数据采集到可视全流程 模型特点 Claude 3.5 sonnet  平衡性能：在模型大小和 性能之间取得平衡，适合 中等规模任务。  多模态支持：支持文本和 图像处理，扩展应用场景。  可解释性：注重模型输出 的可解释性和透明性。 DeepSeek R1  高效推理：专注于低延迟和 高吞吐量，适合实时应用。  轻量化设计：模型结构优化， 资源占用少，适合边缘设备 提供高精度结果。  长文本处理：擅长处理长文本 和复杂文档，适合专业场景。  定制化能力：支持用户自定义 训练和微调，适应特定需求。 Open AI o3 mini  小型化设计：轻量级模型， 适合资源有限的环境。  快速响应：优化推理速度， 适合实时交互场景。  通用性强：适用于多种自 然语言处理任务，如对话 生成和文本理解。 爬虫数据采集 1、阅读网页源代码，提取特定网页内容； 5支持联网查询网址，Claude 3.5 sonnet暂不支持；  四个模型均能根据上传的网页代码，对多个网址链接进行筛选、去重，完全提取出符合指令要求的所有网址链接并形成列表；  在复杂爬虫任务上，DeepSeek R1与Open AI o3min生成的代码均能正常执行数据采集任务，o3响应速度更快，R1数据采集结果更加完 整准确；其他2个模型都存在多次调试但代码仍然运行不成功的问题，如代码中罗列URL不全、输出文本中提取数据为空等。

观 点 编委会 21 | 2024 年中国开源模型：崛起与变革 26 | 开源模型未必更先进，但会更长久 30 | 大模型撞上“算力墙”，超级应用的探寻之路 36 | AI 的三岔路口：专业模型和个人模型 40 | 2024 年 AI 编程技术与工具发展综述 45 | RAG 的 2024：随需而变，从狂热到理性 51 | 大模型训练中的开源数据和算法：机遇及挑战 57 | 2024 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 AI 基础设施的关键 Part 高瞻，Gitee AI 运营 设计：张琪 开发者是开源生态的重要支柱。 本章结合 、 的数据分 析，勾勒 2024 年中国开源开发者的整体画像趋势轮廓，主要 反映中国开源开发者使用开源大模型概况、开源项目/组织健康 度，以及中国开源社区的生态评估等情况。 Gitee 数据篇 本报告数据来源：2024年1月至2024年12月 Gitee及Gitee AI平台相关公开数据 4 / 111

面对AI提供的多种解法，人类需具备批判性思维与逻辑判断能力，通过选择最优答案，实现解决方案的创新 性再生。 p 智慧赋能的决策力 提出问题与甄别答案的能力，使人类在信息爆炸与AI辅助的时代，通过决策行为实现价值创造，成为社会发 展的持续动力。 善用DeepSeek的两大关键：提出问题 鉴别答案 DeepSeek是什么? • DeepSeek是一家专注通用人工智能(AGI)的中国科技公司，主攻大模型研发与应用。 • • DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。性能对齐OpenAI-o1正 式版。 • DeepSeek-R1在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大 提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩OpenAl-o1正式版。 (Pass@1) (Percentile) 故事创作 通用问答 专业领域问答 因果推理 知识推理 问答系统 逻辑推理 自然语言处理 文本生成与创作 建议生成 风险评估 辅助决策 概念关联 知识整合 交互能力 情感分析 文本分类 图像理解 跨模态转换 专业建议 任务分解 情感回应 上下文理解 对话能力 多轮对话 数学运算 逻辑分析 能力图谱 诗歌创作 语音识别 指令理解 方案规划 实体识别

海外⼈才加⼊：
i. ⼤模型⽅⾯。团队成员发明了RoPE相对位置编码，是Meta
LLaMa和Google
PALM等⼤多数 主流模型的重要组成部分；发明了group
normalization，是Stable
Diffusion等AI模型成功 的关键组件；发明了
Transformer-XL，是历史上第⼀个在词级别和字级别都全⾯超越RNN 的注意⼒语⾔模型，解决了语⾔建模上下⽂⻓度的关键问题，定义了语⾔建模的新标准；曾 机器）分 布式系统数量级性能优化的经验。
c. ⽬前团队⼈数超过
80
⼈，每个⽉都有在全球某个领域有显著影响⼒的⼈加⼊。
2.
团队聚焦底层技术创新，技术Vision强
a. 引领⼤模型的“⽆损⻓上下⽂”时代。2023年10⽉上旬，在产品
Kimi
智能助⼿中实现“⽆损 ⻓上下⽂窗⼝（Lossless
Long
Context
Window）”，⽀持
20
万汉字输⼊，实现对⻓⽂本的⽆ 和中⽂能⼒上
Kimi
智能助⼿依然领先。
b. 聚焦底层技术创新，不⾛技术捷径。最早提出“Lossless
Long
Context
可以解决
90%
以上的 模型定制问题”，坚持对数据的⽆损压缩，实现模型能⼒的提升，不⾛技术捷径（通过滑动窗 ⼝、降采样、⼩模型等技术实现上下⽂窗⼝延⻓，都是“技术捷径”）
c. 通过这篇⽂章，您可以了解更多技术⽅⾯信息：专访⽉之暗⾯杨植麟：lossless
long
context
is

新建⾃定义⽂档 ，在 尺⼨ 选项卡的 预设 下拉菜单选择 A4 (300ppi) 或者其他所需尺⼨。如需了解本对话框的其他功能， 如从剪贴板新建等，可参考 创建新⽂档 ⻚⾯。 请确保“⾊彩”区域的选项设置如下：模型为 RGB，通道为 8 位整 数/通道。如需深⼊了解⾊彩管理⽅⾯的知识，请参考 ⾊彩原理 ⻚ ⾯。 如何使⽤笔刷 创建了新⽂档后，Krita 窗⼝就会显⽰它的画布，你可以⽴即使⽤ ⿏标或者数位板 ⼈眼可以分辨⼏百万种颜⾊，⾊彩是⼈类对射⼊眼睛的光线的感 知，⽽光是⼀种电磁波。任何物体的表⾯都会反射、吸收不同波⻓ 的电磁波 (光) ，不同波⻓的光呈现出不同的颜⾊。 左图：符合减⾊法原则的 CMY ⾊彩模型；右图：符合加⾊法的 RGB ⾊彩模型。由于两者的差异，图像在打印前都需要进⾏⼀次⾊ 彩转换。 在传统绘画中我们使⽤颜料作画。不同的颜料会吸收不同波⻓的 光，从⽽呈现出它们应有的颜⾊。但是混合的颜料越多，被吸收的 计算机以像素为单位保存颜⾊的三原⾊数值。在不同的⾊彩模型⾥ ⾯，可以显⽰的颜⾊种类与颜⾊的 分量 或者 通道 的位深度有关。 上图是⼀张红玫瑰的图像中的红⾊通道。我们可以看到花瓣是浅⽩ ⾊的，这意味着那些区域的红⾊含量⾼。茎叶的颜⾊很暗，意味着 红⾊的含量少⸺因为它们是绿⾊的。 计算机默认使⽤ RGB ⾊彩模型，但它们也可以把颜⾊转换成减⾊ 法的 CMYK 模型，或者可感知的模型，如 LAB 模型。⽆论是哪种 模型，本质上都是在描述颜⾊的相互关系，它们通常都会包含三个

新建自定义文档 ，在 尺寸 选项卡的 预设 下拉菜单选择 A4 (300ppi) 或者其他所需尺寸。如需了解本对话框的其他功能，如从剪贴板新建 等，可参考 创建新文档 页面。 请确保“色彩”区域的选项设置如下：模型为 RGB，通道为 8 位整数/通道。如 需深入了解色彩管理方面的知识，请参考 色彩原理 页面。 如何使用笔刷 创建了新文档后，Krita 窗口就会显示它的画布，你可以立即使用鼠标或者数 位板的 人眼可以分辨几百万种颜色，色彩是人类对射入眼睛的光线的感知，而光是一 种电磁波。任何物体的表面都会反射、吸收不同波长的电磁波 (光) ，不同波长 的光呈现出不同的颜色。 左图：符合减色法原则的 CMY 色彩模型；右图：符合加色法的 RGB 色彩模 型。由于两者的差异，图像在打印前都需要进行一次色彩转换。 在传统绘画中我们使用颜料作画。不同的颜料会吸收不同波长的光，从而呈现 出它们应有的颜色。但是混合的 计算机以像素为单位保存颜色的三原色数值。在不同的色彩模型里面，可以显 示的颜色种类与颜色的 分量 或者 通道 的位深度有关。 上图是一张红玫瑰的图像中的红色通道。我们可以看到花瓣是浅白色的，这意 味着那些区域的红色含量高。茎叶的颜色很暗，意味着红色的含量少——因为 它们是绿色的。 计算机默认使用 RGB 色彩模型，但它们也可以把颜色转换成减色法的 CMYK 模型，或者可感知的模型，如 LAB 模型。无论是哪种模型，本质上都是在描

，在 尺寸 选项卡的 预设 下拉菜单 选择 A4 (300ppi) 或者其他所需尺寸。如需了解本对话框的更多功 能，例如从剪贴板新建图像等，请见创建新图像页面。 请确保色彩空间区域的选项设置如下：模型为 RGB，通道为 8 位 整数/通道。如果你想了解这些选项的作用，请在色彩原理页面学 习色彩管理的更多知识。 如何使用笔刷 创建了新图像后，Krita 窗口就会显示它的画布，你可以立即使用 鼠 人眼可以分辨几百万种颜色，色彩是人类对射入眼睛的光线的感 知，而光是一种电磁波。任何物体的表面都会反射、吸收不同波长 的电磁波 (光) ，不同波长的光呈现出不同的颜色。 左图：符合减色法原则的 CMY 色彩模型；右图：符合加 色法的 RGB 色彩模型。由于两者的差异，图像在打印前 需要进行一次色彩转换。 在传统绘画中我们使用颜料作画。不同的颜料会吸收不同波长的 光，从而呈现出它们应有的颜色。但是混合的颜料越多，被吸收的 计算机以像素为单位保存颜色的三原色数值。在不同的色彩模型里 面，可以显示的颜色种类与颜色的 分量 或者 通道 的位深度有关。 上图是一张红玫瑰的图像中的红色通道。我们可以看到花 瓣是浅白色的，这意味着那些区域的红色含量高。茎叶的 颜色很暗，意味着红色的含量少——因为它们是绿色的。 计算机默认使用 RGB 色彩模型，但它们也可以把颜色转换成减色 法的 CMYK 模型，或者可感知的模型，如 LAB 模型。无论是哪种 模型，本质上都是在