LLM 技术报告 大语言模型（LLM） 技术作为人工智能领域的一项重要创 新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门 设计来理解、生成和回应自然语言。这些模型通过分析大量 的文本数据来学习语言的结构和用法，从而能够执行各种语 言相关任务。以 GPT 系列为代表，LLM 以其在自然语言 处理领域的卓越表现，成为推动语言理解、生成和应用的引 擎。 LLM LLM 在多个领域都取得了令人瞩目的成就。在自然语言处 理领域，GPT 系列模型在文本生成、问答系统和对话生成 等任务中展现出色的性能。在知识图谱构建、智能助手开发 等方面，LLM 技术也发挥了关键作用。此外，它还在代码 生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech  向量数据库  数据库向量支持  大模型框架、微调 (Fine Tuning)  大模型训练平台与工具 基础设施 LLM Agent  备案上线的中国大模型  知名大模型  知名大模型应用 大模型 算力 工具和平台  LLMOps  大模型聚合平台  开发工具 AI 编程  插件、IDE、终端  代码生成工具 编程语言 3 / 32 LLM 技术背景

2024 年中国开源模型：崛起与变革 26 | 开源模型未必更先进，但会更长久 30 | 大模型撞上“算力墙”，超级应用的探寻之路 36 | AI 的三岔路口：专业模型和个人模型 40 | 2024 年 AI 编程技术与工具发展综述 45 | RAG 的 2024：随需而变，从狂热到理性 51 | 大模型训练中的开源数据和算法：机遇及挑战 57 | 2024 年 AI 编程工具的进化 62 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 AI 基础设施的关键 Part 高瞻，Gitee AI 运营 设计：张琪 开发者是开源生态的重要支柱。 本章结合 、 的数据分 析，勾勒 2024 年中国开源开发者的整体画像趋势轮廓，主要 反映中国开源开发者使用开源大模型概况、开源项目/组织健康 度，以及中国开源社区的生态评估等情况。 Gitee 数据篇 本报告数据来源：2024年1月至2024年12月 Gitee及Gitee AI平台相关公开数据 4 / 111

1 1 /*使用电脑阅读，获得最佳体验 1 1 序 毫无疑问，开源开发者圈子来看，2023 年是大模型 LLM 年、生成式 AI GenAI 年。 一、 这自然要从 OpenAI 说起，前一年年底，ChatGPT 的横 空出世，标志着对话式 LLM 开始进入公众视野，为人们 提供了全新的人机交互方式。而 2023 年 3 月，同系 GPT-4.0 的发布则将 LLM 的规模和能力提升到一个新 Google 紧随其后推出 Bard，作为其首次亮相的对话 LLM 产品，无疑具有其里程碑意义，尽管它的首秀并不尽 如人意，车翻了又翻。 三、 Claude 2、PaLM 2、Llama 等模型与产品也展现了 LLM 在语言理解和多模态处理能力方面的探索，甚至 Claude 2 还一度被誉为实力可以硬刚 ChatGPT。而 Meta 开源的 Llama 2 更成为了 LLM 领域开源势力的典型代表，它的 杀进多媒体领域。往 后 DALL-E 3 模型升级、Adobe 产品整合 LLM 能力、 语音模型 whisper-3 更新、AI 虚拟主播创造等，都是在 这条路上的进一步发展。 五、 AI 编程方面，Copilot 可以根据开发者的代码提示自动补 全代码，大大提高了开发效率。这也引发了代码原创性的讨 论，但它已经实实在在将 LLM 拉进了编程应用领域。 六、 LangChain 的出现，实现了

Contents 1 AI 大模型基础 4 1.1 AIGC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 AGI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 大模型 . . . . . . . . . . . . . . . . 9 2.3.9 EBSynth . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.4 AI 编程工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.4.1 DEvv . . . . . . . . . . . . . . . . . . . 12 2.5.6 Snack Prompt . . . . . . . . . . . . . . . . . . . . . . . . 12 2.6 AI 大模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.6.1 AgentGPT . . . . . . . . .

本质：以多agent实现从数据采集到可视全流程 模型特点 Claude 3.5 sonnet  平衡性能：在模型大小和 性能之间取得平衡，适合 中等规模任务。  多模态支持：支持文本和 图像处理，扩展应用场景。  可解释性：注重模型输出 的可解释性和透明性。 DeepSeek R1  高效推理：专注于低延迟和 高吞吐量，适合实时应用。  轻量化设计：模型结构优化， 资源占用少，适合边缘设备 提供高精度结果。  长文本处理：擅长处理长文本 和复杂文档，适合专业场景。  定制化能力：支持用户自定义 训练和微调，适应特定需求。 Open AI o3 mini  小型化设计：轻量级模型， 适合资源有限的环境。  快速响应：优化推理速度， 适合实时交互场景。  通用性强：适用于多种自 然语言处理任务，如对话 生成和文本理解。 爬虫数据采集 1、阅读网页源代码，提取特定网页内容； 5支持联网查询网址，Claude 3.5 sonnet暂不支持；  四个模型均能根据上传的网页代码，对多个网址链接进行筛选、去重，完全提取出符合指令要求的所有网址链接并形成列表；  在复杂爬虫任务上，DeepSeek R1与Open AI o3min生成的代码均能正常执行数据采集任务，o3响应速度更快，R1数据采集结果更加完 整准确；其他2个模型都存在多次调试但代码仍然运行不成功的问题，如代码中罗列URL不全、输出文本中提取数据为空等。

正好与基础软件庞大的开发量需求相契合。这种契合性促进了基础软件良性、可持续性发展，并因为基础软件对上层软件生态有支 撑作用，基础软件的开源价值远超过单一产品的范畴，其意义惠及软件产业全领域。 注释：由于暂无国内厂商主导的开源编程语言，因而不列入本报告研究范围。 来源：根据专家访谈、公开资料，由艾瑞咨询研究院自主研究及绘制。 对于这四类基础软件（操作系统、数据库、AI框架、中间件），其编写者将实现功能的代码按照一定的开源规范 杂等特点 中间件：不同系统和应用程序之间交互 与协作的桥梁 AI框架：具备构建和部署人工智能模型 的基础的全套开发工具 操作系统：是软硬件资源的资源管理者， 为用户与应用程序提供交互接口 数据库：通过对数据的访问与管理，支 持各种应用程序和业务的需求 编程语言：人与计算机交互的“语言”， 含编译器、基础编程语言、IED等 社区协作：鼓励各方在开放平台上协作 贡献，推动开源内容的发展 创新改进：通过资源共享与协作共生， 来源：根据专家访谈、公开资料，由艾瑞咨询研究院自主研究及绘制。 数据库开发者开源贡献特征 数据库指标提升 响应时间 并发能力 吞吐量 … 性能 数据备份 数据恢复 故障切换 … 可靠性 编程语言 系统接口 … 兼容性 存储 引擎 数据库内核  修改计算引擎支 持语法扩充  修改存储协议支 持更多数据库格 式  底层IO调优支持 高并发能力  … 围绕内核层级的

海外⼈才加⼊：
i. ⼤模型⽅⾯。团队成员发明了RoPE相对位置编码，是Meta
LLaMa和Google
PALM等⼤多数 主流模型的重要组成部分；发明了group
normalization，是Stable
Diffusion等AI模型成功 的关键组件；发明了
Transformer-XL，是历史上第⼀个在词级别和字级别都全⾯超越RNN 的注意⼒语⾔模型，解决了语⾔建模上下⽂⻓度的关键问题，定义了语⾔建模的新标准；曾 机器）分 布式系统数量级性能优化的经验。
c. ⽬前团队⼈数超过
80
⼈，每个⽉都有在全球某个领域有显著影响⼒的⼈加⼊。
2.
团队聚焦底层技术创新，技术Vision强
a. 引领⼤模型的“⽆损⻓上下⽂”时代。2023年10⽉上旬，在产品
Kimi
智能助⼿中实现“⽆损 ⻓上下⽂窗⼝（Lossless
Long
Context
Window）”，⽀持
20
万汉字输⼊，实现对⻓⽂本的⽆ 和中⽂能⼒上
Kimi
智能助⼿依然领先。
b. 聚焦底层技术创新，不⾛技术捷径。最早提出“Lossless
Long
Context
可以解决
90%
以上的 模型定制问题”，坚持对数据的⽆损压缩，实现模型能⼒的提升，不⾛技术捷径（通过滑动窗 ⼝、降采样、⼩模型等技术实现上下⽂窗⼝延⻓，都是“技术捷径”）
c. 通过这篇⽂章，您可以了解更多技术⽅⾯信息：专访⽉之暗⾯杨植麟：lossless
long
context
is

创建选区 编辑选区 移除选区 选区显示模式 全局选区蒙版 (绘制选区) 按照图层透明度建立选区 像素选区和矢量选区 选区工具的常用配套快捷键 Python 脚本编程 安装和管理 Python 插件 Krita Python 脚本编程入门 Krita Python 插件编写教程 标签管理 新建标签 指定标签 重命名标签 删除标签 色彩校样 超出色域警告 矢量图形 矢量图形介绍 创建矢量图形的工具 新建自定义文档 ，在 尺寸 选项卡的 预设 下拉菜单选择 A4 (300ppi) 或者其他所需尺寸。如需了解本对话框的其他功能，如从剪贴板新建 等，可参考 创建新文档 页面。 请确保“色彩”区域的选项设置如下：模型为 RGB，通道为 8 位整数/通道。如 需深入了解色彩管理方面的知识，请参考 色彩原理 页面。 如何使用笔刷 创建了新文档后，Krita 窗口就会显示它的画布，你可以立即使用鼠标或者数 位板的 人眼可以分辨几百万种颜色，色彩是人类对射入眼睛的光线的感知，而光是一 种电磁波。任何物体的表面都会反射、吸收不同波长的电磁波 (光) ，不同波长 的光呈现出不同的颜色。 左图：符合减色法原则的 CMY 色彩模型；右图：符合加色法的 RGB 色彩模 型。由于两者的差异，图像在打印前都需要进行一次色彩转换。 在传统绘画中我们使用颜料作画。不同的颜料会吸收不同波长的光，从而呈现 出它们应有的颜色。但是混合的

创建选区 编辑选区 移除选区 选区显⽰模式 全局选区蒙版 (绘制选区) 按照图层透明度建⽴选区 像素选区和⽮量选区 选区⼯具的常⽤配套快捷键 Python 脚本编程 安装和管理 Python 插件 Krita Python 脚本编程⼊⻔ Krita Python 插件编写教程 标签管理 新建标签 指定标签 重命名标签 删除标签 ⾊彩校样 超出⾊域警告 ⽮量图形 ⽮量图形介绍 创建⽮量图形的⼯具 新建⾃定义⽂档 ，在 尺⼨ 选项卡的 预设 下拉菜单选择 A4 (300ppi) 或者其他所需尺⼨。如需了解本对话框的其他功能， 如从剪贴板新建等，可参考 创建新⽂档 ⻚⾯。 请确保“⾊彩”区域的选项设置如下：模型为 RGB，通道为 8 位整 数/通道。如需深⼊了解⾊彩管理⽅⾯的知识，请参考 ⾊彩原理 ⻚ ⾯。 如何使⽤笔刷 创建了新⽂档后，Krita 窗⼝就会显⽰它的画布，你可以⽴即使⽤ ⿏标或者数位板 ⼈眼可以分辨⼏百万种颜⾊，⾊彩是⼈类对射⼊眼睛的光线的感 知，⽽光是⼀种电磁波。任何物体的表⾯都会反射、吸收不同波⻓ 的电磁波 (光) ，不同波⻓的光呈现出不同的颜⾊。 左图：符合减⾊法原则的 CMY ⾊彩模型；右图：符合加⾊法的 RGB ⾊彩模型。由于两者的差异，图像在打印前都需要进⾏⼀次⾊ 彩转换。 在传统绘画中我们使⽤颜料作画。不同的颜料会吸收不同波⻓的 光，从⽽呈现出它们应有的颜⾊。但是混合的颜料越多，被吸收的

创建选区 编辑选区 移除选区 选区显示模式 全局选区蒙版 (绘制选区) 按照图层透明度建立选区 像素选区和矢量选区 选区工具的常用配套快捷键 Python 脚本编程 安装和管理 Python 插件 Krita Python 脚本编程入门 Krita Python 插件编写教程 标签管理 新建标签 指定标签 重命名标签 删除标签 色彩校样 超出色域警告 矢量图形 矢量图形介绍 创建矢量图形的工具 ，在 尺寸 选项卡的 预设 下拉菜单 选择 A4 (300ppi) 或者其他所需尺寸。如需了解本对话框的更多功 能，例如从剪贴板新建图像等，请见创建新图像页面。 请确保色彩空间区域的选项设置如下：模型为 RGB，通道为 8 位 整数/通道。如果你想了解这些选项的作用，请在色彩原理页面学 习色彩管理的更多知识。 如何使用笔刷 创建了新图像后，Krita 窗口就会显示它的画布，你可以立即使用 鼠 人眼可以分辨几百万种颜色，色彩是人类对射入眼睛的光线的感 知，而光是一种电磁波。任何物体的表面都会反射、吸收不同波长 的电磁波 (光) ，不同波长的光呈现出不同的颜色。 左图：符合减色法原则的 CMY 色彩模型；右图：符合加 色法的 RGB 色彩模型。由于两者的差异，图像在打印前 需要进行一次色彩转换。 在传统绘画中我们使用颜料作画。不同的颜料会吸收不同波长的 光，从而呈现出它们应有的颜色。但是混合的颜料越多，被吸收的