LLM 技术报告 大语言模型（LLM） 技术作为人工智能领域的一项重要创 新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门 设计来理解、生成和回应自然语言。这些模型通过分析大量 的文本数据来学习语言的结构和用法，从而能够执行各种语 言相关任务。以 GPT 系列为代表，LLM 以其在自然语言 处理领域的卓越表现，成为推动语言理解、生成和应用的引 擎。 LLM LLM 在多个领域都取得了令人瞩目的成就。在自然语言处 理领域，GPT 系列模型在文本生成、问答系统和对话生成 等任务中展现出色的性能。在知识图谱构建、智能助手开发 等方面，LLM 技术也发挥了关键作用。此外，它还在代码 生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech Tech Map  向量数据库  数据库向量支持  大模型框架、微调 (Fine Tuning)  大模型训练平台与工具 基础设施 LLM Agent  备案上线的中国大模型  知名大模型  知名大模型应用 大模型 算力 工具和平台  LLMOps  大模型聚合平台  开发工具 AI 编程  插件、IDE、终端  代码生成工具 编程语言 3 / 32

观 点 编委会 21 | 2024 年中国开源模型：崛起与变革 26 | 开源模型未必更先进，但会更长久 30 | 大模型撞上“算力墙”，超级应用的探寻之路 36 | AI 的三岔路口：专业模型和个人模型 40 | 2024 年 AI 编程技术与工具发展综述 45 | RAG 的 2024：随需而变，从狂热到理性 51 | 大模型训练中的开源数据和算法：机遇及挑战 57 | 2024 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 AI 基础设施的关键 Part 高瞻，Gitee AI 运营 设计：张琪 开发者是开源生态的重要支柱。 本章结合 、 的数据分 析，勾勒 2024 年中国开源开发者的整体画像趋势轮廓，主要 反映中国开源开发者使用开源大模型概况、开源项目/组织健康 度，以及中国开源社区的生态评估等情况。 Gitee 数据篇 本报告数据来源：2024年1月至2024年12月 Gitee及Gitee AI平台相关公开数据 4 / 111

Model Overall Reasoning 中文推理 Language 中文语言 Avg. Math. Logi. Avg. Fund. Chi. Open. Writ. Role. Pro. 模型 总分 推理 总分 数学 计算 逻辑 推理 语言 总分 基本 任务 中文 理解 综合 问答 文本 写作 角色 扮演 专业 能力 GPT-4-1106-Preview 8.01 7.73 7.80 solving with the math dataset. arXiv preprint arXiv:2103.03874, 2021. High-flyer. Hai-llm: 高效且轻量的大模型训练工具, 2023. URL https://www.high-flyer.c n/en/blog/hai-llm. C. Hooper, S. Kim, H. Mohammadzadeh, M Yu, J. E. Gonzalez, H. Zhang, and I. Stoica. Efficient memory management for large language model serving with pagedattention. In Proceedings of the ACM SIGOPS 29th Symposium on Operating Systems Principles

example.com/ WEBLATE_LOCALIZE_CDN_PATH: /app/data/l10n-cdn 注解: You are responsible for seting up serving of the files generated by Weblate, it only does stores the files in configured location. 参见: Translating later use: weblate createadmin 5. Collect static files for web server (see Running server and Serving static files): weblate collectstatic 6. Compress JavaScript and CSS files (optional, see Compressing later use: weblate createadmin 5. Collect static files for web server (see Running server and Serving static files): weblate collectstatic 6. Compress JavaScript and CSS files (optional, see Compressing

example.com/ WEBLATE_LOCALIZE_CDN_PATH: /app/data/l10n-cdn 注解: You are responsible for seting up serving of the files generated by Weblate, it only does stores the files in configured location. 参见: Translating later use: weblate createadmin 5. Collect static files for web server (see Running server and Serving static files): weblate collectstatic 6. Compress JavaScript and CSS files (optional, see Compressing later use: weblate createadmin 5. Collect static files for web server (see Running server and Serving static files): weblate collectstatic 6. Compress JavaScript and CSS files (optional, see Compressing

same user as Weblate itself is running, otherwise permissions on some files might be wrong. 参见 Serving static files Database setup for Weblate It is recommended to run Weblate with a PostgreSQL database defined in /etc/passwd. Many distributions default to a non-writable directory for users used for serving web content (such as apache, www- data or wwwrun), so you either have to run Weblate under a different Deployment Scenarios [https://django- compressor.readthedocs.io/en/stable/scenarios/#scenarios], Serving static files Running server You will need several services to run Weblate, the recommended setup

same user as Weblate itself is running, otherwise permissions on some files might be wrong. 参见 Serving static files Database setup for Weblate It is recommended to run Weblate with a PostgreSQL database defined in /etc/passwd. Many distributions default to a non-writable directory for users used for serving web content (such as apache, www- data or wwwrun), so you either have to run Weblate under a different Deployment Scenarios [https://django- compressor.readthedocs.io/en/stable/scenarios/#scenarios], Serving static files Running server You will need several services to run Weblate, the recommended setup

（NaN），⽬的是进⼀步运营和发展Blender。NaN的核⼼⽬标是创建 发⾏⼀款紧凑且跨平台的免费3D创作套件。这⼀想法在⼤多数商业建 模软件都要卖上千美元的当时是⾰命性的。NaN希望将专业3D建模和 动画⼯具带给⼀般⼈，其商业模型包括了提供Blender周边的商业产品 和服务。1999年NaN为了推⼴Blender⽽第⼀次参加了Siggraph⼤会。 Blender的第⼀次Siggraph之旅获得了巨⼤成功，受到了媒体和出席者 发布包含 Apricot 项⽬ 的成果。 2.49 -- 2009年6⽉: 基于节点的纹理、⾻架草图（又称作Etch-a-Ton）、 布尔⽹格操 作改进、 JPEG2000 ⽀持、针对图像直接传⼊模型的投影绘制， 和Python 脚本分类。游戏引擎的增强功能包括视频纹理（可以在 游戏中播放视频），升级到bullet的物理引擎，圆顶（鱼眼）渲 染，并提供更多可⽤的 API 游戏引擎调⽤。 Blender 顶点绘制模式 ⼀种仅⽹格模式，允许您设置⽹格的 顶点颜⾊（即 "绘制" 它们）。 权重绘制模式 仅适⽤于⽹格，专⽤于编辑顶点组权 重。 纹理绘制模式 ⼀种仅⽹格模式，允许您直接在 3D 视⼜中的模型上绘制纹理。 图标 名称 细节 粒⼦编辑模式 专⽤于粒⼦系统的纯⽹格模式，适⽤ 于可编辑系统（⽑发）。 姿态模式 仅适⽤于⾻架，专⽤于调节姿态。 绘制模式 仅适⽤于蜡笔，专⽤于创建蜡笔笔 触。

same user as Weblate itself is running, otherwise permissions on some files might be wrong. 参见 Serving static files Database setup for Weblate It is recommended to run Weblate with a PostgreSQL database defined in /etc/passwd. Many distributions default to a non-writable directory for users used for serving web content (such as apache, www- data or wwwrun), so you either have to run Weblate under a different Deployment Scenarios [https://django- compressor.readthedocs.io/en/stable/scenarios/#scenarios], Serving static files Running server You will need several services to run Weblate, the recommended setup

later use: weblate createadmin 5. Collect static files for web server (see Running server and Serving static files): weblate collectstatic 6. Compress JavaScript and CSS files (optional, see Compressing later use: weblate createadmin 5. Collect static files for web server (see Running server and Serving static files): weblate collectstatic 6. Compress JavaScript and CSS files (optional, see Compressing later use: weblate createadmin 5. Collect static files for web server (see Running server and Serving static files): weblate collectstatic 6. Compress JavaScript and CSS files (optional, see Compressing