LLM 技术报告 大语言模型（LLM） 技术作为人工智能领域的一项重要创 新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门 设计来理解、生成和回应自然语言。这些模型通过分析大量 的文本数据来学习语言的结构和用法，从而能够执行各种语 言相关任务。以 GPT 系列为代表，LLM 以其在自然语言 处理领域的卓越表现，成为推动语言理解、生成和应用的引 擎。 LLM 理领域，GPT 系列模型在文本生成、问答系统和对话生成 等任务中展现出色的性能。在知识图谱构建、智能助手开发 等方面，LLM 技术也发挥了关键作用。此外，它还在代码 生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech Map  向量数据库  数据库向量支持 代码生成工具 编程语言 3 / 32 LLM 技术背景 Transformer 架构和预训练与微调策略是 LLM 技术的核心，随着大规模语言数据集的可用性和计算能 力的提升，研究者们开始设计更大规模的神经网络，以提高对语言复杂性的理解。 GPT (Generative Pre-trained Transformer) 的提出标志着 LLM 技术的飞速发展，其预训练和微调的 方法为语言任务提供

领先的数字化转型技术与服务提供商 网易数帆是网易集团旗下 TO B 企业服务品牌，定位于领先的数字化转型 技术与服务提供商，为客户提供创新、可靠的国产软件基础平台产品及相 应技术服务，业务覆盖云原生基础软件、数据智能全链路产品、人工智能 算法应用三大领域，旗下拥有轻舟、有数、易智三大产品线，致力于帮助 客户搭建无绑定、高兼容、自主可控的创新基础平台架构，快速应对新一 代信息技术下实现数字化转型的需求。 代信息技术下实现数字化转型的需求。 网易数帆依托网易二十余年互联网技术积累，系列软件基础平台产品和技 术方案，成熟应用于金融、零售、制造、能源、电信、物流等多个行业领 域，在技术先进性、性能优越性、产品成熟度及安全可靠性等方面得到了 各行业客户的验证。目前已服务各领域头部客户百余家，包括工商银行、 浙商银行、银监会、人保金服、深圳证券交易所、华泰证券、名创优品、 古茗、百胜集团、温氏集团、万向集团、大华股份、宁波钢铁、一汽解放、 以“开放、开源、跨云”为技术理念，网易数帆大力推动技术研究，先后取 得“工信部云计算服务能力标准首批试点单位”、“国家企业技术中心”、“信 通院云计算标准和开源推进委员会成员”、“信通院大数据技术标准推进委 员会成员”、“信创工委会成员”等机构资质。同时，网易数帆积极推动跨厂 商的数字化技术融合发展，与AWS、阿里云、百度云、华为鲲鹏云计算、 浪潮、新华三等多家企业完成技术兼容性认证。 数帆使命：帮助所有客户成功实现数字化转型

卡集群全⾃动化硬件运维告警、数百亿特征检索、⼤规模（数⼗PB数据、百万台机器）分 布式系统数量级性能优化的经验。
c. ⽬前团队⼈数超过
80
⼈，每个⽉都有在全球某个领域有显著影响⼒的⼈加⼊。
2.
团队聚焦底层技术创新，技术Vision强
a. 引领⼤模型的“⽆损⻓上下⽂”时代。2023年10⽉上旬，在产品
Kimi
智能助⼿中实现“⽆损 ⻓上下⽂窗⼝（Lossless
Long
Context
Window 和中⽂能⼒上
Kimi
智能助⼿依然领先。
b. 聚焦底层技术创新，不⾛技术捷径。最早提出“Lossless
Long
Context
可以解决
90%
以上的 模型定制问题”，坚持对数据的⽆损压缩，实现模型能⼒的提升，不⾛技术捷径（通过滑动窗 ⼝、降采样、⼩模型等技术实现上下⽂窗⼝延⻓，都是“技术捷径”）
c. 通过这篇⽂章，您可以了解更多技术⽅⾯信息：专访⽉之暗⾯杨植麟：lossless
long
context
is
互联⽹从业者：⾼效搜集信息，辅助竞品分析、运营策划等⽅案撰写。 • 程序员：辅助编程、问题解答、代码注释、API⽂档阅读，⽀持
Python、C++、Java
等多种编程语 ⾔，帮助你学习编程、解决技术问题。 • ⾃媒体与内容创作者：学习特定公众号、⽂件、⽹⻚链接的⻛格，辅助创作；快速搜集创作所需信 息，提供丰富的资料与灵感。 • ⾦融和咨询分析师：通过即时搜索，帮你第⼀时间掌握⾏业动态和市场信息，并提供洞察与分析。

40 | 2024 年 AI 编程技术与工具发展综述 45 | RAG 的 2024：随需而变，从狂热到理性 51 | 大模型训练中的开源数据和算法：机遇及挑战 57 | 2024 年 AI 编程工具的进化 62 | AI 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 量达到了40万个，越来越多的开 发者选择凝聚在一起，共同拥抱 开放透明的组织协同。 7 / 111 本年度最受开发者关注的开源组织 2024 年，技术大厂及其大型项 目依然备受关注，它们推动着技 术的快速发展和广泛应用。 同时，「民间」开源组织虽然在 关注度上不及大厂主导的项目， 但它们在某些技术细分领域中却 拥有非常强的影响力和活跃的开 发者社区。 两者的不同发展模式相互补充， 共同推动了国内开源生态的繁荣 与多样化。 Star 数方面，更加注重创 新和技术探索「民间」开源组织 更加「接地气」，受到了更多开 发者的喜爱。 虽然面临资源的挑战，但它们的 灵活性和社区驱动力使得它们获 得了更多开发者的支持。 9 / 111 本年度最活跃的开源组织 不同开源组织在 Issue 解决 和 PR 处理数量上的差异，反映了它 们在开发活跃度、社区参与度和 技术成熟度上的不同战略。 技术大厂主导的项目往往具有较 高的资源投入和社区管理效率，

的。我们建议新用户通读使用指南。它选取了绘画流程的常用 功能进行系统而简明的介绍，帮助你建立使用 Krita 的正确习 惯，减轻自学困难，提高创作效率。如果你想要参加 Krita 项 目的工作，为社区撰写文档、进行翻译、提供技术支持，我们 也为你准备了参与者手册。 当前本网站的中文搜索功能尚未完善，如果无法搜索到所需内容， 请下载离线版本的 epub/PDF 电子书，然后使用文档阅读器内建 的搜索功能进行搜索。 下载离线文档：本站下载 参考手册 按照软件界面分类，并逐一介 绍每个功能项的原理和含义， 便于功能速查和知识补遗。 数字绘画基础知识 介绍绘画和计算机图像技术的基 础知识，带领初学者掌握关键的 抽象概念。配合实例教程阅读， 可快速完成数字绘画的入门学 习。 常见问题解答 对常见的技术性问题、故障等 一一做出解答。在求助和报告 程序缺陷前，请先在此页面确 认是否已经存在答案。 扩展包和第三方教程 索引 此页面列出了所有页面和页面 此页面列出了所有页面和页面 各小节的标题。请用浏览器的 下载 Krita 专用的笔刷包、纹理包 和 Python 插件等各种扩展资源， 让创作手段更加丰富。还有外部 教程、视频等学习资源。 搜索功能 (Ctrl+F) 查找所需的 内容，点击直接访问。 使用指南 你可以通过本在线手册了解 Krita 的各种特性，也可以学习如何从 其他软件迁移到 Krita。 目录： 新手入门 安装 首次使用 Krita

. . . . . . . . 8 2.2.6 Midjourney . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.3 AI 视频工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.3.1 Sora (OpenAI 公司) . . . . . 1.1 AIGC AIGC 是指使用人工智能模型生成内容的技术。这些内容可以包括图像、音频、 文本、视频、3D 模型等。具体来说，AIGC 技术可以生成如下类型的内容： • 图像：如照片、原创艺术作品 • 音频：如视频游戏中的配音、音乐 • 文本：如代码、广告文案、小说 • 3D 模型：如角色、场景 目前，AIGC 技术处于早期阶段，最常见的产品形态是基于文本的，通过用 户输入来控制 BERT。这些模型因其 高效的学习能力和强大的通用性而受到关注。 开源大模型以 Meta 的 Llama 系列，2024 年 4 月，Llama3 发布，包括 8B 和 70B 模型。 图 2，时间线主要根据技术论文的发布日期（例如提交至 arXiv 的日期）来 确定大型语言模型（大小超过 10B）的发展历程。如果没有相应的论文，我们 将模型的日期设定为其公开发布或宣布的最早时间。我们用黄色标记那些公开 可

使用指南。 它选取了绘画流程的常用功能进行系统而简明的介绍，帮助你建立使用 Krita 的正确习惯，减轻自学困难，提高创作效率。如果你想要参加 Krita 项目的工作，为社区撰写文档、进行翻译、提供技术支持，我们也为你准 备了参与者手册。 当前本网站的中文搜索功能尚未完善，如果无法搜索到所需内容，请下载离线 版本的 epub/PDF 电子书，然后使用文档阅读器内建的搜索功能进行搜索。 下载离线文档：本站下载 参考手册 按照软件界面分类，并逐一介绍每 个功能项的原理和含义，便于功能 速查和知识补遗。 数字绘画基础知识 介绍绘画和计算机图像技术的基础知 识，带领初学者掌握关键的抽象概念。 配合实例教程阅读，可快速完成数字绘 画的入门学习。 常见问题解答 对常见的技术性问题、故障等一一 做出解答。在求助和报告程序缺陷 前，请先在此页面确认是否已经存 在答案。 扩展包和第三方教程 下载 Krita Krita 专用的笔刷包、纹理包和 Python 插件等各种扩展资源，让创作手 索引 此页面列出了所有页面和页面各小 节的标题。请用浏览器的搜索功能 段更加丰富。还有外部教程、视频等学 习资源。 (Ctrl+F) 查找所需的内容，点击直 接访问。 使用指南 你可以通过本在线手册了解 Krita 的各种特性，也可以学习如何从其他软件迁 移到 Krita。 目录： 新手入门 安装 首次使用 Krita

指南。它选取了绘画流程的 常用功能进行系统而简明的介绍，帮助你建立使用 Krita 的正确习惯，减轻自学困 难，提高创作效率。如果你想要参加 Krita 项目的工作，为社区撰写文档、进行翻 译、提供技术支持，我们也为你准备了参与者手册。 当前本网站的中文搜索功能尚未完善，如果无法搜索到所需内容，请下载离线版本的 epub/PDF 电子书，然后使用文档阅读器内建的搜索功能进行搜索。 下载离线文档：本站下载 介绍绘画和计算机图像技术的基础知识，带 领初学者掌握关键的抽象概念。配合实例教 程阅读，可快速完成数字绘画的入门学习。 常见问题解答 对常见的技术性问题、故障等一一做出解 答。在求助和报告程序缺陷前，请先在此页 面确认是否已经存在答案。 扩展包和第三方教程 下载 Krita 专用的笔刷包、纹理包和 Python 插件等各种扩展资源，让创作手段更加丰 富。还有外部教程、视频等学习资源。 索引 Windows 环境下可能发生的问题 Wacom 数位板 笔刷的制作、加载和保存 笔刷选项面板 制作笔刷预设 分享笔刷预设 画布上的笔刷编辑器 对称绘画工具 轴线倾斜的对称绘画 辅助尺 辅助尺类型 技术图纸透视设置范例 理解和处理图像 图像文件包含的数据 元数据 图像大小 作者和描述信息 裁剪和调整画布大小 调整画布大小 保存、导出和打开文件 保存、自动保存、备份文件 保存 自动保存 备份文件

的广泛应用奠定了基础。再之后的 11 月份，OpenAI 再发力，GPTs 的到来，“用户自定义 ChatGPT”的能力，更是让世人领略了 OpenAI 作为 LLM 一哥的宏大叙事能力与强劲技术实力。 二、 New Bing（Bing AI）代表了微软在 LLM 领域的野心和 决心，它首次把当时世人能想到最有价值又可行的 LLM 应用场景——“智能对话+联网搜索”——无缝整合了起来， 从一开始就是应用的中枢，应用本身的架构、功能、 交互层是围绕 LLM 中枢来构建的。也许 ChatGPT 是最 经典的“AI 原生”应用。此概念目前还处在萌芽期，明确 的概念、应用场景、架构、技术栈细节等尚未完成自洽。 换一种视角来看，这个概念的提出其实都没技术什么事， 有人称之为“造商业概念”，这里按下不表。 十、 镜头给到国内。相比国际上当前逢 AI 必 GenAI，国内更 多地还是在 LLM 这一层面，Robin 百川智能的百川大模型、商汤的日日新大模型、MiniMax 的 ABAB 大模型、上海人工智能实验室的书生通用大模型、腾 讯的混元大模型、蚂蚁的百灵大模型等。 另一方面，除了大模型本身，中国在 LLM 相关技术领域也 快速迭代发展，诸如 Dify.AI 的 LLMOps、Milvus 的向量 数据库、CodeGeeX 与 Comate 的 AI 编程、对 LLM Prompt 的研究、OneFlow

使用指南。 它选取了绘画流程的常用功能进行系统而简明的介绍，帮助你建立使用 Krita 的正确习惯，减轻自学困难，提高创作效率。如果你想要参加 Krita 项目的工作，为社区撰写文档、进行翻译、提供技术支持，我们也为你准 备了参与者手册。 当前本网站的中文搜索功能尚未完善，如果无法搜索到所需内容，请下载离线 版本的 epub/PDF 电子书，然后使用文档阅读器内建的搜索功能进行搜索。 下载离线文档：本站下载 参考手册 按照软件界面分类，并逐一介绍每 个功能项的原理和含义，便于功能 速查和知识补遗。 数字绘画基础知识 介绍绘画和计算机图像技术的基础知 识，带领初学者掌握关键的抽象概念。 配合实例教程阅读，可快速完成数字绘 画的入门学习。 常见问题解答 对常见的技术性问题、故障等一一 做出解答。在求助和报告程序缺陷 前，请先在此页面确认是否已经存 在答案。 扩展包和第三方教程 下载 Krita Krita 专用的笔刷包、纹理包和 Python 插件等各种扩展资源，让创作手 索引 此页面列出了所有页面和页面各小 节的标题。请用浏览器的搜索功能 段更加丰富。还有外部教程、视频等学 习资源。 (Ctrl+F) 查找所需的内容，点击直 接访问。 使用指南 你可以通过本在线手册了解 Krita 的各种特性，也可以学习如何从其他软件迁 移到 Krita。 目录： 新手入门 安装 首次使用 Krita