LLM 技术报告 大语言模型（LLM） 技术作为人工智能领域的一项重要创 新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门 设计来理解、生成和回应自然语言。这些模型通过分析大量 的文本数据来学习语言的结构和用法，从而能够执行各种语 言相关任务。以 GPT 系列为代表，LLM 以其在自然语言 处理领域的卓越表现，成为推动语言理解、生成和应用的引 擎。 LLM 理领域，GPT 系列模型在文本生成、问答系统和对话生成 等任务中展现出色的性能。在知识图谱构建、智能助手开发 等方面，LLM 技术也发挥了关键作用。此外，它还在代码 生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech Map  向量数据库  数据库向量支持 代码生成工具 编程语言 3 / 32 LLM 技术背景 Transformer 架构和预训练与微调策略是 LLM 技术的核心，随着大规模语言数据集的可用性和计算能 力的提升，研究者们开始设计更大规模的神经网络，以提高对语言复杂性的理解。 GPT (Generative Pre-trained Transformer) 的提出标志着 LLM 技术的飞速发展，其预训练和微调的 方法为语言任务提供

领先的数字化转型技术与服务提供商 网易数帆是网易集团旗下 TO B 企业服务品牌，定位于领先的数字化转型 技术与服务提供商，为客户提供创新、可靠的国产软件基础平台产品及相 应技术服务，业务覆盖云原生基础软件、数据智能全链路产品、人工智能 算法应用三大领域，旗下拥有轻舟、有数、易智三大产品线，致力于帮助 客户搭建无绑定、高兼容、自主可控的创新基础平台架构，快速应对新一 代信息技术下实现数字化转型的需求。 代信息技术下实现数字化转型的需求。 网易数帆依托网易二十余年互联网技术积累，系列软件基础平台产品和技 术方案，成熟应用于金融、零售、制造、能源、电信、物流等多个行业领 域，在技术先进性、性能优越性、产品成熟度及安全可靠性等方面得到了 各行业客户的验证。目前已服务各领域头部客户百余家，包括工商银行、 浙商银行、银监会、人保金服、深圳证券交易所、华泰证券、名创优品、 古茗、百胜集团、温氏集团、万向集团、大华股份、宁波钢铁、一汽解放、 以“开放、开源、跨云”为技术理念，网易数帆大力推动技术研究，先后取 得“工信部云计算服务能力标准首批试点单位”、“国家企业技术中心”、“信 通院云计算标准和开源推进委员会成员”、“信通院大数据技术标准推进委 员会成员”、“信创工委会成员”等机构资质。同时，网易数帆积极推动跨厂 商的数字化技术融合发展，与AWS、阿里云、百度云、华为鲲鹏云计算、 浪潮、新华三等多家企业完成技术兼容性认证。 数帆使命：帮助所有客户成功实现数字化转型

公平性、中立性准则 • 开源项目不得对任何个人、组织以及用途等规定歧视性条款 • 开源项目的内容须在无需进一步许可的条件下适用于所有获得 该项目的主体 • 开源许可不得以某种特定技术或接口为前提，须保持技术中立 6 ©2022.2 iResearch Inc 立的RedHat公司以及在2008年开 源的谷歌Chromium浏览器内核架 构，本报告后文将有进一步介绍。 2010年之后互联网经济进入蓬勃发 展期，云计算、大数据计算、AI等 新兴技术的发展越来越多地开始基 于开源技术，开源对于企业打磨产 品、构建生态的战略意义也开始突 显 一种开放、非私有的软件开发 和运营方式的探索 • 但以美国市场为代表，80-90年代期间 软件产业加速发展，其商业价值已经 意味着将软件源代码 无偿在社区发布，此后二次开发者和使用者作为贡献方进行迭代，并在开源许可证的约束下使用迭代版本，社区中的其他 机构提供法律、行业发展等服务和指导，不同角色间互相配合，有效协作，达成技术交流或商业目的。开源运营和治理环 节，无论是由企业主导还是由基金会主导，在整个开源项目过程中都处于关键位置，包含软件开发和发行、市场推广、版 本迭代更新、版权管理和安全管理等内容，这些环节和商业企业

2023 全球开源发展态势洞察 2023年第八期｜总第十期 开放原子开源基金会出品 2023年5月 2023 CONTENTS 目录 01 行业发展 02 前沿技术 03 开源安全 AMD正计划使用开源的OpenSIL代替AGESA 开放服务网格OSM（Open Service Mesh）项目已停止维护 KSOC推出业内首个实时Kubernetes安全态势管理平台 Nutanix推出Kubernetes数据管理平台 状态提供可操作的补救措施。具体功能包括： • 实时态势管理，发现基于事件的错误配置； • 汇总并找到Kubernetes RBAC中的过度权限； • 防止部署不合规的工作负载，减少潜在爆炸 半径； • 扫描漏洞并为运行的容器生成SBOM。 OpenSIL的目标不是取代UEFI，而是集成在 其他主固件中，比如核心启动、重启、Forti- BIOS，可以与主固件静态链接，绕过任何主 固件协议。 Google、AWS（亚马逊）、Meta（Face- k0s。新版本与全新的Kubernetes 1.27版本 兼容，并进行了各种其他改进和错误修复，版 本特性更新如下： • 兼容Kubernetes1.27； • 支持容器插件，如WebAssembly（WASM） 和gVisor容器沙箱； • k0s将用自建的镜像来运行所有的系统组件； • 支持控制Helm chart的安装顺序。 全球开源态势洞察｜第十期 03 Azure AKS正式推出网络方案

1.1 AIGC AIGC 是指使用人工智能模型生成内容的技术。这些内容可以包括图像、音频、 文本、视频、3D 模型等。具体来说，AIGC 技术可以生成如下类型的内容： • 图像：如照片、原创艺术作品 • 音频：如视频游戏中的配音、音乐 • 文本：如代码、广告文案、小说 • 3D 模型：如角色、场景 目前，AIGC 技术处于早期阶段，最常见的产品形态是基于文本的，通过用 户输入来控制 BERT。这些模型因其 高效的学习能力和强大的通用性而受到关注。 开源大模型以 Meta 的 Llama 系列，2024 年 4 月，Llama3 发布，包括 8B 和 70B 模型。 图 2，时间线主要根据技术论文的发布日期（例如提交至 arXiv 的日期）来 确定大型语言模型（大小超过 10B）的发展历程。如果没有相应的论文，我们 将模型的日期设定为其公开发布或宣布的最早时间。我们用黄色标记那些公开 可 AI 工具。 2.3.9 EBSynth 开源：一个开源的视频处理工具，用于将艺术风格应用到视频帧中。 2.4 AI 编程工具 2.4.1 DEvv 程序员的新一代 AI 搜索引擎，专为编程和技术问题检索设计。 2.4.2 JetBrains AI AI 编程开发助手，集成在 JetBrains 系列开发工具中，提升编码效率。 9 Figure 6: AI 编程工具 2.4.3 AirOps

码按照一定的开源规范 开放，任何人可以查看、使用、贡献，同时，使用者也要遵循一定的开源规范。 基础软件开源范畴界定 国内基础软件开源界定 基础软件 具备能衍生出并支撑 多个技术簇的一类根 技术软件，拥有技术 门槛高、衍生场景复 杂等特点 中间件：不同系统和应用程序之间交互 与协作的桥梁 AI框架：具备构建和部署人工智能模型 的基础的全套开发工具 操作系统：是软硬件资源的资源管理者， ，由艾瑞咨询研究院自主研 究及绘制。 中外软件开源对比（2） 国内九成以上开发者使用开源软件，其中近半数人员参与开源，新增贡 献者占比世界靠前 中国开源产业起步晚，发展尚不成熟的现象可以从信息技术发展环境、权威性组织的建立这两个角度看出。权威性组织的建立方面， 全球开源软件标准的权威发布机构OSI于1998年成立，但国内第一个权威性开源软件推进联盟成立于2004年；再如阿帕奇软件基金 会于1 量辅助：1）开源基金会可选择性接受项目的捐赠并运营项目；2）开源技术论坛通常会提供更广阔的开发者交流平台，提升开发者 能力水平；3）开源社区评估机构可对开源社区进行评分，辅助开发者选择要参与的开源项目；4）开源产业联盟往往会对行业贡献 技术指标、开源规范等，引导行业专业化发展。 来源：根据专家访谈、公开资料，由艾瑞咨询研究院自主研究及绘制。 开源产业链 运营： 发起者为运营者 开源技术论坛\开源社区评估机构\开源产业联盟

Systems”，将会逐 渐变成现实。 如果中国的开源，以⼀种与世界隔离的⽅式 “崛起”，这并不是我们希望看到的未来。 3. 开源向善以及我们尚未做好准备 疫情爆发以来，众多的开源⼈奉献⾃⼰的时间、精⼒、技术和智慧，投⼊到⼀个⼀个的抗疫相 关的开源项⽬之中，也因此诞⽣了诸多⾯向医学、防疫、公益、救援的开源组织和开源项⽬。 其中 wuhan2020 就是典型的代表。 因此，在 2020 年的中国开源年会筹办期间，我们毫不犹豫的选择了 特邀点评专家：  吴晟，Apache 软件基⾦会 Member，Apache Local Community 联合创始⼈  ⻩东旭，PingCAP 联合创始⼈兼 CTO  ⻢艳军，百度深度学习技术平台部⾼级总监  蒋涛，CSDN 创始⼈ & 董事⻓，极客帮创投创始合伙⼈  ⾼阳，SegmentFault 思否创始⼈ & CEO  红薯，开源中国创始⼈ & CTO  庄表伟，开源社理事⻓ 前中国开源社区的真实现 状，从⽽为开源的后来⼈提供权威的参考。  调查对象：覆盖开发者、社区成员、贡献者、学⽣、政府企业管理⼈员  调查内容：主要涵盖个⼈信息、⼯作状况、开源社区以及开发者技术  调查⽅法：以在线问卷⽅式搜集样本和数据，交叉对⽐法分析数据  推⼴⽅法：线上社交媒体、博客、开源社、开源中国⽹站  问题数量：59  问题类型：单选、多选、开放性  样本量：236

⼤师也不可能仅仅通过按⼏个按钮或者随便刷⼏笔就做出惊⼈的艺术作品来， 相反，他们也要经过⼤量的学习与训练，包括：⼈体结构、合成、灯光、动画 原理等等。 像Blender这样的3D内容创作⼯具软件在深层的技术背后还有着不少技术难点 以及⾏业术语。⼀些专⽤术语⽐如UV贴图、材质、着⾊器、⽹格、细分⾯等 都是数字艺术家表达思想的媒介，理解它们，运⽤它们，你才能将Blender⽤到 极致。 请继续阅读这套⼿册，学习更 我们的眼睛习惯于透视远处物体看起来更⼩的地⽅。正交投影起初通常看起来 有点奇怪，因为⽆论物体的距离如何，它们的⼤⼩都保持不变。这就像从⽆限 远的点观看场景⼀样。尽管如此，正交查看可能⾮常有⽤，因为它提供了对场 景的更 "技术性" 的眼光，使其更容易 建模 和 判断⽐例。 选项 要在 3D 视⼜的两个投影之间切换，请选择 查看 ‣ 透视/正交 或使⽤快捷⽅式 Numpad5 。更改 3D 视⼜的投影不会影响场景的渲染⽅式。默认情况下，渲染 按钮打开⼀个弹出窗⼜以配置 ⽣成 图像。 源 见 ⽀持的图像格式. 单张图像 静态图像或单帧。 图像序列 每⼀帧都存储在⼀个单独的⽂件中。怎样将 打开图像序列 。选项见下⾯的 电 影。 影⽚ 打包到容器的帧。 帧 设置使⽤的帧范围。 匹配影⽚长度 此按钮将影⽚ 帧 设置为所选影⽚的长度。 起始 序列的全局起始帧，播放应何时开始。这是⼀个全局设置，这意味着它会 影响所有剪辑⽤户，例如影⽚剪辑编辑器本⾝、运动跟踪约束和合成器节

⼤师也不可能仅仅通过按⼏个按钮或者随便刷⼏笔就做出惊⼈的艺术作品来， 相反，他们也要经过⼤量的学习与训练，包括：⼈体结构、合成、灯光、动画 原理等等。 像Blender这样的3D内容创作⼯具软件在深层的技术背后还有着不少技术难点 以及⾏业术语。⼀些专⽤术语⽐如UV贴图、材质、着⾊器、⽹格、细分⾯等 都是数字艺术家表达思想的媒介，理解它们，运⽤它们，你才能将Blender⽤到 极致。 请继续阅读这套⼿册，学习更 我们的眼睛习惯于透视远处物体看起来更⼩的地⽅。正交投影起初通常看起来 有点奇怪，因为⽆论物体的距离如何，它们的⼤⼩都保持不变。这就像从⽆限 远的点观看场景⼀样。尽管如此，正交查看可能⾮常有⽤，因为它提供了对场 景的更 "技术性" 的眼光，使其更容易 建模 和 判断⽐例。 选项 要在 3D 视⼜的两个投影之间切换，请选择 查看 ‣ 透视/正交 或使⽤快捷⽅式 Numpad5 。更改 3D 视⼜的投影不会影响场景的渲染⽅式。默认情况下，渲染 按钮打开⼀个弹出窗⼜以配置 ⽣成 图像。 源 见 ⽀持的图像格式. 单张图像 静态图像或单帧。 图像序列 每⼀帧都存储在⼀个单独的⽂件中。怎样将 打开图像序列 。选项见下⾯的 电 影。 影⽚ 打包到容器的帧。 帧 设置使⽤的帧范围。 匹配影⽚长度 此按钮将影⽚ 帧 设置为所选影⽚的长度。 起始 序列的全局起始帧，播放应何时开始。这是⼀个全局设置，这意味着它会 影响所有剪辑⽤户，例如影⽚剪辑编辑器本⾝、运动跟踪约束和合成器节

也不可能仅仅通过按⼏个按钮或者随便刷⼏笔就做出惊⼈的艺术作品来，相反，他 们也要经过⼤量的学习与训练，包括：⼈体结构、合成、灯光、动画原理等等。 像Blender这样的3D内容创作⼯具软件在深层的技术背后还有着不少技术难点以及⾏ 业术语。⼀些专⽤术语⽐如UV贴图、材质、着⾊器、⽹格、细分⾯等都是数字艺术 家表达思想的媒介，理解它们，运⽤它们，你才能将Blender⽤到极致。 请继续阅读这套⼿册，学习更多 我们的眼睛习惯于透视远处物体看起来更⼩的地⽅。正交投影起初通常看起来有点奇怪，因 为⽆论物体的距离如何，它们的⼤⼩都保持不变。这就像从⽆限远的点观看场景⼀样。尽管 如此，正交查看可能⾮常有⽤，因为它提供了对场景的更 "技术性" 的眼光，使其更容易 建 模 和 判断⽐例。 选项 要在 3D 视⼜的两个投影之间切换，请选择 视图 ‣ 透视/正交 或使⽤快捷⽅式 Numpad5 。更 改3D视图的投影不会影响场景的渲染 设置，也可在属性编辑器中的材质选项卡中找到。它 们因所选的渲染引擎⽽异。重复的设置是为了能够在着⾊器编辑器内编辑整个材 质。 视频序列编辑器 简介 编辑器布局 视图类型 性能 视图类型 序列容器 简介 通道 导航 显⽰ ⼯具栏 侧栏 预览 简介 标题栏 ⼯具栏 侧栏 装配器 显⽰ 序列编辑器 & 预览 简介 The Video Sequencer allows you to place