全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 ……………………………… 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本 框架。 1. 人工智能安全治理原则 秉持共同、综合 包容审慎、确保安全。鼓励发展创新，对人工智能研发及应用采取 包容态度。严守安全底线，对危害国家安全、社会公共利益、公众合法权益的 风险及时采取措施。 人工智能安全治理框架 （V1.0）- 2 - 人工智能安全治理框架 1.2 风险导向、敏捷治理。密切跟踪人工智能研发及应用趋势，从人工 智能技术自身、人工智能应用两方面分析梳理安全风险，提出针对性防范应对 措施。关注安全风险发展变化，

www.iresearch.com.cn 基础软件开源界限划分 操作系统、数据库、中间件、AI框架底层代码按规范进行共享与协作 本篇报告研究的基础软件开源范围，是指研究“开源”中“基础软件”板块的情况。开源过程中，参与者可以共享、协作完成开发， 正好与基础软件庞大的开发量需求相契合。这种契合性 对于这四类基础软件（操作系统、数据库、AI框架、中间件），其编写者将实现功能的代码按照一定的开源规范 开放，任何人可以查看、使用、贡献，同时，使用者也要遵循一定的开源规范。 基础软件开源范畴界定 国内基础软件开源界定 基础软件 具备能衍生出并支撑 多个技术簇的一类根 技术软件，拥有技术 门槛高、衍生场景复 杂等特点 中间件：不同系统和应用程序之间交互 与协作的桥梁 AI框架：具备构建和部署人工智能模型 www.iresearch.com.cn 中国基础软件开源产业主要参与者图谱 来源：根据专家访谈、公开资料，由艾瑞咨询研究院自主研究及绘制。 中间件 操作系统 AI框架 数据库 开源技术论坛 开源产业联盟 开源组织 基础软件开源项目 开源基金会 开源社区评估机构 X-Deep Learning 开源代码托管平台 11 ©2023.11 iResearch

能力，使其智能化，但 它的智能只充当了“辅助”角色；在 AI 原生的语境下， LLM 从一开始就是应用的中枢，应用本身的架构、功能、 交互层是围绕 LLM 中枢来构建的。也许 ChatGPT 是最 经典的“AI 原生”应用。此概念目前还处在萌芽期，明确 的概念、应用场景、架构、技术栈细节等尚未完成自洽。 换一种视角来看，这个概念的提出其实都没技术什么事， 有人称之为“造商业概念”，这里按下不表。 快速迭代发展，诸如 Dify.AI 的 LLMOps、Milvus 的向量 数据库、CodeGeeX 与 Comate 的 AI 编程、对 LLM Prompt 的研究、OneFlow 的深度学习框架。 值得一提的还有华为的盘古大模型，其中盘古气象大模型是 首个精度超过传统数值预报方法的 AI 模型，速度相比传统 数值预报提速 10000 倍以上，能够提供全球气象秒级预 报。盘古大模型的研究成果在国际顶级学术期刊《自然》正 场面”。 1 1 目录 一、开源开发者事件回顾 三、中国开发者开源新动向 二、2023 LLM 技术报告  46 | 向量数据库  47 | 数据库向量支持  48 | 大模型框架、微调  51 | 大模型训练平台与工具  53 | 编程语言  57 | 知名大模型  58 | 备案上线的中国大模型  21 | 硬核发版  26 | 热门话题  33

AI 编程工具的进化 62 | AI 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 中国开源开发者报告重点聚焦大模型，本章节以大模 型 LLM 开发技术栈作为切入点，将深入探讨以下中国 AI 大模型领域的代表性开源项目社区。 这些开源项目社区覆盖了深度学习框架、向量数据库、AI辅 助编程、LLM 应用开发框架、模型微调、推理优化、LLM Agent，以及检索增强生成（RAG）等多个关键技术栈。 为了更全面客观地展示中国大模型 LLM 开发技术栈的开源 社区生态，我们使用了 对开源社区的生态评 开发基础设施，本部分图表 中的开发框架、向量数据库、 开发平台、大模型均表现出 色，代表着它们的代码提交 频率、参与者、代码合并比 率等协作开发工作保持着较 高的水平。 17 / 111 OSS Compass Insight 本部分图表仅用于数据展示，不涉及先后排名 稳健性-活跃度 作为 AI 开发生态中的关键组 成部分，本部分图表中的开发 框架、大模型及相关工具在活 跃度的表现各有千秋。

实体经济深度融合，全面赋能新型工业化，深刻改变工业生 产模式和经济发展形态，将对加快建设制造强国、网络强国 和数字中国发挥重要的支撑作用。人工智能产业链包括基础 层、框架层、模型层、应用层等 4 个部分。其中，基础层主 要包括算力、算法和数据，框架层主要是指用于模型开发的 深度学习框架和工具，模型层主要是指大模型等技术和产 品，应用层主要是指人工智能技术在行业场景的应用。近年 来，我国人工智能产业在技术创新、产品创造和行业应用等 （一）人工智能标准体系结构 人工智能标准体系结构包括基础共性、基础支撑、关键 技术、智能产品与服务、赋能新型工业化、行业应用、安全 /治理等 7 个部分，如图 1 所示。其中，基础共性标准是人 工智能的基础性、框架性、总体性标准。基础支撑标准主要 规范数据、算力、算法等技术要求，为人工智能产业发展夯 实技术底座。关键技术标准主要规范人工智能文本、语音、 图像，以及人机混合增强智能、智能体、跨媒体智能、具身 图 1 人工智能标准体系结构图 （二）人工智能标准体系框架 人工智能标准体系框架主要由基础共性、基础支撑、关 键技术、智能产品与服务、赋能新型工业化、行业应用、安 全/治理等 7 个部分组成，如图 2 所示。 5 图 2 人工智能标准体系框架图 6 四、重点方向 （一）基础共性标准 基础共性标准主要包括人工智能术语、参考架构、测试评估、 管理、可持续等标准。 1. 术语标准。规范人工智能相关技术、应用的概念定义，

平台产品及相 应技术服务，业务覆盖云原生基础软件、数据智能全链路产品、人工智能 算法应用三大领域，旗下拥有轻舟、有数、易智三大产品线，致力于帮助 客户搭建无绑定、高兼容、自主可控的创新基础平台架构，快速应对新一 代信息技术下实现数字化转型的需求。 网易数帆依托网易二十余年互联网技术积累，系列软件基础平台产品和技 术方案，成熟应用于金融、零售、制造、能源、电信、物流等多个行业领 域， 协议转换 微服务框架 NSF 注册发现 服务治理 服务路由 流量染色 服务化 将企业能力转化为数字化的 服务，打破企业软件应用中数 据孤岛等现状。 敏捷 通过小步快跑的方式敏捷迭 代，不断适应市场与业务需求 的变化，摆脱缓慢的大版本更 新与业务需求脱节的窘境。 高效 通过自动化与生产协作方式 的优化，多环节提升软件生产 的效率。 开放 基于开放的技术体系，打造开 放的软件架构。 轻舟云原生软件生产力平台 流、熔断限流等丰富治理能力。 精细化流量管控 支持不同维度的流量治理，并具备丰富 的流量管控能力。 架构平滑演进 支持单体架构向微服务架构、微服务架 构向服务网格架构平滑演进。 开放兼容 全面覆盖主流微服务开发技术选型，增 强、扩展开源服务网格。 异构应用统一治理 多框架、多协议、多语言服务的统一治 理，避免技术栈重复建设。 异构集成 支持异构协议转换为 HTTP 协议 RESTFUL

大模型框架、微调 (Fine Tuning)  大模型训练平台与工具 基础设施 LLM Agent  备案上线的中国大模型  知名大模型  知名大模型应用 大模型 算力 工具和平台  LLMOps  大模型聚合平台  开发工具 AI 编程  插件、IDE、终端  代码生成工具 编程语言 3 / 32 LLM 技术背景 Transformer 架构和预训练与微调策略是 gitbook/assets/ml_system.svg 4 / 32 LLM 基础设施 01 03 02 04 向量数据库/数据库向量支持 为大模型提供高效的存储和检索能力 大模型框架及微调 (Fine Tuning) 大模型框架提供基本能力和普适性，而微调 则是实现特定应用和优化性能的关键环节 大模型训练平台&工具 提供了在不同硬件和环境中训练大语言模型 所需的基础设施和支持 编程语言 以 vector-database/） 7 / 32 LLM 基础设施：大模型框架及微调 (Fine Tuning) 大模型框架指专门设计用于构建、训练和部署大型机器 学习模型和深度学习模型的软件框架。这些框架提供了 必要的工具和库，使开发者能够更容易地处理大量的数 据、管理巨大的网络参数量，并有效地利用硬件资源。 微调（Fine Tuning）是在大模型框架基础上进行的一个 关键步骤。在模型经过初步的大规模预训练后，微调是

测 实 • 需求收集、整理是开源社区的最大功能之一，市场上的开发者和用户在 接触项目的过程中自然会产生进一步产品需求，并反馈给社区 • 软件设计主要涉及项目整体架构规划，开源社区开发者主要贡献 为小范围的补丁和功能开发，对整体架构的关注度一般不高 • 软件构建主要指的是核心代码的编写流程，开源社区的贡献者 以编写代码的形式向项目提交创新和改良，能够帮助项目降低 代码编写成本 • 开源社区主 Reliability 3.8% 开源最佳实践 3.8% 其他 11.5% 库 22.9% 大数据 11.1% 网络服务器 8.9% 可扩展标记语言 6.8% 数据库 5.7% web框架 5.4% 网络客户端 5.4% 内容 4.6% 构造管理 4.6% 云 3.5% 其他 21.1% 全球开源项目分布 总量持续上升，项目类型反映市场需求与热度 全球对开源的热 区提供服务，2021年Linux基金会中云计算、容器和虚拟化开源项目的占 比最大，达到22.7%。整体来看，全球开源项目类型集中在开发框架、文档类开源项目、云计算等相关领域。此外，开源 项目的类型往往能反映当前市场关注的热点，如容器与云原生应用技术、人工智能开发框架等技术的流行。 来源：Apache软件基金会，艾瑞咨询研究院根据公开资料研究及绘制。 来源：Linux基金会，艾瑞咨询研究院根据公开资料研究及绘制。

Google、MIT、Amazon等团队的使⽤和扩展，并获得过OpenAI
RL联创及负责⼈John
Schulman亲⾃邀请加盟。
iv. 基础设施⽅⾯。团队核⼼成员曾带领数⼗⼈从零开发世界领先的深度学习框架，也具备数千 卡集群全⾃动化硬件运维告警、数百亿特征检索、⼤规模（数⼗PB数据、百万台机器）分 布式系统数量级性能优化的经验。
c. ⽬前团队⼈数超过
80
⼈，每个⽉都有在全球某个领域有显著影响⼒的⼈加⼊。
限的条件下，还能实现登⽉吗？
杨植麟：“登⽉”有⼏个不同的⽣产要素，算⼒肯定是⼀个核⼼，但还有其他的。 你需要⼀个同时满⾜
scalability
和
generality
这两点的架构，但今天其实很多架构已经不满⾜这两条 了。transformer
在已知的
token
space
符合这两条，但放⼤到⼀个更通⽤的场景，也不太符合。数据 也是⼀个⽣产要素，包括整个世界的数字化，和来⾃⽤⼾的数据。 章、甚 ⾄⼀个视频，但表⽰⼀个更⼤的
3D
世界或你硬盘上的所有⽂件还有难度，没做到
token-in-token- out，离所谓的
unified
representation
其实有差距。架构其实解决的是这个问题。
通过
AI
⾃我进化克服数据稀缺性的瓶颈是第⼆层的另⼀个问题。今天的
AI
其实像⼀个⿊盒，这个⿊盒 有两个输⼊：电源线和数据线，输⼊这两个东西后，盒⼦就能产出智能。随后⼤家意识到，数据线的

的自建 Git 服务。 采用Go作为后端语言，只需生成一个可执行程序即可。 支持 Linux, macOS 和 Windows等多平台， 支持主流的 x86，amd64、 ARM 和 PowerPC等架构。 代码托管：Gitea⽀持创建和管理仓库、浏览提交历史和代码⽂件、审查和合并代码提交、管理协作者、管理分 ⽀等。它还⽀持许多常见的Git特性，⽐如标签、Cherry-pick、hook、集成协作⼯具等。 18，将自动启用 Git 提交历史图形化展示功能 Last 2 versions of Chrome, Firefox, Safari and Edge Firefox ESR Web框架： Chi ORM: XORM UI 框架： jQuery Fomantic UI Vue3 更多组件参见 package.json 编辑器： CodeMirror EasyMDE Monaco Editor 入到可执行程序中，这一点和曾经的 Gogs 有所不同。 你可以从 下载页面 选择对应平台的二进制文件。 对于 Linux， linux-amd64 适用于 64-bit 的 Intel/AMD 平台。更多架构包含 arm64 (Raspberry PI 4)， 386 (32-bit)， arm-5 以及 arm-6 。 对于 Windows， windows-4.0-amd64