全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 ……………………………… 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本 框架。 1. 人工智能安全治理原则 秉持共同、综合 包容审慎、确保安全。鼓励发展创新，对人工智能研发及应用采取 包容态度。严守安全底线，对危害国家安全、社会公共利益、公众合法权益的 风险及时采取措施。 人工智能安全治理框架 （V1.0）- 2 - 人工智能安全治理框架 1.2 风险导向、敏捷治理。密切跟踪人工智能研发及应用趋势，从人工 智能技术自身、人工智能应用两方面分析梳理安全风险，提出针对性防范应对 措施。关注安全风险发展变化，

快速迭代发展，诸如 Dify.AI 的 LLMOps、Milvus 的向量 数据库、CodeGeeX 与 Comate 的 AI 编程、对 LLM Prompt 的研究、OneFlow 的深度学习框架。 值得一提的还有华为的盘古大模型，其中盘古气象大模型是 首个精度超过传统数值预报方法的 AI 模型，速度相比传统 数值预报提速 10000 倍以上，能够提供全球气象秒级预 报。盘古大模型的研究成果在国际顶级学术期刊《自然》正 场面”。 1 1 目录 一、开源开发者事件回顾 三、中国开发者开源新动向 二、2023 LLM 技术报告  46 | 向量数据库  47 | 数据库向量支持  48 | 大模型框架、微调  51 | 大模型训练平台与工具  53 | 编程语言  57 | 知名大模型  58 | 备案上线的中国大模型  21 | 硬核发版  26 | 热门话题  33 105 小时之后，该事件迎来大结局—— Sam Altman 重返 OpenAI 担任首席执行官，OpenAI 成立全新董事会，微软 将在董事会中获得一个无投票权的观察员席位。 最火热 LLM 应用框架 LangChain 与此同时，零一万物完成由阿里云领投的新一轮融资，估值已超 10 亿美 元，跻身独角兽行列。 8 / 87 1 1 开源开发者事件回顾 京东发布言犀大模型 百度推出 AI

社会 #### 使用说明 - 输入 ：一段新闻文本。 - 输出 ：只输出新闻文本所属的种类，不需要额外解释。 USER 美国太空探索技术公司（SpaceX）的猎鹰 9 号运载火箭（Falcon 9）在经历美国联邦航空管理局（Federal Aviation Administration，FAA）短暂叫停发射后，于当地时间 8 月 31 日凌晨重启了发射任务。 11. 宣传标语生成：让模型生成贴合商品信息的宣传标语。

www.iresearch.com.cn 基础软件开源界限划分 操作系统、数据库、中间件、AI框架底层代码按规范进行共享与协作 本篇报告研究的基础软件开源范围，是指研究“开源”中“基础软件”板块的情况。开源过程中，参与者可以共享、协作完成开发， 正好与基础软件庞大的开发量需求相契合。这种契合性 对于这四类基础软件（操作系统、数据库、AI框架、中间件），其编写者将实现功能的代码按照一定的开源规范 开放，任何人可以查看、使用、贡献，同时，使用者也要遵循一定的开源规范。 基础软件开源范畴界定 国内基础软件开源界定 基础软件 具备能衍生出并支撑 多个技术簇的一类根 技术软件，拥有技术 门槛高、衍生场景复 杂等特点 中间件：不同系统和应用程序之间交互 与协作的桥梁 AI框架：具备构建和部署人工智能模型 www.iresearch.com.cn 中国基础软件开源产业主要参与者图谱 来源：根据专家访谈、公开资料，由艾瑞咨询研究院自主研究及绘制。 中间件 操作系统 AI框架 数据库 开源技术论坛 开源产业联盟 开源组织 基础软件开源项目 开源基金会 开源社区评估机构 X-Deep Learning 开源代码托管平台 11 ©2023.11 iResearch

+ 数据/信息 + 分析 方法 触发因果链推导与假设验 证 表层总结或分类 3. 创造性需求 需生成新颖内容（文本/ 设计/方案） 主题 + 风格/约束 + 创新 方向 结合逻辑框架生成结构化 创意 自由发散，依赖示例引导 4. 验证需求 需检查逻辑自洽性、数 据可靠性或方案可行性 结论/方案 + 验证方法 + 风险点 自主设计验证路径并排查 矛盾 简单确认，缺乏深度推演 成的内容。 ▪ 挑战预设思维模式：通过打破任务的常规设定，促使AI生成具有挑战性和创新性的内容。 灵活运用任务开放性：给AI自由发挥的空间 创新设计策略： ▪ 设定基本框架，留出探索余地：提示语应提供一个结构化的框架，包含具体的生成目标，但不应过度限制表 达方式或细节内容，给AI足够的空间进行创造。 ▪ 多维度任务引导：通过引导AI从多个角度看待问题，激发其对生成内容的多样化思考。 AI缺陷：臆造之辞 从期望结果 开始 倒推提示语 结构 灵活调整提 示语细节 矛盾思维法：利用对立促进创新 引入对立概 念 利用矛盾性促进创新 提出冲突性任务要求 融合批判性思维与创新推理 • 质疑既有框架 • 创新推理 多方论证与批判结合， 增强生成内容的全面性 涌现思维模型：利用集体智慧的提示语设计 提示语链的概念与特征 提示语链是用于引导AI生成内容的连续性提示语序列。通过将复

+ 数据/信息 + 分析 方法 触发因果链推导与假设验 证 表层总结或分类 3. 创造性需求 需生成新颖内容（文本/ 设计/方案） 主题 + 风格/约束 + 创新 方向 结合逻辑框架生成结构化 创意 自由发散，依赖示例引导 4. 验证需求 需检查逻辑自洽性、数 据可靠性或方案可行性 结论/方案 + 验证方法 + 风险点 自主设计验证路径并排查 矛盾 简单确认，缺乏深度推演 成的内容。 ▪ 挑战预设思维模式：通过打破任务的常规设定，促使AI生成具有挑战性和创新性的内容。 灵活运用任务开放性：给AI自由发挥的空间 创新设计策略： ▪ 设定基本框架，留出探索余地：提示语应提供一个结构化的框架，包含具体的生成目标，但不应过度限制表 达方式或细节内容，给AI足够的空间进行创造。 ▪ 多维度任务引导：通过引导AI从多个角度看待问题，激发其对生成内容的多样化思考。 AI缺陷：臆造之辞 从期望结果 开始 倒推提示语 结构 灵活调整提 示语细节 矛盾思维法：利用对立促进创新 引入对立概 念 利用矛盾性促进创新 提出冲突性任务要求 融合批判性思维与创新推理 • 质疑既有框架 • 创新推理 多方论证与批判结合， 增强生成内容的全面性 涌现思维模型：利用集体智慧的提示语设计 提示语链的概念与特征 提示语链是用于引导AI生成内容的连续性提示语序列。通过将复

年的约 1,19 万 增加了约 21.2%。 1.2 指标解释 2、主要内容与发现 2.1 世界开源 Top10 项⽬ 活跃度最⾼的项⽬是来⾃⾕歌的前端跨平台开发框架 flutter/flutter，此外，源于⾕歌的深度 学习框架 tensorflow/tensorflow，容器编排系统 kubernetes/kubernetes 也分别位于第 5 名和第 6 名，这说明了⾕歌在开源上的努⼒和影响⼒获得了业内的认可。 从这个列表中，我们发现，阿⾥在开源领域中的成绩显著。Top10 项⽬中上榜的项⽬有 4 个，除了蚂蚁⾦服采⽤ React 封装的⼀套组件库 ant-design/ant-design，基于 Ant Design 框架搭建的中后台管理控制台的脚⼿架 ant-design/ant-design-pro 和致⼒于配置和管理微 服务的特性集 alibaba/nacos 外，饿了么（已被阿⾥收购）的开源项⽬ ElmFE/element 习平台 PaddlePaddle 占据了 6 个项⽬，分 别是核⼼框架 Paddle 以及相关⼯具库、扩展版本和模型库 Models；此外开放⾃动驾驶平台 ApolloAuto/apollo 也榜上有名。 中国的 Top50 项⽬列表中，包括阿⾥的 Ant-Design 组件库，京东基于 React 前端框架的 开发框架 taro，由饿了么（已被阿⾥收购）前端团队开源的 Vue UI 组件库

本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech Map  向量数据库  数据库向量支持  大模型框架、微调 (Fine Tuning)  大模型训练平台与工具 基础设施 LLM Agent  备案上线的中国大模型  知名大模型  知名大模型应用 大模型 算力 工具和平台  LLMOps gitbook/assets/ml_system.svg 4 / 32 LLM 基础设施 01 03 02 04 向量数据库/数据库向量支持 为大模型提供高效的存储和检索能力 大模型框架及微调 (Fine Tuning) 大模型框架提供基本能力和普适性，而微调 则是实现特定应用和优化性能的关键环节 大模型训练平台&工具 提供了在不同硬件和环境中训练大语言模型 所需的基础设施和支持 编程语言 以 vector-database/） 7 / 32 LLM 基础设施：大模型框架及微调 (Fine Tuning) 大模型框架指专门设计用于构建、训练和部署大型机器 学习模型和深度学习模型的软件框架。这些框架提供了 必要的工具和库，使开发者能够更容易地处理大量的数 据、管理巨大的网络参数量，并有效地利用硬件资源。 微调（Fine Tuning）是在大模型框架基础上进行的一个 关键步骤。在模型经过初步的大规模预训练后，微调是

中国开源开发者报告重点聚焦大模型，本章节以大模 型 LLM 开发技术栈作为切入点，将深入探讨以下中国 AI 大模型领域的代表性开源项目社区。 这些开源项目社区覆盖了深度学习框架、向量数据库、AI辅 助编程、LLM 应用开发框架、模型微调、推理优化、LLM Agent，以及检索增强生成（RAG）等多个关键技术栈。 为了更全面客观地展示中国大模型 LLM 开发技术栈的开源 社区生态，我们使用了 对开源社区的生态评 开发基础设施，本部分图表 中的开发框架、向量数据库、 开发平台、大模型均表现出 色，代表着它们的代码提交 频率、参与者、代码合并比 率等协作开发工作保持着较 高的水平。 17 / 111 OSS Compass Insight 本部分图表仅用于数据展示，不涉及先后排名 稳健性-活跃度 作为 AI 开发生态中的关键组 成部分，本部分图表中的开发 框架、大模型及相关工具在活 跃度的表现各有千秋。 2.0（专家建议稿）》对于免费且已开源方式提供人工智能研发的个人和 组织给予减轻或免承担法律责任；《生成式人工智能服务管理暂行办法》 则明确了人工智能技 术的使用和合规要求，促进了开源模型在合规框架下良性发展。 变革 端上模型的兴起与隐私保护 随着小型模型的性能逐步增强，更多高级 AI 正转向在个人设备上运行。这一趋势不仅显著 降低了云端推理成本，还提升了用户隐私控制。 中国 AI 社区在这一领域也做了重要贡献，推出了如

实体经济深度融合，全面赋能新型工业化，深刻改变工业生 产模式和经济发展形态，将对加快建设制造强国、网络强国 和数字中国发挥重要的支撑作用。人工智能产业链包括基础 层、框架层、模型层、应用层等 4 个部分。其中，基础层主 要包括算力、算法和数据，框架层主要是指用于模型开发的 深度学习框架和工具，模型层主要是指大模型等技术和产 品，应用层主要是指人工智能技术在行业场景的应用。近年 来，我国人工智能产业在技术创新、产品创造和行业应用等 （一）人工智能标准体系结构 人工智能标准体系结构包括基础共性、基础支撑、关键 技术、智能产品与服务、赋能新型工业化、行业应用、安全 /治理等 7 个部分，如图 1 所示。其中，基础共性标准是人 工智能的基础性、框架性、总体性标准。基础支撑标准主要 规范数据、算力、算法等技术要求，为人工智能产业发展夯 实技术底座。关键技术标准主要规范人工智能文本、语音、 图像，以及人机混合增强智能、智能体、跨媒体智能、具身 人 4 工智能产业发展提供安全保障。 图 1 人工智能标准体系结构图 （二）人工智能标准体系框架 人工智能标准体系框架主要由基础共性、基础支撑、关 键技术、智能产品与服务、赋能新型工业化、行业应用、安 全/治理等 7 个部分组成，如图 2 所示。 5 图 2 人工智能标准体系框架图 6 四、重点方向 （一）基础共性标准 基础共性标准主要包括人工智能术语、参考架构、测试评估、