全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 ……………………………………………… 7 4.1 针对人工智能内生安全风险 ………………………… 7 4.2 针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 ……………………… 13 重点领域使用者安全应用指引 ……………………… 14 6.4 社会公众安全应用指引 ……………………………… 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、

1 国家人工智能产业综合标准化体系建设指南 （2024版） 为深入贯彻落实党中央、国务院关于加快发展人工智能 的部署要求，贯彻落实《国家标准化发展纲要》《全球人工 智能治理倡议》，进一步加强人工智能标准化工作系统谋划， 加快构建满足人工智能产业高质量发展和“人工智能+”高水 平赋能需求的标准体系，夯实标准对推动技术进步、促进企 业发展、引领产业升级、保障产业安全的支撑作用，更好推 进人工智能赋能新型工业化，特制定本指南。 一、产业发展现状 人工智能是引领新一轮科技革命和产业变革的基础性 和战略性技术，正成为发展新质生产力的重要引擎，加速和 实体经济深度融合，全面赋能新型工业化，深刻改变工业生 产模式和经济发展形态，将对加快建设制造强国、网络强国 和数字中国发挥重要的支撑作用。人工智能产业链包括基础 层、框架层、模型层、应用层等 4 个部分。其中，基础层主 深度学习框架和工具，模型层主要是指大模型等技术和产 品，应用层主要是指人工智能技术在行业场景的应用。近年 来，我国人工智能产业在技术创新、产品创造和行业应用等 方面实现快速发展，形成庞大市场规模。伴随以大模型为代 2 表的新技术加速迭代，人工智能产业呈现出创新技术群体突 破、行业应用融合发展、国际合作深度协同等新特点，亟需 完善人工智能产业标准体系。 二、总体要求 以习近平新时代中国特色社会主义思想为指导，全面贯

文字描述，就可以生成高质量的数字艺术作品。它们的图像 生成质量、样式多样性和用户便捷性都是极大的突破。这为 广大的个人用户和创意行业提供了强有力的工具，彻底改变 了数字艺术内容的创作方式。同时，它们也引发了人工智能 在创作领域的伦理和法律讨论。LLM 杀进多媒体领域。往 后 DALL-E 3 模型升级、Adobe 产品整合 LLM 能力、 语音模型 whisper-3 更新、AI 虚拟主播创造等，都是在 大模型方面，百花齐放：百度的文心一言、抖音的云雀大模 型、智谱 AI 的 GLM 大模型、中科院的紫东太初大模型、 百川智能的百川大模型、商汤的日日新大模型、MiniMax 的 ABAB 大模型、上海人工智能实验室的书生通用大模型、腾 讯的混元大模型、蚂蚁的百灵大模型等。 另一方面，除了大模型本身，中国在 LLM 相关技术领域也 快速迭代发展，诸如 Dify.AI 的 LLMOps、Milvus State of AI Report 2023”报告，从研究进展 (Research)、行业局 势 (Industry)、政策影响 (Politics)、安全问题 (Safety)、 未来预测 (Predictions) 五个维度出发，对人工智能发展 现状和未来预期进行了深度分析。从中我们看到：  英伟达凭借各国、初创公司、大型科技公司和研究人员 对其 GPU 的巨大需求，跻身市值万亿美元俱乐部；

能全链路产品、人工智能 算法应用三大领域，旗下拥有轻舟、有数、易智三大产品线，致力于帮助 客户搭建无绑定、高兼容、自主可控的创新基础平台架构，快速应对新一 代信息技术下实现数字化转型的需求。 网易数帆依托网易二十余年互联网技术积累，系列软件基础平台产品和技 术方案，成熟应用于金融、零售、制造、能源、电信、物流等多个行业领 域，在技术先进性、性能优越性、产品成熟度及安全可靠性等方面得到了 一致性认证 华为鲲鹏计算兼容性测试认证 大数据技术机构资质 信通院大数据技术标准推进委员会成员 大数据系统软件浙江省工程实验室 浙江省网易大数据重点企业研究院 浙江省云计算和大数据省级企业研究院 人工智能技术机构资质 浙江省增强现实与智能交互工程技术研究中心 省级组织资质 浙江省重点企业研究院 浙江省企业技术中心 云计算技术机构资质 工信部云计算服务能力标准首批试点单位 信通院云计算标准和开源推进委员会成员 信通院云计算标准和开源推进委员会成员 信通院首批开源供应商 浙江省云计算和大数据省级企业研究院 CNCF 官方认可的 Kubernetes 服务提供商 CNCF KCSP认证 管理体系相关资质 ISO 27001 信息安全管理体系认证 ISO 2000 信息技术服务管理体系认证 ISO 9001 质量管理体系认证 CSA STAR Certification 2013 服务管理认证 CMMI (三级) 认证 大数据技术认证资质

国内基础软件开源界定 基础软件 具备能衍生出并支撑 多个技术簇的一类根 技术软件，拥有技术 门槛高、衍生场景复 杂等特点 中间件：不同系统和应用程序之间交互 与协作的桥梁 AI框架：具备构建和部署人工智能模型 的基础的全套开发工具 操作系统：是软硬件资源的资源管理者， 为用户与应用程序提供交互接口 数据库：通过对数据的访问与管理，支 持各种应用程序和业务的需求 编程语言：人与计算机交互的“语言”， 发起者 代码/文档贡献 参与社区互动 开发者 运营： 开 源 基 金 会 为 运营者 使用者 开源代码托管平台 代码维护：对代码进行日常维护，如 审核开发者贡献的代码质量 开源社区 治理与运营者建立开源社区，提供开 发者交流平台，包括建立sig中心、设 立公开课等 开源项目运营 开源基金会 提供基础软件 发起者选择 性捐赠项目 10 ©2023.11 iResearch Inc 产品、运营、战略、职能各部门组织超过千人的团队，投入到开 源项目的治理。近年来，越来越多的企业选择在内部设立开源部门/开源办公室（OSPO）/开源委员会，统筹沟通企业开源人员，协 调开源资源分配，体现了企业对于开源战略及运营重视高度的提升。 来源：根据专家访谈、公开资料，由艾瑞咨询研究院自主研究及绘制。 法务服务 社区 治理 社区 运营 代码 审核 开源 开发 生态 合作 法务 合规

使用迭代版本，社区中的其他 机构提供法律、行业发展等服务和指导，不同角色间互相配合，有效协作，达成技术交流或商业目的。开源运营和治理环 节，无论是由企业主导还是由基金会主导，在整个开源项目过程中都处于关键位置，包含软件开发和发行、市场推广、版 本迭代更新、版权管理和安全管理等内容，这些环节和商业企业的软件项目有一些相似之处，但更加注重从社区的使用者 和贡献者处得到观点和启发，并用以驱动项目未来的发展。 开源项目的代码在托管平台上开放， 二次开发者和最终用户均可以免费取 得 • 在二次开发和使用过程中，开发者和 用户也会通过开源社区指出项目缺陷， 为项目的发展带来启发和思考 软件雏形/起步 开源运营和治理 二次开发和使用 or 初步开发 项目捐献 自主开源 社区运营 贡献 反馈 提供 提供 10 ©2022.2 iResearch Inc www.iresearch.com.cn 来源：中国信通院，新思科技《2020年开源安全与风险分析报告》 ，艾瑞咨询研究院根据公开资料研究及绘制。 企业开源的战略意义（二） 开源在企业中的使用率提升，带来多维度战略价值 除前文所述的商业价值和成本优化之外，开源软件产业对企业的战略

这个前言里，我们就聊聊感想吧。 出圈 开源不仅越来越热，而且已经在圈外的朋友中引发了各种讨论。首 先是嗅觉灵敏的投资人开始关注开源这个“赛道”，然后是基于中美 对抗的背景，很多人开始从国际政治、国家实力、国家安全的角度， 来探讨开源（这个原本是纯技术的范畴）。直到最近几起开源软件安 全事件，更是令大家议论纷纷。这样一个令人喜忧参半的现象，也 许还会继续持续下去。 生态责任 在开源还只是一个小众群体的业余爱好时，几乎做任何事情，都是 自由的。但是，在软件吞噬世界、开源吞噬软件的今天，开源技术， 2021 中国开源年度报告 3 已经成为整个世界的基础设施之一。能力越大，责任越大。应用越广， 风险越高。我们应该如何思考与保障开源供应链安全呢？应该如何 建设更加健康的开源生态呢？在这样一种生态中，各方的责任又该 如何界定呢？ 历史感 开源社已经连续第四年发布中国开源年度报告了，也举办了第六届 中国开源年会了。不断的，在与朋友的交流中，我们常常会谈到 年度最受开发者关注的组织 ……………………………………………………………………… 67 2.7 Gitee 指数 ………………………………………………………………………………………… 68 2.8 开源安全与合规 …………………………………………………………………………………… 70 3 总结 ………………………………………………………………………………………… 71 2021 中国开源年度报告商业化篇

开源不仅越来越热，而且已经在圈外的朋友中引发了各种讨论。首先是嗅觉灵敏的投资人开始 关注开源这个“赛道”，然后是基于中美对抗的背景，很多人开始从国际政治、国家实力、国家 安全的角度，来探讨开源（这个原本是纯技术的范畴）。直到最近几起开源软件安全事件，更 是令大家议论纷纷。这样一个令人喜忧参半的现象，也许还会继续持续下去。 Open source is getting hotter and hotter 在开源还只是一个小众群体的业余爱好时，几乎做任何事情，都是自由的。但是，在软件吞噬 世界、开源吞噬软件的今天，开源技术，已经成为整个世界的基础设施之一。能力越大，责任 越大。应用越广，风险越高。我们应该如何思考与保障开源供应链安全呢？应该如何建设更加 健康的开源生态呢？在这样一种生态中，各方的责任又该如何界定呢？ When the open source was just a niche hobby, it was free competitiveness, and maintainability of the product itself. 段夕华：不知道 21 年底所爆发的 log4j 漏洞，是否会让公司购买开源产品更加保守谨 慎？开源安全任重而道远。 Duan Xihua: I wonder if the log4j vulnerability in late 2021 will make companies more conservative

开放原子开源基金会出品 2023年5月 2023 CONTENTS 目录 01 行业发展 02 前沿技术 03 开源安全 AMD正计划使用开源的OpenSIL代替AGESA 开放服务网格OSM（Open Service Mesh）项目已停止维护 KSOC推出业内首个实时Kubernetes安全态势管理平台 Nutanix推出Kubernetes数据管理平台 Nutanix Data Services for 进Istio的发展。此外，OSM向云原生计算基 金会（CNCF）申请进行项目归档，目前还未 真正执行。 KSOC推出业内首个实时 Kubernetes安全态势管理平台 近日，KSOC推出业内首个实时Kubernetes安 全态势管理平台。Kubernetes安全态势管理平 台可以通过实时上下文以及当前和历史信息准 确定位攻击活动，同时还可以根据集群的当前 状态提供可操作的补救措施。具体功能包括： • 实时态势管理，发现基于事件的错误配置； Silicon Initialization Library”（开源硅初始化库），作 为一套开源解决方案，使用标准行业语言编写， 不但可以实现AGESA的各种传统功能，还有轻量 化、简单、透明、安全、扩展灵活等优势。 全球开源态势洞察｜第十期 02 01 行业发展 Nutanix推出Kubernetes 数据管理平台Nutanix Data Services for Kubernetes

年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 AI 基础设施的关键 Part 1：中国开源开发者生态数据 年中国开源模型：崛起与变革 文/Tiezhen、Adina、Lu Cheng 2024 年，中国在开源人工智能模型领域的崛起和变革成为全球瞩目的焦点：从学术到产业， 从技术到生态，中国通过自主研发和协同创新，逐步完成了从“追随者”到“引领者”的转变。 这种转变不仅是技术实力的体现，更是中国人工智能生态系统快速完善的真实写照。以下，我们 将从崛起与变革两个维度，探讨中国开源模型在这一年取得的重大成就和未来展望。 显了中国开源模型从追 随者到行业引领者的跨越式成长，也为全球人工智能发展注入了新的活力与动力。中国开源模型 的成功并非偶然。在政府对人工智能产业的持续支持以及国内人工智能行业对模型研发的巨额投 入下，从基础算法到行业应用、从算力基础设施到数据资源整合，中国人工智能生态体系正在迅 速完善。这一趋势表明，未来中国有可能在全球人工智能领域占据更为核心的地位。 开源生态的繁荣与协作 随着开源模