全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 ……………………………………………… 7 4.1 针对人工智能内生安全风险 ………………………… 7 4.2 针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 ……………………… 13 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本 框架。 1. 人工智能安全治理原则 秉持共同、综合、合

1 国家人工智能产业综合标准化体系建设指南 （2024版） 为深入贯彻落实党中央、国务院关于加快发展人工智能 的部署要求，贯彻落实《国家标准化发展纲要》《全球人工 智能治理倡议》，进一步加强人工智能标准化工作系统谋划， 加快构建满足人工智能产业高质量发展和“人工智能+”高水 平赋能需求的标准体系，夯实标准对推动技术进步、促进企 业发展、引领产业升级、保障产业安全的支撑作用，更好推 进人工智能赋能新型工业化，特制定本指南。 一、产业发展现状 人工智能是引领新一轮科技革命和产业变革的基础性 和战略性技术，正成为发展新质生产力的重要引擎，加速和 实体经济深度融合，全面赋能新型工业化，深刻改变工业生 产模式和经济发展形态，将对加快建设制造强国、网络强国 和数字中国发挥重要的支撑作用。人工智能产业链包括基础 层、框架层、模型层、应用层等 4 个部分。其中，基础层主 深度学习框架和工具，模型层主要是指大模型等技术和产 品，应用层主要是指人工智能技术在行业场景的应用。近年 来，我国人工智能产业在技术创新、产品创造和行业应用等 方面实现快速发展，形成庞大市场规模。伴随以大模型为代 2 表的新技术加速迭代，人工智能产业呈现出创新技术群体突 破、行业应用融合发展、国际合作深度协同等新特点，亟需 完善人工智能产业标准体系。 二、总体要求 以习近平新时代中国特色社会主义思想为指导，全面贯

领先的数字化转型技术与服务提供商 网易数帆是网易集团旗下 TO B 企业服务品牌，定位于领先的数字化转型 技术与服务提供商，为客户提供创新、可靠的国产软件基础平台产品及相 应技术服务，业务覆盖云原生基础软件、数据智能全链路产品、人工智能 算法应用三大领域，旗下拥有轻舟、有数、易智三大产品线，致力于帮助 客户搭建无绑定、高兼容、自主可控的创新基础平台架构，快速应对新一 代信息技术下实现数字化转型的需求。 网易数帆 标杆项目均与行业龙头企业共建。 自主可控 产品基于开源内核， 底层实现全面跨云； 基础软件实现国产兼容，推动信创。 原厂服务 原厂服务，核心技术方案不外包； 全过程服务覆盖咨询、 规划、实施、运维各环节。 实力积淀 核心优势 STRENGTH 数帆实力 05 COMPANY 国家级组织资质 国家高新技术企业 国家规划布局内重点软件企业 国家企业技术中心 国家级博士后科研工作站 华为鲲鹏计算兼容性测试认证 大数据技术机构资质 信通院大数据技术标准推进委员会成员 大数据系统软件浙江省工程实验室 浙江省网易大数据重点企业研究院 浙江省云计算和大数据省级企业研究院 人工智能技术机构资质 浙江省增强现实与智能交互工程技术研究中心 省级组织资质 浙江省重点企业研究院 浙江省企业技术中心 云计算技术机构资质 工信部云计算服务能力标准首批试点单位 信通院云计算标准和开源推进委员会成员

公司介绍 • 北京⽉之暗⾯科技有限公司（Moonshot
AI）是⼀家专注于通⽤⼈⼯智能领域的公司。公司致⼒于 寻求将能源转化为智能的最优解，通过产品与⽤⼾共创智能，实现普惠AI。
• 成⽴时间：2023年3⽉1⽇
• 产品 ◦ Kimi
智能助⼿（⽹⻚版：kimi.ai、App和⼩程序搜索“Kimi智能助⼿”即可），发布时间
2023年10⽉9⽇
◦ Moonshot
AI
开 框架，也具备数千 卡集群全⾃动化硬件运维告警、数百亿特征检索、⼤规模（数⼗PB数据、百万台机器）分 布式系统数量级性能优化的经验。
c. ⽬前团队⼈数超过
80
⼈，每个⽉都有在全球某个领域有显著影响⼒的⼈加⼊。
2.
团队聚焦底层技术创新，技术Vision强
a. 引领⼤模型的“⽆损⻓上下⽂”时代。2023年10⽉上旬，在产品
Kimi
智能助⼿中实现“⽆损 ⻓上下⽂窗⼝（Lo ，⽀持
20
万汉字输⼊，实现对⻓⽂本的⽆ 损记忆。OpenAI
和
Anthropic
到
11
⽉才在
Context
Length
上追上来，且在精度（⽆损记忆） 和中⽂能⼒上
Kimi
智能助⼿依然领先。
b. 聚焦底层技术创新，不⾛技术捷径。最早提出“Lossless
Long
Context
可以解决
90%
以上的 模型定制问题”，坚持对数据的⽆损压缩，实现模型能⼒的提升，不⾛技术捷径（通过滑动窗

软件产业加速发展，其商业价值已经 非常可观。此时市场更需要的是一种 结合自由软件所蕴含的创新性理念与 私有软件的创新性理念与私有软件的 开源软件的【模式探索期】 商业化能力的发展模式，当今 的“开源软件”理念在此时应 运而生 • 1998年，开源组织OSI正式提出 “开源”理念及其十大规范特性， 开源软件产业进入成长期 • 20世纪末互联网经济的加速发展为 开源软件提供了良好的发展环境 7 ©2022.2 iResearch www.iresearch.com.cn 云计算、容 器和虚拟化 22.7% 网络和边缘计算 15.0% web和应用程序开发 13.6% 人工智能、机器学习、数 据和分析 10.8% 隐私与安全 5.1% cross-technology 4.8% 物联网与嵌入式 4.6% 区块链 4.3% DevOps, CI/CD & Site 拟化开源项目的占 比最大，达到22.7%。整体来看，全球开源项目类型集中在开发框架、文档类开源项目、云计算等相关领域。此外，开源 项目的类型往往能反映当前市场关注的热点，如容器与云原生应用技术、人工智能开发框架等技术的流行。 来源：Apache软件基金会，艾瑞咨询研究院根据公开资料研究及绘制。 来源：Linux基金会，艾瑞咨询研究院根据公开资料研究及绘制。 2020年Apache基金会开源项目分类

Krita 最新版的软件包。某些发⾏版需 要先启⽤它们的 extra 软件仓库才能下载到 Krita。Krita 在⼤多数 桌⾯环境下运⾏良好，包括 KDE、Gnome、LXDE、Xfce 等 ‒ 请注 意，Krita 是⼀款 KDE 程序，它需要安装 KDE 软件库来⽀持其运 ⾏。根据各发⾏版的具体情况，你可能要安装 KDE 系统设置模块 后才能调整它图形界⾯的主题、字体等。 Nautilus/Nemo Krita。(也可以在命令⾏终端运⾏ ./appimagename.appimage) 在该 AppImage 包的所在⽬录打开命令⾏终端。 标记为可执⾏⽂件： chmod a+x krita-3.0-x86_64.appimage 运⾏ Krita！ ./krita-3.0-x86_64.appimage Appimage 软件包是⼀种已经包含了所有 Krita 运⾏所需程序库的 ISO ⽂ 需要耗费稍多⼀点的 磁盘空间，尤其是在你已经在使⽤ KDE Plasma 桌⾯环境的情况 下。 Ubuntu 和 Kubuntu 家族 不管你正在运⾏的是哪⼀版的 Ubuntu，Krita 应该都能正常运⾏。 但该发⾏版软件仓库提供的 Krita 版本⽐较⽼旧。你可以转⽽使⽤ appimage、flatpak 或者 Ubuntu 应⽤商店⽀持的 snap 软件包。 我们还维护着⼀个提供最新版本 Krita

开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 AI 基础设施的关键 保持较高的贡献水平，展现出 其对生态建设的持续支持；而 部分组织的活跃度则随时间推 移逐渐下降，可能受到内部资 源调整或技术方向变化的影响。 19 / 111 本章汇集了来自不同领域专家和开发者对开源大模型和人工 智能技术的深刻见解，不仅涵盖了技术层面的深入探讨，也 触及了社会、伦理和政策层面的广泛议题。 从对中国开源模型崛起的分析，到对开源模型持久性的思考， 再到对超级应用探寻之路的探索，每篇文章都为我们提供了 年中国开源模型：崛起与变革 文/Tiezhen、Adina、Lu Cheng 2024 年，中国在开源人工智能模型领域的崛起和变革成为全球瞩目的焦点：从学术到产业， 从技术到生态，中国通过自主研发和协同创新，逐步完成了从“追随者”到“引领者”的转变。 这种转变不仅是技术实力的体现，更是中国人工智能生态系统快速完善的真实写照。以下，我们 将从崛起与变革两个维度，探讨中国开源模型在这一年取得的重大成就和未来展望。

国内基础软件开源界定 基础软件 具备能衍生出并支撑 多个技术簇的一类根 技术软件，拥有技术 门槛高、衍生场景复 杂等特点 中间件：不同系统和应用程序之间交互 与协作的桥梁 AI框架：具备构建和部署人工智能模型 的基础的全套开发工具 操作系统：是软硬件资源的资源管理者， 为用户与应用程序提供交互接口 数据库：通过对数据的访问与管理，支 持各种应用程序和业务的需求 编程语言：人与计算机交互的“语言”， 32个开源项目 通过技术准入 15个孵化期 开源项目 17个捐赠期 开源项目 40+个储备开 源项目 工业开源体系 区块链 云原生与超算 RISC-V芯片 终端操作系统 设计自动化 人工智能 开发环境及语言 中间件、数据库 工具软件 服务器操作系统 安全体系 16 中国开源基础软件 产业细分领域洞察 03 17 ©2023.11 iResearch Inc. 语言 基础功能 中间件 图形/桌面 架构/内核 云原生基础设施 安全 测试 行业解决方案 治理类 职能组织 社区基础设施 版本发行 社区生态管理 服务器 云计算 边缘计算 智能终端 桌面 … 操作系统应用场景 处理器 … 服务器 端设备 内存 系统软件 … 数据库管 理软件… 应用软件 编译软件 开源促进“更好的”操作系统被“更好地”使用 硬件适配

LLM 一哥的宏大叙事能力与强劲技术实力。 二、 New Bing（Bing AI）代表了微软在 LLM 领域的野心和 决心，它首次把当时世人能想到最有价值又可行的 LLM 应用场景——“智能对话+联网搜索”——无缝整合了起来， 大有干掉搜索行业和问答社区的趋势，而后事实证明，全 球 最 强 IT 问 答 社 区 Stack OverFlow 深 受 其 害 。 Google 紧随其后推出 文字描述，就可以生成高质量的数字艺术作品。它们的图像 生成质量、样式多样性和用户便捷性都是极大的突破。这为 广大的个人用户和创意行业提供了强有力的工具，彻底改变 了数字艺术内容的创作方式。同时，它们也引发了人工智能 在创作领域的伦理和法律讨论。LLM 杀进多媒体领域。往 后 DALL-E 3 模型升级、Adobe 产品整合 LLM 能力、 语音模型 whisper-3 更新、AI 虚拟主播创造等，都是在 Agent 是一种基于 LLM 的智能代 理，它能够自主学习和执行任务，具有一定的“认知能力 和决策能力”。LLM Agent 的出现，标志着 LLM 从传 统的模型训练和应用模式，转向以 Agent 为中心的智能 化模式。LLM Agent 打破了传统 LLM 的被动性，使 LLM 能够主动学习和执行任务，从而提高了 LLM 的应用 范围和价值；它为 LLM 的智能化发展提供了新的方向， 使

OpenOffice）和浏览器（Mozilla）掀起了第⼀波开源的浪 潮；近年来随着互联⽹的兴起，开源的项⽬和技术越来越百花⻬放，从数据库到中间 件，从前端到后端，从编程语⾔到编译器，从物联⽹到微服务，从⼤数据到⼈⼯智能， 开源的技术和项⽬越来越丰富和多样化。 4、开源⼯作现状 4.1 接触开源的时间 有近三成参与者接触开源的时间在 1-2 年，近⼋成参与者接触开源时间在⼀年以上。 【专家点评】 陈阳：开源社区⼈员⾮常稳定， 绝⼤多数参与者在社区都参与代码或⽂档撰写的⼯作，测试、本地化以及活动组织也是很多⼈ 在社区会参与的⼯作。 5.4 最看好的开源产品 开源产品的前景展望中，互联⽹产品以 34% 的⽐例成为参与者最看好的开源产品发展⽅向。 ⼈⼯智能和开发⼯具异军突起，成为现在开源产品中的⻛⼝和热点。 5.5 开源社区的交流⽅式 在社区的交流⽅式中，微信和邮件列表⽬前最为普遍，QQ 也是国内重要的即时交流⼯具。新 锐的交流⼯具⽐例上升：Slack 操作系统的使⽤中，Windows、Linux、MacOS X 三分天下。 6.6 会议⼯具 腾讯会议是⽬前参与者们使⽤最多的会议⼯具，其次则是 Zoom、钉钉。 6.7 聊天运维⼯具 ⽬前，绝⼤多数的参与者都没有使⽤过聊天运维⼯具来进⾏项⽬的⾃动化管理，⽽对于使⽤过 该类⼯具的参与者来说，Hubot 是他们使⽤最多的 ChatOps ⼯具。 6.8 开源平台 如果要开源⾃⼰的项⽬，87% 参与者都表示将会在