全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 针对人工智能内生安全风险 ………………………… 7 4.2 针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 ……………………… 13 6.3 重点领域使用者安全应用指引 6.4 社会公众安全应用指引 ……………………………… 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本 框架。

#html_theme = 'alabaster' html_theme = 'sphinx_rtd_theme’ ``` 在Makefile同级目录运行  make html 生成静态web网页  make latexpdf 生成PDF 文件 我的Sphinx文档 http://pymol.chenzhaoqiang.com/ 我的Sphinx文档 微信公众号 PythonPerl

1 1 /*使用电脑阅读，获得最佳体验 1 1 序 毫无疑问，开源开发者圈子来看，2023 年是大模型 LLM 年、生成式 AI GenAI 年。 一、 这自然要从 OpenAI 说起，前一年年底，ChatGPT 的横 空出世，标志着对话式 LLM 开始进入公众视野，为人们 提供了全新的人机交互方式。而 2023 年 3 月，同系 GPT-4.0 的发布则将 LLM 的规模和能力提升到一个新 模型升级、Adobe 产品整合 LLM 能力、 语音模型 whisper-3 更新、AI 虚拟主播创造等，都是在 这条路上的进一步发展。 五、 AI 编程方面，Copilot 可以根据开发者的代码提示自动补 全代码，大大提高了开发效率。这也引发了代码原创性的讨 论，但它已经实实在在将 LLM 拉进了编程应用领域。 六、 LangChain 的出现，实现了 LLM 之间的链式交互，使多 个 LLM 十、 镜头给到国内。相比国际上当前逢 AI 必 GenAI，国内更 多地还是在 LLM 这一层面，Robin Li 的“卷大模型没意 义，卷应用机会更大”，其实很深刻地指出了内中区别。 本报告以开发者视角为主，从 LLM 切入，但实际上或多 或少与 GenAI 脱不开关系。 2023 年国内 LLM 发展活跃，从最初的百度文心一言“硬 刚”ChatGPT，到后来各式各样的大模型与产品出现，覆

编程工具的进化 62 | AI 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 推理中心化：构建未来 AI 基础设施的关键 Part 1：中国开源开发者生态数据 04 | Gitee 数据篇 Part 3：国内 GenAI 生态高亮瞬间 104 | 中国 GenAI 消费应用人气榜 Top10 15 | OSS Compass Insight 106 | AI 创新应用开发大赛获奖作品 局长，OSCHINA 副主编 肖滢，OSCHINA 副主编 李泽辰，Gitee 设计：张琪 开发者是开源生态的重要支柱。 本章结合 、 的数据分 析，勾勒 2024 年中国开源开发者的整体画像趋势轮廓，主要 反映中国开源开发者使用开源大模型概况、开源项目/组织健康 度，以及中国开源社区的生态评估等情况。 Gitee 数据篇 本报告数据来源：2024年1月至2024年12月 Gitee及Gitee AI平台相关公开数据 4 / 111 开发者是社区的力量源泉

⼀⽅⾯，是开源这么多年⼀直持续的上升势头。⽽另⼀⽅⾯，则是我们的⼀个猜测：疫情以 来，越来越多的⼈开始远程办公，事实上促进了更多的⼈有机会“斜杠化”，也就是在⼀台电脑 ⾯前⽅便地切换多种身份，以异步的⽅式处理多种事务，从⽽增加了开发者参与开源的时间和 机会。 当然，同样由于远程办公，虚拟世界在⼈类⽣活中的占⽐，变得更⼤了。这样是否更好，还会 引发哪些问题？作为站在隧道⼝的⼈类，其实是猜不透的。 2. 中国开源崛起以及开源世界分裂的趋势 年中国开源社区参会调查报告》，随后的⼏年中，持续发 布了开发者调查报告，旨在从多种维度呈现国内的开源发展情况。今年我们再次启程，结合数 据分析⼿段和调查报告等多种形式，绘制⼀份 2020 年中国开源世界的地图。 这份问卷是每年中国开源年报的重要⼀环，不基于调研的分析报告不过是纸上谈兵。在往年的 基础上，我们参考了其他现存的主流开发者问卷内容，并加⼊了⼀些新的视⻆。基于 2020年 COVID-19 通过近 60 项左右问题的统计调查与分析，我们希望能够还原出当前中国开源社区的真实现 状，从⽽为开源的后来⼈提供权威的参考。  调查对象：覆盖开发者、社区成员、贡献者、学⽣、政府企业管理⼈员  调查内容：主要涵盖个⼈信息、⼯作状况、开源社区以及开发者技术  调查⽅法：以在线问卷⽅式搜集样本和数据，交叉对⽐法分析数据  推⼴⽅法：线上社交媒体、博客、开源社、开源中国⽹站  问题数量：59

[https://weblate.org/] Weblate 是 Copylefted 的自由软件，是一个基于 Web 的持续本地化系统， 被 165+ 个国家/地区的 2500+ 个自由项目和公司使用。 安装它，或使用 weblate.org [https://weblate.org/] 上的 Hosted Weblate 服务。 website website weblate.org weblate 关于 Weblate 的即时聊天可以在 Libera.Chat [https://libera.chat/] IRC网络上进 行。频道名称是 #weblate 。这可以通过例如 https://web.libera.chat/#weblate 或安装在你电脑上的IRC客户端来访问。 许可协议 版权所有 © 2012–2022 Michal Čihař michal@cihar.com 本程 检查和修正 配置自动建议 附加组件 翻译记忆库 配置 配置的示例 管理命令 公告 部件列表 可选的 Weblate 模块 定制 Weblate 管理界面 从 Weblate 获取支持 法律文件 应用开发者指南 从国际化开始 与 Weblate 集成 使用 GNU gettext 来翻译软件 使用 Sphinx 翻译文档 使用 Weblate CDN 翻译 HTML 和 JavaScript 本地化库和包

[https://weblate.org/] Weblate 是 Copylefted 的自由软件，是一个基于 Web 的持续本地化系统， 被 165+ 个国家/地区的 2500+ 个自由项目和公司使用。 安装它，或使用 weblate.org [https://weblate.org/] 上的 Hosted Weblate 服务。 website website weblate.org weblate 关于 Weblate 的即时聊天可以在 Libera.Chat [https://libera.chat/] IRC网络上进 行。频道名称是 #weblate 。这可以通过例如 https://web.libera.chat/#weblate 或安装在你电脑上的IRC客户端来访问。 许可协议 Copyright © Michal Čihař michal@weblate.org 本程序是自由软件：您可以在自由软件基金会发布的 检查和修正 配置自动建议 附加组件 翻译记忆库 配置 配置的示例 管理命令 公告 部件列表 可选的 Weblate 模块 定制 Weblate 管理界面 从 Weblate 获取支持 法律文件 应用开发者指南 从国际化开始 与 Weblate 集成 使用 GNU gettext 来翻译软件 使用 Sphinx 翻译文档 使用 Weblate CDN 翻译 HTML 和 JavaScript 本地化库和包

[https://weblate.org/] Weblate 是 Copylefted 的自由软件，是一个基于 Web 的持续本地化系统， 被 165+ 个国家/地区的 2500+ 个自由项目和公司使用。 安装它，或使用 weblate.org [https://weblate.org/] 上的 Hosted Weblate 服务。 website website weblate.org weblate 关于 Weblate 的即时聊天可以在 Libera.Chat [https://libera.chat/] IRC网络上进 行。频道名称是 #weblate 。这可以通过例如 https://web.libera.chat/#weblate 或安装在你电脑上的IRC客户端来访问。 许可协议 Copyright © Michal Čihař michal@weblate.org 本程序是自由软件：您可以在自由软件基金会发布的 检查和修正 配置自动建议 附加组件 翻译记忆库 配置 配置的示例 管理命令 公告 部件列表 可选的 Weblate 模块 定制 Weblate 管理界面 从 Weblate 获取支持 法律文件 应用开发者指南 从国际化开始 与 Weblate 集成 使用 GNU gettext 来翻译软件 使用 Sphinx 翻译文档 使用 Weblate CDN 翻译 HTML 和 JavaScript 本地化库和包

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437 3.6 开发附加组件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 448 3.12 安全和隐私 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449 3 首选项选项卡，你可以选择默认显示的操作面板视图。如果你选择 部件列表，你必须从 默认部件列 表下拉菜单中选择要显示哪个部件列表。 参见: 部件列表 编辑器链接 默认情况下，源代码链接显示在部件配置 中配置的 Web 浏览器中。 提示: 通过设置 编辑器链接，您可以使用本地编辑器打开翻译字符串的版本控制系统（VCS）源代码文 件。你可以使用模板标记。 通常像 editor://open/?file={{fi