全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 ……………………………………………… 7 4.1 针对人工智能内生安全风险 ………………………… 7 4.2 针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 ……………………… 13 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本 框架。 1. 人工智能安全治理原则 秉持共同、综合、合作、

1 国家人工智能产业综合标准化体系建设指南 （2024版） 为深入贯彻落实党中央、国务院关于加快发展人工智能 的部署要求，贯彻落实《国家标准化发展纲要》《全球人工 智能治理倡议》，进一步加强人工智能标准化工作系统谋划， 加快构建满足人工智能产业高质量发展和“人工智能+”高水 平赋能需求的标准体系，夯实标准对推动技术进步、促进企 业发展、引领产业升级、保障产业安全的支撑作用，更好推 进人工智能赋能新型工业化，特制定本指南。 一、产业发展现状 人工智能是引领新一轮科技革命和产业变革的基础性 和战略性技术，正成为发展新质生产力的重要引擎，加速和 实体经济深度融合，全面赋能新型工业化，深刻改变工业生 产模式和经济发展形态，将对加快建设制造强国、网络强国 和数字中国发挥重要的支撑作用。人工智能产业链包括基础 层、框架层、模型层、应用层等 4 个部分。其中，基础层主 深度学习框架和工具，模型层主要是指大模型等技术和产 品，应用层主要是指人工智能技术在行业场景的应用。近年 来，我国人工智能产业在技术创新、产品创造和行业应用等 方面实现快速发展，形成庞大市场规模。伴随以大模型为代 2 表的新技术加速迭代，人工智能产业呈现出创新技术群体突 破、行业应用融合发展、国际合作深度协同等新特点，亟需 完善人工智能产业标准体系。 二、总体要求 以习近平新时代中国特色社会主义思想为指导，全面贯

LLM 一哥的宏大叙事能力与强劲技术实力。 二、 New Bing（Bing AI）代表了微软在 LLM 领域的野心和 决心，它首次把当时世人能想到最有价值又可行的 LLM 应用场景——“智能对话+联网搜索”——无缝整合了起来， 大有干掉搜索行业和问答社区的趋势，而后事实证明，全 球 最 强 IT 问 答 社 区 Stack OverFlow 深 受 其 害 。 Google 紧随其后推出 文字描述，就可以生成高质量的数字艺术作品。它们的图像 生成质量、样式多样性和用户便捷性都是极大的突破。这为 广大的个人用户和创意行业提供了强有力的工具，彻底改变 了数字艺术内容的创作方式。同时，它们也引发了人工智能 在创作领域的伦理和法律讨论。LLM 杀进多媒体领域。往 后 DALL-E 3 模型升级、Adobe 产品整合 LLM 能力、 语音模型 whisper-3 更新、AI 虚拟主播创造等，都是在 Agent 是一种基于 LLM 的智能代 理，它能够自主学习和执行任务，具有一定的“认知能力 和决策能力”。LLM Agent 的出现，标志着 LLM 从传 统的模型训练和应用模式，转向以 Agent 为中心的智能 化模式。LLM Agent 打破了传统 LLM 的被动性，使 LLM 能够主动学习和执行任务，从而提高了 LLM 的应用 范围和价值；它为 LLM 的智能化发展提供了新的方向， 使

国内基础软件开源界定 基础软件 具备能衍生出并支撑 多个技术簇的一类根 技术软件，拥有技术 门槛高、衍生场景复 杂等特点 中间件：不同系统和应用程序之间交互 与协作的桥梁 AI框架：具备构建和部署人工智能模型 的基础的全套开发工具 操作系统：是软硬件资源的资源管理者， 为用户与应用程序提供交互接口 数据库：通过对数据的访问与管理，支 持各种应用程序和业务的需求 编程语言：人与计算机交互的“语言”， 发起者 代码/文档贡献 参与社区互动 开发者 运营： 开 源 基 金 会 为 运营者 使用者 开源代码托管平台 代码维护：对代码进行日常维护，如 审核开发者贡献的代码质量 开源社区 治理与运营者建立开源社区，提供开 发者交流平台，包括建立sig中心、设 立公开课等 开源项目运营 开源基金会 提供基础软件 发起者选择 性捐赠项目 10 ©2023.11 iResearch Inc 产品、运营、战略、职能各部门组织超过千人的团队，投入到开 源项目的治理。近年来，越来越多的企业选择在内部设立开源部门/开源办公室（OSPO）/开源委员会，统筹沟通企业开源人员，协 调开源资源分配，体现了企业对于开源战略及运营重视高度的提升。 来源：根据专家访谈、公开资料，由艾瑞咨询研究院自主研究及绘制。 法务服务 社区 治理 社区 运营 代码 审核 开源 开发 生态 合作 法务 合规

领先的数字化转型技术与服务提供商 网易数帆是网易集团旗下 TO B 企业服务品牌，定位于领先的数字化转型 技术与服务提供商，为客户提供创新、可靠的国产软件基础平台产品及相 应技术服务，业务覆盖云原生基础软件、数据智能全链路产品、人工智能 算法应用三大领域，旗下拥有轻舟、有数、易智三大产品线，致力于帮助 客户搭建无绑定、高兼容、自主可控的创新基础平台架构，快速应对新一 代信息技术下实现数字化转型的需求。 网易数帆 华为鲲鹏计算兼容性测试认证 大数据技术机构资质 信通院大数据技术标准推进委员会成员 大数据系统软件浙江省工程实验室 浙江省网易大数据重点企业研究院 浙江省云计算和大数据省级企业研究院 人工智能技术机构资质 浙江省增强现实与智能交互工程技术研究中心 省级组织资质 浙江省重点企业研究院 浙江省企业技术中心 云计算技术机构资质 工信部云计算服务能力标准首批试点单位 信通院云计算标准和开源推进委员会成员 08 网易数帆轻舟团队基于云原生技术栈协助德邦快递建立了统一 的 DevOps 体系，通过轻量容器平台和 CICD 研发流水线，实现 了业务快速上线，按需扩容。同时通过轻舟微服务平台实现了服 务的统一治理，保障业务的稳定运行。 信息科技部 罗总 德邦快递 大数据技术的应用，对农业企业的“互联网 +”进程有重大意义。 网易数帆和温氏的携手合作，不仅是在技术上辅助温氏股份完成 信息化、数字化建设的商业闭环，同时也是希望为企业日常运营

开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 AI 基础设施的关键 保持较高的贡献水平，展现出 其对生态建设的持续支持；而 部分组织的活跃度则随时间推 移逐渐下降，可能受到内部资 源调整或技术方向变化的影响。 19 / 111 本章汇集了来自不同领域专家和开发者对开源大模型和人工 智能技术的深刻见解，不仅涵盖了技术层面的深入探讨，也 触及了社会、伦理和政策层面的广泛议题。 从对中国开源模型崛起的分析，到对开源模型持久性的思考， 再到对超级应用探寻之路的探索，每篇文章都为我们提供了 年中国开源模型：崛起与变革 文/Tiezhen、Adina、Lu Cheng 2024 年，中国在开源人工智能模型领域的崛起和变革成为全球瞩目的焦点：从学术到产业， 从技术到生态，中国通过自主研发和协同创新，逐步完成了从“追随者”到“引领者”的转变。 这种转变不仅是技术实力的体现，更是中国人工智能生态系统快速完善的真实写照。以下，我们 将从崛起与变革两个维度，探讨中国开源模型在这一年取得的重大成就和未来展望。

以便进行更全面的分析和监控； • 支持对所有主机进行外部授权； • HttpProxy的条件块还增加了对精确路径匹 配条件的支持； • 支持内部重定向； • 对基于HTTPProxy资源的路由实现了HTTP 查询参数匹配功能。 Flagger v1.31.0发布 Flagger是基于Kubernetes的开源工具，用 于实现持续交付和自动化部署。它提供流量分 配管理、故障检测和回滚机制等功能，帮助开 发人员和运维团队实现高效可靠的应用程序部 大会，将邀请OpenAI、谷歌、Antrhopic、 Hugging Face、微软、英伟达与Stability AI等 顶尖人工智能提供商，共同参与对生成式人工 智能系统的公开安全评估。 AI Village组织方将这个合作活动描述为“有史 以来规模最大的人工智能模型红队演习”。将 有数千人参与对公共人工智能模型的评估，期 间使用的评估平台由Scale AI负责开发。 近日，微软发布了一个补丁，用于修复Secure Cattell表示，“只有让更 多的人了解如何开展红队测试和评估人工智能模 型，才能解决这些模型中的各种问题。”通过对 人工智能模型组开展最大规模的红队演习，AI Village和DEF CON希望能培养出处理人工智能 系统漏洞的研究者社区。事实证明，大语言模型 的锁定难度远超想象，部分原因在于所谓“提示 词注入”技术。人工智能研究员Simon Willison 详细介绍了提示词注入的危险，这种技术可以令

中央民族大学 新闻与传播学院 清华大学 @新媒沈阳 团队 向安玲 Innovator For Culture & Art 文、图、乐、剧 Innovator For Social 智能角色交互体 Innovator For Science & Industry 行业大模型 基座大模型 人机协同 Chatbot •自然语言对话 Reasoner •基本的推理和问 题解决能力 功能，独立管理 并执行复杂的操 作 • 致力于人机协同和人机共生领域的世界级团队，专注于打造能够驾驭AI、熟悉AI并实现人类与AI共生发展的学术与实践模式。 团队愿景 • 李默非（清华大学人工智能学院拟录博士生）：人机共生之基座大模型研究研发 • 何静（清华博士后、北航助理教授）：人机共生之快生引擎研究研发 • 尤可可（清华博士后、北石化助理教授）：人机共生之AIGC短视频 • 安梦瑶（清华大学博士后）：人机共生之AI诊疗研究 安梦瑶（清华大学博士后）：人机共生之AI诊疗研究 • 陶炜（清华大学博士生）：人机共生之AI实时增强技术的探索与实践 • 胡晓李（清华大学博士后）：人机共生之游戏设计 • 余梦珑（清华大学博士后）：人机共生之媒体智能体应用 • 张家铖（清华大学博士后）：人机共生之AI评测 • 张诗瑶（清华大学博士后）：人机共生之AI社会理论分析 • 朱雪菡（清华大学博士后）：人机共生之影视内容创意与制作 • 陈禄梵（清华大学博士生）：人机共生之AI美学理论

公司介绍 • 北京⽉之暗⾯科技有限公司（Moonshot
AI）是⼀家专注于通⽤⼈⼯智能领域的公司。公司致⼒于 寻求将能源转化为智能的最优解，通过产品与⽤⼾共创智能，实现普惠AI。
• 成⽴时间：2023年3⽉1⽇
• 产品 ◦ Kimi
智能助⼿（⽹⻚版：kimi.ai、App和⼩程序搜索“Kimi智能助⼿”即可），发布时间
2023年10⽉9⽇
◦ Moonshot
AI
开 引领⼤模型的“⽆损⻓上下⽂”时代。2023年10⽉上旬，在产品
Kimi
智能助⼿中实现“⽆损 ⻓上下⽂窗⼝（Lossless
Long
Context
Window）”，⽀持
20
万汉字输⼊，实现对⻓⽂本的⽆ 损记忆。OpenAI
和
Anthropic
到
11
⽉才在
Context
Length
上追上来，且在精度（⽆损记忆） 和中⽂能⼒上
Kimi
智能助⼿依然领先。
b. 聚焦底层技术创新，不⾛技 ssless
long
context
is
everything
3.
Kimi智能助⼿的中⽂实⼒强、增⻓速度快、⼝碑好
a. 在投资机构和⼤⼚的内部综合评测中，Kimi智能助⼿的中⽂实⼒直追
OpenAI。
b. 根据“AI产品榜aicpb.com”的统计数据，2024年1⽉Kimi智能助⼿的访问量
142
万，在⼤模型 创业公司的“AI
ChatBots”产品中排在第⼀；⽉环⽐增⻓率
94

DeepSeek：从入门到精通 2025年2月 清华大学 新闻学院 人工智能学院 • Deepseek是什么？ • Deepseek能够做什么？ • 如何使用Deepseek？ DeepSeek是什么？ AI + 国产 + 免费 + 开源 + 强大 • DeepSeek是一家专注通用人工智能（AGI）的中国科技公司，主攻大模型研发与应 用。 • DeepSeek DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。 Deepseek可以做什么？ 直接面向用户或者支持开发者，提供智能对话、文本生成、语义理解、计算推理、代码生成补全等应用场景， 支持联网搜索与深度思考模式，同时支持文件上传，能够扫描读取各类文件及图片中的文字内容。 文本生成 表格、列表生成（如日程安排、菜谱） 代码注释、文档撰写 结构化生成 文章/故事/诗歌写作 营销文案、广告语生成 分步指导（如“先写递归函数”） 通用模型 细化步骤，明确输入输出格式 “先解释快速排序原理，再写出代 码并测试示例” 模糊需求（如“写个排序代码”） 多轮对话 通用模型 自然交互，无需结构化指令 “你觉得人工智能的未来会怎样？” 强制逻辑链条（如“分三点回答”） 推理模型 需明确对话目标，避免开放发散 “从技术、伦理、经济三方面分析 AI的未来” 情感化提问（如“你害怕AI吗？”） 逻辑分析 推理模型