全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 针对人工智能内生安全风险 ………………………… 7 4.2 针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 ……………………… 13 6.3 重点领域使用者安全应用指引 6.4 社会公众安全应用指引 ……………………………… 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本 框架。

能做什么？ 要怎么做？ 效果如何？ 一 能做什么？ 数据挖掘 数据分析 数据采集 数据处理 数据可视化 AIGC 数据应用 通过编写爬虫代码、访问数据库、读取文件、调用API等方式，采 集社交媒体数据、数据库内容、文本数据、接口数据等。 通过数据清洗、数据集成、数据变换、特征工程等方式，实 现数据纠错、数据整合、格式转换、特征提取等。 对数据进行诊断、预测、关联、聚类分析，常用于问题 用户在不同科研需求下得到充分支持。  增强版绘图功能：增强版具备绘图功能，可通过可视化 图示（如文献关键词共现图）直观展示综述内容，帮助 用户更好理解和呈现研究成果。  无数据检索：以现有真实数据库作为支撑，通过关键词 检索，自动搜集相关文献并生成综述报告，目前只支持 英文检索。  低重复率：结合现有查重机制与AI技术，在内容生成阶 段引入重复检测与优化策略，从源头上降低重复率风险， 所生成的综述普通重复率与AIGC重复率均在5%以下。  无限双语数据导入：支持中文与英文文献的导入，并且 文献数据量没有限制，能够轻松处理中文文献的系统性 梳理，以及国际文献的跨语言分析。  幻觉克服：以现有真实数据库作为支撑，借助由专家设 计撰写的提示词，精准规避AI生成中的幻觉问题。  高规范格式输出：所生成的综述文档格式规范、结构清 晰，符合学术论文标准，用户几乎无需进行二次整理。 中科院PubScholar平台

生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech Map  向量数据库  数据库向量支持  大模型框架、微调 (Fine Tuning)  大模型训练平台与工具 基础设施 LLM Agent  备案上线的中国大模型  知名大模型  知名大模型应用 大模型 04 向量数据库/数据库向量支持 为大模型提供高效的存储和检索能力 大模型框架及微调 (Fine Tuning) 大模型框架提供基本能力和普适性，而微调 则是实现特定应用和优化性能的关键环节 大模型训练平台&工具 提供了在不同硬件和环境中训练大语言模型 所需的基础设施和支持 编程语言 以 Python 为代表 5 / 32 LLM 基础设施：向量数据库/数据库向量支持 向量数据库是专门用于存储和检索向量数据的数据库，它可以为 LLM 提供高效的存储和检索能力。通过数据向量化，实现了 在向量数据库中进行高效的相似性计算和查询。 根据向量数据库的的实现方式,可以将向量数据库大致分为两类： 原生的向量数据库专门为存储和检索向量而设计， 所管理的数据是基于对象或数据点的向量表示进行 组织和索引。 包括 等均属于原生向量数据库。 除了选择专业的向量数据库，对传统数据库添加

面对全球大模型产业之争，要打赢「三大战役」 AGI之战 应用场景之战 大模型安全之战 • 探索超越人类的超级人工 智能AGI • 不仅是科技之争，更是国 运之争 • 不发展是最大的不安全， 发挥举国体制优势，打赢 追赶之战 • 大模型带来前所未有安全 挑战 • 外挂式传统安全手段难以 应对 • 应对模型安全新挑战，打 赢未雨绸缪之战 • 大模型是能力而非产品， 结合场景才能发挥价值 创业公司得到DeepSeek加持，创业者拥有便宜领先的大模型，迎来 机遇，带来“iPhone时刻” 中国变成AI渗透率最高的国家，率先实现AI工业革命 37政企、创业者必读 人人智能 万物智能 数转智改 未来产业 科学研究 安全 应用爆发的六大方向 38政企、创业者必读 DeepSeek的开源和低成本使得个人也能够拥有自有大模型，实现超能力， 成长为超级个体 DeepSeek六大应用方向之一 人人智能：人人都要用AI 从数年缩短到几分钟，解开了生物学密码 成功预测了地球存在的2亿种蛋白质结构 45政企、创业者必读  DeepSeek典型的四大安全问题：客户端安全、Agent安全、知识安全、模型安全  360提出「以模制模」新解法，应对DeepSeek安全问题 DeepSeek六大应用方向之六 AI安全：实现安全的「自动驾驶」 46政企、创业者必读 大模型的六大能力 47 基本 能力 业务 能力 创新 能力

求： ① 保持时间复杂度不变； ② 使用numpy优化数组操作； ③ 输出带时间测试案例的完整代码。" 创造性需求 "设计一款智能家居产品，要求： ① 解决独居老人安全问题； ② 结合传感器网络和AI预警； ③ 提供三种不同技术路线的原型草图说明。" �实战技巧： 还要不要学提示语？ 提示语（Prompt）是用户输入给AI系统的指令或信息，用于 常见陷阱与应对：新手必知的提示语设计误区 忽视伦理边界陷阱：低估AI的伦理限制 陷阱症状： ▪ 要求AI生成有争议、不道德或非法内容。 ▪ 对AI的拒绝或警告感到困惑或不满。 ▪ 尝试绕过AI的安全机制。 ▪ 忽视AI输出可能带来的伦理影响。 应对策略： ▪ 了解界限：熟悉AI系统的基本伦理准则和限制。 ▪ 合法合规：确保你的请求符合法律和道德标准。 ▪ 伦理指南：在提示语中明确包含伦理考虑和指导原则。 伦理指南：在提示语中明确包含伦理考虑和指导原则。 ▪ 影响评估：要求AI评估其建议或输出的潜在社会影响。 AI伦理考虑要点 ▪ 隐私保护 ▪ 公平性和非歧视 ▪ 透明度和可解释性 ▪ 社会影响评估 ▪ 安全和滥用防范 提示语设计检查清单 ▪ 目标明确性 ▪ 信息充分性 ▪ 结构合理性 ▪ 语言中立性 ▪ 伦理合规性 ▪ 可验证性 ▪ 迭代空间 ▪ 输出格式 ▪ 难度适中 ▪ 多样性考虑

求： ① 保持时间复杂度不变； ② 使用numpy优化数组操作； ③ 输出带时间测试案例的完整代码。" 创造性需求 "设计一款智能家居产品，要求： ① 解决独居老人安全问题； ② 结合传感器网络和AI预警； ③ 提供三种不同技术路线的原型草图说明。" �实战技巧： 还要不要学提示语？ 提示语（Prompt）是用户输入给AI系统的指令或信息，用于 常见陷阱与应对：新手必知的提示语设计误区 忽视伦理边界陷阱：低估AI的伦理限制 陷阱症状： ▪ 要求AI生成有争议、不道德或非法内容。 ▪ 对AI的拒绝或警告感到困惑或不满。 ▪ 尝试绕过AI的安全机制。 ▪ 忽视AI输出可能带来的伦理影响。 应对策略： ▪ 了解界限：熟悉AI系统的基本伦理准则和限制。 ▪ 合法合规：确保你的请求符合法律和道德标准。 ▪ 伦理指南：在提示语中明确包含伦理考虑和指导原则。 伦理指南：在提示语中明确包含伦理考虑和指导原则。 ▪ 影响评估：要求AI评估其建议或输出的潜在社会影响。 AI伦理考虑要点 ▪ 隐私保护 ▪ 公平性和非歧视 ▪ 透明度和可解释性 ▪ 社会影响评估 ▪ 安全和滥用防范 提示语设计检查清单 ▪ 目标明确性 ▪ 信息充分性 ▪ 结构合理性 ▪ 语言中立性 ▪ 伦理合规性 ▪ 可验证性 ▪ 迭代空间 ▪ 输出格式 ▪ 难度适中 ▪ 多样性考虑

智能治理倡议》，进一步加强人工智能标准化工作系统谋划， 加快构建满足人工智能产业高质量发展和“人工智能+”高水 平赋能需求的标准体系，夯实标准对推动技术进步、促进企 业发展、引领产业升级、保障产业安全的支撑作用，更好推 进人工智能赋能新型工业化，特制定本指南。 一、产业发展现状 人工智能是引领新一轮科技革命和产业变革的基础性 和战略性技术，正成为发展新质生产力的重要引擎，加速和 实体经 以习近平新时代中国特色社会主义思想为指导，全面贯 彻党的二十大和二十届二中全会精神，认真落实中央经济工 作会议和全国新型工业化推进大会部署要求，完整、准确、 全面贯彻新发展理念，统筹高质量发展和高水平安全，加快 赋能新型工业化，以抢抓人工智能产业发展先机为目标，完 善人工智能标准工作顶层设计，强化全产业链标准工作协 同，统筹推进标准的研究、制定、实施和国际化，为推动我 国人工智能产业高质量发展提供坚实的技术支撑。 企事业单位积极参与国际标准化活动，携手全球产业链上下 游企业共同制定国际标准。 三、建设思路 （一）人工智能标准体系结构 人工智能标准体系结构包括基础共性、基础支撑、关键 技术、智能产品与服务、赋能新型工业化、行业应用、安全 /治理等 7 个部分，如图 1 所示。其中，基础共性标准是人 工智能的基础性、框架性、总体性标准。基础支撑标准主要 规范数据、算力、算法等技术要求，为人工智能产业发展夯 实技术底座。关键技术标准主要规范人工智能文本、语音、

. 11 1 1 本地部署并运行 DeepSeek 1.1 为什么要在本地部署 DeepSeek 在本地搭建大模型（如 DeepSeek）具有多个重要的优势，比如： 1. 保护隐私与数据安全。数据不外传：本地运行模型可以完全避免数据上 传至云端，确保敏感信息不被第三方访问。 2. 可定制化与优化。支持微调（Fine-tuning）：可以根据特定业务需求对模 型进行微调，以适应特定任务，如行业术语、企业内部知识库等。 Tuning），如下图11所示。通用强化学习训练过 程后，使得 R1 不仅在推理任务中表现卓越，同时在非推理任务中也表现出 色。但由于其能力拓展至非推理类应用，因此在这些应用中引入了帮助性 （helpfulness）和安全性（safety）奖励模型（类似于 Llama 模型），以优化 与这些应用相关的提示处理能力。 DeepSeek-R1 是训练流程的终点，结合了 R1-Zero 的推理能力和通用强化 学习的任 DeepSeek-R1 中间推理模型生成：通过推理导向的强化学习（Reasoning-Oriented RL）， 直接生成高质量的推理数据（CoT 示例），减少人工标注依赖。通用强化学 习优化：基于帮助性和安全性奖励模型，优化推理与非推理任务表现，构建 通用性强的模型。最终，DeepSeek-R1 将 R1-Zero 的推理能力与通用强化 学习的适应能力相结合，成为一个兼具强推理能力和任务广泛适应性的高

探讨大语言模型（LLMs）在模拟人类意见动态和社 会现象（如极化和错误信息传播）中的表现，特别 是引入偏误信息后的意见动态变化。使用大模型模 拟多个虚拟代理，讨论“气候变暖”、“转基因食 品的安全性”和“疫苗的有效性和安全性”三个具 有科学共识的话题。 实验一在无偏误信息条件下，代理通过社交网络进 行每日对话，记录最终信念状态和信息传播路径。 实验二改变初始信念分布，探讨初始条件对结果的 影响。 "分析近三年新能源汽车销量数据(附CSV), 说 明 ： ① 增长趋势与政策关联性； ② 预测2025年市占率，需使用ARIMA模型并解释参数 选择依据。" "设计一款智能家居产品，要求： ① 解决独居老人安全问题； ② 结合传感器网络和Al预警； ③ 提供三种不同技术路线的原型草图说明。" 决策需求 实战技巧： 分析需求 实战技巧：

AI 编程开发助手，集成在 JetBrains 系列开发工具中，提升编码效率。 9 Figure 6: AI 编程工具 2.4.3 AirOps 用于生成和修改 SQL 语句的工具，旨在简化数据库操作。 2.4.4 ChatDev 面壁智能开发的 AI 智能体开发平台，支持创建和部署智能对话系统。 2.4.5 solo Mozilla 开源项目，提供零代码网站开发功能，易于使用。 2