7政企、创业者必读 8 AI不仅是技术革新，更是思维方式和社会结构的变革 国家 产业 个人 企业政企、创业者必读 人工智能发展历程（一）  从早期基于规则的专家系统，走向基于学习训练的感知型AI  从基于小参数模型的感知型AI，走向基于大参数模型的认知型AI  从擅长理解的认知型AI，发展到擅长文字生成的生成式AI  从语言生成式AI，发展到可理解和生成声音、图片、视频的多模态AI 我们对大模型发展趋势的十大预判 13政企、创业者必读 14 DeepSeek出现之前的十大预判 之一 传统AGI发展步伐在放慢 需要寻找新方向  Scaling Law边际效应递减  人类训练数据接近枯竭  合成数据无法创造新知识  推理能力难以泛化，成本高昂 全面超越人类的人工智能在逻辑上不成立政企、创业者必读 15 DeepSeek出现之前的十大预判 之二 慢思考成为新的发展模式 大模型发展范式正在从「预训练」转向「后训练」和「推理时计算」  大模型厂商都在探索慢思考、思维链技术政企、创业者必读 DeepSeek出现之前的十大预判 之三 模型越做越专  除了少数科技巨头，大多数公司都专注于做专业大模型  MoE架构盛行，本质是多个专家模型组成一个大模型  Deepmind的Alpha系列产品是这一趋势的最佳诠释 16政企、创业者必读 DeepSeek出现之前的十大预判 之四

LLM 技术报告 大语言模型（LLM） 技术作为人工智能领域的一项重要创 新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门 设计来理解、生成和回应自然语言。这些模型通过分析大量 的文本数据来学习语言的结构和用法，从而能够执行各种语 言相关任务。以 GPT 系列为代表，LLM 以其在自然语言 处理领域的卓越表现，成为推动语言理解、生成和应用的引 擎。 LLM Tuning)  大模型训练平台与工具 基础设施 LLM Agent  备案上线的中国大模型  知名大模型  知名大模型应用 大模型 算力 工具和平台  LLMOps  大模型聚合平台  开发工具 AI 编程  插件、IDE、终端  代码生成工具 编程语言 3 / 32 LLM 技术背景 Transformer 架构和预训练与微调策略是 LLM 技术的 力的提升，研究者们开始设计更大规模的神经网络，以提高对语言复杂性的理解。 GPT (Generative Pre-trained Transformer) 的提出标志着 LLM 技术的飞速发展，其预训练和微调的 方法为语言任务提供了前所未有的性能，以此为基础，多模态融合的应用使得 LLM 更全面地处理各种 信息，支持更广泛的应用领域。 图源：https://postgresml.org/docs/

LLM 发展的新阶段。LLM Agent 是一种基于 LLM 的智能代 理，它能够自主学习和执行任务，具有一定的“认知能力 和决策能力”。LLM Agent 的出现，标志着 LLM 从传 统的模型训练和应用模式，转向以 Agent 为中心的智能 化模式。LLM Agent 打破了传统 LLM 的被动性，使 LLM 能够主动学习和执行任务，从而提高了 LLM 的应用 范围和价值；它为 LLM 的研究、OneFlow 的深度学习框架。 值得一提的还有华为的盘古大模型，其中盘古气象大模型是 首个精度超过传统数值预报方法的 AI 模型，速度相比传统 数值预报提速 10000 倍以上，能够提供全球气象秒级预 报。盘古大模型的研究成果在国际顶级学术期刊《自然》正 刊发表，获得国际学术界的认可。 年底，零一万物推出的 Yi 模型，200K 上下文窗口，可处 理约 40 万字的文本，成为当时全球大模型中最长的上下文 一、开源开发者事件回顾 三、中国开发者开源新动向 二、2023 LLM 技术报告  46 | 向量数据库  47 | 数据库向量支持  48 | 大模型框架、微调  51 | 大模型训练平台与工具  53 | 编程语言  57 | 知名大模型  58 | 备案上线的中国大模型  21 | 硬核发版  26 | 热门话题  33 | 重磅官宣  39 | R

大模型撞上“算力墙”，超级应用的探寻之路 36 | AI 的三岔路口：专业模型和个人模型 40 | 2024 年 AI 编程技术与工具发展综述 45 | RAG 的 2024：随需而变，从狂热到理性 51 | 大模型训练中的开源数据和算法：机遇及挑战 57 | 2024 年 AI 编程工具的进化 62 | AI 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 Infinity-MM) 领 域贡献了大量有影响力的基础工作和资源。 2024 年，中国开源社区涌现出众多高质量的自发研究成果。其中，MAP 团队推出的全开 源模型 Map Neo 引人瞩目。该模型在训练数据、脚本以及模型对齐工作上实现了全面公开， 成为国内少有的真正意义上完全开源的项目。 22 / 111 而 InstantX 团队的 InstantID 则作为中国模型在国际开源社区的 2024 ChatGPT。8 个月以后 Meta 就与微软合作发布了开源大模型 LLaMA-2。这个赛道的主要玩家在技术和商业化上有差距， 但没有到翻盘无望的程度。  大模型赛道不但包括模型的训练，也包括模型服务。训练是软件的制作成本，而服 务是软件的长期运行成本。  大模型赛道的市场化程度非常高。算法、算力、数据、人才，这些构建大模型的基 础要素并不为权力机构垄断，大多要从市场上获得。 26

Kimi k1.5  垂直领域优化：针对特定领域 （如医疗、法律）进行优化， 提供高精度结果。  长文本处理：擅长处理长文本 和复杂文档，适合专业场景。  定制化能力：支持用户自定义 训练和微调，适应特定需求。 Open AI o3 mini  小型化设计：轻量级模型， 适合资源有限的环境。  快速响应：优化推理速度， 适合实时交互场景。  通用性强：适用于多种自 知网研学平台 斯坦福STORM 数据来源 依托真实且可靠的学术数据库， 确保文献数据的准确性与可信 度，为综述内容的真实性提供 坚实保障 涵盖全球科技论文、专利文献、 科学数据、学位论文、预印本、 图书专著及开放资源 中国知网数据库，涵盖海量的 中文文献 通过必应搜索引擎收集数据， 确保来源的广泛性，但主要依 赖互联网主流来源，可能包含 推广内容，需进一步筛选和验 证 文本类型 日 2 0 2 4 年 1 2 月 2 6 日 发 布 总 参 数 达 6 7 1 0 亿 的 D e e p S e e k - V 3 ， 采 用 创 新 MoE架构和FP8混合精度训练， 训练成本大幅降低 DeepSeek是一家专注通用人工智能（AGl）的中国科技公司，主攻大模型研发与应用。 DeepSeek-R1是其最新发布并开源的推理模型，擅长处理复杂任务且可免费商用，其性能

Transformer 基础架构 . . . . . . . . . . . . . . . . . . . . . . 6 2.3 LLM 基本训练方法 . . . . . . . . . . . . . . . . . . . . . . . . 7 2.3.1 预训练（Pretraining） . . . . . . . . . . . . . . . . . . 7 2.3.2 监督微调（Supervised 1 DeepSeek-R1 完整训练过程 . . . . . . . . . . . . . . . . . . . 7 3.1.1 核心创新 1：含 R1-Zero 的中间推理模型 . . . . . . . 8 3.1.2 核心创新 2：通用强化学习 . . . . . . . . . . . . . . . 8 3.2 含 R1-Zero 的中间推理模型训练过程 . . . . . . . . . . . . . . 9 3.3 通用强化学习训练过程 . . . . . . . . . . . . . . . . . . . . . . 10 3.4 总结 DeepSeek-R1 . . . . . . . . . . . . . . . . . . . . . . . . 11 4 参考文献 . . . . . . . . . . . . . . . . . . . .

与专用人工智能（AI）不同，AGI 能够执行任何智力任务，具备自我意识和 自适应学习能力。AGI 的研发目标是创造出可以广泛地模拟人类认知能力的智 能系统。 1.3 大模型 大模型通常指的是大规模的人工智能模型，这类模型通过训练大量的数据来获 得广泛的知识和能力。这些模型通常具有庞大的参数数量，能够处理复杂的任 务，如自然语言理解、图像识别、语音识别等。 闭源大模型包括 OpenAI 的 GPT 系列和 Google 的 BERT。这些模型因其 的缩写，表示万亿。在 AI 大模型 中，”T” 常用来表示模型在训练中处理的 Token 数量。Token 是指模型处理的 基本单元，可以是一个单词、子词，或者字符等。 在大规模预训练语言模型的训练中，通常会提到模型是在多少个 Token 上 进行学习的，以表明模型的训练规模和数据量。例如：LLaMA3 语言模型使用 了超过 15T 个 token 进行训练。 2 AI 工具梳理 大家有没有觉得 AI 工 问答工具 ChatGPT 经过特别训练，可以理解和生成人类语言，从而在多种应用场景中提 供辅助，包括聊天机器人、写作辅助、信息查询等。 2.1.2 Claude Claude 是 Anthropic 公司开发的一系列大型语言模型，它设计用于执行多种涉 及语言、推理、分析和编码的任务。 2.1.3 通义千问 通义千问（Qwen）是阿里云开发的一系列预训练的大型语言模型，用于聊天、 生成内容

关键问题，定义了语⾔建模的新标准；曾 与DeepMind和CMU合作研究，⾸次实现⼩样本性能逼近全监督学习的⾼效对⻬⽅法。
ii. 视觉⽅⾯。团队成员发明了MoCo，引爆了基于对⽐学习的视觉预训练范式，也是过去三年 CVPR引⽤量最⾼的⼯作；发明了ShuffleNet，最⾼效的视觉⽹络结构之⼀；主导开发了 detectron2，⼀个被⼴泛使⽤的视觉开源项⽬并被集成到Meta全线VR/AR产品中。
杨植麟⾝上的标签有天才
AI
科学家、连续创业者……在这次深度访谈中，他再次证明⾃⼰是个真 正“懂”⼤模型的创业者，所以本⽂中有许多反共识的观点：杨植麟觉得微调最终会不存在， tokenizer
最后也不⼀定是必须的；硅⾕⼤模型训练者们担⼼数据瓶颈和能源限制，他反⽽觉得所有问 题都是互相关联的，多模态可以缓解数据短缺，合成数据则可以通过改变计算范式解决能源问题。 本⽂还试图回答另⼀个外界普遍关⼼的问题：⼀家新创⽴的
AGI 亿的
context
length，今天看到的问题都不是问题”。
AGI：AI
本质就是⼀堆
scaling
law

海外独⻆兽：我们把
LLM
的训练⽐作登⽉，⽉之暗⾯的名字也和登⽉相关。你怎么看现在创业公司 的
LLM
训练，在
GPU
和算⼒资源有限的条件下，还能实现登⽉吗？
杨植麟：“登⽉”有⼏个不同的⽣产要素，算⼒肯定是⼀个核⼼，但还有其他的。 你需要⼀个同时满⾜
sc

等主流计算框架，支持自 定义镜像、支持模型及服务标准化。 便捷易用 模型开发、训练、调度可视化管控，内置 100+算子，支持模型一键式部署，降低 AI建模门槛。 AutoML 支持端到端 AutoML，自动化完成特征 治理、参数寻优、模型筛选流程，智能化 加速数据价值产出。 全流程管控 一站式覆盖数据导入、特征治理、模型 开发、模型训练、推理服务建模全流程， 提升 AI 建模效率。 轻量化、低成本 交互式建模 EasyAIOS 服务创建 服务测试 服务发布 免编码拖拽 建模 模型/数据市场 数据源管理 专家开发环境 Jupyter交互式 建模 Jupyter模型 市场 训练服务 训练可视化 作业管理 自定义算子 服务管理 SOLUTIONS 为金融行业提供端到端数据服务能力，致力于帮助金融机构加快自身数字化进程，打造数字化金融服务，实现业务 在线、渠道开放、金融智能、生态融合、架构敏捷与数据服务化。 打造一站式、高性能的分析建模平台 有效支撑数据智能化分析场景 满足国产化需求 解决方案： 以中台的模式构建电商平台 业务可扩展，敏捷迭代等 从 0-1 构建运营体系，建设运营体系 构建企业算法平台，实现自主开发训练 模型 提升建模质量 客户收益： 最大程度地打通获客渠道 支撑极致的客户体验 提高用户的重复转化率 满足现有技术需求和长期发展需要 快速响应风控、营销、运营等场景需求 集团算法模型资产统一管理、自主可控

DeepSeek是一家专注通用人工智能(AGI)的中国科技公司，主攻大模型研发与应用。 • DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。性能对齐OpenAI-o1正 式版。 • DeepSeek-R1在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大 提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩OpenAl-o1正式版。 (Pass@1) 强化共情：增加“我知道现在项目关键期，非常抱歉给您添麻烦”。 • 弱化模糊表述：将“家里有事”改为“家人突发重病需陪护”，避免领导误解为小事。 • 明确行动：补充“请假期间可随时联系我处理紧急问题”。 3. 预判领导反应并准备预案（用AI模拟问答） p 操作：输入：“如果领导说‘项目缺了你不行，能不能缩短假期？’如何回应？” p AI建议回应： • 共情+底线+替代方案： “我完全理解项目的重要性，但家人目 同事代为参与， 那么家庭活动可以优先考虑。 与相关方（上级、同事）迅速沟通，争取灵活处理会议安排。 缓解工作压力和失眠： 中短期内：失眠和压力会影响你的整体表现和健康。可以安排一些时间做放松 训练、适量运动、或者短暂休息。必要时安排咨询，调整心态。 制定健康改善计划： 中期计划：针对体脂率问题，制定一个可行的锻炼和饮食计划，让健康改善成 为你日常生活的一部分，不必急于求成，而是稳步前进。