LLM 发展的新阶段。LLM Agent 是一种基于 LLM 的智能代 理，它能够自主学习和执行任务，具有一定的“认知能力 和决策能力”。LLM Agent 的出现，标志着 LLM 从传 统的模型训练和应用模式，转向以 Agent 为中心的智能 化模式。LLM Agent 打破了传统 LLM 的被动性，使 LLM 能够主动学习和执行任务，从而提高了 LLM 的应用 范围和价值；它为 LLM 的研究、OneFlow 的深度学习框架。 值得一提的还有华为的盘古大模型，其中盘古气象大模型是 首个精度超过传统数值预报方法的 AI 模型，速度相比传统 数值预报提速 10000 倍以上，能够提供全球气象秒级预 报。盘古大模型的研究成果在国际顶级学术期刊《自然》正 刊发表，获得国际学术界的认可。 年底，零一万物推出的 Yi 模型，200K 上下文窗口，可处 理约 40 万字的文本，成为当时全球大模型中最长的上下文 一、开源开发者事件回顾 三、中国开发者开源新动向 二、2023 LLM 技术报告  46 | 向量数据库  47 | 数据库向量支持  48 | 大模型框架、微调  51 | 大模型训练平台与工具  53 | 编程语言  57 | 知名大模型  58 | 备案上线的中国大模型  21 | 硬核发版  26 | 热门话题  33 | 重磅官宣  39 | R

大模型撞上“算力墙”，超级应用的探寻之路 36 | AI 的三岔路口：专业模型和个人模型 40 | 2024 年 AI 编程技术与工具发展综述 45 | RAG 的 2024：随需而变，从狂热到理性 51 | 大模型训练中的开源数据和算法：机遇及挑战 57 | 2024 年 AI 编程工具的进化 62 | AI 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 Infinity-MM) 领 域贡献了大量有影响力的基础工作和资源。 2024 年，中国开源社区涌现出众多高质量的自发研究成果。其中，MAP 团队推出的全开 源模型 Map Neo 引人瞩目。该模型在训练数据、脚本以及模型对齐工作上实现了全面公开， 成为国内少有的真正意义上完全开源的项目。 22 / 111 而 InstantX 团队的 InstantID 则作为中国模型在国际开源社区的 2024 ChatGPT。8 个月以后 Meta 就与微软合作发布了开源大模型 LLaMA-2。这个赛道的主要玩家在技术和商业化上有差距， 但没有到翻盘无望的程度。  大模型赛道不但包括模型的训练，也包括模型服务。训练是软件的制作成本，而服 务是软件的长期运行成本。  大模型赛道的市场化程度非常高。算法、算力、数据、人才，这些构建大模型的基 础要素并不为权力机构垄断，大多要从市场上获得。 26

关键问题，定义了语⾔建模的新标准；曾 与DeepMind和CMU合作研究，⾸次实现⼩样本性能逼近全监督学习的⾼效对⻬⽅法。
ii. 视觉⽅⾯。团队成员发明了MoCo，引爆了基于对⽐学习的视觉预训练范式，也是过去三年 CVPR引⽤量最⾼的⼯作；发明了ShuffleNet，最⾼效的视觉⽹络结构之⼀；主导开发了 detectron2，⼀个被⼴泛使⽤的视觉开源项⽬并被集成到Meta全线VR/AR产品中。
杨植麟⾝上的标签有天才
AI
科学家、连续创业者……在这次深度访谈中，他再次证明⾃⼰是个真 正“懂”⼤模型的创业者，所以本⽂中有许多反共识的观点：杨植麟觉得微调最终会不存在， tokenizer
最后也不⼀定是必须的；硅⾕⼤模型训练者们担⼼数据瓶颈和能源限制，他反⽽觉得所有问 题都是互相关联的，多模态可以缓解数据短缺，合成数据则可以通过改变计算范式解决能源问题。 本⽂还试图回答另⼀个外界普遍关⼼的问题：⼀家新创⽴的
AGI 亿的
context
length，今天看到的问题都不是问题”。
AGI：AI
本质就是⼀堆
scaling
law

海外独⻆兽：我们把
LLM
的训练⽐作登⽉，⽉之暗⾯的名字也和登⽉相关。你怎么看现在创业公司 的
LLM
训练，在
GPU
和算⼒资源有限的条件下，还能实现登⽉吗？
杨植麟：“登⽉”有⼏个不同的⽣产要素，算⼒肯定是⼀个核⼼，但还有其他的。 你需要⼀个同时满⾜
sc

等主流计算框架，支持自 定义镜像、支持模型及服务标准化。 便捷易用 模型开发、训练、调度可视化管控，内置 100+算子，支持模型一键式部署，降低 AI建模门槛。 AutoML 支持端到端 AutoML，自动化完成特征 治理、参数寻优、模型筛选流程，智能化 加速数据价值产出。 全流程管控 一站式覆盖数据导入、特征治理、模型 开发、模型训练、推理服务建模全流程， 提升 AI 建模效率。 轻量化、低成本 交互式建模 EasyAIOS 服务创建 服务测试 服务发布 免编码拖拽 建模 模型/数据市场 数据源管理 专家开发环境 Jupyter交互式 建模 Jupyter模型 市场 训练服务 训练可视化 作业管理 自定义算子 服务管理 SOLUTIONS 为金融行业提供端到端数据服务能力，致力于帮助金融机构加快自身数字化进程，打造数字化金融服务，实现业务 在线、渠道开放、金融智能、生态融合、架构敏捷与数据服务化。 打造一站式、高性能的分析建模平台 有效支撑数据智能化分析场景 满足国产化需求 解决方案： 以中台的模式构建电商平台 业务可扩展，敏捷迭代等 从 0-1 构建运营体系，建设运营体系 构建企业算法平台，实现自主开发训练 模型 提升建模质量 客户收益： 最大程度地打通获客渠道 支撑极致的客户体验 提高用户的重复转化率 满足现有技术需求和长期发展需要 快速响应风控、营销、运营等场景需求 集团算法模型资产统一管理、自主可控

更容易形成多元、丰富的开发者生态。 来源：根据专家访谈、公开资料，由艾瑞咨询研究院自主研究及绘制。 开发者视角下的AI框架能力指标 可达智能水平 基于此AI框架，训练模型达到 相同可达水平时，所需花费的 时间及所需要训练的数据集体 量，这决定了采用该种AI框架 开发后，所需投入的资源要 素。这一般与AI框架体系中搭 配的组件有关。 不同框架在处理源码和编译命 令时的方式有所不同，对数据 的运算能力也不相同，是基于 AI框架编译难度是在此框架下 做应用、训练开发设计的难易 程度。以开发者的角度，这对 应了AI框架的不同范式，不同 的AI框架都有一定的学习成 本，会影响开发者使用AI框架 的便捷程度。 开发人时成本 API接口 编程语言 内存优化 分布式运行 主要能力提供模块 总开发人数 单人平均开 发时长 模型库 扩展库 套件库 科学计算 主要能力提供模块 文档 可视化训练 调试器 课程教程 主要能力提供模块 完备的AI开发工具，高效支持大模型 开发及训练 AI+科学计算 手机电磁仿真、化合物预训练模型、 飞机气动仿真 MindSpore Lite 简化部署 AI实验室一站式开发 Build-in套件 BERT LSTM Vit ResNet 模型库 图像分类 目标检测 文本分类 … 数据集 在线加载 快速上手官方样例仓库 完备使用教程 代码管理 在线训练 界面启动 Jupyter

，其主要是为应用型企业提供底层技术。Zilliz 研发的 GPU 加速的 AI 数据中台解决方案 Mega，其中包括数据 ETL 系统 MegaETL、数据库系统 MegaWise、面向 Hadoop 生态的模型训练系 MegaLearning 和特征向量检索系统 Milvus，可满足传 统的加速数据 ETL、加速数据仓库和加速数据分析的场景和需求，面向各类新兴的 AI 应用场景，已被 全球 1,000 多 人工智能时代的开源工作，正面临着全新的挑战。今年发布的 GitHub Copilot 工具，使用了机器学习技 术来提供代码建议 / 自动补全，并因此引发了不小的争议。许多开发者认为，GitHub Copilot 宣称的基 于公开代码训练其实是在未遵循开源许可证的情况下，肆意“抄袭”开源代码。 118 十、开源硬件持续升温，RISC-V 成果涌现 随着市场对定制硬件需求的增多，以及越来越多初创企业开始寻求用于构建高度合适 AI/ML 的用户。GitHub Copilot 发布不足一周 时间，却引发了前所未有的争议。有开发者表示 ：「我不同意 GitHub 在未经授权和未经许可的情况 下，使用受版权保护的源代码作为其 Copilot 产品的训练数据。该产品将受版权保护的源代码放入使 用者的软件中，而不告知他们源代码的许可，这导致了对版权所有者作品的未经授权和未经许可的不 当使用。」 专家点评 段夕华：除了合规挑战之外，目下基于 ML

，其主要是为应用型企业提供底层技 术。Zilliz 研发的 GPU 加速的 AI 数据中台解决方案 Mega，其中包括数据 ETL 系统 MegaETL、数据库系统 MegaWise、面向 Hadoop 生态的模型训练系 MegaLearning 和特 征向量检索系统 Milvus，可满足传统的加速数据 ETL、加速数据仓库和加速数据分析的场景和 需求，面向各类新兴的 AI 应用场景，已被全球 1,000 多个企业使用，涵盖金融、电信、安防、 人工智能时代的开源工作，正面临着全新的挑战。今年发布的 GitHub Copilot 工具，使用了 机器学习技术来提供代码建议/自动补全，并因此引发了不小的争议。许多开发者认为， GitHub Copilot 宣称的基于公开代码训练其实是在未遵循开源许可证的情况下，肆意“抄 袭”开源代码。 Open source work in the age of artificial intelligence faces a whole GitHub Copilot 发布不足一周时间，却引发了前所未有的争议。有开发者表示：「我不同 意 GitHub 在未经授权和未经许可的情况下，使用受版权保护的源代码作为其 Copilot 产品的训练数据。该产品将受版权保护的源代码放入使用者的软件中，而不告知他们源代 码的许可，这导致了对版权所有者作品的未经授权和未经许可的不当使用。」 In March 2021, Tencent Cloud

与 GitHub 接受 Issue 与 PR，这让项⽬有了更加全⾯的发展。 （3）案例分析——MindSpore  项⽬简介 MindSpore 是⼀种适⽤于端边云场景的新型开源深度学习训练/推理框架。 MindSpore 提供 了友好的设计和⾼效的执⾏，旨在提升数据科学家和算法⼯程师的开发体验，并为 Ascend AI 处理器提供原⽣⽀持，以及软硬件协同优化。 项⽬地址：https://gitee

团队负责⼈审批 安全管理员审批 申请⼈ 授权操作⼈ ⼿⼯登录 堡垒机操作 ⼈⼯通知结果 之前 之后 申请⼈ 团队负责⼈审批 安全管理员审批 ⾃动通知结果 回传结果 ⾃动完成授权 ⽆需⼈⼯⼲预 客户收益 江苏农信⾏业云将 堡垒机以⾃助化、 ⼀体化的⽅式提供 给超过 60 家农商⾏ 使⽤。 60 家分⾏ ⾃助式堡垒机服务 ⼤规模 扩展 JumpServer ⽀持 ⽔平扩展，对接对