亿，70 亿、80 亿是指大模型的神经元参数（权重参数 weight+bias）的 总量。目前大模型都是基于 Transformer 架构，并且是很多层的 Transformer 结构，最后还有全连接层等，所有参数加起来 70 亿，80 亿，还有的上千亿。 教程作者：郭震，工作 8 年目前美国 AI 博士在读，公众号：郭震 AI，欢迎关注获取更多原创教程。资 料用心打磨且开源，是为了帮助更多人了解获取 mer 由多个关键组件组成：1. 自注意 力机制（Self-Attention）：模型在处理文本时，会自动关注句子中的重要单 词，理解不同词语间的联系。2. 多头注意力（Multi-Head Attention）：使用 多个注意力头同时分析不同的语义信息，使得模型的理解能力更强。3. 前 馈神经网络（FFN）：非线性变换模块，提升模型的表达能力。4. 位置编码 （Positional E Encoding）：在没有循环结构的情况下，帮助模型理解单词的顺 序信息。 Transformer 结构的优势 1. 高效的并行计算：摒弃循环结构，使计算速度大幅提升。 2. 更好的上下文理解：注意力机制可捕捉长文本中的远程依赖关系。 3. 良好的可扩展性：可适配更大规模模型训练，增强 AI 泛化能力。 教程作者：郭震，工作 8 年目前美国 AI 博士在读，公众号：郭震 AI，欢迎关注获取更多原创教程。资

PubScholar平台 知网研学平台 斯坦福STORM 文本长度 文本长度较长，内容丰富， 涵盖了多个研究领域和研 究层次，提供了详细的分 析和评述 文本长度中等长度，内容 较为丰富，也分了多个层 次进行总结 文本长度稍长，内容丰富 性在中文文献的分析上具 有优势，能够详细呈现中 文领域的研究成果 文本长度适中，内容精炼， 重点突出，适合快速阅读 和理解 研究视角 研究视角多样，从不同领 无辅助损失的自然负载均衡和共享专 家机制，解决了专家模块工作量不平 衡的问题。 混合专家（MoE）架构 通过低秩压缩减少推理时的内存占用， 同时保持与传统多头注意力（MHA） 相当的性能。MLA在训练中减少了 内存和计算开销，在推理中降低了 KV缓存占用空间。 多头潜在注意力（MLA）机制 通过序列化预测未来多个令牌，增强 模型的上下文建模能力，并支持推测 解码加速推理。MTP在特定场景下同 时预测多个令牌，提高信号密度，减

ease-heatmap 21 / 111 其中，Qwen 系列凭借灵活的多尺寸选项，强大的多语言支持以及友好的模型授权功能， 赢得了社区开发者的高度评价。DeepSeek 通过引入多头潜在注意力（Multi-head Latent Attention, MLA）技术，在性能和成本上实现了革命性突破，开创高性价比的 AI 新纪元。 智谱的 CogVideoX 系列文生视频模型，成为全球首批开源的文生视频模型之一，不仅在 础要素并不为权力机构垄断，大多要从市场上获得。 26 / 111  大模型作为一项令人激动的技术，商业化场景覆盖了对企业(2B)与对个人(2C)两个 大方向。  大模型赛道在海外是“一超多强”，在国内则是“多头并举”，两种典型的竞争格 局都全了。 以上，大模型赛道的元素非常丰富，各种商业化方法的排列组合都不缺，为我们的分析与推 演提供了可贵的素材。对软件商业化问题感兴趣的朋友一定要长期关注这个赛道。只有这样的对 算力层深挖定制化、低能耗的可能性，但固化 transformer 可能不是最优解 虽说智能体不需要太大的模型，但其运营成本（模型推理计算成本）仍然较高。在短时间内， 算力、能源仍然会是大模型领域令人头疼的高墙。 根据报告【1】，能源消耗将会是 2030 模型 scaling 最卡脖子的因素。也就是说，在算力到 达瓶颈之前，首先可能会出现电能供应不足甚至交不起电费的问题。因此，算力层可以根据大模

策略二：适当分解复杂任务，降低AI认知负荷 策略三：引入引导性问题，提升生成内容的深度 策略四：控制提示语长度，确保生成的准确性 策略五：灵活运用开放式提示与封闭式提示 分解任务的技巧：分段生成、逐层深入、设置逻 辑结构 引导性问题的设计要点：设置多个层次的问题、 促使AI对比或论证、引导思维的多样性 控制提示语长度的技巧：避免嵌套复杂的指令、 保持简洁性、使用分步提示 开放式提示：提出开放性问题，允许AI根据多个 Connection（连接）：建立子任务之间的逻辑关联 • Temporal Arrangement（时序安排）：考虑任务的时 间维度 • Resource Allocation（资源分配）：为每个子任务分配 适当的注意力资源 • Adaptation（适应）：根据AI反馈动态调整任务结构 为了更有效地进行任务分解，可以采用SPECTRA模型（Systematic Partitioning for Enhanced 影响，以及如何共同推进总体目标的实现。” 5. 时序提示：“为每个子任务制定一个粗略的时间表，考虑它们的依赖 关系和完成所需的相对时间。” 6. 资源分配提示：“评估每个子任务的复杂度，分配1—10的'注意力分 数'，指导在执行过程中如何分配计算资源。” 7. 适应提示：“在执行每个子任务后，评估其输出质量和对总体目标的 贡献，必要时调整后续任务的优先级或内容。” 思维拓展的认知理论基础 生成

策略二：适当分解复杂任务，降低AI认知负荷 策略三：引入引导性问题，提升生成内容的深度 策略四：控制提示语长度，确保生成的准确性 策略五：灵活运用开放式提示与封闭式提示 分解任务的技巧：分段生成、逐层深入、设置逻 辑结构 引导性问题的设计要点：设置多个层次的问题、 促使AI对比或论证、引导思维的多样性 控制提示语长度的技巧：避免嵌套复杂的指令、 保持简洁性、使用分步提示 开放式提示：提出开放性问题，允许AI根据多个 Connection（连接）：建立子任务之间的逻辑关联 • Temporal Arrangement（时序安排）：考虑任务的时 间维度 • Resource Allocation（资源分配）：为每个子任务分配 适当的注意力资源 • Adaptation（适应）：根据AI反馈动态调整任务结构 为了更有效地进行任务分解，可以采用SPECTRA模型（Systematic Partitioning for Enhanced 影响，以及如何共同推进总体目标的实现。” 5. 时序提示：“为每个子任务制定一个粗略的时间表，考虑它们的依赖 关系和完成所需的相对时间。” 6. 资源分配提示：“评估每个子任务的复杂度，分配1—10的'注意力分 数'，指导在执行过程中如何分配计算资源。” 7. 适应提示：“在执行每个子任务后，评估其输出质量和对总体目标的 贡献，必要时调整后续任务的优先级或内容。” 思维拓展的认知理论基础 生成

我深深赞同费曼教授所言：“Knowledge isn’t free. You have to pay attention.”从这个意义上看，这本 书并非完全“免费”。为了不辜负你为本书所付出的宝贵“注意力”，我会竭尽所能，投入最大的“注意力” 来完成本书的创作。 本人自知学疏才浅，书中内容虽然已经过一段时间的打磨，但一定仍有许多错误，恳请各位老师和同学批评 指正。 本书中的代码附有可一键运行的源文件，托管于 github ”。 2. 归：触发“终止条件”后，程序从最深层的递归函数开始逐层返回，汇聚每一层的结果。 而从实现的角度看，递归代码主要包含三个要素。 1. 终止条件：用于决定什么时候由“递”转“归”。 2. 递归调用：对应“递”，函数调用自身，通常输入更小或更简化的参数。 3. 返回结果：对应“归”，将当前递归层级的结果返回至上一层。 观察以下代码，我们只需调用函数 recur(n) ，就可以完成 间效率上与迭代相当。这种情况被称为尾递归（tail recursion）。 ‧ 普通递归：当函数返回到上一层级的函数后，需要继续执行代码，因此系统需要保存上一层调用的上下 文。 ‧ 尾递归：递归调用是函数返回前的最后一个操作，这意味着函数返回到上一层级后，无须继续执行其他 操作，因此系统无须保存上一层函数的上下文。 以计算 1 + 2 + ⋯ + ? 为例，我们可以将结果变量 res 设为函数参数，从而实现尾递归：

我深深赞同费曼教授所言：“Knowledge isn’t free. You have to pay attention.”从这个意义上看，这本 书并非完全“免费”。为了不辜负你为本书所付出的宝贵“注意力”，我会竭尽所能，投入最大的“注意力” 来完成本书的创作。 本人自知学疏才浅，书中内容虽然已经过一段时间的打磨，但一定仍有许多错误，恳请各位老师和同学批评 指正。 本书中的代码附有可一键运行的源文件，托管于 github ”。 2. 归：触发“终止条件”后，程序从最深层的递归函数开始逐层返回，汇聚每一层的结果。 而从实现的角度看，递归代码主要包含三个要素。 1. 终止条件：用于决定什么时候由“递”转“归”。 2. 递归调用：对应“递”，函数调用自身，通常输入更小或更简化的参数。 3. 返回结果：对应“归”，将当前递归层级的结果返回至上一层。 观察以下代码，我们只需调用函数 recur(n) ，就可以完成 间效率上与迭代相当。这种情况被称为尾递归（tail recursion）。 ‧ 普通递归：当函数返回到上一层级的函数后，需要继续执行代码，因此系统需要保存上一层调用的上下 文。 ‧ 尾递归：递归调用是函数返回前的最后一个操作，这意味着函数返回到上一层级后，无须继续执行其他 操作，因此系统无须保存上一层函数的上下文。 以计算 1 + 2 + ⋯ + ? 为例，我们可以将结果变量 res 设为函数参数，从而实现尾递归：

我深深赞同费曼教授所言：“Knowledge isn’t free. You have to pay attention.”从这个意义上看，这本 书并非完全“免费”。为了不辜负你为本书所付出的宝贵“注意力”，我会竭尽所能，投入最大的“注意力” 来完成本书的创作。 本人自知学疏才浅，书中内容虽然已经过一段时间的打磨，但一定仍有许多错误，恳请各位老师和同学批评 指正。 本书中的代码附有可一键运行的源文件，托管于 github ”。 2. 归：触发“终止条件”后，程序从最深层的递归函数开始逐层返回，汇聚每一层的结果。 而从实现的角度看，递归代码主要包含三个要素。 1. 终止条件：用于决定什么时候由“递”转“归”。 2. 递归调用：对应“递”，函数调用自身，通常输入更小或更简化的参数。 3. 返回结果：对应“归”，将当前递归层级的结果返回至上一层。 观察以下代码，我们只需调用函数 recur(n) ，就可以完成 间效率上与迭代相当。这种情况被称为尾递归（tail recursion）。 ‧ 普通递归：当函数返回到上一层级的函数后，需要继续执行代码，因此系统需要保存上一层调用的上下 文。 ‧ 尾递归：递归调用是函数返回前的最后一个操作，这意味着函数返回到上一层级后，无须继续执行其他 操作，因此系统无须保存上一层函数的上下文。 以计算 1 + 2 + ⋯ + ? 为例，我们可以将结果变量 res 设为函数参数，从而实现尾递归：

我深深赞同费曼教授所言：“Knowledge isn’t free. You have to pay attention.”从这个意义上看，这本 书并非完全“免费”。为了不辜负你为本书所付出的宝贵“注意力”，我会竭尽所能，投入最大的“注意力” 来完成本书的创作。 本人自知学疏才浅，书中内容虽然已经过一段时间的打磨，但一定仍有许多错误，恳请各位老师和同学批评 指正。 本书中的代码附有可一键运行的源文件，托管于 github ”。 2. 归：触发“终止条件”后，程序从最深层的递归函数开始逐层返回，汇聚每一层的结果。 而从实现的角度看，递归代码主要包含三个要素。 1. 终止条件：用于决定什么时候由“递”转“归”。 2. 递归调用：对应“递”，函数调用自身，通常输入更小或更简化的参数。 3. 返回结果：对应“归”，将当前递归层级的结果返回至上一层。 观察以下代码，我们只需调用函数 recur(n) ，就可以完成 间效率上与迭代相当。这种情况被称为尾递归（tail recursion）。 ‧ 普通递归：当函数返回到上一层级的函数后，需要继续执行代码，因此系统需要保存上一层调用的上下 文。 ‧ 尾递归：递归调用是函数返回前的最后一个操作，这意味着函数返回到上一层级后，无须继续执行其他 操作，因此系统无须保存上一层函数的上下文。 以计算 1 + 2 + ⋯ + ? 为例，我们可以将结果变量 res 设为函数参数，从而实现尾递归：

我深深赞同费曼教授所言：“Knowledge isn’t free. You have to pay attention.”从这个意义上看，这本 书并非完全“免费”。为了不辜负你为本书所付出的宝贵“注意力”，我会竭尽所能，投入最大的“注意力” 来完成本书的创作。 本人自知学疏才浅，书中内容虽然已经过一段时间的打磨，但一定仍有许多错误，恳请各位老师和同学批评 指正。 本书中的代码附有可一键运行的源文件，托管于 github ”。 2. 归：触发“终止条件”后，程序从最深层的递归函数开始逐层返回，汇聚每一层的结果。 而从实现的角度看，递归代码主要包含三个要素。 1. 终止条件：用于决定什么时候由“递”转“归”。 2. 递归调用：对应“递”，函数调用自身，通常输入更小或更简化的参数。 3. 返回结果：对应“归”，将当前递归层级的结果返回至上一层。 观察以下代码，我们只需调用函数 recur(n) ，就可以完成 间效率上与迭代相当。这种情况被称为尾递归（tail recursion）。 ‧ 普通递归：当函数返回到上一层级的函数后，需要继续执行代码，因此系统需要保存上一层调用的上下 文。 ‧ 尾递归：递归调用是函数返回前的最后一个操作，这意味着函数返回到上一层级后，无须继续执行其他 操作，因此系统无须保存上一层函数的上下文。 以计算 1 + 2 + ⋯ + ? 为例，我们可以将结果变量 res 设为函数参数，从而实现尾递归：