置帮助初学者快速构建 AI 应用。 同时，在开源生态系统中，LangChain、Haystack、Semantic Kernel 等编排框架的出现， 使开发者能够构建、定制和测试 Pipeline，确保这些 Pipeline 的组合能够达到特定应用场景的 最佳生成效果。 对于 RAG 应用，这是一种由多个环节构成的工作流 应用，出现了许多端到端的开源解决方案，如 LlamaIndex 框架，它集成了数据预处理、索引构建、

平台，可满足数据收集、分析、展示等不同阶段需求，辅助用户更智能的完成数据分析。 有数BI 17 产品特色 DataOps 底座能力 DataOps 聚焦研发效能和质 量，打 造 大 数 据 场 景 的 CI/CD Pipeline。 内嵌逻辑数据湖 基于逻辑数据湖构建物理分 散、逻辑统一的数据中台体 系 , 让数据中台与底层计算存 储解耦。 先设计 后开发 业内首个提出中台的模型设 计标准，遵循先设计后开发理 念，通过模型设计中心对逻辑

的 效果。因此
Moonshot
AI
选择直⾯困难，逐⼀解决上述问题。
总体来看，他们从如下⼏个⼤⽅向⼊⼿来改善训练中遇到的问题： • 在传统的
Tensor
并⾏、Data
并⾏、Pipeline
并⾏基础上，增加了多项基于
Seqence
维度的并⾏ 策略，提升了并⾏效率； • 利⽤定制版的
Flash
Attention、Fuse
Cross
Entropy、CPU
offload
等技术⼤幅度降低了显存压