型 LLM 开发技术栈作为切入点，将深入探讨以下中国 AI 大模型领域的代表性开源项目社区。 这些开源项目社区覆盖了深度学习框架、向量数据库、AI辅 助编程、LLM 应用开发框架、模型微调、推理优化、LLM Agent，以及检索增强生成（RAG）等多个关键技术栈。 为了更全面客观地展示中国大模型 LLM 开发技术栈的开源 社区生态，我们使用了 对开源社区的生态评 估体系，希望通过这些数据洞察中国开源开发者在 GenAI 扩展的联合优化，在搭载骁龙 8 Gen 4 处理器的手机上实现了每秒 65 个 tokens 的推理速度，接近人类语音的平均输出速率。尽管存在电池续航和内存占用过大等挑战， 端上模型代表了 AI 技术隐私保护和成本优化的未来方向。中国在这一领域的探索，为行业提供 了宝贵经验。 推理扩展法则的潜力释放 通过推理扩展法则，模型性能可通过延长“思考时间”而进一步优化。这一技术模拟了人类 源社区提供了 23 / 111 丰富的资源，在这一过程中，小模型不仅在推理能力上有了显著提升，也推动了行业整体技术水 平的进步。 结合当前人工智能产业界的“人工智能+”计划，小模型在特定任务优化上的优势愈发突出， 预计将在金融、医疗和工业自动化等热门领域发挥引领作用，以更高效、更精准的方式满足多样 化需求，帮助人工智能在实际应用场景中落地。 开源多元化与应用细分 中国开源模型的发展

涨，学校里老师 们也鼓励和重视开源；另一方面，也说明现有的 IT 从业人员在开源领域投入的比例偏小。开源领域资深专家 的比例偏低，技术人员梯度不够合理，也是国内各大开源社区在吸引贡献者方面，可以优化的地方。 段夕华：近些年来，学生在开源人群中占比持续增多到今天接近一半，可能也是因为用人单位越来越认可学生 在开源中所展现出的编程技能、沟通能力及合作精神，因此这其中应该也不乏各种刷榜行为，需要开源项目所 的优势。客观来看，这对开源的发 展有利有弊。利的一面在于，技术产品的提供方，在相关的开源领域的贡献可以被视为技术竞争力；弊的一面 在于让部分厂商为了取得差异化的竞争优势，把本应开源出来的特性或者优化，来闭源处理，从而不利于开放 式创新，也降低了可维护性。更为健康的针对开源产品的采购模式，应该平衡产品指标，技术竞争力以及产品 本身的可维护性。 段夕华：不知道 21 年底所爆发的 log4j 者的会议与在线讨论会， 并撰写有关该项目的技术文章、参与论坛等等方式进行项目的宣传。要注意的是，在此阶段可能会发生 社区成熟度落后于宣传热度而导致的断层，开源项目发展路径和用户需求出现偏差，或者优化迭代速度 无法满足用户要求，造成用户流失，社区死亡。因此，在这个阶段对项目和社区的大量投入是非常必要的， 如果可以跨越这一阶段，会迎来快速增长时期。 图表 16 ：开源社区成熟度曲线 资料来源：PingCAP，中国信通院

使用理念。 李彦宏称：“无论是哪家公司，都不可能靠突击几个月就能做出这样的大语 言模型。深度学习、自然语言处理，需要多年的坚持和积累，没法速成。” 长度是 Llama 1 的 2 倍，并采用了分组查询注意力机制。具体来说，Llama 2 预训练模型是在 2 万亿的 token 上训练的，微调 Chat 模型是在 100 万人类标 记数据上训练的。 7 / 87 1 1 开源开发者事件回顾 2023 年 9 月，蚂蚁集团正式开 源代码大模型 CodeFuse——基 于蚂蚁基础大模型研发。 这是蚂蚁自研的代码生成专属 大模型，帮助开发者自动生成代 码、自动增加注释、自动生成测 试用例、修复和优化代码等。 2023 年 8 月，阿联酋研究团队宣布开源阿拉伯语大模型 Jais。Jais 是一个 经过 130 亿个参数预训练的阿拉伯语和英语双语大型语言模型，在包含 720 亿个阿拉伯语词块和 2790 自动跳过开屏广告应用「李跳跳」无限期停更 微软于 2023 年 8 月发布了 Visual Studio for Mac 的退役公告。未来， 开发团队将专注于增强 Visual Studio 和 VS Code，优化它们以进行跨平 台开发。 Visual Studio for Mac 退役后，微软方面仍会为 Mac 开发者提供替代方 案，例如 C# Dev Kit for VS Code 和其他扩展。 开源富文本编辑器

情高涨，学校里老师们也鼓励和重视开源；另一方面，也说明现有的 IT 从业人员在开源 领域投入的比例偏小。开源领域资深专家的比例偏低，技术人员梯度不够合理，也是国内 各大开源社区在吸引贡献者方面，可以优化的地方。 Du Junping: More than 40% of the developers participating in open source projects are students 指标上的优势。客观来看，这对开源的发展有利有弊。利的一面在于，技术产品的提供 方，在相关的开源领域的贡献可以被视为技术竞争力；弊的一面在于让部分厂商为了取得 差异化的竞争优势，把本应开源出来的特性或者优化，来闭源处理，从而不利于开放式创 新，也降低了可维护性。更为健康的针对开源产品的采购模式，应该平衡产品指标，技术 竞争力以及产品本身的可维护性。 Du Junping: Due to the 参加面向开发者的会议与在线讨论会，并撰写有关该项目的技术文章、参与论坛等等方式进行 项目的宣传。要注意的是，在此阶段可能会发生社区成熟度落后于宣传热度而导致的断层，开 源项目发展路径和用户需求出现偏差，或者优化迭代速度无法满足用户要求，造成用户流失， 社区死亡。因此，在这个阶段对项目和社区的大量投入是非常必要的，如果可以跨越这一阶段， 会迎来快速增长时期。 When an open source project

服务，打破企业软件应用中数 据孤岛等现状。 敏捷 通过小步快跑的方式敏捷迭 代，不断适应市场与业务需求 的变化，摆脱缓慢的大版本更 新与业务需求脱节的窘境。 高效 通过自动化与生产协作方式 的优化，多环节提升软件生产 的效率。 开放 基于开放的技术体系，打造开 放的软件架构。 轻舟云原生软件生产力平台 2.0 能力全景图 轻舟优势 搭建云原生技术底座，助力企业与时俱进实现云上软件创新，支撑业务高速发展。 建模进行指导。 统一指标管理 基线智能预警 海量任务运维和管理，提供 异常基线报警处理，辅助任务 运维人员完成工作。 数据资产360 建立集安全、价值、成本、质 量、标准于一体的健康评估指 标体系和优化工具，打造360° 无死角数据资产治理体系。 指标建设流程规范化，消除指 标口径二义性，帮助企业进行 指标规范化管理，提高数据输 出效率。 数据安全保障 内置细粒度权限管控和一体 化权限申请，帮助企业提升数 协同，持续提升业务创新和数字化转型 能力的技术产品和方法体系。 业务中台解决方案 25 SOLUTIONS 方案价值 方案特色 提升数据服务效率 可实现需求交付速度、数据查找效率、数据查询能力的三重提升。 提升数据质量 实现任务数据零延迟、大幅减少研发 BUG 数量，并完成数据指标口径 的统一。 降低数据服务成本 可大幅度节约业务成本，提升整体研发业务价值。 保障业务数据安全

，艾瑞咨询研究院根据公开资料研究及绘制。 企业开源的战略意义（二） 开源在企业中的使用率提升，带来多维度战略价值 除前文所述的商业价值和成本优化之外，开源软件产业对企业的战略意义还体现在以下三方面：1）技术价值，对具备技 术优势的头部企业而言，开源可加强同业间的交流，实现产品优化，走向国际；对技术能力较弱的企业来说，开源可实现 社会协作，缩小与业界头部企业的技术差距，扩大市场份额。2）品牌价值，企业建立开源社区可实现对技术、人才的网 活跃的开源企业一般为“BATH”四大综合科技企 业以及其他互联网、云计算企业等 从可行性角度上讲，上述企业具备较强的技术、人才和资金 能力，能够自主进行或支持大规模开源运营 从优化产品方面，如前文所述，开源能够帮助企业利用开源 社区资源进行产品优化和升级，提升竞争力 从国内市场状况上看，科技企业、云服务企业正处于激烈的 市场竞争中，开源为企业带来市场影响力、人才吸引力方面 的提升，为企业带来各种隐性收益 华为OpenGauss开源数据库架构 应用层 内核层 框 架 层 系 统 服 务 层 内核子系统 驱动子系统 系 统 基 本 能 力 子 系 统 集 基 础 软 件 服 务 子 系 统 集 增 强 软 件 服 务 子 系 统 集 硬 件 服 务 子 系 统 集 系统应用 扩展应用/三方应用 遵循分层设计，按照系统 > 子系统 > 组件的结构逐级展开，在使 用时可以根据实际需要对组件进行裁剪

Foundation）」官⽅正式对外发声，⼤家对此抱有多重期望：推⼴开源的理念，开源⽂化 教育和社区建设，建⽴开源⽣态体系，对开源项⽬进⾏早期的孵化和扶持，帮助中国开源 社区进⾏资源的整合和优化，并接轨国际开源社区。 3、开发者群体特征 3.1 参与者普遍年轻且学历较⾼，男性占⽐⼋成 参与者的年龄集中在 20-39岁，受教育程度普遍在本科及以上，其中男性占⽐约为 84%，⼥ 性为 16%，与去年持平。 中国成⽴开源基⾦会的作⽤ 参与者们⼀致认为中国成⽴开源基⾦会是⾮常有意义的，可以推⼴开源的理念，开源⽂化教 育，社区建设，建⽴开源⽣态体系，利于开源项⽬早起的孵化和扶持，帮助中国开源社区进⾏ 资源的整合和优化，也有助于接轨国际开源社区。 【专家点评】 蒋涛：在全球科技竞争和中国开源核心技术发展态势下，从开源生态制高点着眼，建设和发展 中国开源基金会意义重大。通过中国开源基金会的发展壮大，不断鼓励国内巨头科技企业和社 提升，更好地满⾜⼴⼤ AI 开 发者的使⽤需求，也让⼴⼤开发者形成了更强的社区认同感。 深度学习框架在 AI 技术栈中处于承上启下的位置，向下对接芯⽚，向上承接应⽤，与芯⽚⼴ 泛适配、深度融合优化⾄关重要。因此⻜桨跟硬件⼚商建⽴了紧密合作关系，很多芯⽚⼚商直 接在⻜桨社区贡献代码，为⻜桨⽣态发展做了⼤量贡献。⻜桨也持续与各⼤开源组织、AI 社 区深度合作，并得到启智（OpenI）社区的⽀持成为其中重要⼀员。通过

iresearch.com.cn 开源产业链关系 以开源社区及代码托管平台为中心，各方合力促进产业源与端共生共长 发起者可以将源代码放在代码托管平台上，结合开发者的代码贡献进一步提升源代码质量。在这个代码优化的过程中，也有其他力 量辅助：1）开源基金会可选择性接受项目的捐赠并运营项目；2）开源技术论坛通常会提供更广阔的开发者交流平台，提升开发者 能力水平；3）开源社区评估机构可对开源社区进行评分，辅助开 主研究及绘制。 法务服务 社区 治理 社区 运营 代码 审核 开源 开发 生态 合作 法务 合规 开源企业发起者内的多组织协作 开源开发 战略合作 社区运营 代码审核 软件优化 选择适合开源项目的开源协 议，依据企业对项目的开源 方案审定协议中个别条款 向上对接高校及研究机构， 加紧基础技术共建；向下对 应发行版ISV厂商，将软件向 更多行业及场景渗透 规划开源软件迭代方向，包 4.4% 其他 0.9% 开源社区中，使用者比例最高，使用开源软件、发掘开源代码是大多 数开发者加入开源项目的起点，随着与社区的绑定不断加深，使用者 逐渐向贡献者转化，围绕项目提出自身的建议或优化方向。 14 ©2023.11 iResearch Inc.

44.0发布，版本特性更 新如下： • 将每次发送的默认样本数提高到2000； • 支持处理原生直方图数据； • 在命令行中添加用于检查Prometheus服务 器健康状态和可用性的功能； • 添加所有查询加载的样本总数指标。 OpenYurt v1.3.0发布 OpenYurt是由阿里云开源的基于原生Kuberne- tes构建的、业内首个对于Kubernetes非侵入式 的边缘计算项目，目标是扩展Kubernetes以无 以便进行更全面的分析和监控； • 支持对所有主机进行外部授权； • HttpProxy的条件块还增加了对精确路径匹 配条件的支持； • 支持内部重定向； • 对基于HTTPProxy资源的路由实现了HTTP 查询参数匹配功能。 Flagger v1.31.0发布 Flagger是基于Kubernetes的开源工具，用 于实现持续交付和自动化部署。它提供流量分 配管理、故障检测和回滚机制等功能，帮助开 发人员和运维团队实现高效可靠的应用程序部 通过公共管理实体在公共管理环境中开发独特的软件解决方案，确保为公共管理表现提供最佳和 高效支持。 - 建立一个统一的、明确的平台，用于开发和推广在公共行政领域的开源软件项目，以支持公共行 政的最高质量的绩效，并持续优化在公共行政领域进一步发展开源软件解决方案所需的资源。 - 向公共行政机构提供确切的、经过验证并已实施的软件解决方案，包括支持、咨询和转让等经验。 - 在公共行政机构互相分享各自的专业知识时，需尽可能降低成本。

Schulman亲⾃邀请加盟。
iv. 基础设施⽅⾯。团队核⼼成员曾带领数⼗⼈从零开发世界领先的深度学习框架，也具备数千 卡集群全⾃动化硬件运维告警、数百亿特征检索、⼤规模（数⼗PB数据、百万台机器）分 布式系统数量级性能优化的经验。
c. ⽬前团队⼈数超过
80
⼈，每个⽉都有在全球某个领域有显著影响⼒的⼈加⼊。
2.
团队聚焦底层技术创新，技术Vision强
a. 引领⼤模型的“⽆损⻓上下⽂”时代。202
海外独⻆兽：context
length
的提升存在什么规律？有技术可预⻅性吗？
杨植麟：我⾃⼰感觉存在
context
length
的摩尔定律。但需要强调：给定⻓度下的准确率也⾮常重 要，需要同时优化⻓度和准确率（⽆损压缩）两个指标。 在保证模型能⼒和智商的情况下，我觉得⼤概率
context
length
的提升是指数级增⻓的。
多模态：⼤部分架构不值得被

scale
up

海外 er
才会有
tech
vision？
杨植麟：核⼼是两点，⼀个是抓⼤放⼩，⼀个是终局思维。我跟很多
researcher
合作过，容易出现的 ⼀个问题就是过分雕花，容易在局部⾥看到有很多可以优化的东西，⽐如我们发现
transformer
解决 了
LSTM
的
context
length
问题，但如果再跳出来⼀层，就会发现本质上每⼀代技术都是在提升
context
length。