O(n²)的理论计算复杂度，这里的 n 指的是大模型输入 序列的 token 数量，但其前任语言模型担当 RNN 只有 O(n)的理论计算复杂度。 最近，以 Mamba、RWKV 为代表的类 RNN 结构死灰复燃，公开挑战 transformer 地位。 更有最新研究【13】从理论上表明，RNN 对比 Transformer 的表达力，只差一个 in-context-retrieval。 在这个 科技博主“傅聪 Cong”。 前阿里巴巴算法专家，目前就职于 Shopee（新加坡）任资深算法专家。 在顶会和期刊 TPAMI、KDD、VLDB、IJCAI、EMNLP、CIKM 等发表 十余篇论文，同时也是 Tpami、TKDE、KDD、ICLR、AAAI、IJCAI、 EMNLP、ICLR 等会议的审稿人。 35 / 111 AI 的三岔路口：专业模型和个人模型 文/李博杰 2024 机网络与协议实验室助理科学家、首届“天才少年”。2019 年，在中 国科学技术大学与微软亚洲研究院的联合培养项目中取得博士学位。在 SIGCOMM、SOSP、NSDI、PLDI 等顶级会议上发表多篇论文，曾获 ACM 中国优秀博士学位论文奖和“微软学者”奖学金。 39 / 111 2024 年 AI 编程技术与工具发展综述 文/朱少民 2024 年 8 月下旬，一款 AI 代码编辑器——Cursor 火爆全球，火到一位

Contour是基于Kubernetes的Ingress控制 器，通过将Envoy代理部署为反向代理和负载 均衡器来实现其功能。Contour提供开箱即用 的动态配置更新机制，同时保持了轻量级的配 置文件结构。此外，Contour引入全新入口 API HTTPProxy，该API通过自定义资源定义 （CRD）来实现。其主要目标是扩展Ingress API的功能，以提供更丰富的用户体验并解决 原始设计中的局限性。 中位列中国企业第一位，全球排名第6位 TiDB通过信通院分布式数据库性能与基础能力两项评测 PingCAP团队的论文《TiDB: A Raft-based HTAP Database》入选VLDB 2020，成为业界第一篇 Real-time HTAP分布式数据库工业实现的论文；CNCF宣布TiKV正式从CNCF毕业 CNCF 宣布云原生的混沌工程Chaos Mesh正式进入CNCF沙箱托管项目 开源软件在公共管理部门内的使用，特别是防止受制于某个供应商。 自2023年起，数字化议程已从内政部转移到新成立的数字和信息管理局（DIA）。DIA于2023年4月 开始运行，并独立于其他部委。这一结构的重组还包括将原有的电子政务首席架构师部门或政府信息 社会委员会（RVIS，由负责数字化的副总理担任负责人）重新划分给DIA。DIA被划分为多个行动单 位，它们将接管公共行政部门共享的信息系统，如基

什么，怎样做可以缓解或者解决，但它不会一点一点进行“望 闻问切”全套去引导，了解具体情况，最终再给出切实可行的 解决方案。 但回过头来想想，这个话题可深可浅，往浅了说，当前 LLM 产品可以帮助人类翻译、润色一段文字、提炼论文核心内容， 这本身也是较为完整的解决方案；当前 LLM Agent、 LLMOps，甚至只是说开发者的各种“工程化组合骚操作”， 实际上已经可以把不同模型、不同模态、不同工具和知识源整 合， 元，跻身独角兽行列。 8 / 87 1 1 开源开发者事件回顾 京东发布言犀大模型 百度推出 AI 编程助手 "Comate" 2023 年 3 月，微软亚洲研究院和浙江大学的研究团队联合发布论文 《HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace》，介绍了一个大模型协作系统。该系统提出了一种让 LLM Sundar Pichai 宣布，他们将在未来几周内面 向公众推出由 LaMDA 提供支持的实验性对话式 AI 服务，称为 Bard——与流 行的 ChatGPT 展开直接竞争。 与此同时，微软开源了基于论文实现的项目 JARVIS。其自我描述是用于连 接 LLM 和 AI 模型的协作系统。该系统由 LLM（大语言模型）作为控制器和 许多 AI 模型作为协作执行者（来自 HuggingFace Hub）组成。

GitHub)，Satya 的战略眼光及非凡领导力令人侧目。 5 总结 & 致谢 本次问卷在传播和收集过程中多有坎坷，最终呈现的不过是开源世界的小小一隅，但意义重大。见微知著， 不难察觉到中国的开源结构已经在发生变化，开源的星星之火正在燎原，势不可当。希望这份报告能够 抛砖引玉，吸引更多的社区和开发者加入。 该报告的问卷问题， 报告文档均发布在代码托管平台，开源社官方网站和合作伙伴网站平台，基于 源项目没有全球竞争力，那它的市场就会特别局限。以 PingCAP 为例，它的数据库产品 TiDB 对标的是美国的 CockroachDB，但是无论从社区活跃度、 GitHub 的星标或者一些评论文章，PingCAP 的指标已经全面超过了它的美国对标。 图表 27 ：如何提高开源项目国际竞争力 资料来源：云启资本 4.1.3 社区运营能力——社区运营阶段 开放、协作的社区是开源项目的第 等线下交流活动，增加开发者之间的交流，扩大社区 的影响力 ；参加各种业界会议，并与媒体保持良好的合作关系，增加媒体曝光度 ；举办开源比赛，让全 球的公司和学校参与进来，增加项目知名度 ；与学术界合作，发表顶级论文，增加业界影响力等。 图表 28 ：TiDB 社区运营模式 资料来源：PingCAP 官网 4.1.4 市场匹配能力——商业化探索阶段 首先，开源项目应该具有产品

5、总结 & 致谢 / 5 Summary & Acknowledgement 本次问卷在传播和收集过程中多有坎坷，最终呈现的不过是开源世界的小小一隅，但意义重 大。见微知著，不难察觉到中国的开源结构已经在发生变化，开源的星星之火正在燎原，势不 可当。希望这份报告能够抛砖引玉，吸引更多的社区和开发者加入。 This questionnaire had many bumps in the dissemination 开源项目没有全球竞争力， 那它的市场就会特别局限。以 PingCAP 为例，它的数据库产品 TiDB 对标的是美国的 CockroachDB，但是无论从社区活跃度、GitHub 的星标或者一些评论文章，PingCAP 的指标 已经全面超过了它的美国对标。 As essential software, open source has no national boundaries; the world's 等线下交流活动，增加开发者之间的交流，扩大社区的影响力；参加各种业界会议，并与媒体 保持良好的合作关系，增加媒体曝光度；举办开源比赛，让全球的公司和学校参与进来，增加 项目知名度；与学术界合作，发表顶级论文，增加业界影响力等。 Companies should have solid online and offline publicity operations to attract more developers

iresearch.com.cn MindSpore 注释：指标数据时间截止2023年11月。 来源：根据专家访谈、公开资料，由艾瑞咨询研究院自主研究及绘制。 MindSpore丰富的社区生态 论文开源仓：370+ 社区SIG：30+ 社区运营组织：30+ 高校及科研院所伙伴：325+ 社区PR总数：8.3万+ 社区全球下载量：650万+ MindSpore社区看板 社区活跃度处于国内

谷歌确立了市场地位。红帽和谷歌的商业模式均能体现：开源软件本身虽然没有直接为公司带来license收入，但基于开源 软件的配套服务能够成为公司的重要收入来源。 红帽（RedHat）公司的收入结构 谷歌公司收入结构 17 20 21 4.4 6.2 8.2 2.8 3.5 4.2 FY2017 FY2018 FY2019 基础设施订阅（亿美元） 应用开发新兴技术订阅（亿美元） 15% 14% 11% 11% 2014 2015 2016 2017 2018 2019 信息技术服务收入占比（%） 软件产品收入占比（%） 其他（%） 2014-2019年中国软件产业收入结构 从不同渠道和维度统计的信息一般认为，中国最为 活跃的开源企业一般为“BATH”四大综合科技企 业以及其他互联网、云计算企业等 从可行性角度上讲，上述企业具备较强的技术、人才和资金 能力，能够自主进行或支持大规模开源运营 市场竞争中，开源为企业带来市场影响力、人才吸引力方面 的提升，为企业带来各种隐性收益 从国内产业结构上看，软件产业的收入板块正在进一步从产 品（版权）收入向服务收入上转移，根据前文所述的企业开 源商业模型，开源虽会减少软件本身一定的版权费收入，但 能够帮助企业进行其他产品引流、增值服务引流，符合我国 的软件产业发展结构 33 ©2022.2 iResearch Inc

近全监督学习的⾼效对⻬⽅法。
ii. 视觉⽅⾯。团队成员发明了MoCo，引爆了基于对⽐学习的视觉预训练范式，也是过去三年 CVPR引⽤量最⾼的⼯作；发明了ShuffleNet，最⾼效的视觉⽹络结构之⼀；主导开发了 detectron2，⼀个被⼴泛使⽤的视觉开源项⽬并被集成到Meta全线VR/AR产品中。
iii. 强化学习⽅⾯。团队成员作为⼀作提出了基于关系学习的少样本⽅法，得到斯坦福⼤学、 做不了的任务，那现在可以做了。
还有另外⼀个很重要的变量，就是Transformer架构的发明。如果回到六年前，这个世界上可能还没有 Transformer架构，以前的学者研究过传统RNN⽹络结构的极限，有个论⽂标题就叫《ExpLoring
the
Limits
of
Language
Modeling》，但是你会发现最终的结果就是⼀⽆所获。
因为当模型变⼤之后，你 并不能得到⼀个更好 、悟道⼤ 模型，这个过程也⼀直在酝酿⼀个真正的时机。 同时在这个过程中，我也看到很多⼤模型⾯对的挑战。这种挑战⼀⽅⾯是来⾃于技术，另外⼀⽅⾯可 能是来⾃于组织。我们发现，如果你还是⽤传统的组织结构，对训练⼤模型来说，可能很难成功。我 们今天看到
OpenAI
的成功，本质上，也是因为它的组织做了极⼤的创新。 所以我觉得之前的经历，可以理解成我⼀直在寻找⼀个机会⸺怎么样能够去从零去建造⼀个新的组

StackOverflow，开源中 国与博客园也受到很多参与者的喜爱。 7、总结 & 致谢 本次问卷在传播和收集过程中多有坎坷，最终呈现的不过是开源世界的⼩⼩⼀隅，但意义重 ⼤。⻅微知著，不难察觉到中国的开源结构已经在发⽣变化，开源的星星之⽕正在燎原，势不 可当。希望这份报告能够抛砖引⽟，吸引更多的社区和开发者加⼊。 该报告的问卷问题， 报告⽂档均发布在代码托管平台，开源社官⽅⽹站和合作伙伴⽹站平 台，基于 ⼀直坚信好的软件是由强⼤的社区重建出来的。  挣得权威：⼈⼈都有机会参与，他们的影响⼒是基于公开获得的功绩——即他们为社区做 出的贡献。功绩属于个⼈，不会过期，不受就业状况或雇主的影响，同时不可转让。  ASF 的扁平化结构：在 Apache 社区⾥⼤家相互尊重，⻆⾊平等，每个⼈的投票具有同等 的分量，贡献者也是在志愿者的基础上与其他⼈享受⼀样的权利（即使某个组织为他们在 Apache 代码上的⼯作提供报酬）。 汉社区及周边地市医院和社区数据对接，硅⾕的 Gliding Eagle 团队及美国⼀家全球医疗信息 服务平台的医疗物资援助等案例达成。⾄此，Wuhan2020 已成为抗击新冠肺炎疫情迄今为⽌ 少数⼏个宣布常态化并完成永久性组织结构建设的⾃组织代表之⼀。 6.2 成员分析 截⾄ 2020年5⽉20⽇，Wuhan2020 开源社区通过统计参与者的邮箱确定的参与⼈数为 4,095 ⼈。随后，通过志愿者邮箱发放志愿者证书，共有

PRODUCT 基于可视化编程语言 基于通用语言封装的可视化开发语言，具 备完善的静态类型系统和组件扩展机 制，适合 80% 企业级应用开发，灵活性 高，可靠性强。 数据模型驱动 可视化构建实体、数据结构、枚举等低 代码数据模型，自动生成数据库表和页 面交互。 支持企业集成 能够通过 API 集成企业内部的服务，实 现应用组装。 业务与流程融合 流程引擎基于 BPMN2.0 规范，可视化 流程开发，可支持如请假、入职、离职等 用户数据，全面掌控渠道和用户， 提升营销和运营效率，重塑企业零售时代竞争力。 零售大数据解决方案 29 CASE 提升畅爆款销售，降低滞销品库存 对商品进行全生命周期管理，从全盘考虑商品品类结构合理性，快速洞 察重点商品，并基于行业经验对不同销售表现不同生命周期的商品给 出精细化的行动策略。 增强终端快速行动力，提升门店经营水平 提高运营人员数据分析能力，赋能终端导购行动能力提升，使直面消费