ARM 芯片的 Python + AI 算力优化 主讲人： 朱宏林 – 阿里云程序语言与编译器团队 简介 • 当今开发者们大量使用 Python 语言编写的 AI 程序。过去这些程序总跑在 GPU 或者 x86 架构的 CPU 上。然而综合考虑到功耗、成本、性能等因素，云厂商们开始建设 ARM 架构的服务平台，如 何整合 Python + AI 的相关软件并使其在该平台上发挥最高的性能成为了工程师们关注的焦点。 PyTorch 中。 • 本次演讲，将向大家介绍我们在倚天 710 ARM 芯片上开展的 Python + AI 优化工作，以及在 ARM 云平台上部署 Python + AI 任务的最佳实践。 深度学习 • 广泛使用的深度学习框架 • TensorFlow、PyTorch • 结合硬件（ARM 服务端芯片） • 倚天 710 • AWS graviton • 矩阵乘法 • 为什么矩阵乘法是深度学习的核心

2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 AI 基础设施的关键 Part 模型 scaling 最卡脖子的因素。也就是说，在算力到 达瓶颈之前，首先可能会出现电能供应不足甚至交不起电费的问题。因此，算力层可以根据大模 型底层技术的特性，产出针对性的芯片，尤其是加速运算和降低能耗。这是未来 AI 芯片领域的 最优竞争力。 那么，把 transformer“焊死”到板子上就是最佳方案吗？我知道你很急，但你先别急。大 模型底层框架还存在底层路线之争。 32 / 111 以形成网络效应，因此基础模型公司 的竞争将非常激烈，算力将成为长期竞争力的关键。 对于大公司而言，能否集中算力、数据和人才，保持组织高效很关键。创业公司需要更多的 资金支持，或者与云计算平台或芯片厂商深度合作，才能竞争专业模型的最高水平。一个例外是 图片、视频等基于扩散模型的生成模型，在创作需求简单的情况下，未必需要通用语言模型这么 大，是一个差异化竞争的机会。 随着专业模型编程能力的提升和

CPU(中央处理器) 架构是芯片产业链和芯片生态的龙头。CPU 架构不仅决定了 CPU 芯片本身的性能，而且在很大程度上引领了整个芯片产业和产业生态，尤其是 对设计人才培养、设计工具（EDA）、芯片 IP（Intellectual Property）库、芯片应用 生态等方面有重大影响。此外，芯片的架构也影响到芯片的生产、测试、封装等环节。 近年来包含微处理器的 SoC（系统级芯片）产品在芯片产品中的比重已达到 达到 70% 以 上，这表明芯片应用与 CPU 架构之间的关联性正在增强。历史上，在 PC 和互联网 时期，x86 架构芯片占据优势，而在移动互联网时期，ARM 架构芯片占据优势，今 后，在智能互联时期，CPU 架构格局也会随之发生变化。 近年来，国际上一种新兴的开源精简指令集架构 CPU（RISC-V），为全球芯片产 业创新发展提供了新的机遇。RISC-V 架构由美国加州大学伯克利分校计算机科学部 架构由美国加州大学伯克利分校计算机科学部 门于 2010 年发布，它们创造了一种通用的计算机芯片指令集，以此来降低进入芯片 行业的门槛。RISC-V 采取开源模式，这套指令集将被所有芯片制造商所使用，而不 属于任何公司。用户可自由免费地使用该架构进行 CPU 设计、开发并添加自有指令 集进行拓展，自主选择是否公开发行、商业销售、更换其他许可协议，或完全闭源使 用。 现在，国际上围绕 RISC-V 的学术交流、产品发布、应用示范、生态建设等活动

22.03-LTS 技术白皮书 02 openEuler 覆盖全场景的创新平台 openEuler 已支持 x86、ARM、SW64、RISC-V 多处理器架构，未来还会扩展 PowerPC 等更多芯片架构支持，持续 完善多样化算力生态体验。 openEuler 社区面向场景化的 SIG 不断组建，推动 openEuler 应用边界从最初的服务器场景，逐步拓展到云计算、边 缘计算、嵌入式等更多场景。openEuler 一操作系统支持多设备，应用一次开发覆盖全场景。 openEuler 对 Linux Kernel 的持续贡献 openEuler 内核研发团队持续贡献 Linux Kernel 上游社区，回馈主要集中在：芯片架构、ACPI、内存管理、文件系统、 Media、内核文档、针对整个内核质量加固的 bug fix 及代码重构等内容。十余年来总计向社区贡献 17,000+ 补丁。 在 Linux Kernel 硬件支持 openEuler 社区当前已与多个设备厂商建立合作，打造了丰富的南向生态，Intel、AMD 等主流芯片厂商的加入和参与， 为 openEuler 提供了众多支持。openEuler 22.03 LTS 版本目前已全面支持 Intel Icelake、AMD milan 等芯片系列，同时 提供了对下一代 Intel Sapphire Rapids 的基础支持，相关特性将持续在 openEuler

Units，云 基础设施处理器），其是一套全新的计算架构体系，能够在通用计算、 大数据、人工智能等场景中展现更好的性能。2022 年 12 月，AWS 云计算白皮书（2023 年） 7 发布第五代虚拟化芯片 Amazon Nitro v5 为云服务提供底层支持，应 用程序可获得与运行在裸金属服务器上相近的性能。三是更注重跨 域融合，创新发展。传统业务模式不断创新，需要先进数字技术持 续交织发展放 业务场景多形态。一云多芯作为云计算的全新技术架构，通常指用 一套云操作系统来管理不同类型芯片、架构、接口、技术栈等硬件 服务器集群。在如今算力需求爆炸的 AI 时代，一云多芯为各行各业 践行数字化转型提供了有力支持。一方面，它可以提供统一管理、 云计算白皮书（2023 年） 17 灵活便捷的算力资源，一定程度上解决了不同类型芯片的共存问题； 另一方面，它可以满足单一通用云平台无法支撑的复杂业务形态， 性能高效稳定。硬件芯片方面，通过屏蔽底层芯片差异实现资源池 化，从而满足对各种芯片的统一调度，这不仅包含对飞腾、鲲鹏、 龙芯、海光等芯片兼容，还包含不同指令集架构的 CPU，以及除 CPU 以外的专有芯片的兼容，如 GPU、DPU 等。软件应用方面，一云多 芯能够适配各种操作系统、虚拟机、容器数据库、中间件等，同时 还能够支撑虚拟化和云原生应用形态。性能调优方面，一云多芯可 以对不同芯片进行调优适配，提升平台整体性能。通过虚拟化产品

发行版平台和技术孵化器互相促进、互相推动、牵引版本持续演进。 openEuler 已支持 X86、ARM、SW64、RISC-V、LoongArch 多处理器架构，逐步扩展 PowerPC 等更多芯片架构支持， 持续完善多样性算力生态体验。 openEuler 社区面向场景化的 SIG 不断组建，推动 openEuler 应用边界从最初的服务器场景，逐步拓展到云计算、边 缘计算、嵌入式等更多场景。openEuler 客户反馈 缺陷跟踪平台 芯片生态 构建平台 代码、版本管理、工具管理平台 发布规范 平台架构 06 openEuler 23.09 技术白皮书 openEuler 社区当前已与多个设备厂商建立丰富的南向生态，Intel、AMD 等主流芯片厂商的加入和参与，openEuler 全版本支持 X86、ARM、申威、龙芯、RISC-V 五种架构，并支持多款 CPU 芯片，包括龙芯 3 号、兆芯开先 号、兆芯开先 / 开胜系列、 Intel IceLake/ Sapphire Rapids、AMD EPYC Milan /Genoa 等芯片系列，支持多个硬件厂商发布的多款整机型号、板卡型号， 支持网卡、RAID、FC、GPU&AI、DPU、SSD、安全卡七种类型的板卡，具备良好的兼容性。 全版本支持的硬件型号可在兼容性网站查询：https://www.openeuler.org/zh/compatibility/。

的总工程师和联合创始人。SiFive 由 RISC-V 架构的创建 者们建立，旨在提供基于 RISC-V 的低成本定制芯片。他在加州大学伯克利分校获得 了计算机科学博士学位。在那里，他厌倦了现有的指令集架构的变幻莫测，于是共同 设计了 RISC-V ISA 和第一台 RISC-V 微处理器。Andrew 是基于开源 RISC-V 的 Rocket 芯片生成器、Chisel 硬件构造语言以及 Linux 操作系统内核和 GNU C 编译器和 仰之 心，更是为了便于更多中国爱好者了解RISC-V的愿望，我欣然接受了谭博士的请求。 过去几年深入接触RISC-V后，我心中时常呈现出一种愿景——RISC-V很可能像Linux 那样开启开源芯片设计的黄金时代。事实上，伯克利的科研侠客们发明RISC-V就是希望 “Instruction Sets Want to be Free”——全世界任何公司、大学、研究机构与个人都可以开 发兼容RIS 的门槛，如今3-5位开发人员在几个月时间里就能快速开发出一个互联网应用。在芯片设计 领域，RISC-V有望像Linux那样成为计算机芯片与系统创新的基石。但是只有RISC-V又是 远远不够的，更重要的是要形成一个基于RISC-V的开源芯片设计生态，包括开源工具链、 开源IP、开源SoC等等。 RISC-V还只是星星之火，却已展露出燎原之潜力。作为全世界最大的芯片用户，中国 一直希望能把芯片产业做大做强，各方也都在努力。借鉴开源软件对于中国互联网产业发

openEuler 成功测试运行所做努力贡献的人员表示感谢！ 摘要 Greenplum 不受限于基础架构，这意味着它是一种可完全移植的分析数据库软件解决方案，可部署在不同操作系统、 不同芯片的环境，适合本地部署、多云环境（公有云和私有云）中。Greenplum 6 及未来发布的 Greenplum 7 丰富的 HTAP 特性，具备良好性能、可靠性和稳定性，使得 Greenplum 不 白皮书 | 6 openEuler 覆盖全场景的创新平台 openEuler 已支持 X86、Arm、RISC-V 多处理器架构，未来还会扩展 PowerPC、SW64 等更多芯片架构支持，持续 完善多样化算力生态体验。 openEuler 社区面向场景化的 SIG 不断组建，推动 openEuler 应用边界从最初的服务器场景，逐步拓展到云计算、边 缘计算、嵌入式等更多场景。openEuler 源代码在各种平台进行编译使用。作为能够独立于专用硬件加速提供高性能的纯软件数据平台，Greenplum 可根据 客户需求在任何位置运行。借助这种“不受限于基础架构”的方法，可以在本地不同的操作系统、不同的芯片环境或多 云环境（私有云或公有云）中部署同一类型的分析数据库。这种不受限于基础架构的方法的大部分优势都具有同样强 大的作用，那就是可以消除对第三方平台、供应商制约，助用户实现选择自由。

基础支撑标准主要包括基础数据服务、智能芯片、智能传感 器、计算设备、算力中心、系统软件、开发框架、软硬件协同等 标准。 1. 基础数据服务标准。规范人工智能研发、测试、应用等 过程中涉及数据服务的要求，包括数据采集、数据标注、数据治 理、数据质量等标准。 2. 智能芯片标准。规范智能芯片相关的通用技术要求，包 括智能芯片架构、指令集、统一编程接口及相关测试要求、芯片 数据格式和协议等标准。 包括软硬件编译器架构和优化方法、人工智能算子库、芯片软件 运行时库及调试工具、人工智能软硬件平台计算性能等标准。 7. 开发框架标准。规范人工智能开发框架相关的技术要求， 包括开发框架的功能要求，与应用系统之间的接口协议、神经网 络模型表达和压缩等标准。 8. 软硬件协同标准。规范智能芯片、计算设备等硬件与系 统软件、开发框架等软件之间的适配要求，包括智能芯片与开发 框架的适配要求、人工智能计算任务调度、分布式计算等软硬件

主机板：注意到上面图示的那个『主机板芯片组』了没？我们刚刚说主机板是所有设备连接的 『媒体接口』，而负责这个媒体接口最重要的『沟通』工作的，就是这个主机板芯片组啦！由 于主机板上面的芯片组将负责与 CPU、RAM 及其它相关的输出、输入装置，所以，芯片组设 计的好坏也相差甚多喔！另外，由于芯片组在设计的时候，即是针对某种规格的 CPU 与内存来 设计的，因此： • 芯片组的功能：芯片组就是在沟通 CPU、 RAM 做为例子的话，那么你的 芯片组运作频率应该是以 133 为基准，所以 CPU 与芯片组沟通是 133 ，芯片组与 RAM 亦是 133 的速度，与 PCI 接口则通常是 33 (133/4)，而与 AGP 则是 66 (133/2)啰！所以， 一个芯片组就需要负责这么多不同的频率操作喔！呵呵！所以啰，芯片组的好坏对于系 统的影响也是相当大的！另外，目前很多的技术可以提升各个与芯片组之间沟通的频率 速度，例如 266 啰！至于 P4 则芯片组与 CPU 之间则可以提升四倍 的频率速度，遗憾的是，芯片组能支持的规格，只有一种，并无法支持所有的规格，也 就是说，你的 Intel 芯片组的主机板，只能支持 Intel 的 CPU 与芯片组能沟通的内存规格； • CPU、内存与芯片组(就是主机板啦)在选购的时候需要一起考虑，因为芯片组(主机板)能 够支持的 CPU 只有一种规格，而芯片组对内存的支持通常也仅支持一种规格，所以，当