深入浅出访存优化 by 彭于斌（ @archibate ） 往期录播： https://www.bilibili.com/video/BV1fa411r7zp 课程 PPT 和代码： https://github.com/parallel101/course 为什么往 int 数组里赋值 1 比赋值 0 慢一倍？ 第 1 章：内存带宽 cpu-bound 与 memory-bound • 通常来说，并行只能加速计算的部分，不能加速内存读写的部分 。 • 因此，对 fill 这种没有任何计算量，纯粹只有访存的循环体，并 行没有加速效果。称为内存瓶颈（ memory-bound ）。 • 而 sine 这种内部需要泰勒展开来计算，每次迭代计算量很大的 循环体，并行才有较好的加速效果。称为计算瓶颈（ cpu- bound ）。 • 并行能减轻计算瓶颈，但不减轻内存瓶颈，故后者是优化的重点 并行能减轻计算瓶颈，但不减轻内存瓶颈，故后者是优化的重点 。 浮点加法的计算量 • 冷知识：并行地给浮点数组每个元素做一次加法反而更慢。 • 因为一次浮点加法的计算量和访存的超高延迟相比实在太少了。 • 计算太简单，数据量又大，并行只带来了多线程调度的额外开销 。 • 小彭老师经验公式： 1 次浮点读写 ≈ 8 次浮点加法 • 如果矢量化成功（ SSE ）： 1 次浮点读写 ≈ 32 次浮点加法 • 如果 CPU 有

ARM 芯片的 Python + AI 算力优化 主讲人： 朱宏林 – 阿里云程序语言与编译器团队 简介 • 当今开发者们大量使用 Python 语言编写的 AI 程序。过去这些程序总跑在 GPU 或者 x86 架构的 CPU 上。然而综合考虑到功耗、成本、性能等因素，云厂商们开始建设 ARM 架构的服务平台，如 何整合 Python + AI 的相关软件并使其在该平台上发挥最高的性能成为了工程师们关注的焦点。

拓数派 正式成立 成立杭州总部、北京研发中⼼、 上海全球品牌战略与⽣态发展中⼼ 蓬勃发展的拓数派 驱动数据计算时代的到来 9月 成立加拿⼤研发中⼼ 7月 PieCloudDB云原⽣数据库存算分离等关键技术打造完成 引领数据库⾏业全面⾛向云时代 8月 成立⼴州研发中⼼ 10月 2022拓数派产品发布会 云原⽣数仓PieCloudDB 社区版与商业版正式发布 极速进⼊成长期 Day-1 OpenPie Confidential • 全新云原⽣架构「⼀份数据，多引擎计算」 弹 性 扩 缩 容 ， 打 破 数 据 孤 岛 • 全 面 支 持 H T A P 湖 仓 ⼀ 体 和 向 量 计 算 • 原 ⽣ 支 持 数 据 治 理 ， 三 权 分 离 • 支 持 ⼤ 语 ⾔ 基 础 模 型 和 私 域 数 据 结 合 开 发 垂 直 应 用 • CMU战略合作⼤模型基础理论，训练合作⼀事⼀议 分布式程序，以⼀种可靠、⾼效、可伸缩的⽅式进⾏数据处理。 组件很多，常见约30个，基础组件包括：Hadoop通用功能库、HDFS、 MapReduce以及YARN 。可视化管理是Ambari，其他的计算引擎、列存数据库 等都需要额外的组件，应对不同的场景需要安装对应的组件和依赖。 ⽣态丰富，对结构化数据、半结构化数据以及非结构化数据都支持，可以很好 的完成各种业务场景的数据处理需求。但是对于开发的要求比较⾼，需要掌握

获得腾讯投资第⼆轮持续加注投资 得到众多知名投资机构的关注和认可 蓬 勃 发 展 的 拓 数 派 引 领 数 据 计 算 时 代 的 到 来 9月 杭州萧山区政府“⼀事⼀议”⽀ 持政策获批 6月 成⽴加拿大研发中心 7月 PieCloudDB云原⽣数据库存算分离等关键技术打造完成 引领数据库行业全面走向云时代 8月 成⽴广州研发中心 10月 PieCloudDB 社区版与商业版正式发布 OpenPie. All rights reserved. OpenPie Confidential 上云 ≠ 云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 @2022 OpenPie. All rights reserved. OpenPie Confidential 我们需要一个云原生大数据平台 缺乏弹性 OpenPie. All rights reserved. OpenPie Confidential 虚 拟 化 技 术 创 新 为 行 业 高 质 量 发 展 注 入 加 速 度 云 计 算 时 代 的 到 来 数 据 计 算 时 代 的 到 来 服务器整合,降低服务器硬件成本 云计算平台统⼀运维降低成本 服务器资源池可⽤空间增⼤ 数据资源池可⽤空间增⼤ 虚拟机动态迁移对硬件⽆感知 数仓整合，降低服务器硬件或者虚拟机成本

获得腾讯投资第二轮持续加注投资 得到众多知名投资机构的关注和认可 蓬 勃 发 展 的 拓 数 派 引 领 数 据 计 算 时 代 的 到 来 9月 杭州萧山区政府“一事一议” 支持政策获批 6月 成立加拿大研发中心 7月 PieCloudDB 云原生数据库存算分离等关键技术打造完成 引领数据库行业全面走向云时代 8月 成立广州研发中心 10月 PieCloudDB 社区版与商业版正式发布 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用，运维等工作交给 IaaS/SaaS 厂商 IvorySQL开源数据库社区 上云≠云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 IvorySQL开源数据库社区 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 集群固定，资源利用率低 木桶效应 扩容难 PieCloudDB 为企业构建「坚如磐石」的云原生虚拟数仓 IvorySQL开源数据库社区 虚 拟 化 技 术 创 新 为 行 业 高 质 量 发 展 注 入 加 速 度 云 计 算 时 代 的 到 来 数 据 计 算 时 代 的 到 来 服务器整合,降低服务器硬件成本 云计算平台统一运维降低成本 服务器资源池可用空间增大 数据资源池可用空间增大 虚拟机动态迁移对硬件无感知 数仓整合，降低服务器硬件或者虚拟机成本

的基石;云上原生的安全能力让成本、效率、安全可以兼得，上云正在成为企业解决数字化转型后顾之忧的最优解…… 安全是为了预防资产损失，所以当安全投入 的成本大于能够避免的资产损失价值时，变 得毫无意义！ 而传统安全开发周期管理由于角色分离、流 程思路老旧、不关注运维安全等问题严重拖 慢了DevOps的效率！ 所以急需一种新型的基于云原生理念的安全 角色、流程以及技术的方案！ 传 统 安 全 工 作 传 统 由 独 立 安 全 工 程 高级能力-云原生数据库-应用的基石-1-价值和差别 先从一个广告词来看看云原生数据库和一般数据库的差别 项目 传统数据库 Oracle 云原生 数据一体机 存储架构 存算一体: 调整困难、只能满 足一定的吞吐量要 求 存算分离: 自动调整、拓展能 力强，满足更大吞 吐量 存储自动扩缩容 手工填加机器， 手工同步 完全自动化 高性能 存在性能瓶颈 类似日志方式的顺 序写，性能高 易用程度 封闭体系，集成各 计算层，与存储彻底剥离开来，实际是微服务化架构， 可以自由伸缩，并自动故障转移，采用读写分离，适应 高负荷的场景。另外也需要进一步将计算和内存分离出 来，使得计算层彻底变为无状态，可以做到灵活的拓展 能力和故障恢复能力。这样在计算层也实现了Serverless 模式。 • 通过RDMA，绕过CPU，直接和远端内存通信，在计算与 存储分离、计算与内存分离架构上，提升网络利用率和 性能，也能得到传统数据库网络和性能上一样的体验。

识 识机 机 机制 制 制：可插拔的共识机制，支持PBFT、Raft和rPBFT共识算法，交易确认时延低、吞吐量 高，并具有最终一致性。其中PBFT和rPBFT可解决拜占庭问题，安全性更高。 • 存 存 存储 储 储：世界状态的存储从原来的MPT存储结构转为分布式存储，避免了世界状态急剧膨胀导致性 能下降的问题；引入可插拔的存储引擎，支持LevelDB、RocksDB、MySQL等多种后端存储，支持 限 限管 管 管理 理 理机 机 机制 制 制：基于分布式存储权限控制机制，灵活、细粒度地控制外部账户部署合约和创建、 插入、删除和更新用户表的权限。 • 支 支 支持 持 持国 国 国密 密 密算 算 算法 法 法：支持国密加密、签名算法和国密通信协议。 • 落 落 落盘 盘 盘加 加 加密 密 密方 方 方案 案 案：支持加密节点落盘数据，保障链上数据的机密性。 • 密 密 密钥 钥 钥管 户、时间等维度分到各群组，群组架构可快速地平行扩展，在扩大了业务规模同时，极大简化了 运维复杂度，降低管理成本。 更多的群组介绍，请参考 群组架构设计文档 和 群组使用教程 2.1.2 分 分 分布 布 布式 式 式存 存 存储 储 储 FISCO BCOS 2.0新增了对分布式数据存储的支持，节点可将数据存储在远端分布式系统中，克服了本地 化数据存储的诸多限制。该方案有以下优点： • 支持多种存储引擎，选用高可

识 识机 机 机制 制 制：可插拔的共识机制，支持PBFT、Raft和rPBFT共识算法，交易确认时延低、吞吐量 高，并具有最终一致性。其中PBFT和rPBFT可解决拜占庭问题，安全性更高。 • 存 存 存储 储 储：世界状态的存储从原来的MPT存储结构转为分布式存储，避免了世界状态急剧膨胀导致性 能下降的问题；引入可插拔的存储引擎，支持LevelDB、RocksDB、MySQL等多种后端存储，支持 限 限管 管 管理 理 理机 机 机制 制 制：基于分布式存储权限控制机制，灵活、细粒度地控制外部账户部署合约和创建、 插入、删除和更新用户表的权限。 • 支 支 支持 持 持国 国 国密 密 密算 算 算法 法 法：支持国密加密、签名算法和国密通信协议。 • 落 落 落盘 盘 盘加 加 加密 密 密方 方 方案 案 案：支持加密节点落盘数据，保障链上数据的机密性。 • 密 密 密钥 钥 钥管 户、时间等维度分到各群组，群组架构可快速地平行扩展，在扩大了业务规模同时，极大简化了 运维复杂度，降低管理成本。 更多的群组介绍，请参考 群组架构设计文档 和 群组使用教程 2.1.2 分 分 分布 布 布式 式 式存 存 存储 储 储 FISCO BCOS 2.0新增了对分布式数据存储的支持，节点可将数据存储在远端分布式系统中，克服了本地 化数据存储的诸多限制。该方案有以下优点： • 支持多种存储引擎，选用高可

发 中 心 拓数派中国总部与全球分支机构 杭州拓数派科技发展有限公司（又称"OpenPie"）是立足于国内,基础数据计算领域的高科技创新机构。 作 为 国 内 云 上 数 据 库 和 数 据 计 算 领 域 的 引 领 者 ， 拓 数 派 以 “Data Computing for New Discoveries”「数据计算，只为新发现」为使命，致力于在数字原生时代,运用突破性计算理论、 独 πDataCS旨在助力企业优化计算瓶颈、充分利用和发挥数据规模优势，构建核心技术壁垒，让大模 型技术全面赋能行业AI场景应用，助力合作伙伴成功，为企业创造更大的商业价值。 全 球 数 据 计 算 系 统 引 领 者 • 归国后在美国500强EMC旗下创建了Greenplum中国，随后在2013年在Paul Maritz（届时VMware CEO，曾任微软Windows平台总负责人）和Scott 拓数派 正式成立 成立杭州总部、北京研发中心、 上海全球品牌战略与生态发展中心 蓬勃发展的拓数派 驱动数据计算时代的到来 9月 成立加拿大研发中心 7月 PieCloudDB云原生数据库存算分离等关键技术打造完成 引领数据库行业全面走向云时代 8月 成立广州研发中心 10月 2022拓数派产品发布会 云原生数仓PieCloudDB 社区版与商业版正式发布 极速进入成长期 Day-1

识 识机 机 机制 制 制：可插拔的共识机制，支持PBFT、Raft和rPBFT共识算法，交易确认时延低、吞吐量 高，并具有最终一致性。其中PBFT和rPBFT可解决拜占庭问题，安全性更高。 • 存 存 存储 储 储：世界状态的存储从原来的MPT存储结构转为分布式存储，避免了世界状态急剧膨胀导致性 能下降的问题；引入可插拔的存储引擎，支持LevelDB、RocksDB、MySQL等多种后端存储，支持 限 限管 管 管理 理 理机 机 机制 制 制：基于分布式存储权限控制机制，灵活、细粒度地控制外部账户部署合约和创建、 插入、删除和更新用户表的权限。 • 支 支 支持 持 持国 国 国密 密 密算 算 算法 法 法：支持国密加密、签名算法和国密通信协议。 • 落 落 落盘 盘 盘加 加 加密 密 密方 方 方案 案 案：支持加密节点落盘数据，保障链上数据的机密性。 • 密 密 密钥 钥 钥管 户、时间等维度分到各群组，群组架构可快速地平行扩展，在扩大了业务规模同时，极大简化了 运维复杂度，降低管理成本。 更多的群组介绍，请参考 群组架构设计文档 和 群组使用教程 2.1.2 分 分 分布 布 布式 式 式存 存 存储 储 储 FISCO BCOS 2.0新增了对分布式数据存储的支持，节点可将数据存储在远端分布式系统中，克服了本地 化数据存储的诸多限制。该方案有以下优点： • 支持多种存储引擎，选用高可