Labs 阿里巴巴人工智能实验室 AiILabs & TVM PART 1 : ARM32 CPU CONTENT PART 2 : HIFI4 DSP PART 3 : _ PowervVR GPU [和| Alibaba AL.Labs 阿里巴巴人工智能实验室 ARM 32 CPU Resolution Quantization Orize Kernel ALIOS ent pl 1=int8 int8 * int8 int32 = int16 1 + int16 x int8 Alibaba Al.Labs 阿里巴巴人工智能实验室 CPU : MTK8167S (ARM32 A35 1.5GHz) Model : MobileNetV2_ 1.0_ 224 400 336 350 3丈 300 250

20% 40% 60% 80% 100% VGG16 ResNet-50 GoogleNet-V3 Aristotle on 7020 FPGA Iphone8plus Kirin 970 CPU MEM CONTROLLER BUS Data Mover IMG WR SCHEDULER WEIGHTS WR SCHEDULER SMART MEM FABRIC IMG RD Efficiency > 50% for mainstream neural networks >> 4© Copyright 2018 Xilinx Inference Flow >> 5 MxNet CPU Layers FPGA Layers Runtime Image Model Weights Calibration Set Quantizer Compiler Tensor Graph TVM Partitioning >> 7 Subgraph 1 Parallel Subgraphs Post-Processing Pre-Processing FPGA or CPU FPGA CPU CPU FPGA - More than supported/not supported, pattern matching graph colorization - Choices how

TVMQ@Alios AIOS ! 驱动万物智能 PRESENTATION AGENDA 人 人 e 人 e@ TVM Q@ AliOs Overview TVM @ AliOs ARM CPU TVM @ AliOos Hexagon DSP TVM @ Alios Intel GPU Misc /NiiOS ! 驱动万物智能 PART ONE TVM Q@ AliOs Overview Multimodal Interection CPU (ARM、Intel) 1驱动万物智能 Accelerated Op Library / Others Inference Engine DSP (Qualcomm) PART TWO Alios TVM @ ARM CPU AiOS 1驱动万物智能 Alios TVMQOARM CPU 。 Support TFLite ( Open Open Source and Upstream Master ) 。， Optimize on INT8 & FP32 AiiOS ! 驱动万物智能 Alios TVM @ ARM CPU INT8 * Cache 芍四 Data FO Data FOData … QNNPACK Convolution 。，NHWC layout Cach， 浆百

文/包云岗 一、引言 芯片有几十种大类，上千种小类，本文主要关注处理器芯片。这类芯片的特点是需要运行 软件，例如：微控制处理器（MCU）会运行实时操作系统或者直接运行某个特定程序；中央处 理器（CPU）往往会运行 Windows、Linux 等复杂操作系统作为底座支撑整个软件栈；图形 处理器（GPU）一般不加载操作系统而是直接运行图形图像处理程序，神经网络处理器 （NPU）则直接运行深度学习相关程序。 项。这是一个很奇怪的数字，可以说是颠覆了传统 CPU 架构设计人员 的观念，以致于有人在技术网站上讨论 M1 微架构时提出这会不会是一个笔误，因为一方面以 往 CPU 的 ROB 一般都不超过 200 项，另一方面是 ROB 项目一般都是 32 或者 64 的 倍数。更进一步，苹果为什么要这么设计？为什么不是 400 项 ROB 或者是 800 项 ROB？ 显然，苹果在其公司内部拥有一整套 CPU 研发基础设施，能通过分析 作发表于 2011 年的 IJCAI 会议[9]，是 AI 调优芯片方向的早期工作之一。 2021 年，杜克大学陈怡然教授团队与 ARM 公司合作，使用一套统一的机器学习模型同 时对设计和运行阶段的 CPU 功耗进行快速实时计算，发表于 2021 年计算机体系结构领域 81 / 111 MICRO 会议，论文题目为《可用于大规模商业化处理器的全自动化功耗模拟架构 （APOLLO:An Automated

build_extern(mod, “dnnl”) 4. Run the inference exe = relay.create_executor(“vm”, mod=mod, ctx=tvm.cpu(0)) data = np.random.uniform(size=(1, 3, 224, 224)).astype(“float32”) out = exe.evaluate()(data, **params) Relay Runtime (VM, Graph Runtime, Interpreter) Your Dispatcher Target Device General Devices (CPU/GPU/FPGA) Mark supported operators or subgraphs 1. Implement an operator-level annotator, OR 2. Implement Relay Runtime (VM, Graph Runtime, Interpreter) Your Dispatcher Target Device General Devices (CPU/GPU/FPGA) Mark supported operators or subgraphs 1. Implement extern operator functions, OR 2. Implement

Krita 的最新开发进度。如果你定期从开发代码仓库获取 最新代码编译 Krita，你将可以试用许多正在开发的新功能。 你可以在构建时为你的处理器进行优化。预构建的软件包往往只能针对最 低标准的 CPU 进行优化。 你可以立即获得全部已完成的程序缺陷修复。 你可以向我们的程序员提供反馈新功能中的问题，帮助我们进行软件测 试。这对 Krita 的开发来说至关重要，以至于我们会在关于对话框里列出 经常协助测试的人员名单。 面，这个特 点使得它们具有更好的伸缩性。你只需要告诉该运算把坐标值增大 4 倍，生成 的图像就可以跟着放大，而放大后的细节不会有任何损失。矢量数据的体积更 小，可编辑性也更好，但代价是消耗更多的 CPU 资源。 操作数据 这里保存了软件在各种图层中进行的操作，例如用来调整其他图层颜色的滤镜 图层、透明度蒙版、图层组和变形蒙版等。不同软件的操作数据格式有所差 别，Krita 对这些数据的支持情况 选择截图的图像格式。*.jpg格式速度更快，*.png格式画质更好。 画质 调整 JPEG 截图的画质。数值越高，品质越好，文件越大。不影响 CPU 使用率。不建议设为 50 以下，否则画质将明显劣化。 压缩 调整 PNG 截图的压缩水平。数值越高，文件越小，但 CPU 使用率更高。 不影响图像品质。不建议设为 0，否则将占用大量存储空间；不建议高于 3，否则将严重影响程序性能。设为 1 到 3 之间可以有效平衡速度和空间

Due to this vector data is much more editable, lighter, but at the same time it’s also much more CPU intensive. Operation Data Stuff like the filter layers, that tells Krita to change the colors of multithreading for the animation cache and handling the drawing of brush tips when using the pixel brush. CPU Limit The number of cores you want to allow Krita to use when multithreading. Frame Rendering Clones special way of asking the CPU to do maths, these have names such as SIMD and AVX. These optimizations can make Krita a lot faster when painting, except when you have an AMD CPU under Windows. There seems

Krita 的最新开发进度。如果你定期从开发代 码仓库获取最新代码编译 Krita，你将可以试用许多正在开发 的新功能。 你可以在构建时为你的处理器进行优化。预构建的软件包往往 只能针对最低标准的 CPU 进行优化。 你可以立即获得全部已完成的程序缺陷修复。 你可以向我们的程序员提供反馈新功能中的问题，帮助我们进 行软件测试。这对 Krita 的开发来说至关重要，以至于我们会 在关于对话框里列出经常协助测试的人员名单。 面，这个特点使得它们具有更好的伸缩性。你只需要告诉该运算把 坐标值增大 4 倍，生成的图像就可以跟着放大，而放大后的细节不 会有任何损失。矢量数据的体积更小，可编辑性也更好，但代价是 消耗更多的 CPU 资源。 操作数据 这里保存了软件在各种图层中进行的操作，例如用来调整其他图层 颜色的滤镜图层、透明度蒙版、图层组和变形蒙版等。不同软件的 操作数据格式有所差别，Krita 对这些数据的支持情况取决于文件 选择截图的图像格式。*.jpg格式速度更快，*.png格式画质更 好。 画质 调整 JPEG 截图的画质。数值越高，品质越好，文件越大。不 影响 CPU 使用率。不建议设为 50 以下，否则画质将明显劣 化。 压缩 调整 PNG 截图的压缩水平。数值越高，文件越小，但 CPU 使 用率更高。不影响图像品质。不建议设为 0，否则将占用大量 存储空间；不建议高于 3，否则将严重影响程序性能。设为 1 到 3 之间可以有效平衡速度和空间占用。

Krita 的最新开发进度。如果你定期从开发代码仓库获取 最新代码编译 Krita，你将可以试用许多正在开发的新功能。 你可以在构建时为你的处理器进行优化。预构建的软件包往往只能针对最 低标准的 CPU 进行优化。 你可以立即获得全部已完成的程序缺陷修复。 你可以向我们的程序员提供反馈新功能中的问题，帮助我们进行软件测 试。这对 Krita 的开发来说至关重要，以至于我们会在关于对话框里列出 经常协助测试的人员名单。 面，这个特 点使得它们具有更好的伸缩性。你只需要告诉该运算把坐标值增大 4 倍，生成 的图像就可以跟着放大，而放大后的细节不会有任何损失。矢量数据的体积更 小，可编辑性也更好，但代价是消耗更多的 CPU 资源。 操作数据 这里保存了软件在各种图层中进行的操作，例如用来调整其他图层颜色的滤镜 图层、透明度蒙版、图层组和变形蒙版等。不同软件的操作数据格式有所差 别，Krita 对这些数据的支持情况取决于文件是由哪些软件生成的。例如， 选择截图的图像格式。*.jpg格式速度更快，*.png格式画质更好。 画质 调整 JPEG 截图的画质。数值越高，品质越好，文件越大。不影响 CPU 使 用率。不建议设为 50 以下，否则画质将明显劣化。 压缩 调整 PNG 截图的压缩水平。数值越高，文件越小，但 CPU 使用率更高。 不影响图像品质。不建议设为 0，否则将占用大量存储空间；不建议高于 3，否则将严重影响程序性能。设为 1 到 3 之间可以有效平衡速度和空间占

Krita 的最新开发进度。如果你定期从开发代码仓库获取 最新代码编译 Krita，你将可以试用许多正在开发的新功能。 你可以在构建时为你的处理器进行优化。预构建的软件包往往只能针对最 低标准的 CPU 进行优化。 你可以立即获得全部已完成的程序缺陷修复。 你可以向我们的程序员提供反馈新功能中的问题，帮助我们进行软件测 试。这对 Krita 的开发来说至关重要，以至于我们会在关于对话框里列出 经常协助测试的人员名单。 面，这个特 点使得它们具有更好的伸缩性。你只需要告诉该运算把坐标值增大 4 倍，生成 的图像就可以跟着放大，而放大后的细节不会有任何损失。矢量数据的体积更 小，可编辑性也更好，但代价是消耗更多的 CPU 资源。 操作数据 这里保存了软件在各种图层中进行的操作，例如用来调整其他图层颜色的滤镜 图层、透明度蒙版、图层组和变形蒙版等。不同软件的操作数据格式有所差 别，Krita 对这些数据的支持情况取决于文件是由哪些软件生成的。例如， 选择截图的图像格式。*.jpg格式速度更快，*.png格式画质更好。 画质 调整 JPEG 截图的画质。数值越高，品质越好，文件越大。不影响 CPU 使 用率。不建议设为 50 以下，否则画质将明显劣化。 压缩 调整 PNG 截图的压缩水平。数值越高，文件越小，但 CPU 使用率更高。 不影响图像品质。不建议设为 0，否则将占用大量存储空间；不建议高于 3，否则将严重影响程序性能。设为 1 到 3 之间可以有效平衡速度和空间占