度算法，轮换着执行着不同的线程，看起来 就好像是同时运行一样，其实每一时刻只有 一个线程在运行。目的：异步地处理多个不 同的任务，避免同步造成的阻塞。 • 并行：多核处理器，每个处理器执行一个线 程，真正的同时运行。目的：将一个任务分 派到多个核上，从而更快完成任务。 举个例子 • 并发：某互联网公司购置了一台单核处理 器的服务器，他正同时处理 4 个 HTTP 请求，如果是单线程的 上一课的案例代码：基于标准库 基于 TBB 的版本：任务组 • 用一个任务组 tbb::task_group 启动多个 任务，一个负责下载，一个负责和用户交 互。并在主线程中等待该任务组里的任务 全部执行完毕。 • 区别在于，一个任务不一定对应一个线程 ，如果任务数量超过 CPU 最大的线程数， 会由 TBB 在用户层负责调度任务运行在 多个预先分配好的线程，而不是由操作系 统负责调度线程运行在多个物理核心。 第 4 章：任务域与嵌套 https://link.springer.com/chapter/10.1007%2F978-1-4842-4398-5_12 任务域： tbb::task_arena 任务域：指定使用 4 个线程 嵌套 for 循环 嵌套 for 循环：死锁问题 死锁问题的原因 • 因为 TBB 用了工作窃取法来分配任务： 当一个线程 t1 做完自己队列里全部的工 作时，会从另一个工作中线程

Asynchronous Rust 异步并发框架是许多大型应用、系统具备的底层能力。 区别于多线程编程模型，它带来以下优势：  任务调度颗粒度更小，充分利用线程资源  更可控的线程数  单个任务资源占用：几十 KB -> 几百 Byte  任务切换时间 : 10 微秒 -> 100 纳秒 Rust 语言并没有提供异步并发框架， 只提供异步所需的基本特性：  Future  适用于处理 CPU 密集型计算任务 rayon 现有框架无法完美适配移动端（一） Core Thread Thread Worker Worker task task Local queue Local queue Tokio 采用了如右图这种 GMP 模式： • 一核可以绑定多线程，每个线程拥有一个 Worker ，每个 Worker 拥有一个任务队列 • 但线程拥有相同优先级 但线程拥有相同优先级 • Worker 只持有一个本地 FIFO 队列 移动端诉求：优先级 • 任务区分优先级： UI 显示 vs 后台下载 • 大小核调度 Incompatibility of the third party Runtime with Mobile 现有框架无法完美适配移动端（二） 移动端诉求：易用性 • IO 密集性任务与 CPU 密集型任务融合 异步并发框架如 tokio 大多用于处理大量

每个线程共享同样的内存空间，开销比较小。 • 每个进程拥有独立的内存空间，因此开销更大。 • 对于高性能并行计算，更好的是多线程。 为什么需要多线程：无阻塞多任务 • 我们的程序常常需要同时处理多个任务。 • 例如：后台在执行一个很耗时的任务，比 如下载一个文件，同时还要和用户交互。 • 这在 GUI 应用程序中很常见，比如浏览 器在后台下载文件的同时，用户仍然可以 用鼠标操作其 UI 界面。 的过程中会暂时 unlock() 这个锁。 案例：实现生产者 - 消费者模式 • 类似于消息队列…… • 生产者：厨师，往 foods 队列里推送食品 ，推送后会通知消费者来用餐。 • 消费者：等待 foods 队列里有食品，没有 食品则陷入等待，直到被通知。 条件变量：将 foods 队列封装成类 std::condition_variable 小贴士 1. std::condition_variable

1>>>() 后，并不 会立即在 GPU 上执行完毕，再返回。实际上只是把 kernel 这个任务推送到 GPU 的执行队列上，然后立即 返回，并不会等待执行完毕。 • 因此可以调用 cudaDeviceSynchronize() ，让 CPU 陷 入等待，等 GPU 完成队列的所有任务后再返回。从而 能够在 main 退出前等到 kernel 在 GPU 上执行完。 定义在 GPU 当前板块的编号： blockIdx • 总的板块数量： gridDim • 线程 (thread) ：并行的最小单位 • 板块 (block) ：包含若干个线程 • 网格 (grid) ：指整个任务，包含若干个板块 • 从属关系：线程＜板块＜网格 • 调用语法： <<>> 区分板块和线程有点麻烦？“扁平化”他们！ • 你可能觉得纳闷，既然已经有线程可以并行了 稍微快一些，但不完全精确的 __sinf • 两个下划线的 __sinf 是 GPU intrinstics ，精度相当于 GLSL 里的那种。 适合对精度要求不高，但有性能要求的图 形学任务。 • 类似的这样的低精度內建函数还有 __expf 、 __logf 、 __cosf 、 __powf 等。 • 还有 __fdividef(x, y) 提供更快的浮点除法 ，和一般的除法有相同的精确度，但是在

taosX - 物联网数据接入问题 • 多种不同协议数据对接，开发复杂度高 • 模块之间关联性不高但模块组成复杂，可维护性差 • 大量设备大量数据归集存储，存储压力大 • 数据总线 / 消息队列消息接入，定制化程度要求高 • 数据业务逻辑自定义需求强 • 一定的实时数据分析能力 taosX - 功能路线图 集群运维 数据接入 流式处理 流式处理 数据分享 开放平台 • Backup/Restore spawn_blocking 提交耗时任务 • C FFI 调用时，要关注上下文的线程安全性。 • 多个运行时之间使用 Channel 通信，降低锁使用范围。 Tokio - Graceful Stop • futures::future::Abortable 可用于短路一个 stream • tokio_util::sync::CancellationToken 可用于向一个或多个任务发出取 消信号， Task 信号，可用于最终程序退出时的取 消操作。 • 谨慎处理任务中 channel 的结束信号。 • cancel vs. abort ： Cancel 处理按预期退出， Abort 要保证安全退 出。 • 处理非正常退出（断电、 kill -9 等），保证系统安全性。 Thank you ！ Tokio - Graceful Stop • 将任务恢复作为优雅退出的目标之一。

浪费读取的带宽。这样的条件实在有点苛刻，毕 竟小彭老师的电脑还不支持 AVX512 。 • 可以用 _mm_stream_si32 指令代替直接赋值的 写入，他能够绕开缓存，将一个 4 字节的写入操 作，挂起到临时队列，等凑满 64 字节后，直接写 入内存，从而完全避免读的带宽。 • 可惜这货只支持 int 做参数，要用 float 还得转换 一下指针类型， bitcast 一下参数。 stream 的特点：不会读到缓存里 • 才应该用 stream 指令。 4 倍矢量化的版本： _mm_stream_ps • _mm_stream_si32 可以一次性写入 4 字 节到挂起队列。而 _mm_stream_ps 可以 一次性写入 16 字节到挂起队列，更加高 效了。 • 他的第二参数是一个 __m128 类型，可以 配合其他手写的 SIMD 指令使用。 • 不过， _mm_stream_ps 写入的地址必须 可以看到应用了分块 + 预取 + 直写的 x_blur ，和直写的拷贝一样快了。虽然 这里 loadu 重复加载了同样的地址可能还有可优化之处，但既然唯一的瓶颈 已经变成了内存带宽，那我们的缓存优化任务应该是完成了。 Y 方向的插桩比 X 方向慢好多 • 为什么会这样？ • 因为 X 方向的插桩所读取的数据，在内存中是连续的。 • 而 Y 方向的插桩所读取的数据，在内存看来表现为跳跃 nx

Rust 生产实践 生产实践 – Tokio 为什么使用 Tokio ？ 1. 业界使用最广泛，测试齐全。 2. Tokio 支持 async/await ，提供了高效的异步锁、异步队列等。 3. Tokio 社区支持好。 生产实践 – Tokio Rust future preemption https://docs.rs/tokio/latest/tokio/# spawn(task2) cpu_runtime.spawn(task3) 生产实践 – Preemption 总结： Mixed workload: 碰到混合负载的时候，把 CPU 密集型任务隔离出去 会得到比较好的效果。 相关 Blog ： 1. https://tokio.rs/blog/2020-04-preemption 2. https://www.influxdata

(pipeline) 。流水线的目的是能把原本 串行的一系列指令并行化。为了理解为什 么需要流水线，我们先反过来，假设没有 流水线，会有什么坏处。 • 例如，右边你今天早上的任务清单。 • 请问你这些任务总共需要多少时间？ 任务 时间 占用资源 洗脸 5 分钟 眼睛，嘴巴，手 烧开水 10 分钟 煤气灶 刷牙 5 分钟 嘴巴，手 看比站 15 分钟 眼睛 吃饭 30 分钟 嘴巴，手 拉粑粑 存器来指令解码单元才开始继续工作，很 低效。 任务 时间 占用资源 洗脸 5 分钟 眼睛，嘴巴，手 烧开水 10 分钟 煤气灶 刷牙 5 分钟 嘴巴，手 看比站 15 分钟 眼睛 吃饭 30 分钟 嘴巴，手 拉粑粑 20 分钟 屁股 洗脸 烧开水 刷牙 看比站 吃饭 拉粑粑 5 10 5 15 30 20 为什么需要流水线 • 更高效的办法是，观察每个任务都占用哪些 资源，所占用资源不冲突的可以同时进行， + 20 = 40 分钟，比你快一倍多。 任务 时间 占用资源 洗脸 5 分钟 眼睛，嘴巴，手 烧开水 10 分钟 煤气灶 刷牙 5 分钟 嘴巴，手 看比站 15 分钟 眼睛 吃饭 30 分钟 嘴巴，手 拉粑粑 20 分钟 屁股 洗脸 刷牙 烧开水 吃饭 看比站 拉粑粑 5 5 10 20 条件跳转指令 • 让不占用相同资源的任务同时进行，这也是 CPU 流水线的初衷。但理想是美好的，现实

dockerfile 生成镜像服务） – 选择存储来源：对接了内部的存储 – 填写代码地址，执行的命令等 – 可以选择是否监控训练，提供 tensorboard 任务列表 可以指定 git 的 commit-id 发起任务 任务详情 可以查看具体的容器列表，以及查看容器的日志和事件 Serving 服务 提供统一便捷的 Serving 服务，只需用户指定模型，即可提供 grpc 和 rest

• 单元测试、代码扫描 更新日常开发环境及 dev 业务配 置 project-dev-workflow • 构建、配置变更（ Apollo/Nacos ）、数 据变更、部署、冒烟测试、项目管理任务 变更 测试工程师 更新测试验证环境 project-sit-workflow • 构建、配置变更（ Apollo/Nacos ）、数 据变更、部署、接口测试 更新集成测试环境 project-auto-sit-workflow 更新业务配置（以 Nacos 为例） 执行对应环境的工作流，选择配置并按需修改，更新 Nacos 配置 Sprint 发布 测试验证 变更发布 产品规划 需求开发 更新项目管理任务状态 执行对应环境的工作流，选择对应任务 Sprint 发布 测试验证 变更发布 产品规划 需求开发 更新数据库 执行对应环境的工作流，输入 SQL 语句执行数据更新 Sprint 发布 测试验证 变更发布