简单网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 531 12.5.4 数据同步 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 531 12.5.5 数据分发 7.1 数据并行训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 540 12.7.2 环同步（Ring Synchronization） . . . . . . . . . . . . . . . . . . . . . . . . . . . . 542 12.7.3 多机训练 . . 将流程编译成可执行的程序； 3. 给定输入，调用编译好的程序执行。 这将允许进行大量的优化。首先，在大多数情况下，我们可以跳过Python解释器。从而消除因为多个更快 的GPU与单个CPU上的单个Python线程搭配使用时产生的性能瓶颈。其次，编译器可以将上述代码优化和重 写为print((1 + 2) + (3 + 4))甚至print(10)。因为编译器在将其转换为机器指令之前可以看到完整的代 码，

页面提交： https://github.com/dragen1860/Deep-Learning-with-PyTorch-book/issues ❑ 本书主页，以及源代码，电子书下载，正式版也会在此同步更新： https://github.com/dragen1860/Deep-Learning-with-PyTorch-book ❑ 姊妹书《TensorFlow 深度学习—深入理解人工智能算法设计》： 24 现在来考虑不合理的视图变换。例如，如果定义新视图为[?, , ℎ, ?]，[?, ?, ℎ ∗ ]或者 [?, ?, ℎ, ]等时，依据逻辑需要调整张量的存储顺序，如果不同步更新张量的存储顺序，那 么恢复出的数据将与新视图的逻辑不一致，从而导致数据错乱。合理性通常需要用户正确 理解数据，才能判断操作是否合理，因此具有一定主观性，但是对于大部分逻辑变换操作 而言，合理性都 “图片数量-行-列-通道”的顺序，视图维度顺序与存储维度顺序相悖，提取的数据将是错 乱的。 通过 reshape 改变视图时，必须始终记住张量的存储顺序，新视图的维度顺序不能与 存储顺序相悖，否则需要通过交换维度操作将存储顺序同步过来。举个例子，对于 shape 为[4,3,32,32]的图片数据，通过 reshape 操作将 shape 调整为[4,3,1024]，此时视图的维度顺 序为? − ? − pixel，张量的存储顺序为[

1:短时间内只有部分item和user 被命中，只有部分参数被⽤到 参数按需 获取/更新 Storage 异步训练流⽔线和多级存储：提升性能，降低内存成本 � 问题： � Learner线程中参数拉取和参数更新对性能影响⼤ � 内存成为主要资源瓶颈。由于需要等待全部参数 就绪，Parameter Server难以利⽤速度慢的存储 介质 样本读取 样本解析 参数拉 取 训练 异步参数处理流⽔线 参数 预准备 Batch⼊队列 Batch⼊队列 � 效果： � 在不影响训练效果的情况下，降低参数准备与更新耗时，提 ⾼训练速度。训练耗时下降超50% � 异步storage线程，⽀持基于冷热数据的多级存储。内存消 耗下降30%-70% 磁盘 训练 Lookup+ pooling 算⼦融合 Unique keys Storage 近期训练 参数管理 需保持顺 序，以保证 � GPU多线程并⾏计算能⼒对稀疏数据不友好 � ⽅案 � 原有：内存能够存储的参数->对应的样本量Group � 新增：显存能够存储的参数->对应的样本量Pass � 新增：GPU并⾏操作友好->CSR格式的显存数据访问 SSD磁盘 10TB 全部参数 内存 1TB 即将⽤到的参数 显存 32/40/80GB 正在训练的参数 分布式训练的慢机与同步问题 � Feature

MPI&RingAllreduce：Horovod，使用 MPI替换grpc，同步通信模式；带宽优化，增加延时； • PS&MPI：DistributionStrategy API，统一分布式语义，解耦分布式架构与模型训练框架 • 使用FP16通信，使用FP32做计算，带宽压力降低一倍 • IO优化 • 多线程样本并发读取，样本读取与计算PIPELINE，实现计算与IO的overlap 4

np.random.seed(42) # 以下是 Python 在一个明确的初始状态生成固定随机数字所必需的。 rn.seed(12345) # 强制 TensorFlow 使用单线程。 # 多线程是结果不可复现的一个潜在的来源。 # 更多详情，见: https://stackoverflow.com/questions/42022950/which-seeds-have-to-be 将类别映射为权重的字典。 • max_queue_size: 生成器队列的最大尺寸。 • workers: 使用的最大进程数量。 • use_multiprocessing: 如果 True，则使用基于进程的多线程。请注意，因为此实现依赖于多 进程，所以不应将不可传递的参数传递给生成器，因为它们不能被轻易地传递给子进程。 • shuffle: 是否在每轮迭代之前打乱 batch 的顺序。只能与 Sequence 作为步数。 • max_queue_size: 生成器队列的最大尺寸。 • workers: 使用的最大进程数量。 • use_multiprocessing: 如果 True，则使用基于进程的多线程。请注意，因为此实现依赖于多 进程，所以不应将不可传递的参数传递给生成器，因为它们不能被轻易地传递给子进程。 返回 标量测试误差（如果模型没有评估指标）或标量列表（如果模型计算其他指标）。属性

计算自身位置（在空间中的位置和朝向） • 构建环境地图（稀疏或者稠密的三维点云） 稀疏SLAM 稠密SLAM SLAM系统常用的框架 输入 • 传感器数据 前台线程 • 根据传感器数据进行跟踪求解， 实时恢复每个时刻的位姿 后台线程 • 进行局部或全局优化，减少误差累积 • 场景回路检测 输出 • 设备实时位姿 • 三维点云 RGB图 深度图 IMU测量值 优化以减少误差累积 回路检测 如果投影误差比较大，检测分裂点将序列分段，然后优化； • 重复上述步骤直至投影误差小于阈值或不能再分裂为止。 Garden数据集的SfM结果 6段长视频序列，将近10万帧，特征匹配74分钟，SfM求解16分钟（单线程），平均17.7fps VisualSFM：SfM求解 57 分钟 （GPU加速） Garden数据集上的比较 ENFT-SFM ORB-SLAM VisualSFM KITTI数据集上的定量比较

完善的配套工具，如go test, gofmt, go lint, race-detector Go语言在高性能系统中的实践经验 • Go在开发高性能应用上也有一些不足， 对比C++： - 无法直接控制操作系统线程，CUDA 调用需要特殊处理 - 部分标准库实现依赖reflect，性能较 差 - GC的带来的开销，如在Go Heap上 构建百万以上级别的对象缓存，需要 仔细优化 百倍慢于等价的C实现！

配送时长预估模型 • 基于现有状况、订单增速、消 化速度、天气、当前手段等多 维特征，使用XGBoost模型回 归预测未来五分钟进单的平均 配送时长 • 分商圈、分时段、多模型的精 细化预估 • 分布式、多线程、并行计算最 佳分割点，满足海量数据的实 时性要求 • 在供需失衡之前，即实施调控 手段 5 供需平衡 14 5.2 单量调控模型 • 通过价格平衡未来的进单量 和系统可承载的单量 •

Gradient Descent） 梯度下降的每一步中，都用到了所有的训练样本 参数更新 ??: = ?? − ? 1 ? ෍ ?=1 ? ℎ ?(?) − ?(?) ⋅ ?? (?) (同步更新?? ，(j=0,1,...,n )) 梯度 学习率 13梯度下降的三种形式 随机梯度下降（Stochastic Gradient Descent） ? = ? − ? ⋅ ??(?) Descent） 梯度下降的每一步中，用到一个样本，在每一次计算之后便更新参数，而不 需要首先将所有的训练集求和 参数更新 ??: = ?? − ? ℎ ?(?) − ?(?) ??(?) (同步更新?? ，(j=0,1,...,n )) 15 梯度下降的三种形式 小批量梯度下降（Mini-Batch Gradient Descent） 梯度下降的每一步中，用到了一定批量的训练样本 =batch_size，通常是2的指 数倍，常见有32,64,128等。 （小批量梯度下降,MBGD） 参数更新 ??: = ?? − ? 1 ? ෍ ?=? ?+?−1 ℎ ?(?) − ?(?) ?? (?) (同步更新?? ，(j=0,1,...,n )) 16 逻辑回归的梯度下降 小批量梯度下降（Mini-Batch Gradient Descent） 梯度下降的每一步中，用到了一定批量的训练样本

Gradient Descent） 梯度下降的每一步中，都用到了所有的训练样本 参数更新 ??: = ?? − ? 1 ? ෍ ?=1 ? ℎ ?(?) − ?(?) ⋅ ?? (?) (同步更新?? ，(j=0,1,...,n )) 梯度 学习率 15梯度下降的三种形式 随机梯度下降（Stochastic Gradient Descent） ? = ? − ? ⋅ ??(?) Descent） 梯度下降的每一步中，用到一个样本，在每一次计算之后便更新参数，而不 需要首先将所有的训练集求和 参数更新 ??: = ?? − ? ℎ ?(?) − ?(?) ??(?) (同步更新?? ，(j=0,1,...,n )) 17 梯度下降的三种形式 小批量梯度下降（Mini-Batch Gradient Descent） 梯度下降的每一步中，用到了一定批量的训练样本 =batch_size，通常是2的指 数倍，常见有32,64,128等。 （小批量梯度下降,MBGD） 参数更新 ??: = ?? − ? 1 ? ෍ ?=? ?+?−1 ℎ ?(?) − ?(?) ?? (?) (同步更新?? ，(j=0,1,...,n )) 18 梯度下降与最小二乘法比较 梯度下降：需要选择学习率?，需要多次迭代，当特征数量?大时也能较 好适用，适用于各种类型的模型。 最小二乘法：不需要选择学习率