复杂环境下的视觉同时定位与地图构建 章国锋 浙江大学CAD&CG国家重点实验室 SLAM: 同时定位与地图构建 • 机器人和计算机视觉领域的基本问题 • 在未知环境中定位自身方位并同时构建环境三维地图 • 广泛的应用 • 增强现实、虚拟现实 • 机器人、无人驾驶 SLAM常用的传感器 • 红外传感器：较近距离感应，常用于扫地机器人。 • 激光雷达：单线、多线等。 • 摄像头：单目、双目、多目等。 普通手机摄像头也可作为传感器 双目摄像头 微软Kinect彩色-深度（RGBD）传感器 手机上的惯性传感器（IMU） SLAM运行结果 • 设备根据传感器的信息 • 计算自身位置（在空间中的位置和朝向） • 构建环境地图（稀疏或者稠密的三维点云） 稀疏SLAM 稠密SLAM SLAM系统常用的框架 输入 • 传感器数据 前台线程 • 根据传感器数据进行跟踪求解， 实时恢复每个时刻的位姿 后台线程 虚拟/增强现实：Inside-Out方案 目前绝大多数VR头盔都采用 Outside-In的定位方案，需要在环境 中放置一个或多个传感器，活动范 围受限，不支持大范围移动的定位。 基于SLAM技术的VR/AR可以实现Inside-Out方案：将传感器固定在使用者端。 优点：不需要提前布置环境中的传感器，且没有活动范围的限制。 《The Devices of VR: Part 3 – The Future

开发环境准备 主讲人：龙良曲 开发环境 ▪ Python 3.7 + Anaconda 5.3.1 ▪ CUDA 10.0 ▪ Pycharm Community ANACONDA CUDA 10.0 ▪ NVIDIA显卡 CUDA 安装确认 路径添加到PATH CUDA 测试 PyTorch安装 管理员身份运行cmd PyCharm ▪ 配置Interpreter

llama-cpp-python 实现）、ExLlamaV2 、AutoGPTQ 、AutoAWQ 、GPTQ-for-LLaMa 、CTransformers 以及 QuIP# 。在本节中，我们将介绍如何在本地环境中使用 TGW 运行 Qwen。 1.6.1 快速开始 最简单的运行 TGW（Text Generation WebUI）的方法是使用 repo 中提供的 Shell 脚本。首先，克隆 repo bat ，在 MacOS 系统上运行 start_macos.sh ，或者在 Windows 子系统 Linux（WSL）上运行 start_wsl.bat 。另外，你也可以选择手动在 conda 环境中安装所需的依赖项。这 里以 MacOS 系统为例进行实践操作。 conda create -n textgen python=3.11 conda activate textgen pip install install vLLM>=0.3.0 ，但如果你正在使用 CUDA 11.8，请查看官方文档中的注意事项以获取有关安装的帮助（链接 ）。我们也建议你通过 pip install ray 安装 ray，以便支持分布式服务。 1.10. vLLM 19 Qwen 1.10.2 离线推理 Qwen2 代码支持的模型，例如 Qwen1.5，都被 vLLM 所支持。vLLM 最简单的使用方式是通过以下演示进行 离线批量推理。

������������������������������������������������������������������������������������������� 2 1.2 环境搭建������������������������������������������������������������������������������������������������� 的的历史与发展，主要模 块构成与基础操作代码演示。重点介绍 Pytorch 的各个组件、编程方式、环境 搭建、基础操作代码演示。本章对有 Pytorch 开发经验的读者来说可以直接跳 过；对初次接触 Pytorch 的读者来说，通过本章学习认识 Pytorch 框架，搭建 好 Pytorch 的开发环境，通过一系列的基础代码练习与演示建立起对深度学习 与 Pytorch 框架的感性认知。 本书内容以 本书内容以 Python 完成全部代码构建与程序演示。本章的主要目标是帮助初 次接触 Python 与 Pytorch 的读者搭建好开发环境，认识与理解 Pytorch 框架 中常见的基础操作函数、学会使用它们完成一些基础的数据处理与流程处理， 为后续内容学习打下良好基础。 好了，下面就让我们来一起开启这段 Pytorch 框架的深度学习破冰之旅。 PyTorch + OpenVINO 开发实战系列教程

TensorFlow 2 核心模块 TensorFlow 2 核心模块概览 tf.keras：分布式和高性能的 Keras • 构建和训练模型的高层次 API • API 完全兼容原生 Keras • 支持保存和加载 TensorFlow SavedModel • 支持 Eager Execution • 支持分布式训练 tf.data：功能强大的数据管理模块 支持多种数据处理 图像解码 Shuffle py_function 重采样 支持多种数据格式 图像文件 文本文件 CSV 文件 NumPy 数组 Python 生成器 TFRecord 支持多种数据来源 本地文件 分布式文件系统 对象存储系统 tf.distribute：一行代码实现分布式 Training API MirroredStrategy TPUStrategy MultiWorkerMirro redStrategy CentralStorageSt CPU 环境的分布式 YOLOv3 实现》 魂斗罗游戏中识别角色 K8s Pod K8s Pod K8s Pod Horovod(CPU) on Kubernetes model TensorFlow Serving Keras 模型训练 • DataGenerator • 随机读取 … … 图片训练集 Ceph 数据并行实现 基于 Horoved CPU 平台的分布式模型训练及部署

8.2 参数初始化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 4.9 环境和分布偏移 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 4.9.1 深度学习的快速发展，一些在印刷版中代 码可能在PyTorch的未来版本无法正常工作。但是，我们计划使在线版本保持最新。如果读者遇到任何此类 问题，请查看安装 (page 9) 以更新代码和运行时环境。 下面是我们如何从PyTorch导入模块。 #@save import numpy as np import torch (continues on next page) 目录 5 (continued 题的答案。 Discussions7 6 https://discuss.d2l.ai/ 7 https://discuss.d2l.ai/t/2086 8 目录 安装 我们需要配置一个环境来运行 Python、Jupyter Notebook、相关库以及运行本书所需的代码，以快速入门并 获得动手学习经验。 安装 Miniconda 最简单的方法就是安装依赖Python 3.x的

TensorFlow 2 实现分布式训练 • 使⽤ TensorFlow Hub 迁移学习 • 使⽤ @tf.function 提升性能 • 使⽤ TensorFlow Serving 部署云端服务 • 使⽤ TensorFlow Lite 实现边缘智能 目录 使⽤ TensorFlow 2 实现图像数据增强 使⽤ TensorFlow 2 实现分布式训练 使⽤ TensorFlow TensorFlow Lite 官网 https://www.tensorflow.org/lite/examples TensorFlow Lite Examples 搭建 TensorFlow Lite 运行环境 (Android) https://developer.android.com/studio Step 1：下载 TensorFlow examples 项目 $ git clone https://github

用户期望时间 • 预计出餐时间.. • 现有订单的配送路线 • 新增订单后配送路线的改变情况 • 历史取送餐速度 • 完成每个订单的预计时间 • 熟悉的区域 • 配送工具 • 装载情况.. 环境相关 • 当前配送的繁忙程度 • 天气情况.. 1 2 3 提纲 4 外卖订单的智能 调度系统 一. 智能调度系统的 大数据分析监控 二. 智能调度系统中 的人工智能 三. 配送时长预估模型 • 基于现有状况、订单增速、消 化速度、天气、当前手段等多 维特征，使用XGBoost模型回 归预测未来五分钟进单的平均 配送时长 • 分商圈、分时段、多模型的精 细化预估 • 分布式、多线程、并行计算最 佳分割点，满足海量数据的实 时性要求 • 在供需失衡之前，即实施调控 手段 5 供需平衡 14 5.2 单量调控模型 • 通过价格平衡未来的进单量 和系统可承载的单量

. . . . . . . 6 2.4 Keras 支持多个后端引擎，并且不会将你锁定到一个生态系统中 . . . . . . . . . . 6 2.5 Keras 拥有强大的多 GPU 和分布式训练支持 . . . . . . . . . . . . . . . . . . . . . . 6 2.6 Keras 的发展得到深度学习生态系统中的关键公司的支持 . . . . . . . 然后你就可以安装 Keras 本身了。有两种方法安装 Keras： • 使用 PyPI 安装 Keras (推荐)： sudo pip install keras 如果你使用 virtualenv 虚拟环境, 你可以避免使用 sudo： pip install keras • 或者：使用 Github 源码安装 Keras： 首先，使用 git 来克隆 Keras： git clone https://github TensorFlow 后端和 Google Cloud。 • OpenGL 支持的 GPU, 比如 AMD, 通过 PlaidML Keras 后端。 2.5 Keras 拥有强大的多 GPU 和分布式训练支持 • Keras 内置对多 GPU 数据并行的支持。 • 优步的 Horovod 对 Keras 模型有第一流的支持。 • Keras 模型可以被转换为 TensorFlow 估计器并在

Embedding以稀疏的⽅式表达信息 ⼤规模推荐模型深度学习系统基本解决维度 分布式 系统 ⼤规模 模型 优化 算法 1. ⾼性能 2. 效果⽆ 损的优化 � Feature 1（基本特点） � Feature 2（数据的时空 特点） � Feature3（机器学习 的特点） ⼤规模推荐模型深度学习系统基本解决维度 分布式 系统 ⼤规模 模型 优化 算法 1. ⾼性能 2. 效果⽆ 损的优化 � Feature 1（基本特点） � Feature 2（数据的时空 特点） � Feature3（机器学习 的特点） 训练框架—基于参数服务器架构的分布式训练框架 TB级模型 分⽚ 存储/更新 百TB数据 分⽚训练 Feature 1: 动态空间 Feature 2.1:短时间内只有部分item和user 被命中，只有部分参数被⽤到 参数按需 即将⽤到的参数 显存 32/40/80GB 正在训练的参数 分布式训练的慢机与同步问题 � Feature 2.1: 短时间内只有部分item和user被命中， 只有部分参数被⽤到 � GPU训练的优势 � 更少的机器节点，更少的分布式系统相关问题 � 更⾼的性价⽐ 1. 减少节点数 2. 提升节点同 构性 推理服务—分布式Serving架构 � 读写架构 � 多线程⽆锁：基于模型版本的读写分离