## PyTorch ## RNN训练难题 主讲人：龙良曲  ## Simple Yet? Nothing is straightforward. ![Image](/uploads/documents/a/b/d/0/abd0d93

[Image](/uploads/documents/a/3/b/b/a3bbe1f6675c3cec959e1f224b976c60/p1_2.jpg) PYTHON 30th ## 使用Python训练和部署低精度模型 (TensorFlow版) 张校捷 2019/9/21 ## 目录 >> 低精度的概念和意义 TensorFlow的FP16模型 >> TensorRT的FP16/Int8模型 n_lists.h  ## FP16训练模型精度 Table 1: ILSVRC12 classification top-1 accuracy. |Model|Baseline|Mixed Precision|Reference|

17-6.18 @Shanghai Rust China Conf 2023 # Rust OS 开源操作系统训练营的教与学 李明 清华大学 2023-6-17 ## 1 Rust OS 开源训练营的起因和发展 ## 鹏城实验室 PENGCHENG LABORATORY ## 开源操作系统训练营的起源（2020年） |30|||| 训练营过去三年的发展情况 2020年 ~ 2022年 • 2020年 • 夏季训练营 2020.7.1 ~ 8.31 • 2021年 CSCC 全国大学生计算机系统能力大赛 • 夏季训练营 2021.7.1 ~ 7.31 2022年 CSCC 全国大学生计算机系统能力大赛 • 夏季训练营 2022.7.3 ~ 8.31 • 秋冬季训练营 2022.10.16 Hub of OS Kernel ## 2023 开源操作系统训练营 • 2023.05.27：在5月底前完成第二阶段 rCore OS 实验的全部内容，排行榜分数达到500分（满分）或类似的能力证明的同学，可联系李明老师了解详情，参加内容丰富的线下实习计划。实习地点在北京/济南。 ·2023.05.07：部分已经完成训练营第二阶段训练的同学，可联系李明老师，与全国的学生/工程师一起参加各种有趣挑战性的小项目

## 七 牛AI训练业务的K8S实践 袁晓沛 七牛容器云负责人 ## QCon 全球软件开发大会 10⽉17-19⽇上海·宝华万豪酒店  扫码锁定席位 ## 九 折即将结束 团购还享更多优惠，折扣有效期至9月17日 扫描右方二维码即可查看大会信息及购票 扫描添加E小欧， 邀您进入EGO会员预报名群 立即报名 TECHNOLOGY EGO ## TABLE OF CONTENTS AI训练的业务情况 AI训练的痛点 为什么用K8S 基于K8S的AI训练 一次踩坑经历 接下来的工作 ## AI训练流程 ![Image](/uploads/documents/1/e/a/e/1eae6abc6c8389e508255ddf048c8d7f/p6_1 创建 训练样本集 Name 供训练任务高速读取 resize, shuffle, stats 训练参数 ServingGate 开放 API 访问 私有 API 访问 按版本访问 启动训练 模型推理 API AppName, AppVersion 一键部署 分阶段发布 分布式、容器化 发布 启动评测 独立评测任务ID 容器化 评测参数 ## AI训练迭代 原始数据

项目进阶实战》视频课程 快速上手篇：动手训练模型和部署服务 ## 目录 - TensorFlow 2 开发环境搭建 - 使用 tf.keras.datasets 加载数据 - 使用 tf.data.Dataset 加载数据 - 使用 tf.keras.Model 管理模型 - Fashion MNIST 数据集介绍 - 使用 TensorFlow 2 训练分类网络 TensorFlow activation=tf.nn.softmax)(x) model = tf.keras.Model(inputs=inputs, outputs=outputs) #### 使用 tf.keras.Model 训练模型 In [5]: model.fit(x_train, y_train, epochs=5) ## 保存和加载 h5 模型 ## 保存为 h5 模型 In [11]: model.save("mnist_model 完成，项目Z未完成| |102|项目Z|2023年12月15日|10000|10000|项目Z完成，项目A未完成| |103|项目A|2023年12月15日|||| 使用 TensorFlow 2 训练分类网络 ## Get Fashion MNIST dataset from tensorflow Import keras import tensorflow as tf fashion_mnist

是开放源代码的机器学习框架，目的是加速从研究原型到产品开发的过程。其 SDK 主要基于 Python 语言，而 Python 语言作为流行的人工智能开发语言一直很受研究者与开发者的欢迎。其模型训练支持 CPU 与 GPU、支持分布式训练、云部署、针对深度学习特定领域有不同的丰富的扩展库。 #### 1.1.1 Pytorch 历史 Pytorch 在 2016 年由 facebook 发布的开源机器学习（深度学习）框架，Pytorch 语言作为框架的首选编程语言，所以它的名字是在 torch 的前面加上 Py 之后的 Pytorch。由于 Pytorch 吸取了之前一些深度学习框架优点，开发难度大大降低、很容易构建各种深度学习模型并实现分布式的训练，因此一发布就引发学术界的追捧热潮，成为深度学习研究者与爱好者的首选开发工具。在 pytorch 发布之后两年的 2018 年 facebook 又把 caffe2 项目整合到 pytorch 框架中，这样 发展至今，其版本跟功能几经迭代，针对不同的场景任务分裂出不同的分支扩展库，比如针对自然语言处理（NLP）的 torchtext、针对计算机视觉的 torchvision、针对语音处理的 torchaudio，这些库支持快速模型训练与演示应用，可以帮助开发者快速搭建原型演示。此外在移动端支持、模型部署的压缩、量化、服务器端云化部署、推理端 SDK 支持等方面 Pytorch 也在不断的演化改进。 在操作系统与 SDK 支持方面，Pytorch

基础：YOLO系列一阶段模型概述 - 基础：RetinaNet 与 Facol Loss 带来了什么 - 应用：检测数据准备与标注 - 应用：划分检测训练集与测试集 - 应用：生成 CSV 格式数据集与标注 - 应用：使用 TensorFlow 2 训练 RetinaNet - 应用：使用 RetinaNet 检测货架商品 - 扩展：目标检测常用数据集综述 - 扩展：目标检测更多应用场景介绍 生成的proposal的数目（不同的方法输出是不同的）； • bbox的编码方式，是预测offset还是相对位置？ - 数据预处理的数据增强方法； - 定位误差函数的实现方法； - 不同AI框架； - 训练时候的不同设置参数，如batch_size, 输入图片大小，学习率，学习衰减率等因素； ## 应用：检测数据准备与标注 ## 检测数据标注工具-labelImg ![Image](/uploads |Ctrl--|Zoom out| |↑→↓←|Keyboard arrows to move selected rect box| ## Try it! # 应用：使用 TensorFlow 2 训练 RetinaNet ## Try it! # 应用：使用 RetinaNet 检测货架商品 ## Try it! 扩展：目标检测常用数据集综述 ## 通用目标检测数据集 ILSVRC • The

项目进阶实战》视频课程 ## 目录 - 基础：图像分类问题定义与说明 - 基础：越来越深的图像分类网络 - 应用：检测SKU抠图与分类标注流程 - 应用：分类训练集与验证集划分 - 应用：使用TensorFlow 2训练ResNet - 应用：使用ResNet识别货架商品 - 扩展：图像分类常用数据集综述 - 扩展：图像分类更多应用场景介绍 基础：图像分类问题定义与说明 ## 哈士奇并不傻，别被它骗了，这家伙czsxz.com  原来训练哈士奇也可以这么简单？|成犬饲养-波.boqii.com  有些人说养狗不要养哈士奇，是因为它们太二 k.sina.com.cn 哈士奇难训练，难道是因为傻吗？其实是因为主... k.sina.com.cn ![Image](/uploads/documents/6/3/e/0/63e0bb1e74804a4f4307d1cf2a590a55/p9_18

偏差和方差 ## 数据集划分 训练集（Training Set）：帮助我们训练模型，简单的说就是通过训练集的数据让我们确定拟合曲线的参数。 验证集（Validation Set）：也叫做开发集（Dev Set），用来做模型选择（model selection），即做模型的最终优化及确定的，用来辅助我们的模型的构建，即训练超参数，可选； 测试集（Test Set）：为了测试已经训练好的模型的精确度。 三者划分：训练集、验证集、测试集 三者划分：训练集、验证集、测试集 机器学习：60%，20%，20%；70%，10%，20% 深度学习：98%，1%，1%（假设百万条数据） ## 交叉验证  1. 使用训练集训练出10个模型 2. 用10个模型分别对交叉验证集计算得出交叉验证误差（代价函数的值） 3. 选取代价函数值最小的模型 4. 用步骤3中选出的模型对测试集计算得出推广误差（代价函数的值） ## 数据集制作 PyTorch的dataloader是用于读取训练数据的工具，它可以自动将数据分割成小batch，并在训练过程中进行数据预处理。 DataLoader ![Image](/uploads/documents/2/a/7/7/2a77e24c5633c7605ed85cf4c6f7f8b7/p5_1