RNN训练难题 主讲人：龙良曲 Simple Yet? ▪ Nothing is straightforward. Gradient Exploding and Gradient Vanishing Why https://weberna.github.io/blog/2017/11/15/LSTM-Vanishing-Gradients.html Step 1. Gradient Exploding

使用Python训练和部署低精度模型 （TensorFlow版） 张校捷 2019/9/21 目录 CONTENTS 低精度的概念和意义 TensorFlow的FP16模型 TensorRT的FP16/Int8模型 总结 1 低精度的概念和意义 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 深度学习模型中实数的表示 FP32: E8M23 FP16: 6X speedup ResNet-50-v1.5 3.3X speedup SSD-RN50-FPN-640 2.5X speedup FP16浮点数（E5M10）的表示范围 FP16模型的训练方法 Int8模型的推断过程 2 TensorFlow的FP16模型 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 TensorCores适用条件 1. 卷积：K（输入通道），C（输出通道） com/tensorflow/tensorflow/blob/master/tensorflow/core/grappler/ optimizers/auto_mixed_precision_lists.h FP16训练模型精度 https://arxiv.org/pdf/1710.03740.pdf 3 TensorRT的FP16/Int8模型 TensorFlow中使用TensorRT 在TensorRT中使用FP16/Int8

开源操作系统训练营的教与学 李明 清华大学 2023-6-17 Rust China Conf 2023 Rust OS 开源操作系统训练营的教与学 1 Rust OS 开源训练营的起因和发展 Title Title Title 开源操作系统训练营的起源（2020年） 陈渝老师 向勇老师 OS Tutorial Summer of Code 2020 训练营过去三年的发展情况 训练营过去三年的发展情况 2020年 ～ 2022年 • 2020年 • 夏季训练营 2020.7.1 ～ 8.31 • 2021年 • 夏季训练营 2021.7.1 ～ 7.31 • 2022年 • 夏季训练营 2022.7.3 ～ 8.31 • 秋冬季训练营 2022.10.16 ～ 2023.2.1 50 118 188 448 0 50 100 150 200 250 300 1000+ 训练营的愿景和目标 目标 愿景 核心产出 探索新一代安全高性能操作系统的设计与构建 影响并培养更多的人学会写操作系统 每年为高校和企业培养1000名操作系统开发人才 参加训练营要回答的三个问题 你为什么要来参加这个活动？ 为什么要以开源 的方式来参与？ 我们如何能把这些 知识技能学到？ Rust OS 开源操作系统训练营的教与学 2 开源训练营的总体规划和教学实践

项目进阶实战》视频课程 快速上手篇：动⼿训练模型和部署服务 • TensorFlow 2 开发环境搭建 • 使用 tf.keras.datasets 加载数据 • 使用 tf.data.Dataset 加载数据 • 使用 tf.keras.Model 管理模型 • Fashion MNIST 数据集介绍 • 使用 TensorFlow 2 训练分类网络 目录 TensorFlow 2 Model • Class tf.keras.models.Model 使用 tf.keras.Model 构建模型 使用 tf.keras.Model 构建模型 使用 tf.keras.Model 训练模型 保存和加载 h5 模型 保存和加载 SavedModel 模型 Fashion MNIST 数据集介绍 Original MNIST dataset The MNIST database original MNIST Benchmark on Fashion MNIST Benchmark Side-by-side Fashion MNIST dataset 使用 TensorFlow 2 训练分类网络 Get Fashion MNIST dataset from tensorflow I mport keras import tensorflow as tf fashion_mnist

3.2.6 定义优化算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.7 训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 3.3 线性回归的简洁实现 3.3.6 定义优化算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 3.3.7 训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 3.4 softmax回归 5 分类精度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118 3.6.6 训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 3.6.7 预测

7政企、创业者必读 8 AI不仅是技术革新，更是思维方式和社会结构的变革 国家 产业 个人 企业政企、创业者必读 人工智能发展历程（一）  从早期基于规则的专家系统，走向基于学习训练的感知型AI  从基于小参数模型的感知型AI，走向基于大参数模型的认知型AI  从擅长理解的认知型AI，发展到擅长文字生成的生成式AI  从语言生成式AI，发展到可理解和生成声音、图片、视频的多模态AI 我们对大模型发展趋势的十大预判 13政企、创业者必读 14 DeepSeek出现之前的十大预判 之一 传统AGI发展步伐在放慢 需要寻找新方向  Scaling Law边际效应递减  人类训练数据接近枯竭  合成数据无法创造新知识  推理能力难以泛化，成本高昂 全面超越人类的人工智能在逻辑上不成立政企、创业者必读 15 DeepSeek出现之前的十大预判 之二 慢思考成为新的发展模式 大模型发展范式正在从「预训练」转向「后训练」和「推理时计算」  大模型厂商都在探索慢思考、思维链技术政企、创业者必读 DeepSeek出现之前的十大预判 之三 模型越做越专  除了少数科技巨头，大多数公司都专注于做专业大模型  MoE架构盛行，本质是多个专家模型组成一个大模型  Deepmind的Alpha系列产品是这一趋势的最佳诠释 16政企、创业者必读 DeepSeek出现之前的十大预判 之四

由多方安全计算网络、去中心化存储网络、区块链网络构建而成。 1 PaddleDTX Documentation 1.2.1 1.1 多方安全计算网络 有预测需求的一方为计算需求节点。可获取样本数据进行模型训练和预测的一方为任务执行节点，多个任务 执行节点组成一个 SMPC（多方安全计算）网络。计算需求节点将任务发布到区块链网络，任务执行节点确 认后执行任务。数据持有节点对任务执行节点的计算数据做信任背书。 节点的挑战证明自己持有数据分片。通过这些机制，实现了在不泄漏隐私的前提下充分且安全地利用存储资 源。 训练样本和预测数据集往往是归属于不同机构的隐私数据。这些机构可以作为数据持有节点加入到去中心化 存储网络中，通过多方安全计算网络发挥数据的最大价值。 1.2.3 1.3 区块链网络 训练任务和预测任务通过区块链网络广播到任务执行节点，后者继而执行训练任务和预测任务。数据持有节 点和存储节点在副本保持证明、健康状态监控过程中，通过区块链网络实现信息交换。 的相关概念，帮助您初步认识系统，了解其基本运行机制，方便后续进一步阅读。 2.1 节点和网络 PaddleDTX 中有五类节点： • 计算需求节点（Requester）有训练模型和预测需求。 • 任务执行节点（Executor）拥有使用数据的权限，参与多方安全计算，进行模型训练和数据预测。 • 数据持有节点（DataOwner）是数据的归属方，有存储数据的需求。 • 存储节点（Storage Nodes）有丰富的闲置的存储资源，可以提供存储服务。

第一步，先从大量的文本集中学习词嵌入。 第二步，你可以用这些词嵌入模型把它迁移到你的新的只有少量标注训练集的任 务中，比如说用这个300维的词嵌入来表示你的单词。这样做的一个好处就是你 可以用更低维度的特征向量代替原来的10000维的one-hot向量，现在你可以用 一个300维更加紧凑的向量。 第三步，当你在你新的任务上训练模型时，在你的命名实体识别任务上，只有少 量的标记数据集上，你可以自己选择要不要继续微调，用新的数据调整词嵌入。 05 GPT 01 词汇表征和文本数据处理 15 3.Word2Vec 语言模型的训练机制就是这样 1.我们获得了大量文本数据（例如，所 有维基百科文章）。然后 2.我们有一个窗口（比如说三个单词） ，我们会对所有文本进行滑动。 3.滑动窗口为我们的模型生成训练样本 16 3.Word2Vec （下图左边为CBOW，右边为Skip-Gram） CBOW对小型 表现更好。 17 3.Word2Vec 我们实际构建和训练模型的数据集将如下所示： 这被称为连续词袋结构，并在word2vec论文 one of the word2vec papers 中进行过描述。 18 3.Word2Vec 负采样 计算的角度来看，SkipGram非常消耗资源：尤其是我们将在 数据集中为每个训练样本做一次（很可能数千万次）。我们 需要做一些事情来提高效率。

版本来啦 13 通用目标检测开源框架 YOLOv6 在美团的量化部署实战 17 7 次 KDD Cup&Kaggle 冠军的经验分享：从多领域优化到 AutoML 框架 37 图神经网络训练框架的实践和探索 66 图技术在美团外卖下的场景化应用及探索 83 大规模异构图召回在美团到店推荐广告的应用 102 美团搜索粗排优化的探索与实践 116 美团外卖推荐情境化智能流量分发的实践与探索 2021 ｜ Twins：重新思考高效的视觉注意力模型设计 339 目录 iv > 2022年美团技术年货 美团获得小样本学习榜单 FewCLUE 第一！ Prompt Learning+ 自训练实战 353 DSTC10 开放领域对话评估比赛冠军方法总结 368 KDD 2022 | 美团技术团队精选论文解读 382 ACM SIGIR 2022 | 美团技术团队精选论文解读 < v Replication（上）：常见复制模型 & 分布式系统挑战 792 Replication（下）：事务，一致性与共识 818 TensorFlow 在美团外卖推荐场景的 GPU 训练优化实践 855 CompletableFuture 原理与实践 - 外卖商家端 API 的异步化 879 工程效能 CI/CD 之流水线引擎的建设实践 912 美团外卖搜索基于 Elasticsearch