. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.5 使用 TensorFlow 以外的后端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.6 技术支持 . . . . . . . . . . . . 5 2.3 Keras 可以轻松将模型转化为产品 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.4 Keras 支持多个后端引擎，并且不会将你锁定到一个生态系统中 . . . . . . . . . . 6 2.5 Keras 拥有强大的多 GPU 和分布式训练支持 . . . . . . . . . . . . . Keras 配置文件保存在哪里？ . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.3.20 如何在 Keras 开发过程中获取可复现的结果？ . . . . . . . . . . . . . . . . 36 3.3.21 如何在 Keras 中安装 HDF5 或 h5py 来保存我的模型？ . . . . . . . . . .

年，基于两块 GTX580 GPU 训练的 AlexNet 发布后，深度学习的真正潜力才得以发挥。传统的机器学习算法并不像神经网络 这样对数据量和计算能力有严苛的要求，通常在 CPU 上串行训练即可得到满意结果。但是 深度学习非常依赖并行加速计算设备，目前的大部分神经网络均使用 NVIDIA GPU 和 Google TPU 等并行加速芯片训练模型参数。如围棋程序 AlphaGo Zero 在 64 块 GPU name='variable_c') 创建计算图的过程就类比通过符号建立公式? = ? + ?的过程，仅仅是记录了公式的计算步 骤，并没有实际计算公式的数值结果，需要通过运行公式的输出端子?，并赋值? = 2.0,? = 4.0才能获得?的数值结果，代码如下： # 2.运行计算图阶段，此处代码需要使用 tf 1.x 版本运行 # 创建运行环境 sess = tf.InteractiveSession() tensor(2.) b = torch.tensor(4.) # 2.直接计算，并打印结果 print('a+b=',a+b) 可以看到，计算过程非常简洁，没有多余的计算步骤，并且和 Python 语言的编程方式非常 接近，代码简单易读。 这种运算时同时创建计算图? = ? + ?和数值结果6.0 = 2.0 + 4.0的方式叫做命令式编 预览版202112 1.5 深度学习框架

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 508 12.2.1 通过后端异步处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 509 12.2.2 障碍器与阻塞器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 639 13.13.7 在 Kaggle 上对测试集进行分类并提交结果 . . . . . . . . . . . . . . . . . . . . . . . 640 13.14 实战Kaggle比赛：狗的品种识别（ImageNet Dogs） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 646 13.14.7 对测试集分类并在Kaggle提交结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . 647 14 自然语言处理：预训练 649 14.1 词嵌入（word2vec） .

chunks 24.43 seconds per pass - ETA 4.45 hours [1]4.5970,[2]5.1807,[3]6.0382,... 稍等一段时间你将得到模型的 PPL 评测结果。 1.4. llama.cpp 9 Qwen 1.4.5 在 LM Studio 使用 GGUF 如果你仍然觉得使用 llama.cpp 有困难，我建议你尝试一下 LM Studio 这个平台，它允许你搜索和运行本地的 TGW，通常被称为“oobabooga”）是一款流行的文本生成 Web 界面工具，类似 于 AUTOMATIC1111/stable-diffusion-webui 。它拥有多个交互界面，并支持多种模型后端，包括 Transformers 、 llama.cpp（通过 llama-cpp-python 实现）、ExLlamaV2 、AutoGPTQ 、AutoAWQ 、GPTQ-for-LLaMa 、CTransformers stdout | Running on public URL: https://6141e84201ce0bb4ed.gradio.live 你可以通过使用不同的温度和 top_p 值来尝试取得更好的结果。 1.11.6 总结 通过 SkyPilot，你可以轻松地在任何云上部署 Qwen1.5。我们建议您阅读 官方文档 了解更多用法和最新进展。 1.12 有监督微调 1.12.1 示例 在

PyTorch功能演示 Torch ▪ 2002年 Torch ▪ 2011年 Torch7 ▪ Lua PyTorch ▪ 2016.10 发布0.1，THNN后端 ▪ 2018.12 发布1.0 ， CAFFE2后端 ▪ 2019.5 发布1.1 ▪ Facebook AI Research 同类框架 https://towardsdatascience.com/battl

样本采集 Ø 存在问题 • 头部效应 • 实时反馈类收集与在线存在差异性 Ø 解决方案 • 正负样本比例严重失衡 • 对头部曝光进行降采样，长尾曝光上采样 • 负样本进行下采样 • 后端样本预采样 模型评估 Ø 离线评估 • AUC / wAUC Ø 在线评估 • 离线评估与线上效果正相关？ • A/B test测试 • 分目标人群测试：地域、活跃度… A B 小流量-实验组

模型发布 在线流程 离线流程 智能推荐解决方案 > PAI-REC 推荐引擎 PAI-REC 推荐引擎 多路召回 曝光/状态过滤 粗排/精排 策略[类目打散、流量控制、…] 实时采集后端日志 PAI-REC 配置中心 AB实验 实验工具 拉取配置 监控报警 Prometheus Grafana 读取metric 消息队列(datahub/kafka) PAI-REC平台

开发实战系列教程 第一篇 4 5. 在执行第三步的基础上，在命令行中输入下面两行代码，执 行结果如下： >>> import torch >>> torch._ _version_ _ '1.9.0+cu102' 其中第一行表示导入 pytorch 的包支持，第二行表示版本查询， 第三行是执行结果（GPU 版本）。 现在很多开发者喜欢使用 Ubuntu 开发系统，在 Ubuntu 系统 编程语言中， 结构化代码最常见的关键字是 if、else、while、for 等关键字， 而在深度学习框架中编程模式主要是基于计算图、张量数据、 自动微分、优化器等组件构成。面向对象编程运行的结果是交 互式可视化的，而深度学习通过训练模型生成模型文件，然后 再使用模型预测，本质数据流图的方式工作。所以学习深度学 习首先必须厘清深度学习编程中计算图、张量数据、自动微分、 优化器这些基本术语概念，下面分别解释如下： , 5.]]) print(a, a.dtype) 运行结果 tensor([[2., 3.], [4., 5.]]) torch.float32 其中 torch.Tensor 是 torch.FloatTensor 的别名，所以默认的 数据类型是 flaot32，这点从 a.dtype 的打印结果上也得了印 证。此外 torch.Tensor 函数还支持从

的 结果进行综合产生最终的预测结果： 集成学习 模型n …… 模型1 模型2 预测n …… 预测1 预测2 训练 数据 最终 预测 结果 测试 数据 5 Boosting 训练过程为阶梯状，基模型 按次序一一进行训练（实现 上可以做到并行），基模型 的训练集按照某种策略每次 都进行一定的转化。对所有 基模型预测的结果进行线性 综合产生最终的预测结果。 集成学习 集成学习 模型n 最终 预测 结果 模型2 预测n …… 预测1 预测2 转化 模型1 模型3 转化 转化 训练 数据 测试 数据 6 集成学习 模型n …… 模型1 模型2 预测n …… 预测1 预测2 训练 数据 第二 层数 据 Stacking 最终 预测 结果 Stacking 将训练好的所有基模型对训练基进行预测，第j个基模型对第i个训练样本的预测值将作为新的训 Forest（随机森林） 用随机的方式建立一个森林。随机森林算法由很多决策树组成，每一棵决 策树之间没有关联。建立完森林后，当有新样本进入时，每棵决策树都会 分别进行判断，然后基于投票法给出分类结果。 优点 1. 在数据集上表现良好，相对于其他算法有较大的优势 2. 易于并行化，在大数据集上有很大的优势； 3. 能够处理高维度数据，不用做特征选择。 随机森林 8 Random Forest（随机森林）是

. . . . . . . . . . . . . . . . . . . . . . 19 4.1 自定义 Variable 数据与网络训练 19 4.2 准确率的可视化 22 4.3 分类结果的可视化 23 4.4 自定义 Dataset 数据集 25 3 4.5 总结 27 Literature . . . . . . . . . . . . . . . . . . . . . 当我们明白何为“神经网络”，何为“反向传播”时，我们就已经具备了开始搭建和训练网络 的能力。此时，最好的方法就是给我们一个由简及难的程序示例，我们能够快速搭建出一个网络， 我们可以开始训练，以及指导如何计算训练后的结果准确率等信息。 这也是我要开始写这么一本小书的初衷，我会把本小书控制在 3 小时的学习时间之内。也就 是说，只知道一丁点 python 知识和神经网络的概念，而从未使用过 pytorch 的读者，只需要三个 注意显示时我们调用了 squeeze() 函数，这是因为原来的数据维度是 (1,28,28) 的三维数据， 使用.squeeze() 函数可以把为 1 的维度去掉，即 shape 变为 (28,28)。程序得到显示结果： 随后我们再把数据导入到 DataLoader 里面： # batch_size ： 每 次 迭 代 取 出 的 数 据 量 # s h u f f l e ： 洗 牌 的 意 思， 先 把