学习语言模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303 8.3.2 马尔可夫模型与n元语法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305 8.3.3 自然语言统计 . . . . . . . 记录，并得到成熟的、维护 良好的工具的支持。关键思想应该被清楚地提炼出来，尽可能减少需要让新的从业者跟上时代的入门时间。 成熟的库应该自动化常见的任务，示例代码应该使从业者可以轻松地修改、应用和扩展常见的应用程序，以 满足他们的需求。以动态网页应用为例。尽管许多公司，如亚马逊，在20世纪90年代开发了成功的数据库驱 动网页应用程序。但在过去的10年里，这项技术在帮助创造性企业家方面的潜力已经得到了更大程度的发挥， 情况值得一提。 标记和解析。这涉及到用属性注释文本序列。换句话说，输入和输出的数量基本上是相同的。例如，我们可 能想知道动词和主语在哪里，或者可能想知道哪些单词是命名实体。通常，目标是基于结构和语法假设对文 本进行分解和注释，以获得一些注释。这听起来比实际情况要复杂得多。下面是一个非常简单的示例，它使 用“标记”来注释一个句子，该标记指示哪些单词引用命名实体。标记为“Ent”，是实体（entity）的简写。

主要基于 Python 语言，而 Python 语言作为流行的人工智能开发语言一直很受研究者与 开发者的欢迎。其模型训练支持CPU与GPU、支持分布式训练、 云部署、针对深度学习特定领域有不同的丰富的扩展库。 1.1.1 Pytorch 历史 Pytorch 在 2016 年由 facebook 发布的开源机器学习（深度 学习）框架，Pytorch 最初的来源历史可以追溯到另外两个 机器学习框架，第一个是 易构建各种复杂的深度学习模型网络，因此很快得到大量人工 智能开发者的认可与追捧，也成为工业界最受欢迎的深度学习 框架之一。 Pytorch 发展至今，其版本跟功能几经迭代，针对不同的场景 任务分裂出不同的分支扩展库，比如针对自然语言处理（NLP） 的 torchtext、针对计算机视觉的 torchvision、针对语音处理 的 torchaudio，这些库支持快速模型训练与演示应用，可以 帮助开发者 节点之间流动，最终输出，因此计算图又被称为数据流图。 根据构建计算图的方式不同还可以分为静态图与动态图， Pytorch 默认是基于动态图的方式构建计算图，动态图采用类 似 python 语法，可以随时运行，灵活修改调整；而静态图则 是效率优先，但是在图构建完成之前无法直接运行。可以看出 动态图更加趋向于开发者平时接触的面向对象的编程方式，也 更容易被开发者理解与接受。下图是一个简单的计算图示例：

trix Multiplication，简称 matmul)。由于 ?@?的运算结果是形状为[?, ?out]的矩阵，与向量?并不能直接相加，因此批量形式的+号 需要支持自动扩展功能(Broadcasting)，将向量?扩展为形状为[?, ?out]的矩阵后，再与?@? 相加。 考虑两个样本，输入特征长度?in = 3，输出特征长度?out = 2的模型，式(3.1)展开 为： [?1 张量理解为?张图片，每张图片的特征长度为? ∙ ℎ ∙ 上述新视图的存储都不需要改变，是合理的视图变换。 从语法上来说，视图变换还需要满足新视图的元素总量与存储区域大小相等。对于上 述例子，新视图的元素数量等于 ? ∙ ? ∙ ℎ ∙ 正是由于视图的设计的语法约束很少，合法即可。而合理性完全由用户定义，使得在改变 视图时容易出现逻辑隐患。 预览版202112 第 4 章 3]，可以直接与?@?进行相加运算，从而获得线性层的输出张量， 这才是严格意义上的运算过程。实际上，上述插入维度和复制数据的步骤并不需要开发者 手动执行，PyTorch 会自动完成，这是下一节要介绍的自动扩展功能。 考虑另一个例子，输入张量为 2 行 2 列的矩阵，创建张量如下： In [82]: x = torch.arange(4) x = torch.reshape(x,[2,2])

的开发重点是支持快速的实验。能够以最小的时延把你的想法转 换为实验结果，是做好研究的关键。 如果你在以下情况下需要深度学习库，请使用 Keras： • 允许简单而快速的原型设计（由于用户友好，高度模块化，可扩展性）。 • 同时支持卷积神经网络和循环神经网络，以及两者的组合。 • 在 CPU 和 GPU 上无缝运行。 查看文档，请访问 Keras.io。 Keras 兼容的 Python 版本: Python 数、正则化方法，它们都是可以结合起来构建新模型的模块。 • 易扩展性。新的模块是很容易添加的（作为新的类和函数），现有的模块已经提供了充足 的示例。由于能够轻松地创建可以提高表现力的新模块，Keras 更加适合高级研究。 • 基于 Python 实现。Keras 没有特定格式的单独配置文件。模型定义在 Python 代码中，这 些代码紧凑，易于调试，并且易于扩展。 1.3 快速开始：30 秒上手 Keras metrics=['accuracy']) 如果需要，你还可以进一步地配置你的优化器。Keras 的核心原则是使事情变得相当简单， 同时又允许用户在需要的时候能够进行完全的控制（终极的控制是源代码的易扩展性）。 model.compile(loss=keras.losses.categorical_crossentropy, optimizer=keras.optimizers.SGD(lr=0

移动应用前端 系统架构图 会话分析 用户意图识别 检索模块 段落或句 子检索 文档检 索 专业检索接口： 商品参数接口 商品价格接口 商品信息接口 商品卖点接口 促销活动接口 订单信息接口 语法语义分析 用户画像 Json/rest 答案获取和排序模块 答案实体抽取 返回最相关答案 相关性句子排序 …… 机器学习／深度学习模型 电商知识库 社交嵌入应用前端 …… 命名实体识别

大型受监督的数据集，当前NLP技术 在概念上具有一定的局限性。 存在的问题01： 从实用的角度来看，每一项新任务都需 要一个标记示例的大数据集，这限制了 语言模型的适用性； 对于其中的许多任务（从纠正语法到生 成抽象概念的示例，再到评论一个短篇 故事等等），很难收集一个大型的监督 训练数据集，特别是当每个新任务都必 须重复该过程时。 问题 02 问题01 问题03 GPT-2阶段 存在的问题

应⽤用：检测SKU抠图与分类标注流程 • 应⽤用：分类训练集与验证集划分 • 应⽤用：使⽤用TensorFlow 2训练ResNet • 应⽤用：使用ResNet识别货架商品 • 扩展：图像分类常用数据集综述 • 扩展：图像分类更多应⽤用场景介绍 目录 基础：图像分类问题定义与说明 图像分类问题 语义级分类 细粒度分类 图像分类问题 实例级分类 识别问题 图像分类问题 实例级分类 TensorFlow 2 训练 ResNet “Hello TensorFlow” Try it！ 应⽤用：使用ResNet识别货架商品 “Hello TensorFlow” Try it！ 扩展：图像分类常用数据集综述 https://github.com/zalandoresearch/fashion-mnist http://yann.lecun.com/exdb/mnist/ MNIST edu/Image_Datasets/Caltech256/ Caltech 101 & Caltech 256 https://www.pinlandata.com/rp2k_dataset 扩展：图像分类更多应⽤用场景介绍 图像分类应用：牛脸识别与畜牧险维保 图像分类应用：户型图识别（空间、家具） 原始户型图 空间分割 （整体效果） 空间分割 （中间结果） 图像分类应用：智能相册

应用：划分检测训练集与测试集 • 应用：生成CSV 格式数据集与标注 • 应用：使用 TensorFlow 2 训练 RetinaNet • 应用：使用 RetinaNet 检测货架商品 • 扩展：目标检测常用数据集综述 • 扩展：目标检测更多应用场景介绍 目录 基础：目标检测问题定义与说明 目标检测问题 目标检测评估：Ground Truth 目标检测评估： Intersection over Union TensorFlow 2 训练 RetinaNet “Hello TensorFlow” Try it！ 应用：使用 RetinaNet 检测货架商品 “Hello TensorFlow” Try it！ 扩展：目标检测常用数据集综述 通用目标检测数据集 • The ImageNet Large Scale Visual Recognition Challenge ILSVRC • The PASCAL 21841 图像总数: 1400万+ 带有 Bounding box 的图像总数: 1,034,908 带有 SIFT 特征的识别小类: 1000 带有 SIFT 特征的图像总数: 1200万 扩展：目标检测更多应用场景介绍 目标检测应用：仓库流水审计 目标检测应用：仓库流水审计 目标检测应用：仓库盘点 无人智能盘点 人工盘点 目标检测应用：安全防护检测 目标检测应用：内容审核 目标检测应用：车流统计

进程遗留问题，需要⼿动杀死� • 缺乏作业统⼀管理，不便对作业运⾏状态跟踪� • 日志查看不⽅便� � 总结：� TensorFlow使用现状及痛点 • 集群资源的管理（目前支持CPU、内存，需要扩展GPU 资源管理）� • 作业的统⼀管理、状态跟踪� • 资源组（Schedule Pool）的划分� • 作业进程的资源隔离� Yarn能解决什么问题：� TensorFlow on Yarn设计 Web的⽅式查看作业的运⾏状况和作业日志� • 在线查看Tensorboard� • HistoryServer支持查看结束作业的日志和状态信息� • 控制已有的TensorFlow作业的迁移成本（最多改三⾏ 代码）� 扩展目标：� TensorFlow on Yarn设计 tensorflow-submit \� --app-name “tfdemo” \#作业名� --files tfTestDemo 需要知道具体GPU卡号，代码分配 计算任务到指定GPU设备 设备亲和性影响较小 设备亲和性影响较大 TensorFlow on Yarn技术细节揭秘 Yarn支持GPU调度ResourceManager端实现：� 扩展org.apache.hadoop.yarn.api.records.Resource抽象类及其实现，增加：� � public abstract int getGpuCores();� � public

MXNet 概述 MXNet • 节省以及资源效率 • 工程中廉价的GPUs、较小的内存以及网络的限制 • 速度 • 线性的扩展能力 • 简单 • 混合了声明式（declarative）和命令式()代码的特点 为什么选择 MXNet ？ MXNet: 可扩展的深度学习框架 MXNet 框架的特点 命令式 NDArray API 声明式 Symbolic Executor MXNet： 要避开的面孔 • 获得人口学以及情感的数 据推荐最佳照片 • 提高在线约会匹配的推荐 • 动态的个性化广告 人脸比对 测量两张图片中同一个人的可能性 • 为应用和设备添加人脸 验证 • 扩展了物理安全控制的 应用领域 • 客人对VIP 设施的使用 • 在线考试以及民意调查 时的用户验证 人脸识别 通过针对存储的面部向量的集合找到输入面部图像的最接近 的匹配来识别图像中的人 •