定型词（LAT） • 依据给定的一段话，回答对应的提问 • “2016年房价涨了，开发商很高兴” • 房价涨了谁高兴？ • 哪年房价涨了？ • 不同的问题使用不同的方法 爱因互动：DeepBot框架 • 不同的问题使用不同的方法 合作方式总结 快速部署 深度定制 持续迭代 价值优先 总结： 一个崭新的世界 趋势 • 智能设备越来越多 • 手机、电脑、Pad、TV、盒子、Watch、AirPods

便本地查阅，下载最新 PDF 版本请访问: https://github.com/wanzhenchn/keras-docs-zh。 感谢 keras-team 所做的中文翻译工作，本文档制作基于此处。 严正声明：本文档可免费用于学习和科学研究，可自由传播，但切勿擅自用于商业用途，由 此引发一切后果贡献者概不负责。 The main reason of organizing PDF version based . . . . . . 6 2.4 Keras 支持多个后端引擎，并且不会将你锁定到一个生态系统中 . . . . . . . . . . 6 2.5 Keras 拥有强大的多 GPU 和分布式训练支持 . . . . . . . . . . . . . . . . . . . . . . 6 2.6 Keras 的发展得到深度学习生态系统中的关键公司的支持 . . . . . . . . . . . . . . . . . 14 3.1.5.6 基于栈式 LSTM 的序列分类 . . . . . . . . . . . . . . . . . . . . . 14 3.1.5.7 带有状态 (stateful) 的相同的栈式 LSTM 模型 . . . . . . . . . . . . 15 3.2 函数式 API 指引 . . . . . . . . . . . . .

������������������������������������������������������������������������������������ 5 1.4.2 张量定义与声明 �������������������������������������������������������������������������������������������������� 是开放源代码的机器学习框架，目的是加速从研究 原型到产品开发的过程。其 SDK 主要基于 Python 语言，而 Python 语言作为流行的人工智能开发语言一直很受研究者与 开发者的欢迎。其模型训练支持CPU与GPU、支持分布式训练、 云部署、针对深度学习特定领域有不同的丰富的扩展库。 1.1.1 Pytorch 历史 Pytorch 在 2016 年由 facebook 发布的开源机器学习（深度 学习）框架，Pytorch 语言作为框架的首选编程语言，所以它的名字 是在 torch 的前面加上 Py 之后的 Pytorch。由于 Pytorch 吸 取了之前一些深度学习框架优点，开发难度大大降低、很容易 构建各种深度学习模型并实现分布式的训练，因此一发布就引 发学术界的追捧热潮，成为深度学习研究者与爱好者的首选开 发工具。在 pytorch 发布之后两年的 2018 年 facebook 又把 caffe2 项目整合到 pytorch

4.4.3 欠拟合还是过拟合？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 4.4.4 多项式回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 4.5 权重衰减 . . 2 多元梯度下降 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444 11.3.3 自适应方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446 11.4 随机梯度下降 . 编译器和解释器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503 12.1.1 符号式编程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 504 12.1.2 混合式编程

工程中廉价的GPUs、较小的内存以及网络的限制 • 速度 • 线性的扩展能力 • 简单 • 混合了声明式（declarative）和命令式()代码的特点 为什么选择 MXNet ？ MXNet: 可扩展的深度学习框架 MXNet 框架的特点 命令式 NDArray API 声明式 Symbolic Executor MXNet： 博采众家之长 3D Image Construction

本书旨在帮助更多的读者朋友了 解、喜欢并进入到人工智能行业中来，因此作者试图从分析人工智能中的简单问题入手，一 步步地提出设想、分析方案以及实现方案，重温当年科研工作者的发现之路，让读者身临其 境式的感受算法设计思想，从而掌握分析问题、解决问题的能力。这种方式也是对读者的基 础要求较少的，读者在学习本书的过程中会自然而然地了解算法的相关背景知识，体会到知 识是为了解决问题而生的，避免陷入为了学习而学习的窘境。 第 2 章 回归问题 2.1 神经元模型 2.2 优化方法 2.3 线性模型实战 2.4 线性回归 2.5 参考文献 第 3 章 分类问题 3.1 手写数字图片数据集 3.2 模型构建 3.3 误差计算 3.4 真的解决了吗 3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 3.9 小结 3.10 参考文献 第 11 章 循环神经网络 11.1 序列表示方法 11.2 循环神经网络 11.3 梯度传播 11.4 RNN 层使用方法 11.5 RNN 情感分类问题实战 11.6 梯度弥散和梯度爆炸 11.7 RNN 短时记忆 11.8 LSTM 原理 11.9 LSTM 层使用方法 11.10 GRU 简介 11.11 LSTM/GRU 情感分类问题再战

深度学习-生成式深度学习 黄海广 副教授 2 03 GAN 的应用 本章目录 01 生成式深度学习简介 02 GAN的理论与实现模型 04 GAN的思考与前景 3 03 GAN 的应用 01 生成式深度学习简介 02 GAN的理论与实现模型 04 GAN的思考与前景 1.生成式深度学习简介 4  深度学习中常见生成式模型 其隐变量z是一个正态分布的采样  生成式对抗网络（GAN）  条件生成式对抗网络（CGAN）  在生成器和判别器中添加某一标签信息  深度卷积生成式对抗网络（DCGAN）  判别器和生成器都使用了卷积神经网络（CNN）来替代GAN 中的多层感知机  为了使整个网络可微，拿掉了CNN 中的池化层  将全连接层以全局池化层替代以减轻计算量。 1.生成式深度学习简介 5 自编码（AE）结构图 自编码（AE）结构图 1.生成式深度学习简介 6 变分自编码（VAE）结构图 1.生成式深度学习简介 7 变分自编码（VAE）生成图像 1.生成式深度学习简介 8 03 GAN 的应用 01 生成式深度学习简介 02 GAN的理论与实现模型 04 GAN的思考与前景 2. GAN的理论与实现模型 9 GAN的概念简介及提出背景 概念简介 提出背景 GAN

04 特征选择 8 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 特征构建：是指从原始数 据中人工的找出一些具有 物理意义的特征。 方法：经验、属性分割和 结合 操作：使用混合属性或者 组合属性来创建新的特征 ，或是分解或切分原有的 特征来创建新的特征 2. 特征构建 在原始数据集中的特征 的形式不适合直接进行 建模时，使用一个或多 特征构建 相对于聚合特征构造依赖于多个特征的分组统计，通常依赖于对于特征本 身的变换。转换特征构造使用单一特征或多个特征进行变换后的结果作为 新的特征。 常见的转换方法有单调转换（幂变换、log变换、绝对值等）、线性组合、 多项式组合、比例、排名编码和异或值等。 转换特征构造 15 2. 特征构建 • 基于单价和销售量计算销售额. • 基于原价和售价计算利润. • 基于不同月份的销售额计算环比或同比销售额增长/下降率 义的特征。 常用方法 降维方面的PCA、ICA、LDA等 图像方面的SIFT、Gabor、HOG等 文本方面的词袋模型、词嵌入模型等 3. 特征提取 18 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 1.PCA(Principal Component Analysis，主成分分析) PCA 是降维最经典的方法，它旨在是找到数据中的主成分，并利

modeling_qwen. py ）。现在，我们遵循 transformers 的实践，直接使用 model.generate() 配合 tokenizer 中的 apply_chat_template() 方法。 如果你想使用 Flash Attention 2，你可以用下面这种方式读取模型： 4 Chapter 1. 文档 Qwen model = AutoModelForCausalLM.from_pretrained( 1 基本用法 你只需借助 transformers 库编写几行代码，就能与 Qwen1.5-Chat 进行对话。实质上，我们通过 from_pretrained 方法构建 tokenizer 和模型，然后利用 generate 方法，在 tokenizer 提供的 chat template 的辅助下进行 chat。以下是一个如何与 Qwen1.5-7B-Chat 进行对话的示例： from transformers 位量化功能，以加快推理速度并减少内存占用。对于大于总 VRAM 容量的大规模模型，该库还支持 CPU+GPU 混合推理模式进行部分加速。本质上，llama.cpp 的用途在于运行 GGUF（由 GPT 生成的统一格式）模型。欲了解更多详情，请参阅官方 GitHub 仓库。以下我们将演示如何 使用 llama.cpp 运行 Qwen。 1.4.1 准备 这个示例适用于 Linux 或 MacOS 系统。第一步操作是：“克隆仓库并进入该目录：

二次函数和线性函数的梯度和黑塞矩阵 4.4 最小二乘法 4.5 行列式的梯度 4.6 特征值优化 线性代数复习和参考 1. 基础概念和符号 线性代数提供了一种紧凑地表示和操作线性方程组的方法。 例如，以下方程组： 这是两个方程和两个变量，正如你从高中代数中所知，你可以找到 和 的唯一解（除非方程以某 种方式退化，例如，如果第二个方程只是第一个的倍数，但在上面的情况下，实际上只有一个唯一 了符号，用于矩阵的列或行的表示方式并没有通 用约定。 2.矩阵乘法 两个矩阵相乘，其中 and ，则： 其中： 请注意，为了使矩阵乘积存在， 中的列数必须等于 中的行数。有很多方法可以查看矩阵乘法，我们 将从检查一些特殊情况开始。 2.1 向量-向量乘法 给定两个向量 , 通常称为向量内积或者点积，结果是个实数。 注意： 始终成立。 给定向量 , (他们的维度是否相同都没关系)， 维向量，其元素都等于1，此外，考虑矩阵 ，其列全部等于某个向量 。 我们可以使用外积紧凑地表示矩阵 : 2.2 矩阵-向量乘法 给定矩阵 ，向量 , 它们的积是一个向量 。 有几种方法可以查看矩阵 向量乘法，我们将依次查看它们中的每一种。 如果我们按行写 ，那么我们可以表示 为： 换句话说，第 个 是 的第 行和 的内积，即： 。 同样的， 可以把 写成列的方式，则公式如下：