. . . . . . 6 2.4 Keras 支持多个后端引擎，并且不会将你锁定到一个生态系统中 . . . . . . . . . . 6 2.5 Keras 拥有强大的多 GPU 和分布式训练支持 . . . . . . . . . . . . . . . . . . . . . . 6 2.6 Keras 的发展得到深度学习生态系统中的关键公司的支持 . . . . . . . . . . . . 8 3.1.1 开始使用 Keras 顺序 (Sequential) 模型 . . . . . . . . . . . . . . . . . . . . . 8 3.1.2 指定输入数据的尺寸 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 3.1.3 编译 . . . . . . . . . . . . . . . . . . 14 3.1.5.6 基于栈式 LSTM 的序列分类 . . . . . . . . . . . . . . . . . . . . . 14 3.1.5.7 带有状态 (stateful) 的相同的栈式 LSTM 模型 . . . . . . . . . . . . 15 3.2 函数式 API 指引 . . . . . . . . . . . . .

本书旨在帮助更多的读者朋友了 解、喜欢并进入到人工智能行业中来，因此作者试图从分析人工智能中的简单问题入手，一 步步地提出设想、分析方案以及实现方案，重温当年科研工作者的发现之路，让读者身临其 境式的感受算法设计思想，从而掌握分析问题、解决问题的能力。这种方式也是对读者的基 础要求较少的，读者在学习本书的过程中会自然而然地了解算法的相关背景知识，体会到知 识是为了解决问题而生的，避免陷入为了学习而学习的窘境。 结、归纳出一些逻辑规则，并将逻辑规则以计算机程序的方式实现，来开发出智能系统。 但是这种显式的规则往往过于简单，并且很难表达复杂、抽象的概念和规则。这一阶段被 称为推理期。 1970 年代，科学家们尝试通过知识库加推理的方式解决人工智能，通过构建庞大复杂 的专家系统来模拟人类专家的智能水平。这些明确指定规则的方式存在一个最大的难题， 就是很多复杂、抽象的概念无法用具体的代码实现。比如人类对图片的识别、对语言的理 。业界一般将利用 深层神经网络实现的算法称作深度学习，本质上神经网络和深度学习可认为是相同的。 现在简单来比较一下深度学习算法与其它算法的特点。如图 1.3 所示。基于规则的系 统一般会编写显式的检测逻辑，这些逻辑通常是针对特定的任务设计的，并不适合其他任 务。传统的机器学习算法一般会人为设计具有一定通用性的特征检测方法，如 SIFT、HOG 特征，这些特征能够适合某一类的任务，具有一定的通用性，但是如何设计特征，以及特

4.4.3 欠拟合还是过拟合？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 4.4.4 多项式回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 4.5 权重衰减 . . 编译器和解释器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503 12.1.1 符号式编程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 504 12.1.2 混合式编程 示了深度学习在计算机视觉中的主要应用。在 14节 和 15节 中，我们展示了如何预训练语言表示模型并 将其应用于自然语言处理任务。 4 目录 代码 本书的大部分章节都以可执行代码为特色，因为我们相信交互式学习体验在深度学习中的重要性。目前，某 些直觉只能通过试错、小幅调整代码并观察结果来发展。理想情况下，一个优雅的数学理论可能会精确地告 诉我们如何调整代码以达到期望的结果。不幸的是，这种优雅的理论目前还没有出现。尽管我们尽了最大努

参数则用于设置响应的最大长度。此 外，通过 tokenizer.batch_decode() 函数对响应进行解码。关于输入部分，上述的 messages 是一个 示例，展示了如何格式化对话历史记录和系统提示。默认情况下，如果您没有指定系统提示，我们将直接使 用 You are a helpful assistant. 作为系统提示。 1.3.2 流式输出 借助 TextStreamer ，您可以将与 Qwen 的对话切换到流 位量化功能，以加快推理速度并减少内存占用。对于大于总 VRAM 容量的大规模模型，该库还支持 CPU+GPU 混合推理模式进行部分加速。本质上，llama.cpp 的用途在于运行 GGUF（由 GPT 生成的统一格式）模型。欲了解更多详情，请参阅官方 GitHub 仓库。以下我们将演示如何 使用 llama.cpp 运行 Qwen。 1.4.1 准备 这个示例适用于 Linux 或 MacOS 系统。第一步操作是：“克隆仓库并进入该目录： chat_response) 1.8.3 使用 AutoGPTQ 量化你的模型 如果你想将自定义模型量化为 GPTQ 量化模型，我们建议你使用 AutoGPTQ 工具。推荐通过安装源代码的方 式获取并安装最新版本的该软件包。 git clone https://github.com/AutoGPTQ/AutoGPTQ cd AutoGPTQ pip install -e . 假设你已经基于

相对于聚合特征构造依赖于多个特征的分组统计，通常依赖于对于特征本 身的变换。转换特征构造使用单一特征或多个特征进行变换后的结果作为 新的特征。 常见的转换方法有单调转换（幂变换、log变换、绝对值等）、线性组合、 多项式组合、比例、排名编码和异或值等。 转换特征构造 15 2. 特征构建 • 基于单价和销售量计算销售额. • 基于原价和售价计算利润. • 基于不同月份的销售额计算环比或同比销售额增长/下降率 中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 过滤式(Filter): 先对数据集进行特征选择，其过程与后续 学习器无关，即设计一些统计量来过滤特 征，并不考虑后续学习器问题 包裹式(Wrapper): 就是一个分类器，它是将后续的学习器的 性能作为特征子集的评价标准 嵌入式(Embedding): 是学习器自主选择特征 4. 特征选择 特征选择的三种方法 优点：计算时间上比较高效，而且对过拟合问题有较高的鲁棒性 缺点：倾向于选择冗余特征，即没有考虑到特征之间的相关性 过滤式 4. 特征选择 29 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) ◆定义：Relevant Features是一种著名的过滤式特征选择方法。该方法 设计了一个相关统计量来度量特征的重要性。 ➢ 该统计量是一个向量，其中每个分量都对应于一个初始特征。

值，因此它被称为连续随机变量。我们将 在两个实常数 和 之间取值的概率(其中 )表示为： 2.1 累积分布函数 为了指定处理随机变量时使用的概率度量，通常可以方便地指定替代函数(CDF、PDF和PMF)，在本节 和接下来的两节中，我们将依次描述这些类型的函数。 累积分布函数(CDF)是函数 ，它将概率度量指定为： 通过使用这个函数，我们可以计算任意事件发生的概率。图1显示了一个样本CDF函数。 性质： 2 2.2 概率质量函数 当随机变量 取有限种可能值(即， 是离散随机变量)时，表示与随机变量相关联的概率度量的更简单 的方法是直接指定随机变量可以假设的每个值的概率。特别地，概率质量函数(PMF)是函数 ，这样： 在离散随机变量的情况下，我们使用符号 表示随机变量 可能假设的一组可能值。例如，如果 是一个随机变量，表示十次投掷硬币中的正面数，那么 ， ， ， ， 。 性质： 2.3 假设对于一些子集 ，有 ，计算 ? 离散情况： 连续情况： 2.6 一些常见的随机变量 离散随机变量 伯努利分布：硬币掷出正面的概率为 （其中： ），如果正面发生，则为1，否则为0。 二项式分布：掷出正面概率为 （其中： ）的硬币 次独立投掷中正面的数量。 几何分布：掷出正面概率为 （其中： ）的硬币第一次掷出正面所需要的次数。 泊松分布：用于模拟罕见事件频率的非负整数的概率分布（其中：

], “ps”: [ “ps0.example.com:2222”, “ps1.example.com:2222” ]}) 分布式版本ClusterSpec定义：� 带来的问题：� • ⼿动指定机器很繁琐� • 端⼝冲突� • 机器负载不均� TensorFlow使用现状及痛点 • ⼿动分发训练样本� • ⼿动拉取训练模型� TensorFlow使用现状及痛点 作业的统⼀管理、状态跟踪� • 资源组（Schedule Pool）的划分� • 作业进程的资源隔离� Yarn能解决什么问题：� TensorFlow on Yarn设计 • 同时支持单机和分布式TensorFlow程序� • 支持GPU资源管理和调度� • 不再需要⼿动配置CluserSpec信息，仅需要设置work 和ps的数量� • 训练数据和训练模型基于HDFS统⼀存储� • 作业训练结束自动回收work、ps和Tensorboard进程� • 训练效果和性能没有损失� 基本目标：� TensorFlow on Yarn设计 • 支持GPU亲和性调度（提⾼通信效率）� • Web的⽅式查看作业的运⾏状况和作业日志� • 在线查看Tensorboard� • HistoryServer支持查看结束作业的日志和状态信息� • 控制已有的TensorFlow作业的迁移成本（最多改三⾏

dtype=float) array([ 1., 2., 3., 4.]) > a.dtype dtype('float64') ndarray的shape属性用来获得它的形状，也可以自己指定 。 > c = np.array([[1, 2, 3, 4], [4, 5, 6, 7], [7, 8, 9, 10]]) > c.shape (3, 4) > a = np.array([1 else: r = a return r > x = np.linspace(0, 10, 11) > y = np.array([num_judge(t, 2) for t in x])#列表生成式 array([0, 2, 2, 0, 2, 0, 0, 2, 2, 0, 0]) 28 自定义ufunc函数 使用frompyfunc()进行转化，调用格式如下： > numb_judge = [array([6, 3, 7, 4, 6, 9]), array([2, 6, 7, 4, 3, 7])] 45 多项式函数 多项式函数是整数的次幂与系数的乘积，如： f(x)= an(x^n)+ an-1(x^(n-1))+…+ a1(x)+ a0 NumPy中多项式函数可以用一维数组表示。a[0]为最高次，a[-1] 为常数项。 > a = np.array([1.0, 0, -2, 1])

础。（RNN缺陷正在于流水线式的顺序计算） 图：Transformer模型架构 33 首先通过词嵌入(Word Embedding)将字、词、 句进行区分，然后基于特征评分、序列标注、 分类模型等提取内容特征计算相关文本单元权 重其次洗择相应的文本单元子集组成摘要候洗 集，完成内容选择，最后针对字数要求等限定 条件，对候选集的内容进行整理形成最终摘要， 完成内容组织。其细分路径又包含生成式文本 摘 摘 要(AATS)，即形成抽象认知并创造新词灵活 概括 ，和抽取式文本摘要(EATS)，即直接抽取 原始素材并拼接成简单概要 摘要/标 题生成 内容续写 （例如文 章续写） 整段文本 生成 产品 特色 通过随机Mask(即遮挡)数据库文本中的 词语或语段，让神经网络自主学习复原被 遮挡部分，从而拥有“猜测”缺失内容的 能力，产出预训练模型。再通过大规模预 训练模型理解上文或给定条件，从概率层 面推测最符合要求的输出结果。其本质是 借助超大规模的训练参数猜测上下文的过 程 文本风格 主流思路是分离文本属性及文本内容 迁移 隐式方法即使用某类无监督学习学习或强化学 习模式将文本属性及内容自动分离，常见的有 生成对抗方式，即通过GAN实现目标属性和 文本量性完全由不同的编码控制的状态。 对话式文本生成适用于智能客服等任务型和闲聊型机器人等 非任务型人机交互场景，可分类为管道模式及端对端模式。 结构性的