Conv2D(3, (3, 3), padding='same')(x) # 返回 x + y z = keras.layers.add([x, y]) 3.2.7.3 共享视觉模型 该模型在两个输入上重复使用同一个图像处理模块，以判断两个 MNIST 数字是否为相同的数字。 from keras.layers import Conv2D, MaxPooling2D, Input, Dense, Flatten eo_input) # 输出为向量的序列 encoded_video = LSTM(256)(encoded_frame_sequence) # 输出为一个向量 # 这是问题编码器的模型级表示，重复使用与之前相同的权重： question_encoder = Model(inputs=question_input, outputs=encoded_question) # 让我们用它来编码这个问题： ，保证每个输入在每个 epoch 只使用一次。 参数 • generator: 一个生成器，或者一个 Sequence (keras.utils.Sequence) 对象的实例，以在 使用多进程时避免数据的重复。生成器的输出应该为以下之一： • 一个 (inputs, targets) 元组 - 一个 (inputs, targets, sample_weights) 元组。这个元组（生成器 的单个输出）组成了单个的

K-means聚类 K-means算法流程 1. 选择K个点作为初始质心。 2. 将每个点指派到最近的质心，形成K个簇。 3. 对于上一步聚类的结果，进行平均计算，得出该簇的新的聚类中心。 4. 重复上述两步/直到迭代结束：质心不发生变化。 17 2.K-means聚类 初始化质心 K-means算法流程 首先，初始化称为簇质心的任意点。初始化 时，必须注意簇的质心必须小于训练数据点 DBSCAN密度聚类的算法流程 1.将所有点标记为核心点、边界点或噪声点； 2. 如果选择的点是核心点，则找出所有从该点出发的密度可达对象形成簇； 3. 如果该点是非核心点，将其指派到一个与之关联的核心点的簇中； 4. 重复以上步骤，直到所点都被处理过 P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11 P12 P13 X 1 2 2 4 5 6 6 7 9 1 3 5 3 Y 2 1 4 3 8 Step4 Step4 Step3 Step2 Step1 Step0 40 层次聚类-聚合聚类 聚合聚类 ⚫ 开始将每个样本各自分到一个簇； ⚫ 之后将相距最近的两簇合并，建立一个新的簇； ⚫ 重复此操作直到满足停止条件； ⚫ 得到层次化的类别。 AGENES 聚合聚类 e d c c,d,e d,e a,b,c,d,e b a a,b Step0 Step4 Step1

2. 计算数据集合信息熵和所有特征的条件熵，选择信息增益最大的特征作为当 前决策节点； 3. 更新数据集合和特征集合（删除上一步使用的特征，并按照特征值来划分不 同分支的数据集合）； 4. 重复 2，3 两步，若子集值包含单一特征，则为分支叶子节点。 11 ? ? = − ෍ ?=1 ? ?? ? ???2 ?? ? 信息熵 ?是类别，?是数据集，??是类别?下的数据集 信息熵 其中，? ? ? = − ෍ ?=1 ? ?? ? ???2 ?? ? ，?是特征?的取值个数 19 C4.5的剪枝 过拟合的原因： 为了尽可能正确分类训练样本，节点的划分过程会不断重复直到不能再分，这 样就可能对训练样本学习的“太好”了，把训练样本的一些特点当做所有数据 都具有的一般性质，从而导致过拟合。 剪枝的基本策略有“预剪枝”（prepruning）和“后剪枝”（post-pruning） CART剪枝 具体流程: (1)计算每一个结点的条件熵 (2)递归的从叶子节点开始往上遍历, 减掉叶子节点,然后判断损失函数的 值是否减少,如果减少,则将父节点 作为新的叶子节点 (3)重复(2),直到完全不能剪枝. 平坦 纹理 色泽 好瓜 坏瓜 根蒂 色泽 脐部 坏瓜 坏瓜 坏瓜 坏瓜 好瓜 好瓜 好瓜 好瓜 好瓜 乌黑 凹陷 硬挺 稍糊 清晰 蜷曲

描述这些模型的数学可能非常困难，也是因为对这些主 题的认真研究最近才进入高潮。我们希望随着深度学习理论的发展，这本书的未来版本将能够在当前版本无 法提供的地方提供见解。 有时，为了避免不必要的重复，我们将本书中经常导入和引用的函数、类等封装在d2l包中。对于要保存到包 中的任何代码块，比如一个函数、一个类或者多个导入，我们都会标记为#@save。我们在 16.6节 中提供了这 些函数和类 包含如下步骤： 1. 从一个随机初始化参数的模型开始，这个模型基本没有“智能”； 2. 获取一些数据样本（例如，音频片段以及对应的是或否标签）； 3. 调整参数，使模型在这些样本中表现得更好； 4. 重复第（2）步和第（3）步，直到模型在任务中的表现令人满意。 图1.1.2: 一个典型的训练过程 总而言之，我们没有编写唤醒词识别器，而是编写了一个“学习”程序。如果我们用一个巨大的带标签的数 据 多阶段设计。例如，存储器网络 (Sukhbaatar et al., 2015) 和神经编程器‐解释器 (Reed and De Freitas, 2015)。它们允许统计建模者描述用于推理的迭代方法。这些工具允许重复修改深度神经网络的内部状 态，从而执行推理链中的后续步骤，类似于处理器如何修改用于计算的存储器。 • 另一个关键的发展是生成对抗网络 (Goodfellow et al., 2014) 的发明。传统模型中，密度估计和生成模

? ?]. 2) 若? ∼ ?，则?(?) ∼ ?(?), |?(?)| ∼ |?(?)|，其中?(?)为关于?阶方阵?的多项式。 3) 若?为可对角化矩阵，则其非零特征值的个数(重根重复计算)＝秩(?) 4.实对称矩阵的特征值、特征向量及相似对角阵 (1)相似矩阵：设?, ?为两个?阶方阵，如果存在一个可逆矩阵?，使得? = ?−1??成立，则 称矩阵?与?相似，记为? 相互独立 ⇔ ?(??) = ?(?)?(?); ?(??) = ?(?)?(?); ?(??) = ?(?)?(?); ?(???) = ?(?)?(?)?(?). 8.独立重复试验 将某试验独立重复 n 次，若每次实验中事件 A 发生的概率为 p，则 n 次试验中 A 发生 k 次 的概率为： ?(? = ?) = ?????(1 − ?)?−? 。 9.重要公式与结论

数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包 括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后 的数据清理一般是由计算机而不是人工完成。 9 2.数据清洗 不合法值 空 值 异常检测 重复处理 拼写错误 命名习惯 数理统计技术 数据挖掘技术 脏数据 数据清理策略、规则 满足数据质量要求的数据 数据清理原理 10 探索性数据分析(EDA) 探索性数据分析（EDA）是一个开放式流程，我们制作绘图并计算 特征越好，灵活性越强； 特征越好，模型越简单；特征越好 ，性能越出色；好特征即使使用一般的模型，也能得到很好的 效果！ 3.特征工程 21 特征选择 主要方法 去除变化小的特征 去除共线特征 去除重复特征 主成分分析（PCA） …… 特征选择主要有两个功能： 1.减少特征数量、降维，使模型泛化能力更 强，减少过拟合 2.增强对特征和特征值之间的理解 3.特征工程 22 数据划分

1 人工智能 信息技术是人类历史上的第三次工业革命，计算机、互联网、智能家居等技术的普及 极大地方便了人们的日常生活。通过编程的方式，人类可以将提前设计好的交互逻辑交给 机器重复且快速地执行，从而将人类从简单枯燥的重复劳动工作中解脱出来。但是对于需 要较高智能水平的任务，如人脸识别、聊天机器人、自动驾驶等任务，很难设计明确的逻 辑规则，传统的编程方式显得力不从心，而人工智能(Artificial 年发布的深度学习框架，最初版本只支持符号式编程。 得益于发布时间较早，以及 Google 在深度学习领域的影响力，TensorFlow 很快成为最 流行的深度学习框架。但是由于 TensorFlow 接口设计频繁变动，功能设计重复冗余， 符号式编程开发和调试非常困难等问题，TensorFlow 1.x 版本一度被业界诟病。2019 年，Google 推出 TensorFlow 2 正式版本，将以动态图优先模式运行，从而能够避免 度学习中使用最广泛 的激活函数。因此，这里通过嵌套 ReLU 函数将模型转换为非线性模型： = ReLU(?? + ?) 3.6 表达能力 针对于一层模型的表达能力偏弱的问题，可以通过重复堆叠多次变换来增加其表达能 力。如果将一层模型理解为火车的一节车厢，那么堆叠多层模型即是将多节车厢首尾相 连，上一层网络的输出作为下一层的输入。单层的非线性层堆叠 3 次可得： ?1 = ReLU(

制不是极大值的元素，用于目标检测中， 就是提取置信度高的目标检测框，而抑制 置信度低的误检框。一般来说，用在当解 析模型输出到目标框时，目标框会非常多 ，具体数量由anchor数量决定，其中有很 多重复的框定位到同一个目标，NMS用来 去除这些重复的框，获得真正的目标框。 如下图所示，人、马、车上有很多框，通 过NMS，得到唯一的检测框。 28 2.目标检测算法 非极大值抑制（Non-max suppression）

基于自适应分段的集束调整 • 将长序列分成若干段短序列； • 每个短序列进行独立的SfM并根据公共匹配对进行对齐，每个段由7个自由 度的相似变换控制； • 如果投影误差比较大，检测分裂点将序列分段，然后优化； • 重复上述步骤直至投影误差小于阈值或不能再分裂为止。 Garden数据集的SfM结果 6段长视频序列，将近10万帧，特征匹配74分钟，SfM求解16分钟（单线程），平均17.7fps VisualSFM：SfM求解 http://www.zjucvg.net/rdslam/rdslam.html • ACTS: • http://www.zjucvg.net/acts/acts.html 总结与讨论 • 极度缺乏特征和大量重复纹理场景 下还工作得不好 • 结合边跟踪或直接稠密跟踪 • 融合其它传感器 • 目前只能实现实时的稀疏重建 • 加速稠密深度恢复 • 采用RGB-D相机 视觉SLAM技术发展趋势 •

) = ?(?)?(?); ?(??) = ?(?)?(?); ?(??) = ?(?)?(?); ?(???) = ?(?)?(?)?(?). 1.随机事件和概率 11 8.独立重复试验 将某试验独立重复n次，若每次实验中事件A发生的概率为p，则n次试验中A发生k次的概率为： ? ? = ? = ????? 1 − ? ?−? 9.重要公式与结论 (1) ? ? = 1 − ? ?