学习问题的分类法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 4.9.5 机器学习中的公平、责任和透明度 . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 4.10 实战Kaggle比赛：预测房价 . . . . . . . . . 量样本。 然而，并不是所有的数据都可以用“固定长度”的向量表示。以图像数据为例，如果它们全部来自标准显微 镜设备，那么“固定长度”是可取的；但是如果图像数据来自互联网，它们很难具有相同的分辨率或形状。这 时，将图像裁剪成标准尺寸是一种方法，但这种办法很局限，有丢失信息的风险。此外，文本数据更不符合 “固定长度”的要求。比如，对于亚马逊等电子商务网站上的客户评论，有些文本数据很简短（比如“好极 analysis）问题：我们能否找到少量的参数来准确地捕捉数据的线 性相关属性？比如，一个球的运动轨迹可以用球的速度、直径和质量来描述。再比如，裁缝们已经开发 出了一小部分参数，这些参数相当准确地描述了人体的形状，以适应衣服的需要。另一个例子：在欧几 里得空间中是否存在一种（任意结构的）对象的表示，使其符号属性能够很好地匹配?这可以用来描述 实体及其关系，例如“罗马”− “意大利”+ “法国”= “巴黎”。

要在不同的输入上共享同一个层，只需实例化该层一次，然后根据需要传入你想要的输入 即可： # 这一层可以输入一个矩阵，并返回一个 64 维的向量 shared_lstm = LSTM(64) # 当我们重用相同的图层实例多次，图层的权重也会被重用 (它其实就是同一层) encoded_a = shared_lstm(tweet_a) encoded_b = shared_lstm(tweet_b) # 然后再连接两个向量： 输出），并且为该层添加 一个「节点」，将输入张量连接到输出张量。当多次调用同一个图层时，该图层将拥有多个节点 索引 (0, 1, 2…)。 在之前版本的 Keras 中，可以通过 layer.get_output() 来获得层实例的输出张量，或者通 过 layer.output_shape 来获取其输出形状。现在你依然可以这么做（除了 get_output() 已经 被 output 属 矩阵的列表形式返回层的权重。 • layer.set_weights(weights): 从含有 Numpy 矩阵的列表中设置层的权重（与 get_weights 的输出形状相同）。 • layer.get_config(): 返回包含层配置的字典。此图层可以通过以下方式重置： layer = Dense(32) config = layer.get_config() reconstructed_layer

元素依次代表了当前像素点上面的 R、G、B 颜色强值，因此彩色图片需要保存为形状是 [ℎ, ?, 3]的张量(Tensor，可以通俗地理解为 3 维数组)。如果是灰度图片，则使用一个数值 来表示灰度强度，例如 0 表示纯黑，255 表示纯白，因此它只需要一个形状为[ℎ, ?]的二维 矩阵(Matrix)来表示一张图片信息(实际上，也可以保存为[ℎ, ?, 1]形状的张量)。图 3.3 演示 了内容为 8 的数字图片的矩阵内容，可以看到，图片中黑色的像素用 型的训练。 网络中每张图片的计算流程是通用的，因此在计算的过程中可以一次进行多张图片的 计算，充分利用 CPU 或 GPU 的并行计算能力。如果用形状为[ℎ, ?]的矩阵来表示一张图 片，对于多张图片来说，在前面添加一个数量维度(Dimension)，使用形状为[?, ℎ, ?]的张量 来表示，其中?代表了批量大小(Batch Size)，这里?设置为 512；多张彩色图片可以使用形 状为[?, ℎ, # 加载一个批数据，并观察数据形状 x, y = next(iter(train_loader)) print(x.shape, y.shape, x.min(), x.max()) plot_image(x, y, 'Image') # 观察图片 运行可得批中 x 的形状为：torch.Size([512, 1, 28, 28])，y 的形状为 torch.Size([512])，分别

查看张量的属性  查看Tensor类型  tensor1 = torch.randn(2,3) #形状为(2,3)一组从标准正态分布 中随机抽取的数据  tensor1.dtype # torch.float32  查看Tensor维度和形状  tensor1.shape #查看形状或尺寸  tensor1.ndim #查看维度  查看Tensor是否存储在GPU上  tensor1 x.clone() np.concatenate torch.cat 线性代数 np.dot torch.mm 属性 x.ndim x.dim() x.size x.nelement() 形状操作 x.reshape x.reshape(相当于 tensor.contiguous().view()); x.view x.flatten x.view(-1)；nn Flatten() 类型转换 导 对 非 标 量 求 导 直 接 使 用 L.backward()函 数 配 置 backward()函 数 中 g r a d i e n t 参 数 ， 使 其 形 状 与 函 数 L形状一样，其权重一般为1（也可 小于1） 使 用 t e n s o r.grad查 看 叶 子 节 点 的 梯 度 如 果 需 要 保 存 非 叶 子 节 点 梯 度 ， 需 使 对 应 张

AlexNet (右) 7 • 在 AlexNet 的第一层，卷积窗口的形状是 11×11 。由于大 多数 ImageNet 中图像的宽和高比 MNIST 图像的多10倍以 上，因此，需要一个更大的卷积窗口来捕获目标。 第二层 中的卷积窗形状被缩减为 5×5 ，然后是 3×3 。 此外，在 第一层、第二层和第五层之后，加入窗口形状为 3×3 、步 幅为 2 的最大池化层。 此外，AlexNet

2., 3., 4., 1., 2., 3., 4., 1., 2.]) 还可以自定义函数产生ndarray。 fromfunction第一个参数接收计算函数，第二个参数接收数组的形状。 17 ndarray的属性 ndarray的元素具有相同的元素类型。常用的有int（整型），float（浮点型）， complex（复数型）。 > a = np.array([1, 2, 3, 4], dtype=float) array([ 1., 2., 3., 4.]) > a.dtype dtype('float64') ndarray的shape属性用来获得它的形状，也可以自己指定 。 > c = np.array([[1, 2, 3, 4], [4, 5, 6, 7], [7, 8, 9, 10]]) > c.shape (3, 4) > a = np.array([1 要把它转换 成整型。 y.astype(np.int) 29 广播(broadcasting) 使用ufunc对两个数组进行运算时，ufunc函数会对两个数组的对应元素进 行运算。如果数组的形状不相同，就会进行下广播处理。 简而言之，就是向两个数组每一维度上的最大值靠齐。 30 广播(broadcasting) 31 广播(broadcasting) 我们看一下具体的例子： >

20 2.神经风格迁移 21 2.神经风格迁移 22 2.神经风格迁移 深度学习=表示学习+浅层学习 23 多层卷积能抽取复杂特征 浅层学到的特征为简单的边缘、角 点、纹理、几何形状、表面等 深层学到的特征则更为复杂抽象，为狗 、人脸、键盘等等 24 2.神经风格迁移 ?(?) = ??content(?, ?) + ??style(?, ?) 两个超参数?和?来确定内容代价和风格代价

进行卷积计算，处理大量特征 14 深层神经网络和卷积神经网络 15 卷积神经网络 深度学习=表示学习+浅层学习 16 多层卷积能抽取复杂特征 浅层学到的特征为简单的边缘、角 点、纹理、几何形状、表面等 深层学到的特征则更为复杂抽象，为狗 、人脸、键盘等等 17 边缘检测 神经网络的前几层是通常检测边缘 的，然后，后面的层有可能检测到 物体的部分区域，更靠后的一些层 可能检测到完整的物体

连续随机变量 均匀分布：在 和 之间每个点概率密度相等的分布（其中： ）。 指数分布：在非负实数上有衰减的概率密度（其中： ）。 正态分布：又被称为高斯分布。 一些随机变量的概率密度函数和累积分布函数的形状如图2所示。 下表总结了这些分布的一些特性： 分布 概率密度函数(PDF)或者概率质量函数 (PMF) 均 值 方差 (泊松分布) 其中： (均匀分布) 存在 (高斯分 布) (指数分布)

Applications with Noise)是一个比较有代表性的基于密度的聚类算法。它将簇 定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并 可在噪声的空间数据库中发现任意形状的聚类。 密度：空间中任意一点的密度是以该点为圆心，以扫描半径构成的圆区域内包 含的点数目。 30 密度聚类-DBSCAN DBSCAN使用两个超参数： 扫描半径 (eps)和最小包含点数