分布式训练优化 • 超大资源池 智能标注 可视化建模(Designer) 分布式训练(DLC) 在线服务(EAS) 生态市场 开发者工具 • CLI • PAIFlow • OpenAPI AI能力 体验中心 开源 PAI平台（Platform of Artificial Intelligence） Deep Learning Container 数据量大而全 先进的模型结构

3 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267 7.5 批量规范化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268 7.5.1 1 训练深层网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268 7.5.2 批量规范化层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269 7.5.3 从零实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270 7.5.4 使用批量规范化层的 LeNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272 7.5.5 简明实现 . . . . . . . . .

?2, ⋯ , ??使其两两正交，且??仅是?1, ?2, ⋯ , ??的线性 组合(? = 1,2, ⋯ , ?)，再把??单位化，记?? = ?? ?? ，则?1, ?2, ⋯ , ??是规范正交向量组。 其中 ?1 = ?1， ?2 = ?2 − (?2,?1) (?1,?1) ?1 ， ?3 = ?3 − (?3,?1) (?1,?1) ?1 − (?3,?2) (?2,?2) , ?2) (?2, ?2) ?2 − ⋯ − (??, ??−1) (??−1, ??−1) ??−1 3.向量 22 9.正交基及规范正交基 向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向量， 就称其为规范正交基。 3.向量 23 4.线性方程组 01 行列式 02 矩阵 03 向量 06 二次型 05 矩阵的特征值和特征向量 = ???(?, ? = 1,2, ⋯ , ?)，所以二次型矩阵均为对称矩阵，且二次型与对称矩 阵一一对应，并把矩阵?的秩称为二次型的秩。 6.二次型 35 2.惯性定理，二次型的标准形和规范形 (1) 惯性定理 对于任一二次型，不论选取怎样的合同变换使它化为仅含平方项的标准型，其正负 惯性指数与所选变换无关，这就是所谓的惯性定理。 (2) 标准形 二次型? = ?1, ?2,

1, ?2, ⋯ , ??使其两两正交，且??仅是?1,?2, ⋯ , ??的线性 组合(? = 1,2,⋯ , ?)，再把??单位化，记?? = ?? |??|，则?1, ?2, ⋯ , ??是规范正交向量组。其中 ?1 = ?1， ?2 = ?2 − (?2,?1) (?1,?1) ?1 ， ?3 = ?3 − (?3,?1) (?1,?1) ?1 − (?3,?2) ( ?1 − (??, ?2) (?2, ?2) ?2 − ⋯ − (??, ??−1) (??−1, ??−1) ??−1 9.正交基及规范正交基 向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向 量，就称其为规范正交基。 线性方程组 1．克莱姆法则 线性方程组 { ?11?1 + ?12?2 + ⋯ + ?1??? = ?1 称为二次型矩阵，因为??? = ???(?, ? = 1,2,⋯ , ?)，所以二次型矩阵均为 对称矩阵，且二次型与对称矩阵一一对应，并把矩阵?的秩称为二次型的秩。 2.惯性定理，二次型的标准形和规范形 (1) 惯性定理 对于任一二次型，不论选取怎样的合同变换使它化为仅含平方项的标准型，其正负惯性指 数与所选变换无关，这就是所谓的惯性定理。 (2) 标准形 二次型? = (

，或是分解或切分原有的 特征来创建新的特征 2. 特征构建 在原始数据集中的特征 的形式不适合直接进行 建模时，使用一个或多 个原特征构造新的特征 可能会比直接使用原有 特征更为有效。 9 归一化（最大 - 最小规范化） ?∗ = ? − ?min ?max − ?min 将数据映射到[0,1]区间 Z-Score标准化 ?∗ = ? − ? ? ?2 = 1 ? ෍ ?=1 ? (? ? 化，所以数据归一化是会改变特征数据分 布的。 数据标准化为了不同特征之间具备可比性 ，经过标准化变换之后的特征数据分布没 有发生改变。 就是当数据特征取值范围或单位差异较大时 ，最好是做一下标准化处理。 数据规范化 使不同规格的数据转换到同一规格。 2. 特征构建 10 定量特征二值化 设定一个阈值，大于阈值的赋值为1，小于等于阈值的赋值为0，使 用preproccessing库的Binarizer类对数据进行二值化的代码如下：

63757 -0.22368 -0.78305 训练数据： 假设函数： 使用 TensorFlow 实现房价预测模型 使用 TensorFlow 训练模型的工作流 数据读入 数据分析 数据 规范化 创建模型 (数据流图) 创建会话 (运行环境) 训练模型 数据分析库：Pandas Pandas 是一个 BSD 开源协议许可的，面向 Python 用户的高性能和易于上手的数

手写体数字介绍 MNIST 数据集中的图像都是256阶灰度图，即灰度值 0 表示白色（背景），255 表示 黑色（前景），使用取值为［0，255］的uint8数据类型表示图像。为了加速训练，我 们需要做数据规范化，将灰度值缩放为［0，1］的float32数据类型。 255 0 MNIST 手写体数字介绍 下载和读取 MNIST 数据集 一个曾广泛使用（如 chapter-2/basic-model

ImageCaptcha.generate(‘1234’) – 生成验证码图像 “Hello TensorFlow” Try it 输入与输出数据处理 输入数据处理 图像处理：RGB图 -> 灰度图 -> 规范化数据 输入数据处理 适配 Keras 图像数据格式：“channels_frist” 或 “channels_last” 输出数据处理 One-hot 编码：验证码转向量 输出数据处理

MinMaxScaler OneHotEncoder Normalizer Binarizer LabelEncoder Imputer PolynomialFeatures 归一化（最大 - 最小规范化） ?∗ = ? − ?min ?max − ?min 将数据映射到[0,1]区间 13 2.Scikit-learn主要用法 特征选择 from sklearn import feature_selection

Normalization After Normalization x1 x2 r=1 x1 x2 Normalization 3.正则化、偏差和方差 17 归一化（最大 - 最小规范化） ?∗ = ? − ?min ?max − ?min 将数据映射到[0,1]区间 Z-Score标准化 ?∗ = ? − ? ? ?2 = 1 ? ෍ ?=1 ? (? ?