3 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267 7.5 批量规范化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268 7.5.1 1 训练深层网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268 7.5.2 批量规范化层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269 7.5.3 从零实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270 7.5.4 使用批量规范化层的 LeNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272 7.5.5 简明实现 . . . . . . . . .

EZ-Gimpy，PayPal使用的验证码，LiveJournal、 phpBB使用的验证码，很多金融机构（主要是银行）使用的网银验证码以及很多其他网站 使用的验证码。 俄罗斯的一个黑客组织使用一个自动识别软件在2006年破解了Yahoo的CAPTCHA。准确 率大概是15%，但是攻击者可以每天尝试10万次，相对来说成本很低。而在2008年， Google的CAPTCHA也被俄罗斯黑客所破解。攻击者使用两台不同的计算机来调整破解进 ImageCaptcha.generate(‘1234’) – 生成验证码图像 “Hello TensorFlow” Try it 输入与输出数据处理 输入数据处理 图像处理：RGB图 -> 灰度图 -> 规范化数据 输入数据处理 适配 Keras 图像数据格式：“channels_frist” 或 “channels_last” 输出数据处理 One-hot 编码：验证码转向量 输出数据处理

直播行业的快速兴起，使得视频中不良信 息含量更加迅猛增长，色情暴力等不雅视 频频繁流出，导致各网络直播平台面临危 机。 Ø 内容监管日趋严格， 2017年上半年，各 大直播行业协会相应成立，行业平台自我 规范的同时，网信办、文化部等国家部门 对于直播行业监管也越发严格，几乎所有 知名的直播平台均被有关部门点名查处过， 特别2017 年月中旬，黄鳝事件引爆网络， 让色情直播再度被推上舆论浪尖。 2016 - 讯飞，搜 狗，阿里 演示了实 时语音识 别翻译 2016 优图实时 美颜美妆 在众多直 播，小视 频场景大 量应用 深度学习实现 的图像风格化， 带动时光相册 等一大批风格 化软件流行 SACC2017 深度学习 – 相对于传统机器学习方法的突破 图像表示：Gabor, SIFT, HOG, LBP, POEM, LGBP, LPQ 图像集表示：Manifold, GMM

?2, ⋯ , ??使其两两正交，且??仅是?1, ?2, ⋯ , ??的线性 组合(? = 1,2, ⋯ , ?)，再把??单位化，记?? = ?? ?? ，则?1, ?2, ⋯ , ??是规范正交向量组。 其中 ?1 = ?1， ?2 = ?2 − (?2,?1) (?1,?1) ?1 ， ?3 = ?3 − (?3,?1) (?1,?1) ?1 − (?3,?2) (?2,?2) , ?2) (?2, ?2) ?2 − ⋯ − (??, ??−1) (??−1, ??−1) ??−1 3.向量 22 9.正交基及规范正交基 向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向量， 就称其为规范正交基。 3.向量 23 4.线性方程组 01 行列式 02 矩阵 03 向量 06 二次型 05 矩阵的特征值和特征向量 = ???(?, ? = 1,2, ⋯ , ?)，所以二次型矩阵均为对称矩阵，且二次型与对称矩 阵一一对应，并把矩阵?的秩称为二次型的秩。 6.二次型 35 2.惯性定理，二次型的标准形和规范形 (1) 惯性定理 对于任一二次型，不论选取怎样的合同变换使它化为仅含平方项的标准型，其正负 惯性指数与所选变换无关，这就是所谓的惯性定理。 (2) 标准形 二次型? = ?1, ?2,

1, ?2, ⋯ , ??使其两两正交，且??仅是?1,?2, ⋯ , ??的线性 组合(? = 1,2,⋯ , ?)，再把??单位化，记?? = ?? |??|，则?1, ?2, ⋯ , ??是规范正交向量组。其中 ?1 = ?1， ?2 = ?2 − (?2,?1) (?1,?1) ?1 ， ?3 = ?3 − (?3,?1) (?1,?1) ?1 − (?3,?2) ( ?1 − (??, ?2) (?2, ?2) ?2 − ⋯ − (??, ??−1) (??−1, ??−1) ??−1 9.正交基及规范正交基 向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向 量，就称其为规范正交基。 线性方程组 1．克莱姆法则 线性方程组 { ?11?1 + ?12?2 + ⋯ + ?1??? = ?1 称为二次型矩阵，因为??? = ???(?, ? = 1,2,⋯ , ?)，所以二次型矩阵均为 对称矩阵，且二次型与对称矩阵一一对应，并把矩阵?的秩称为二次型的秩。 2.惯性定理，二次型的标准形和规范形 (1) 惯性定理 对于任一二次型，不论选取怎样的合同变换使它化为仅含平方项的标准型，其正负惯性指 数与所选变换无关，这就是所谓的惯性定理。 (2) 标准形 二次型? = (

，或是分解或切分原有的 特征来创建新的特征 2. 特征构建 在原始数据集中的特征 的形式不适合直接进行 建模时，使用一个或多 个原特征构造新的特征 可能会比直接使用原有 特征更为有效。 9 归一化（最大 - 最小规范化） ?∗ = ? − ?min ?max − ?min 将数据映射到[0,1]区间 Z-Score标准化 ?∗ = ? − ? ? ?2 = 1 ? ෍ ?=1 ? (? ? 化，所以数据归一化是会改变特征数据分 布的。 数据标准化为了不同特征之间具备可比性 ，经过标准化变换之后的特征数据分布没 有发生改变。 就是当数据特征取值范围或单位差异较大时 ，最好是做一下标准化处理。 数据规范化 使不同规格的数据转换到同一规格。 2. 特征构建 10 定量特征二值化 设定一个阈值，大于阈值的赋值为1，小于等于阈值的赋值为0，使 用preproccessing库的Binarizer类对数据进行二值化的代码如下：

63757 -0.22368 -0.78305 训练数据： 假设函数： 使用 TensorFlow 实现房价预测模型 使用 TensorFlow 训练模型的工作流 数据读入 数据分析 数据 规范化 创建模型 (数据流图) 创建会话 (运行环境) 训练模型 数据分析库：Pandas Pandas 是一个 BSD 开源协议许可的，面向 Python 用户的高性能和易于上手的数

手写体数字介绍 MNIST 数据集中的图像都是256阶灰度图，即灰度值 0 表示白色（背景），255 表示 黑色（前景），使用取值为［0，255］的uint8数据类型表示图像。为了加速训练，我 们需要做数据规范化，将灰度值缩放为［0，1］的float32数据类型。 255 0 MNIST 手写体数字介绍 下载和读取 MNIST 数据集 一个曾广泛使用（如 chapter-2/basic-model

MinMaxScaler OneHotEncoder Normalizer Binarizer LabelEncoder Imputer PolynomialFeatures 归一化（最大 - 最小规范化） ?∗ = ? − ?min ?max − ?min 将数据映射到[0,1]区间 13 2.Scikit-learn主要用法 特征选择 from sklearn import feature_selection

Normalization After Normalization x1 x2 r=1 x1 x2 Normalization 3.正则化、偏差和方差 17 归一化（最大 - 最小规范化） ?∗ = ? − ?min ?max − ?min 将数据映射到[0,1]区间 Z-Score标准化 ?∗ = ? − ? ? ?2 = 1 ? ෍ ?=1 ? (? ?