第六部分 实战 TensorFlow 验证码识别 扫描二维码 试看/购买《TensorFlow 快速入门与实战》视频课程 • 准备模型开发环境 • 生成验证码数据集 • 输入与输出数据处理 • 模型结构设计 • 模型损失函数设计 • 模型训练过程分析 • 模型部署与效果演示 第六部分 目录 准备模型开发环境 第三方依赖包 数据集生成 • Pillow • captcha 储的数据， 它应该为一般的图像处理工 具提供坚实的基础。 https://github.com/python-pillow/Pillow captcha Catpcha 是一个生成图像和音频验证码的开源工具库。 https://github.com/lepture/captcha from captcha.image import ImageCaptcha from captcha.audio https://github.com/pallets/flask 生成验证码数据集 验证码（CAPTCHA）简介 全自动区分计算机和人类的公开图灵测试（英语：Completely Automated Public Turing test to tell Computers and Humans Apart，简称CAPTCHA），俗称验证码，是一种区分用户是 计算机或人的公共全自动程序。在CAPT

机器学习的分类 有监督学习 有监督学习的数据集包含了样本?与样本的标签?，算法模型需要学习到 映射关系??: ? → ?，其中??代表模型函数，?为模型的参数。在训练时，通过计算模型的预 测值??(?)与真实标签?之间的误差来优化网络参数?，使得网络下一次能够预测更精准。常 见的有监督学习有线性回归、逻辑回归、支持向量机、随机森林等。 无监督学习 收集带标签的数据往往代价较为昂贵，对于只有样本 身作为 监督信号，即模型需要学习的映射为??: ? → ?，称为自监督学习(Self-supervised Learning)。在训练时，通过计算模型的预测值??(?)与自身?之间的误差来优化网络参数?。 常见的无监督学习算法有自编码器、生成对抗网络等。 强化学习 也称为增强学习，通过与环境进行交互来学习解决问题的策略的一类算法。 与有监督学习、无监督学习不同，强化学习问题并没有明确的“正确的”动作监督信号， 年，美国心理学家 Frank Rosenblatt 提出了第一个可以自动学习权重的神经元模 型，称为感知机(Perceptron)，如图 1.5 所示，输出值?与真实值 之间的误差用于调整神经 元的权重参数{? , ? , … , ? }。Frank Rosenblatt 随后基于“Mark 1 感知机”硬件实现感知 机模型，如图 1.6、图 1.7 所示，输入为 400 个单元的图像传感器，输出为 8

Keras 处理超过内存的数据集？ . . . . . . . . . . . . . . . . . . . . 32 3.3.10 在验证集的误差不再下降时，如何中断训练？ . . . . . . . . . . . . . . . . 32 3.3.11 验证集划分是如何计算的？ . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 3.3.12 在训练过程中数据是否会混洗？ . . . . . . . . . . . . . . . . . . . . . . . . 32 3.3.13 如何在每个 epoch 后记录训练集和验证集的误差和准确率？ . . . . . . . . 32 3.3.14 如何「冻结」网络层？ . . . . . . . . . . . . . . . . . . . . . . . . . . 8.1 评价函数的用法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 8.1.1 参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 8.1.2 返回值 . .

读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 3.2.3 初始化模型参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.4 定义模型 . . . . . 定义模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 3.3.4 初始化模型参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 3.3.5 定义损失函数 . . . 网络架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 3.4.3 全连接层的参数开销 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 3.4.4 softmax运算 . . .

scoring=“r2”) 封装式（Wrap- per），结合交叉验证的递归特征消除法，自动选择最优特征个数 fs.SelectFromModel(estimator) 嵌入式（Embedded），从 模型中自动选择特征，任何具有coef_或者 feature_importances_的 基模型都可以作为estimator参数传入 14 2.Scikit-learn主要用法 监督学习算法-回归 Scikit-learn主要用法 交叉验证及超参数调优 from sklearn.model_selection import cross_val_score clf = DecisionTreeClassifier(max_depth=5) scores = cross_val_score(clf, X_train, y_train, cv=5, scoring=’f1_weighted’) 使用5折交叉验证对决策树模型进行评估， 使用5折交叉验证对决策树模型进行评估， 使用的评分函数为F1值 sklearn提供了部分带交叉验证功能的模型 类如LassoCV、LogisticRegressionCV等， 这些类包含cv参数 26 2.Scikit-learn主要用法 交叉验证及超参数调优 超参数调优⸺网格搜索 from sklearn.model_selection import GridSearchCV from sklearn

Set）：帮助我们训练模型，简单的说就是通过 训练集的数据让我们确定拟合曲线的参数。 验证集（Validation Set）：也叫做开发集（ Dev Set ），用来做 模型选择（model selection），即做模型的最终优化及确定的， 用来辅助我们的模型的构建，即训练超参数，可选； 测试集（Test Set）： 为了测试已经训练好的模型的精确度。 三者划分：训练集、验证集、测试集 机器学习：60%，20%，20%；70%，10%，20% 机器学习：60%，20%，20%；70%，10%，20% 深度学习：98%，1%，1% （假设百万条数据） 数据集划分 数据集 训练集 验证集 测试集 4 交叉验证 1. 使用训练集训练出10个模型 2. 用10个模型分别对交叉验证集 计算得出交叉验证误差（代价函 数的值） 3. 选取代价函数值最小的模型 4. 用步骤3中选出的模型对测试 集计算得出推广误差（代价函数 的值） 5 数据集制作 Py 即丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一 些模型选择的算法来帮忙（例如PCA）。 3.正则化 正则化(regularization)的技术，保留所有的特征，但是减少参数的大小（magnitude） ，它可以改善或者减少过拟合问题。 4.集成学习方法 集成学习是把多个模型集成在一起，来降低单一模型的过拟合风险。 9 通过这张图可以看出， 各种不同算法在输入的

Set）：帮助我们训练模型，简单的说就是通过 训练集的数据让我们确定拟合曲线的参数。 验证集（Validation Set）：也叫做开发集（ Dev Set ），用来做 模型选择（model selection），即做模型的最终优化及确定的， 用来辅助我们的模型的构建，即训练超参数，可选； 测试集（Test Set）： 为了测试已经训练好的模型的精确度。 三者划分：训练集、验证集、测试集 机器学习：60%，20%，20%；70%，10%，20% 机器学习：60%，20%，20%；70%，10%，20% 深度学习：98%，1%，1% （假设百万条数据） 1.数据集划分 数据集 训练集 验证集 测试集 5 交叉验证 1. 使用训练集训练出k个模型 2. 用k个模型分别对交叉验证集计算得 出交叉验证误差（代价函数的值） 3. 选取代价函数值最小的模型 4. 用步骤3中选出的模型对测试集计算得出 推广误差（代价函数的值） 6 数据不平衡是指数据集中各类样本数量不均衡的情况 即丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一 些模型选择的算法来帮忙（例如PCA）。 3.正则化 正则化(regularization)的技术，保留所有的特征，但是减少参数的大小（magnitude） ，它可以改善或者减少过拟合问题。 4.集成学习方法 集成学习是把多个模型集成在一起，来降低单一模型的过拟合风险。 21 通过这张图可以看出， 各种不同算法在输入的

to PATH”之后再点击【Install Now】默认安装完成即可。 3. 安装好 Python 语言包支持以后可以通过命令行来验证测试 安装是否成功，首先通过 cmd 打开 Window 命令行窗口，然 后输入 Python，显示如下： 图 1-2（验证 Python 命令行模式） 如果显示图 1-2 所示的信息表示已经安装成功 Python 语言包 支持；如果输入 Python 之后显示信息为“'python' python 4. 把安装好的 3.6 设置为默认版本 zhigang@ubuntu:/usr/bin$ sudo ln -s python3.6 /usr/bin/ python 5. 检查与验证 zhigang@ubuntu:~$ python -V Python 3�6�5 成功完成上述五个步骤的命令行执行就完成了 Python 语言包 依赖安装，然后安装 Pytorch 框架，CPU 张量 张量是深度学习编程框架中需要理解最重要的一个概念，张量 的本质是数据，在深度学习框架中一切的数据都可以看成张量。 深度学习中的计算图是以张量数据为输入，通过算子运算，实 现对整个计算图参数的评估优化。但是到底什么是张量？可以 看下面这张图： 图 1-3（张量表示） PyTorch + OpenVINO 开发实战系列教程 第一篇 5 上图 1-3 中标量、向量、数组、3D、4D、5D

特征实时化：更及时反馈用户行为，更细粒度刻画用户 • 模型实时化：根据线上样本实时训练模型，及时地反映对象的线上变化 模型推理 预测服务 实时特征 实时数据 3 在线机器学习 实时样本 实时模型训练 实时更新参数 Task 训练预处理 Node 实时样本拼接 Node 在线模型训练 Node 离线样本拼接 Node 在线模型评估 Node 模型上线 Node 实时特征处理 Node 曝光，互动，点击，真实阅读等多种数据流接入并多流拼接 • 如何解决日志延时问题 • 延迟等待机制，先到先走 • 定时轮寻，最长N分钟等待 • Kafka 堆积监控，实时报警 • 如何解决内存问题 • 调整内存参数 • 关闭多余的监控点 • 如何异常处理 • 自动化监控与修复系统 • Checkpoint 节点异常修复 3 在线机器学习-实时样本生成 • 在线机器学习模型训练：Flink/Blink+WeiPS FM：大规模稀疏数据下的特征组合问题 • DeepFM • 优化算法选择 • FTRL：调节学习率，突出低频特征，非batch优化 • Adagrad : 调节学习率，突出低频特征，实现简单 • SGD： 参数少，效率高，固定学习率 • ID特征处理 • Hash：BKDRhash/CityHash，ID高维度稀疏+实时 3 在线机器学习-实时模型训练 serving serving server