1.2.2 深度学习 2006 年，Geoffrey Hinton 等人发现通过逐层预训练的方式可以较好地训练多层神经网 络，并在 MNIST 手写数字图片数据集上取得了优于 SVM 的错误率，开启了第三次人工智 能的复兴。在论文中，Geoffrey Hinton 首次提出了 Deep Learning 的概念，这也是(深层)神 经网络被叫作深度学习的由来。2011 年，Xavier Glorot 技术来防止过拟合，同时抛弃了逐层预训练的方式，直接在两块 NVIDIA GTX580 GPU 上训练网络。AlexNet 在 ILSVRC-2012 图片识别比赛中获得了第一名的成绩，比第二 名在 Top-5 错误率上降低了惊人的 10.9%。 自 AlexNet 模型提出后，各种各样的算法模型相继被发表，其中有 VGG 系列、 GoogLeNet 系列、ResNet 系列、DenseNet 系列等。ResNet ILSVRC10 ILSVRC11 ILSVRC12 ILSVRC13 ILSVRC14 ILSVRC14 ILSVRC15 ILSVRC挑战赛ImageNet数据集分类任务 网络模型层数 Top-5错误率 图 1.13 网络层数变化趋势 1.3.4 通用智能 过去，为了提升某项任务上的算法性能，往往需要利用先验知识手动设计相应的特 预览版202112 第 1 章 人工智能绪论

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 4.1 自定义 Variable 数据与网络训练 19 4.2 准确率的可视化 22 4.3 分类结果的可视化 23 4.4 自定义 Dataset 数据集 25 3 4.5 总结 27 Literature . . . . . . . . . . . . . 当我们明白何为“神经网络”，何为“反向传播”时，我们就已经具备了开始搭建和训练网络 的能力。此时，最好的方法就是给我们一个由简及难的程序示例，我们能够快速搭建出一个网络， 我们可以开始训练，以及指导如何计算训练后的结果准确率等信息。 这也是我要开始写这么一本小书的初衷，我会把本小书控制在 3 小时的学习时间之内。也就 是说，只知道一丁点 python 知识和神经网络的概念，而从未使用过 pytorch 的读者，只需要三个 CrossEntropyLoss () # 学 习 率 learning_rate = 1e−3 # 优 化 器 为 随 机 梯 度 下 降 optimizer = torch . optim .SGD( model . parameters () , l r=learning_rate ) 现在我们先构思一下训练的主体程序，该程序训练 10 轮，并且每轮会训练一次，然后测试一 次准确率。训练函数的输入是训练数据

在训练过程中数据是否会混洗？ . . . . . . . . . . . . . . . . . . . . . . . . 32 3.3.13 如何在每个 epoch 后记录训练集和验证集的误差和准确率？ . . . . . . . . 32 3.3.14 如何「冻结」网络层？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 处理超过内存的数据集？ • 在验证集的误差不再下降时，如何中断训练？ • 验证集划分是如何计算的？ • 在训练过程中数据是否会混洗？ • 如何在每个 epoch 后记录训练集和验证集的误差和准确率？ • 如何「冻结」网络层？ • 如何使用有状态 RNN (stateful RNNs)? • 如何从 Sequential 模型中移除一个层？ • 如何在 Keras 中使用预训练的模型？ evaluation_data 或 evaluation_split 时，评估将在 每个 epoch 结束时运行。 • 在 Keras 中，可以添加专门的用于在 epoch 结束时运行的 callbacks 回调。例如学习率变化 和模型检查点（保存）。 3.3.6 如何保存 Keras 模型？ 3.3.6.1 保存/加载整个模型（结构 + 权重 + 优化器状态） 不建议使用 pickle 或 cPickle 来保存

随机梯度更新 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 451 11.4.2 动态学习率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453 11.4.3 凸目标的收敛性分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476 11.7.1 稀疏特征和学习率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476 11.7.2 预处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491 11.11 学习率调度器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493 11.11

需要强大的房源质量盘点工具 • 找到好房难度大，成本高 挑战 200万 贝壳全部房源 2019 KE.COM ALL COPYRIGHTS RESERVED 7 目标&价值 平台  提升去化率 经纪人  提升效率和业绩 客户  降低看房成本 业主  缩减销售时长  市场需求恒定，优先成交好房 核心思想  选出好房 核心问题  提升带看效率  加速成交 核心价值 COM ALL COPYRIGHTS RESERVED 25 模型指标对比 v1.0 v2.0 AUC 0.814 0.831 Top1000去化率 30.72% +0.83% Top2000去化率 25.28% +1.2% Top3000去化率 22.13% +1.24% 2019 KE.COM ALL COPYRIGHTS RESERVED 26 模型演变历程 v1.0 初版模型系统 34  指标 • TopN去化率 • N=2.5 * 周成交量 效果评估  32个城市平均值 • TopN去化率：31.7% • 自然去化率：3.8% 去化率(一周平均值) 2019 KE.COM ALL COPYRIGHTS RESERVED 35 人工选房 VS AI选房  人工选房和AI选房重合率48%  三种模式下的去化率 • 人工+AI：33% • 纯AI：26%

决策树的特点 7 算法 支持模型 树结构 特征选择 连续值处理 缺失值处理 剪枝 特征属性多次使用 ID3 分类 多叉树 信息增益 不支持 不支持 不支持 不支持 C4.5 分类 多叉树 信息增益率 支持 支持 支持 不支持 CART 分类 回归 二叉树 基尼指数 均方差 支持 支持 支持 支持 1.决策树原理 决策树的三种基本类型 建立决策树的关键，即在当前状态下选择哪个属性作为分类依据。根据不同 ID3 算法的改进。 ⚫ 用信息增益率来选择属性。ID3选择属性用的是子树的信息增益， 而C4.5用的是信息增益率。 ⚫ 在决策树构造过程中进行剪枝。 ⚫ 对非离散数据也能处理。 ⚫ 能够对不完整数据进行处理。 18 ? ?, ? = ? ? − ?(?|?) ?? ?, ? = ? ?, ? ??(?) 备注：信息增益 信息增益率 信息增益率 ? ?, ?1 = 老年 = ⑥ ⑤ ④ ③ ② 剪枝策略 在节点划分前来确定是否继续增长，及早 停止增长 主要方法有： • 节点内数据样本低于某一阈值； • 所有节点特征都已分裂； • 节点划分前准确率比划分后准确率高。 22 C4.5的剪枝 预剪枝 平坦 坏瓜 脐部 凹陷 稍凹 ① ④ ③ ② 好瓜 好瓜 验证集精度 脐部=? 划分前:42.9% 划分后:71.4% 预剪枝决策:划分

Boosting，自适应增强），其自适应在于：前 一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用来 训练下一个基本分类器。同时，在每一轮中加入一个新的弱分类器，直 到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。 后一个模型的训练永远是在前一个模型的基础上完成！ 12 Adaboost算法 算法思想 • 初始化训练样本的权值分布，每个样本具有相同权重； • 训练弱分类 训练弱分类器，如果样本分类正确，则在构造下一个训练集中，它的权值 就会被降低；反之提高。用更新过的样本集去训练下一个分类器； • 将所有弱分类组合成强分类器，各个弱分类器的训练过程结束后，加大分 类误差率小的弱分类器的权重，降低分类误差率大的弱分类器的权重。 13 AdaBoost算法 弱分类器1 权重提高 弱分类器3 权重提高 弱分类器2 弱分类器 组成了强 分类器 14 Adaboost算法 算法思想： 模型1 模型2 带权重n的训 练集 带权重2的训 练集 带权重1的训 练集 训练 数据 结合 策略 弱学习器1 基于学习的误差率1 更新学习器权重1 弱学习器2 基于学习的误差率2 更新学习器权重2 弱学习器n 基于学习的误差率n 更新学习器权重n 根据权重1更新样本权重2 根据权重n-1更新样本权重n 强学 习器 相同方式更新…… 15 GBDT算法 GBDT（Gradient

等，方便平台进行违规处理和风险管控。 业务痛点：面对越来越爆发的安全风险，解决办法门 槛高， 成本高；迫切需要技术解决方案 SACC2017 图像内容审核技术 OCR技术 图像分割以及超分辨率技术 优图图像技术还包括：图像分类、图像增强、艺术滤镜、图片去水印、图像融合、图像修补等。 图像识别技术 01 腾讯优图图像技术能力 SACC2017 内容审核 - 图片鉴黄解决方案 区分图像中的色情、性感和正常内容 分析给出其属于武装份子、管制刀具、枪支弹药、 人群聚集、火灾、血腥、极端主义或恐怖主义标 识的概率，通过其概率最大的类型，判断其图片 性质属于属于暴恐还是正常。 Ø 高准确率： 在内部业务上测试，准确率97%，覆 盖80%以上的案例 Ø 腾讯云，承担每天数亿的图像审核， 已经 累计支持上百家客户。 Ø 微云，QQ群，支持视频识别的解决方案， 成熟灵活的产品方案，帮助业务扫除掉互 图片场景识别 l 社交图像分类应用：微云，相册管家 Ø 标签体系：面向社交领域的热词标签200余种， 涵盖人物、风景、人造物、 建筑、动植物、食物等9个大类 。 Ø 技术指标：20个类别平均准确率MAP>90%以上，200种MAP>63%以上， 性能CPU上约200ms/张。 微云相册，相册管家 识别标签效果 Ø 微云，相册管家新版本推出智能全自动图片分类，通过上百 种常用图片标签，实现对所有照片的自动识别分类。

错误否定（False Negative,FN）：预测为假，实际为真 混淆矩阵（confusion_matrix） 评价指标 准确率 Accuracy = TP + TN TP + TN + FP + FN 精确率 Precision = TP TP + FP 召回率 Recall = TP TP + FN F1 score F1 = 2 × Precision × Recall Precision 评价指标 正确率（Accuracy）=(TP+ TN)/S TP+ TN =70，S= 100，则正确率为： Accuracy =70/100=0.7 精度（Precision）=TP/(TP+ FP) TP=40，TP+ FP=50。 Precision =40/50=0.8 召回率（Recall）=TP/(TP+ FN) TP=40，TP+FN =60。则召回率为： Recall 各种不同算法在输入的 数据量达到一定级数后 ，都有相近的高准确度 。于是诞生了机器学习 界的名言： 成功的机器学习应 用不是拥有最好的 算法，而是拥有最 多的数据！ 数据决定一切 数据大小 准 确 率 22 欠拟合的处理 1.添加新特征 当特征不足或者现有特征与样本标签的相关性不强时，模型容易出现欠拟合。通 过挖掘组合特征等新的特征，往往能够取得更好的效果。 2.增加模型复杂度 简单