基础模型，对特征工程依赖较强 • FM：大规模稀疏数据下的特征组合问题 • DeepFM • 优化算法选择 • FTRL：调节学习率，突出低频特征，非batch优化 • Adagrad : 调节学习率，突出低频特征，实现简单 • SGD： 参数少，效率高，固定学习率 • ID特征处理 • Hash：BKDRhash/CityHash，ID高维度稀疏+实时 3 在线机器学习-实时模型训练 模型稳定性/… 一键打包 端口探测 蓝绿部署/灰度发布 AUC/准确率/ 召回率/… 流量切换 版本更新 全量发布 … verson1 verson2 … kubenetes/olsubmit 模型库 3 在线机器学习-模型服务部署 • 模型评估 • 模型上线部署前指标评估 • 周期使用验证样本进行点击率预估 • 待部署模型与线上模型进行指标对比，评估是否满足上线条件 • 深度学习 物料粗排 特征向量化 基于Item2vec的 博主召回和微博 召回 物料精排 向量索引 DSSM/FM/FF M生成博主与物 料向量，采用 向量进行召回 特征向量化：Item2vec 向量索引：FM/FFM/ DSSM 模型召回：DIN/DIEN/TDM 模型召回 融入用户近期互动行 为的深度模型召回 单目标：LR->W&D->FM->DeepFM 多目标：点击FM+互动FM

错误否定（False Negative,FN）：预测为假，实际为真 混淆矩阵（confusion_matrix） 评价指标 准确率 Accuracy = TP + TN TP + TN + FP + FN 精确率 Precision = TP TP + FP 召回率 Recall = TP TP + FN F1 score F1 = 2 × Precision × Recall Precision 评价指标 正确率（Accuracy）=(TP+ TN)/S TP+ TN =70，S= 100，则正确率为： Accuracy =70/100=0.7 精度（Precision）=TP/(TP+ FP) TP=40，TP+ FP=50。 Precision =40/50=0.8 召回率（Recall）=TP/(TP+ FN) TP=40，TP+FN =60。则召回率为： Recall 各种不同算法在输入的 数据量达到一定级数后 ，都有相近的高准确度 。于是诞生了机器学习 界的名言： 成功的机器学习应 用不是拥有最好的 算法，而是拥有最 多的数据！ 数据决定一切 数据大小 准 确 率 22 欠拟合的处理 1.添加新特征 当特征不足或者现有特征与样本标签的相关性不强时，模型容易出现欠拟合。通 过挖掘组合特征等新的特征，往往能够取得更好的效果。 2.增加模型复杂度 简单

等，方便平台进行违规处理和风险管控。 业务痛点：面对越来越爆发的安全风险，解决办法门 槛高， 成本高；迫切需要技术解决方案 SACC2017 图像内容审核技术 OCR技术 图像分割以及超分辨率技术 优图图像技术还包括：图像分类、图像增强、艺术滤镜、图片去水印、图像融合、图像修补等。 图像识别技术 01 腾讯优图图像技术能力 SACC2017 内容审核 - 图片鉴黄解决方案 区分图像中的色情、性感和正常内容 分析给出其属于武装份子、管制刀具、枪支弹药、 人群聚集、火灾、血腥、极端主义或恐怖主义标 识的概率，通过其概率最大的类型，判断其图片 性质属于属于暴恐还是正常。 Ø 高准确率： 在内部业务上测试，准确率97%，覆 盖80%以上的案例 Ø 腾讯云，承担每天数亿的图像审核， 已经 累计支持上百家客户。 Ø 微云，QQ群，支持视频识别的解决方案， 成熟灵活的产品方案，帮助业务扫除掉互 图片场景识别 l 社交图像分类应用：微云，相册管家 Ø 标签体系：面向社交领域的热词标签200余种， 涵盖人物、风景、人造物、 建筑、动植物、食物等9个大类 。 Ø 技术指标：20个类别平均准确率MAP>90%以上，200种MAP>63%以上， 性能CPU上约200ms/张。 微云相册，相册管家 识别标签效果 Ø 微云，相册管家新版本推出智能全自动图片分类，通过上百 种常用图片标签，实现对所有照片的自动识别分类。

词语的矢量化模型已经有开源实现方案  句子和文档的矢量化还在摸索阶段，尚不成熟  已经有一些在词语相似度，舆情分析等方面的应用 矢量化搜索模型 9 词语矢量化模型 CBOW: 通过上下文词语 来预测词语本身出现的概 率 Skip-gram: 通过词语本身 来预测上下文词语出现的 概率 10 基于词语聚类的矢量化模型 • Word2vec等工具可以有效地将词语转化为向量 • 将句子／段落／文章有效转化为向量则有很大的挑战。 的矢量 产品类别过滤 产品频率过滤 矢量转换回商 品 14 原型评测结果 矢量化搜索引擎与易购传统引擎搜索效果对比 （2016-07-25测试结果） 15 • 该技术不仅召回与搜索词完全匹配的结果，还可召回与搜索词文本不匹配、但含义近似的结果。 效果示例 如：经测评，当搜索词为“松下筒灯”， 易购网站返回6个相关结果， 美研方案返回64个相关结果 现有方案 原型系统 16 • 首先进行词语的矢量化 请问 有 什么 可 以 帮 您 的 吗] 26 聊天机器人评测结果 • 从实际客户回话中抽样选取约1700个问题 • 问题覆盖不同的应用场景 • 经过4个版本迭代后， 机器人问题回答的准确率和覆盖率均达到业界领先水平 27 Questions and Answers

CONTENTS 01 搜索广告背景知识 02 深度学习在搜狗搜索广告的一些应用 03 基于多模型融合的CTR预估 04 若干思考 搜索广告背景知识 信息需求 用户查询 查询理解 广告召回 点击率预估 排序计价 结果展示 点击及后续行为 广告库 日志收集 展示日志 点击日志 深度学习在搜狗搜索广告的一些应用 无需分词：基于字符粒度表达的问答系统设计 L.X Meng, Y.Li Encoder CNN CNN 中长款牛仔外套 Cosine-Loss 广告物料推荐 深度学习在搜狗搜索广告的一些应用 方向 用途 相关技术 图像理解 图片物料推荐 CNN 文本相关性 广告召回、创意生成 Word2Vec、CSR、LSTM CTR预估 广告排序、特征挖掘 DNN、MxNet、TensorFlow 基于多模型融合的CTR预估 CTR预估流程 原始数据 领域特征 模型训练 CTR Table DNN Model Feature LR Model Feature 特 征 池 模型效果评估 AUC 上线收益 是否一致？ Survival Bias 特征覆盖率 并行化训练 并行化训练 诉求  加大数据量，提 升模型稳定性  加大数据量，提 升模型收益 方案  MxNet支持多机 多卡, 使用成本低  构 建 多 机 多 卡 GPU集群，优化

要求:  准确: 低噪声  全面: 同分布 模型选型:  容量大  计算量小 训练推理:  高qps, 低rt  支持超大模型  性价比 流程长、环节多:  推荐场景: 召回 + 粗排 + 精排 + 多样性/冷启动  实人认证: 卡证识别 + 人脸检测 + 活体检测 + 人脸 识别 … 模型构建: 问题: ✗ 方案复杂周期长/见效慢 ✗ 细节多难免踩坑 PAI-Rec – 推荐引擎 BE召回/Hologres hot x2i vec 排序 粗排 精排 重排 MaxCompute Datahub 离线特征 样本构造 实时特征 Flink 训练数据 推荐日志 模型发布 在线流程 离线流程 智能推荐解决方案 > PAI-REC 推荐引擎 PAI-REC 推荐引擎 多路召回 曝光/状态过滤 粗排/精排 策略[类目打散、流量控制、…] 标注速度慢 ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 隐私保护 • 多个环节 • 多种模型 ✗ 海量参数 ✗ 海量数据 深度学习应用主要的挑战： 2.模型效果优 化困难 1.方案复杂  学习率: 1e-3, 1e-4, 1e-5 ?  Embedding维度: 8, 16, 32 ?  Normalization: bn, gn, ln?  激活函数: relu, leaky_relu

%、深度学m在视频内容理解h的应用——召回 3、深度学m在语k搜索h的应用——语k表征 4、深度学m在排序h的应用——g性化表征 视频搜索的挑战 1�����/���——���� 2����/�����——���� 3������——������ ��������������� 1������������ 2�����/���� 3������ 内容理解——基q视频内容的召回 ������������ 目的a输入v意视频，通过内容理解的方法对视 频进行类目和标签预测 • 方法a采用1::+8ST9的UHSuHPFH-VQ- UHSuHPFH RTHGLFVLQP的方法 • 效果a • 基类目平均准确率.8(% ������ pu/行i检测技术 • 目的a给定e定长视频，定x感兴趣行i发生的时间段并给出 对应行i类标 • 方法a采取1QPvQNuVLQP 32+5DVHG >HFuTTHPV

(IoU) Bounding Box Ground Truth ??? = ???????????? ????? = Bounding Box Ground Truth 目标检测评估：准确率与召回率（以GT为中心） 目标检测评估：mean Average Precision（mAP） 基础：深度学习在目标检测的应用 目标检测近20年发展 Ref: Zou, Z., Shi, Z., Guo 正负样本不平衡 RetinaNet 提出了什么好想法？ RetinaNet 提出了什么好想法？ Focal Loss 解决类不平衡问题 Focal Loss 最终形式 RetinaNet 准确率与性能对比 RetinaNet 网络结构 RetinaNet 与同期SOTA检测器对比 YOLOv3 申请出战！ YOLOv3：小目标识别大提升 YOLOv3：工业级高性能目标检测器 再谈检测器上生产的利弊权衡 bbox的编码方式，是预测offset还是相对位置？ • 数据预处理的数据增强方法； • 定位误差函数的实现方法； • 不同AI框架； • 训练时候的不同设置参数，如batch_size, 输入图片大小，学习率，学习衰减率等因素； 应用：检测数据准备与标注 检测数据标注工具-labelImg https://github.com/tzutalin/labelImg pip 安装 labelImg $ pip3

看数据集分布情况。 在模型设计过程中，用户往往需要分析和检查数据流图是否正确实现。 在模型训练过程中，用户也常常需要关注模型参数和超参数变化趋势。 在模型测试过程中，用户也往往需要查看准确率和召回率等评估指标。 因此，TensorFlow 项目组开发了机器学习可视化工具 TensorBoard ， 它通过展示直观的图形，能够有效地辅助机器学习程序的开发者和使 用者理解算法模型及其工作流程，提升模型开发工作效率。