[探索]聊天机器人 吴金龙@爱因互动 2017年04月17日 吴金龙 • 2005~2010：北大数学院 • 推荐系统 • 2010~2011：阿里云 • PC/手机输入法 • 2011~2017：世纪佳缘 • 用户推荐、网警等数据系统 • 技术部负责人 • 一个AI负责人 • 2017~现在：爱因互动 • 技术合伙人、算法负责人 • ChatbotsChina发起人 • •Microsoft Cortana •微软小冰 2016 •Facebook Messenger •Microsoft Tay IR-Bot: 智能检索机器人 IR-Bot：检索问答系统 IR-Bot：深度学习 • 句子表示、QA匹配 基于深度学习的智能问答 IR-Bot：深度学习 • 句子表示、QQ匹配 Semantic Question Matching with Deep Tracking (DST) • 对话状态应该包含持续对话所需要的各种信息 • DST问题：依据最新的系统和用户动作，更新对话状态 • Q：如何表示对话状态 状态追踪 (DST) 旧状态 用户动作 系统动作 新状态 策略优化 Dialogue Policy Optimization (DPO) • 系统如何做出反馈动作 • 作为序列决策过程进行优化：增强学习 Milica Gašić (2014)

� ⽆量系统 � 项⽬于17年启动，先后经过了6个主要版本的 迭代 � 覆盖腾讯PCG全部业务的推荐场景，⽀持腾讯 IEG，CSIG，QQ⾳乐，阅⽂等业务的部分推 荐场景 � 袁镱 博⼠，专家⼯程师 � 研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程，场景与⽬标 Serving系统 HDFS 数据 通道 训练系统 召回 业务服务 排序 混排 模型 管理 上线 管理 ⽆量 RGW/Cos/ kafka 样本 存储 实时样本 ⽣成服务 离线样本 ⽣成任务 数据 通道 特征 处理 模型 登记 模型 上线 千亿级推荐模型应⽤ O1. 千亿级特征（TB级）的模型的在线/离 线训练，在线推理服务和持续上线 O2. 针对推荐特点的深度优化，达到业界先 进⽔平 推荐系统的核⼼特点 � Feature 1（基本特点） 1.1 User与推荐系统交互，7*24⼩时 流式学习 1.2 Item和User新增，离开/遗忘， Embedding空间动态变化。 短期命中的⾼频key随时间缓慢变化 少量的⾼频key占据了主要访问需求

足迹。早期，人们试图通过总 结、归纳出一些逻辑规则，并将逻辑规则以计算机程序的方式实现，来开发出智能系统。 但是这种显式的规则往往过于简单，并且很难表达复杂、抽象的概念和规则。这一阶段被 称为推理期。 1970 年代，科学家们尝试通过知识库加推理的方式解决人工智能，通过构建庞大复杂 的专家系统来模拟人类专家的智能水平。这些明确指定规则的方式存在一个最大的难题， 就是很多复杂、抽象的概念无法用 的检测逻辑 输出逻辑 人为设计的 特征检测方法 输出逻辑 特征提取网络 (浅层) 输出子网络 底层特征提取 网络 中层特征提取 网络 高层特征提取 网络 输出子网络 基于规则的系统 传统机器学习 浅层神经网络 深度学习 图 1.3 深度学习与其它算法比较 1.2 神经网络发展简史 本书将神经网络的发展历程大致分为浅层神经网络阶段和深度学习两个阶段，以 2006 , ? , … , ? }。Frank Rosenblatt 随后基于“Mark 1 感知机”硬件实现感知 机模型，如图 1.6、图 1.7 所示，输入为 400 个单元的图像传感器，输出为 8 个节点端 子，它可以成功识别一些英文字母。一般认为 1943 年~1969 年为人工智能发展的第一次兴 盛期。 ? ? ? ? ? ? 误差 ? 图

的压缩、量化、服务器端云化部署、推理端 SDK 支持等方面 Pytorch 也在不断的演化改进。 在操作系统与 SDK 支持方面，Pytorch 从最初的单纯支持 Python 语言到如今支持 Python/C++/Java 主流编程语言， 目前已经支持 Linux、Windows、MacOS 等主流的操作系统、 同时全面支持 Android 与 iOS 移动端部署。 在版本发布管理方面，Pytorch 平台、ubuntu 平台还是 Mac 平台都靠一条命令 行就可以完成安装。首先是安装 Python 语言包支持，当前 Pytorch 支持的 Python 语言版本与系统对应列表如下： 表 -1（参考 Pytorch 官网与 Github） 系统 Python3�6 Python3�7 Python3.8 Linux CPU/GPU 支持 支持 支持 Windows CPU/GPU 支持 支持 支持 x版本， 其中 x 表示 3.6 版本下的各个小版本，依此类推 3.7、3.8 同样 如此。本书代码演示以 Python3.6.5 版本作为 Python 支持语 言包。它在 Windows 系统下的安装过程非常简单，只需如下 几步： 1. 下载 Python3.6.5 安装包，地址为： https://www.python.org/ftp/python/3.6.5/python-3.6

、自动语音识别、强化学 习和统计建模等领域的快速发展。有了这些进步，我们现在可以制造比以往任何时候都更自主的汽车（不过 可能没有一些公司试图让大家相信的那么自主），可以自动起草普通邮件的智能回复系统，帮助人们从令人 压抑的大收件箱中解放出来。在围棋等棋类游戏中，软件超越了世界上最优秀的人，这曾被认为是几十年后 的事。这些工具已经对工业和社会产生了越来越广泛的影响，改变了电影的制作方式、疾病的诊断方式，并 描述了深度学习计算的各种关键组件，并为我们随后 实现更复杂的模型奠定了基础。接下来，在 6节 和 7节 中，我们介绍了卷积神经网络（convolutional neural network，CNN），这是构成大多数现代计算机视觉系统骨干的强大工具。随后，在 8节 和 9节 中，我们引入了循环神经网络(recurrent neural network，RNN)，这是一种利用数据中的时间或序列 结构的模型，通常用于自然语言处理和时间序列预测。在 cd pytorch 注意：如果没有安装unzip，则可以通过运行sudo apt install unzip进行安装。 安装完成后我们可以通过运行以下命令打开Jupyter笔记本（在Window系统的命令行窗口中运行以下命令前， 需先将当前路径定位到刚下载的本书代码解压后的目录）： jupyter notebook 9 https://developer.nvidia.com/cuda‐downloads

经典算法与深度学习 在外卖物流调度中的应用 SPEAKER / 徐明泉 百度外卖首席架构师 引言：外卖配送的背后 2 引言：外卖订单调度系统要考虑的因素 3 订单相关 骑士相关 • 商户、用户位置 • 用户期望时间 • 预计出餐时间.. • 现有订单的配送路线 • 新增订单后配送路线的改变情况 • 历史取送餐速度 • 完成每个订单的预计时间 • 熟悉的区域 • 配送工具 外卖订单的智能 调度系统 一. 智能调度系统的 大数据分析监控 二. 智能调度系统中 的人工智能 三. 提纲 5 外卖订单的智能 调度系统 一. 智能调度系统的 大数据分析监控 二. 智能调度系统中 的人工智能 三. 外卖订单智能调度系统发展历程 6 人工派单模式 • 调度员根据订单地址和骑士 位置来进行订单分配 • 人力调度派单峰值为每人 800单/天 调度 系统 3.0 云端分组派单模式 A 组 B 组 • 系统综合考虑各因素进行 订单分组，然后再指派给 合适的骑士 订单云端分组 整体最优分配 调度 系统 4.0 深度学习智能模式 • 出餐时间估算更准，缩短 骑士到店等待时间，节省 运力，提升用户等餐体验 出餐时间预估 深度学习智能 调度 系统 2.0 系统派单模式 • 系统综合考虑配送距离、 骑士运力、期望送达时间 等因素来自动派单

6 2.4 Keras 支持多个后端引擎，并且不会将你锁定到一个生态系统中 . . . . . . . . . . 6 2.5 Keras 拥有强大的多 GPU 和分布式训练支持 . . . . . . . . . . . . . . . . . . . . . . 6 2.6 Keras 的发展得到深度学习生态系统中的关键公司的支持 . . . . . . . . . . . . . . 18 3.2.5 共享网络层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3.2.6 层「节点」的概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 目录 II 3.2.7 更多的例子 . . . . batch_size=128) 构建一个问答系统，一个图像分类模型，一个神经图灵机，或者其他的任何模型，就是这么 的快。深度学习背后的思想很简单，那么它们的实现又何必要那么痛苦呢？ 有关 Keras 更深入的教程，请查看： • 开始使用 Sequential 顺序模型 • 开始使用函数式 API 在代码仓库的 examples 目录中，你会找到更多高级模型：基于记忆网络的问答系统、基于 栈式 LSTM 的文本生成等等。

内容但有一定的诱惑性，建议进行人工审 核； Ø 正常图片：不含不良内容的正常图片。 色情图片 性感图片 SACC2017 内容审核 – 图像暴恐内容识别 l 识别应用：腾讯云，微云，QQ群 Ø 对于输入的图片，系统将会通过对其内容的识别 分析给出其属于武装份子、管制刀具、枪支弹药、 人群聚集、火灾、血腥、极端主义或恐怖主义标 识的概率，通过其概率最大的类型，判断其图片 性质属于属于暴恐还是正常。 Ø 含的 各类图标 l 烟雾，吸烟识别 Ø 基于视频直播监管需求， 提供吸烟，烟雾，涉嫌吸毒 等场景的识别能力 SACC2017 深度学习介绍 深度网络训练选择 加快训练 - 分布式训练系统 图像海量数据的积累 02 深度学习技术介绍 加快计算 - 深度学习算法加速 RPN SACC2017 技 术 发 展 应 用 突 破 1956 达特茅 斯会议 标志AI 诞生 1957 深度学习算法在 语音和视觉识别 上有重大突破， 识别率超过99% 和95% 1970 受限于 计算能 力，进 入第一 个寒冬 XCON专 家系统出 现，每年 节约4000 万美元 第1阶段：人工智能起步 期 （1956-1980s） 第2阶段：专家系统推 广 (1980s-1990s) 第3阶段：深度学习 (2000s-至今 ) 1997 IBM的 Deep Blue战 胜国际 象棋冠

• 定时轮寻，最长N分钟等待 • Kafka 堆积监控，实时报警 • 如何解决内存问题 • 调整内存参数 • 关闭多余的监控点 • 如何异常处理 • 自动化监控与修复系统 • Checkpoint 节点异常修复 3 在线机器学习-实时样本生成 • 在线机器学习模型训练：Flink/Blink+WeiPS 样本生成和特征处理 1.配置化 2.多标签样本 3.支持高维HASH 京，奥运，时事新闻 ，高热度…… 批量计算 静态特征，批量统计 ，…… 控制中心 WeiIDE 数据计算 模型 Y=f(x1,x2……,xn) 模型服务 特征服务 微博机器学习平台 灰度系统 3 平台效果 • 成本/效率 建设平台（业务A） 业务开发 模型开发 特征工程 建设 平台 接入平台（业务B） 接入 平台 业务开发 模型开发 特征工程 3 平台效果 总结篇

决策（选择）来对数据进行划分，这类似 于针对一系列问题进行选择。 ⚫ 决策树的决策过程就是从根节点开始，测 试待分类项中对应的特征属性，并按照其 值选择输出分支，直到叶子节点，将叶子 节点的存放的类别作为决策结果。 根节点 (root node) 叶节点 (leaf node) 5 1.决策树原理 根节点 (root node) 非叶子节点 (non-leaf node) (代表测试条件，对数据属性的测试) (代表测试条件，对数据属性的测试) 分支 (branches) (代表测试结果) 叶节点 (leaf node) (代表分类后所获得的分类标记) ⚫ 决策树算法是一种归纳分类算法 ，它通过对训练集的学习，挖掘 出有用的规则，用于对新数据进 行预测。 ⚫ 决策树算法属于监督学习方法。 ⚫ 决策树归纳的基本算法是贪心算法 ，自顶向下来构建决策树。 ⚫ 贪心算法：在每一步选择中都采取 在当前状态下最好/优的选择。 初始化特征集合和数据集合； 2. 计算数据集合信息熵和所有特征的条件熵，选择信息增益最大的特征作为当 前决策节点； 3. 更新数据集合和特征集合（删除上一步使用的特征，并按照特征值来划分不 同分支的数据集合）； 4. 重复 2，3 两步，若子集值包含单一特征，则为分支叶子节点。 11 ? ? = − ෍ ?=1 ? ?? ? ???2 ?? ? 信息熵 ?是类别，?是数据集，