[探索]聊天机器人 吴金龙@爱因互动 2017年04月17日 吴金龙 • 2005~2010：北大数学院 • 推荐系统 • 2010~2011：阿里云 • PC/手机输入法 • 2011~2017：世纪佳缘 • 用户推荐、网警等数据系统 • 技术部负责人 • 一个AI负责人 • 2017~现在：爱因互动 • 技术合伙人、算法负责人 • ChatbotsChina发起人 • 微博：@breezedeus • 博客：breezedeus.github.io 目录 • Chatbots简史 • 三个火枪手：三个Bot框架 • IR-Bot、Task-Bot、Chitchat-Bot • 爱因互动所做的事 • 总结 Chatbots简史 1950 • 提出 “图灵 测试” 1966 •ELIZA：MIT 发展的精神 治疗师 chatbot 1995 •A.L.I.C.E.： 通向强人工智能之路？ 爱因互动 EIN+: 深度定制对话服务 爱因互动 EIN+ • 为企业提供人工智能对话解决方案 • Conversation as a Service Bot应用场景 • 清晰的知识结构和边界 • 非标准化服务，信息不对称 • 能够通过数据积累提升服务质量 • 能够建立知识和技术壁垒 • 对话作为粘合剂 • 用户画像，推荐系统，营销转化 爱因互动：API in

这是一本面向人工智能，特别是深度学习初学者的书，本书旨在帮助更多的读者朋友了 解、喜欢并进入到人工智能行业中来，因此作者试图从分析人工智能中的简单问题入手，一 步步地提出设想、分析方案以及实现方案，重温当年科研工作者的发现之路，让读者身临其 境式的感受算法设计思想，从而掌握分析问题、解决问题的能力。这种方式也是对读者的基 础要求较少的，读者在学习本书的过程中会自然而然地了解算法的相关背景知识，体会到知 1 章 人工智能绪论 10 征，以帮助算法更好地收敛到最优解。这类特征提取方法通常是与某些具体任务场景强相 关的，一旦场景发生了变动，这些依靠人工设计的特征和先验设定无法自适应新场景，因 此需要重新设计算法模型，模型的通用性不强。 设计一种像人脑一样可以自动学习、自我调整的通用智能机制一直是人类的共同愿 景。从目前来看，深度学习是最接近通用智能的算法之一。在计算机视觉领域，过去需要 RCNN、SSD、YOLO、 RetinaNet 系列等。 语义分割(Semantic Segmentation) 是通过算法自动分割并识别出图片中的内容，可以 将语义分割理解为像素点的分类问题，分析每个像素点的物体的类别信息，如图 1.16 所 示。常见的语义分割模型有 FCN、U-net、PSPNet、DeepLab 系列等。 预览版202112 1.4 深度学习应用 11

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329 8.7.1 循环神经网络的梯度分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330 8.7.2 通过时间反向传播的细节 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453 11.4.3 凸目标的收敛性分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454 11.4.4 随机梯度和有限样本 . . . 实际实验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471 11.6.3 理论分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474 11.7 AdaGrad算法

, ， 为方阵, 则： 对于矩阵 , , , 为方阵, 则： , 同理，更多矩阵的积也是有 这个性质。 作为如何证明这些属性的示例，我们将考虑上面给出的第四个属性。 假设 和 （因 此 是方阵）。 观察到 也是一个方阵，因此对它们进行迹的运算是有意义的。 要证明 ，请注意： 这里，第一个和最后两个等式使用迹运算符和矩阵乘法的定义，重点在第四个等式，使用标量乘法的可 交换 才具有非零解， 即： 现在，我们可以使用行列式的先前定义将表达式 扩展为 中的（非常大的）多项式，其中， 的度为 。它通常被称为矩阵 的特征多项式。 然后我们找到这个特征多项式的 （可能是复数）根，并用 表示。这些都是矩阵 的特征 值，但我们注意到它们可能不明显。为了找到特征值 对应的特征向量，我们只需解线性方程 ，因为 是奇异的，所以保证有一个非零解（但也可能有多个或无穷多个解）。 应 ，我们得到： 我们可以看到，原始空间中的左乘矩阵 等于左乘对角矩阵 相对于新的基，即仅将每个坐标缩放相应 的特征值。 在新的基上，矩阵多次相乘也变得简单多了。例如，假设 。根据 的元素导出 的分析形式，使用原始的基可能是一场噩梦，但使用新的基就容易多了： “对角化”二次型。作为直接的推论，二次型 也可以在新的基上简化。 (回想一下，在旧的表示法中， 涉及一个 项的和，而不是上面等式中的

有没有发生过这样的事：你出去买东西， 结果却买了比你计划的多得多的东西？这 是一种被称为冲动购买的现象，大型零售 商利用机器学习和Apriori算法，让我们倾 向于购买更多的商品。 6 1.关联规则概述 购物车分析是大型超市用来揭示商品之间关联的关 键技术之一。他们试图找出不同物品和产品之间的 关联，这些物品和产品可以一起销售，这有助于正 确的产品放置。 买面包的人通常也买黄油。零售店的营销团队应该瞄准那些购买面包和黄油的 准那些购买面包和黄油的 顾客，向他们提供报价，以便他们购买第三种商品，比如鸡蛋。 因此，如果顾客买了面包和黄油，看到鸡蛋有折扣或优惠，他们就会倾向于 多花些钱买鸡蛋。这就是购物车分析的意义所在。 7 1.关联规则概述 置信度： 表示你购买了A商品后，你还会有 多大的概率购买B商品。 支持度： 指某个商品组合出现的次数与总次 数之间的比例，支持度越高表示该组合出现 的几率越大。 提出的关联分析算法，它采 取如下分治策略：将提供频繁项集的数据库压缩到一棵频繁模式树（FP-Tree）， 但仍保留项集关联信息。 该算法是对Apriori方法的改进。生成一个频繁模式而不需要生成候选模式。 FP-growth算法以树的形式表示数据库，称为频繁模式树或FP-tree。 此树结构将保持项集之间的关联。数据库使用一个频繁项进行分段。这个片段被称 为“模式片段”。分析了这些碎片

张量，尺寸为：(batch_size, steps, input_dim)。 输出尺寸 3D 张量 ，尺寸为：(batch_size, new_steps, filters)，steps 值可能因填充或步长而 改变。 5.5.2 LocallyConnected2D [source] keras.layers.LocallyConnected2D(filters, kernel_size 4D 张 量， 尺 寸 为：(samples, new_rows, new_cols, filters)，如果 data_format=’channels_last’。rows 和 cols 的值可能因填充而改变。 关于 KERAS 网络层 89 5.6 循环层 Recurrent 5.6.1 RNN [source] keras.layers.RNN(cell, return_sequences=False 并且在矩阵乘法之前将复位门应用于隐藏状态。另一 种则是基于 1406.1078v1 并且顺序倒置。 第 二 种 变 体 与 CuDNNGRU(GPU-only) 兼 容 并 且 允 许 在 CPU 上 进 行 推 理。 因 此 它 对 于 kernel 和 recurrent_kernel 有 可 分 离 偏 置。 使 用 'reset_after'=True 和 recurrent_activation='sigmoid'

2022年02月 机器学习-降维 黄海广 副教授 2 本章目录 01 降维概述 02 SVD(奇异值分解) 03 PCA(主成分分析) 3 1.降维概述 01 降维概述 02 SVD(奇异值分解) 03 PCA(主成分分析) 4 1.降维概述 维数灾难(Curse of Dimensionality)：通常是指在涉及到向量的计算的问题 中，随着维数的增加，计算量呈指数倍增长的一种现象。 上千、甚至上万 个特征。要处理这所有的特征的话，不仅会让训练非常缓慢，还会极大增 加搜寻良好解决方案的困难。这个问题就是我们常说的维数灾难。 5 1.降维概述 维数灾难 维数灾难涉及数字分析、抽样、组合、机器学习、数据挖掘和数据库等诸 多领域。在机器学习的建模过程中，通常指的是随着特征数量的增多，计 算量会变得很大，如特征达到上亿维的话，在进行计算的时候是算不出来 的。有的时候， 通过处理多重共线性消除冗余特征。 降维的缺点： • 由于降维可能会丢失一些数据； • 在主成分分析(PCA)降维技术中，有时需要考虑多少主成分是难以确定的，往往使用经验 法则 12 1.降维概述 13 2.SVD(奇异值分解) 01 降维概述 02 SVD(奇异值分解) 03 PCA(主成分分析) 14 2.SVD(奇异值分解) 奇异值分解 (Singular Value Decomposition，以下简称

前置知识：监督学习（Supervised Learning） 监督学习是机器学习的一种方法，指从训练数据（输入和预期输出）中学到一个模型（函数）， 并根据模型可以推断新实例的方法。 函数的输出通常为一个连续值（回归分析）或类别标签（分类）。 训练数据 学习算法 模型 新数据 推断结果 前置知识：监督学习典型算法 • 线性回归（Linear Regression） • 逻辑回归（Logistic Regression） 支持向量机（SVM） • 感知器（Perceptron） • 深度神经网络（DNN） 前置知识：线性回归 在统计学中，线性回归是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变 量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线 性组合。 前置知识：单变量线性回归 理想函数 假设函数 损失值（误差） 前置知识：单变量线性回归 前置知识：梯度下降 232000 3000 539900 1985 299900 1534 314900 1427 198999 1380 212000 1494 242500 训练数据： 多变量房价预测问题：数据分析 面积（平方英尺） 卧室数量（个） 价格（美元） 2104 3 399900 1600 3 329900 2400 3 369000 1416 2 232000 3000 4 539900

3. 特征提取 18 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 1.PCA(Principal Component Analysis，主成分分析) PCA 是降维最经典的方法，它旨在是找到数据中的主成分，并利 用这些主成分来表征原始数据，从而达到降维的目的。 PCA 的思想是通过坐标轴转换，寻找数据分布的最优子空间。 对 样本 数据进 19 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 2. ICA(Independent Component Analysis，独立成分分析) ICA独立成分分析，获得的是相互独立的属性。ICA算法本质寻找一 个线性变换 ? = ??，使得 ? 的各个特征分量之间的独立性最大。 PCA 对数据 进行降维 ICA 来从多 个维度分离 出有用数据 优点： ➢ 具有旋转、尺度、平移、视角及亮度不变性，有利于对目标 特征信息进行有效表达； ➢ SIFT 特征对参数调整鲁棒性好，可以根据场景需要调整适宜 的特征点数量进行特征描述，以便进行特征分析。 缺点：不借助硬件加速或者专门的图像处理器很难实现。 疑似特征点检测 去除伪特征点 特征点梯度 与方向匹配 特征描述向量的 生成 步骤 图像特征提取 3. 特征提取 21 许永洪

正常图片：不含不良内容的正常图片。 色情图片 性感图片 SACC2017 内容审核 – 图像暴恐内容识别 l 识别应用：腾讯云，微云，QQ群 Ø 对于输入的图片，系统将会通过对其内容的识别 分析给出其属于武装份子、管制刀具、枪支弹药、 人群聚集、火灾、血腥、极端主义或恐怖主义标 识的概率，通过其概率最大的类型，判断其图片 性质属于属于暴恐还是正常。 Ø 高准确率： 在内部业务上测试，准确率97%，覆 落地应用： Ø 微云相册识别，广点通广告识别，顺丰快递单据识别，微云文本 识别等 SACC2017 更多图像定制识别功能 l 图标识别 Ø 图标形式：水印、二维码、条形码、logo等。并可根 据业务需求定制。 Ø 基于团队自研的深度识别引擎，核心算法与基础模型 经过多轮优化，可以准确快速地识别图片中所包含的 各类图标 l 烟雾，吸烟识别 Ø 基于视频直播监管需求， 提供吸烟，烟雾，涉嫌吸毒