目前商品搜索中的一些问题 7 人工智能／深度学习在搜索中的应用：网页／电商搜索 • 基于深度学习的（Query, Document）分数是Google搜索引擎中第3重要的排序信 号 • 亚马逊（Amazon／A9)电子商务搜索引擎中， 深度学习还在实验阶段， 尚未进入生产线。 8 • 搜索数值矢量化  传统搜索基于文字匹配， 商品包含搜索词或者不包含搜索词  利用深度学习技术， 将搜索词和商品全部数值矢量化， 用户点击日志 用户购物车 日志 用户购买日志 Word2vec模型 计算距离最近 的矢量 产品类别过滤 产品频率过滤 矢量转换回商 品 14 原型评测结果 矢量化搜索引擎与易购传统引擎搜索效果对比 （2016-07-25测试结果） 15 • 该技术不仅召回与搜索词完全匹配的结果，还可召回与搜索词文本不匹配、但含义近似的结果。 效果示例 如：经测评，当搜索词为“松下筒灯”， 用户意图识别模块 商品研究 下单购买 订单查询 售后服务 其它闲聊 …… • 用户意图识别是非常 重要的一环。针对不 同的意图， 可以采用 不同的策略回应 • 用户意图识别可以采 用深度学习建模分类 你好，我买了两台空调，想问下安装 咋收费的呀？ =》售后服务 问问你，苹果6与6S的运行内存都是1G 吗? =》商品研究 订单能不能改成货到付款？ =》订单查询 23 深度学习模型： 从会话历史数据中学习回答问题

Image Generation Video Caption EasyVision: 图像视频算法库 Bert TextInput Optim izer 性能优越:  分布式存储  分布式查询 功能完备:  GSL/负采样  主流图算法  异构图 (user/item/attribute)  动态图 标准化: Standard Libraries Graph-Learn: PAI-Rec – 推荐引擎 BE召回/Hologres hot x2i vec 排序 粗排 精排 重排 MaxCompute Datahub 离线特征 样本构造 实时特征 Flink 训练数据 推荐日志 模型发布 在线流程 离线流程 智能推荐解决方案 > PAI-REC 推荐引擎 PAI-REC 推荐引擎 多路召回 曝光/状态过滤 粗排/精排 消息队列(datahub/kafka) PAI-REC平台 自动化降级 负载均衡 灰度发布 超时控制 平台支持 日志SLS 在线存储 Hologres/OTS BE Redis 读取数据 向量引擎 BE/Hologres/Faiss/Milvus 向量检索 冷启动召 回 冷启动排 序 Pipeline1 Pipeline2 标准化: Standard Solutions 标准化:

覆盖腾讯PCG全部业务的推荐场景，⽀持腾讯 IEG，CSIG，QQ⾳乐，阅⽂等业务的部分推 荐场景 � 袁镱 博⼠，专家⼯程师 � 研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程，场景与⽬标 参数更新 查询Sparse Table 查询Dense Tensor Reader Learner Worker 返回参数 Request Handler Parameter Server 查询Sparse Table 查询Dense Tensor 更新参数 � 常规训练流⽔线 样本读取 样本解析 参数拉取 参数更新 查询Sparse Table 查询Dense Tensor 数据读写需要加锁 � ⽀持多模型和模型多版本 困难 >15亿key/秒 近千台 只读版本 写版本 CPU型服务 Feature 2.2 Hotkey缓存优化 <10台 内存型服务 并发查询优化 数⼗台 ⽹络型服务 TB级模型实时上线 � 问题：TB模型实时多地传输和加载成本⾼ � ⽅案：⾼低频分别上线 � 更灵活的⽤法：模型多切⽚，按需上线 � Dssm � wdl .

382 10.1.1 生物学中的注意力提示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382 10.1.2 查询、键和值 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383 10.1.3 注意力的可视化 流程，所以我 们不得不自行组装。我们在 16.5节 中详细描述了我们的方法。我们选择GitHub来共享源代码并允许编辑，选 择Jupyter记事本来混合代码、公式和文本，选择Sphinx作为渲染引擎来生成多个输出，并为论坛提供讨论。 虽然我们的体系尚不完善，但这些选择在相互冲突的问题之间提供了一个很好的妥协。我们相信，这可能是 第一本使用这种集成工作流程出版的书。 1 http://distill 零编写的。比如，现在开发人员要编写一个程序 来管理网上商城。经过思考，开发人员可能提出如下一个解决方案：首先，用户通过Web浏览器（或移动应 用程序）与应用程序进行交互；紧接着，应用程序与数据库引擎进行交互，以保存交易历史记录并跟踪每个 用户的动态；其中，这个应用程序的核心——“业务逻辑”，详细说明了应用程序在各种情况下进行的操作。 为了完善业务逻辑，开发人员必须细致地考虑应用程序所有可能遇到的边界情况，并为这些边界情况设计合

首次中国公司在ImageNet竞赛 夺冠，视频分析技术登顶 人脸识别大幅提高精度，商汤科 技首次突破人类肉眼识别准确率 ，领先于Facebook Google5000万美元招入 Hinton，发布基于深度学习的 搜索引擎 Microsoft 深度学习驱动的语音 识别大幅提升精度 软银孙正义设立1000亿美元人 工智能基金，320亿美元收购芯 片架构公司ARM 2016.7 公司简介 历史业绩 领先技术 What’s Next? 2018 自我演化的异构人工智能云 云原生的深度学习数据闭环 自进化深度学习系统 高度定制的 图片、特征仓库 深度学习 应用服务 场景相关业务 数据清洗-查询 深度学习训练平台 模型测试与验证 深度学习算法在产品应用中的挑战 • 深度学习算法也需要“深度”学习业务需求 - 处理特殊输入，如模糊、黑白照片 - 适配具有不同特征的数据源 - 在严

即可。网络训练误差值的变化曲线如图 4.11 所示。 图 4.11 前向传播训练误差曲线 预览版202112 第5章 PyTorch 进阶 人工智能将成为终极搜索引擎，可以理解网络上的一 切信息。它会准确地理解你想要什么，给你需要的东 西。−拉里·佩奇 在介绍完张量的基本操作后，现在来进一步学习张量的进阶操作，如张量的合并与分 割、范数统计、张量填充、张量限幅等。最后通过 ： ? = ??(?|?vocab,?) Embedding 层实现起来非常简单，构建一个 shape 为[?vocab,?]的查询表对象 table，对 预览版202112 11.1 序列表示方法 3 于任意的单词编号?，只需要查询到对应位置上的向量并返回即可： ? = table[?] Embedding 层是可训练的，它可放置在神经网络之前，完成单词到向量的转换，得到的表 1.0053, 0.9321, -0.5928]], grad_fn=) 我们可以直接查看 Embedding 层内部的查询表 table： In [1]: # 打印内部查询表张量 for name,p in net.named_parameters(): print(name, p.shape) print('table:'

提供系统的平台化工具，为用户提供易用的界面操作； MLX模型能力 MLX平台架构 MLX平台架构 • 基于Worker + PS架构搭建 • Worker  模型计算引擎（Engine）  计算图框架（Graph） • 模型计算引擎Engine  模型结构处理  与PS通信交换模型参数  计算图的计算 • 计算图框架Graph  计算逻辑抽象op，通过op组合形成模型结构   定义了流式数据的时钟，不可逆性  Smooth low watermark：异常数据时间跳变 流式拼接 • Checkpoint解决不重不丢问题  外存解决大数据量性能问题  在引擎中流转log key，特征数据在外存 • 分业务场景支持  轻量级predictor：仅支持模型的计算，特征由业务传入，无状态设计  自定义predictor： 提供业务抽象，支持业务自定义逻辑，插件化实现 逻辑阶段抽象，业务根据自身需求选择性实现  数据获取： 根据业务的自身逻辑获取特征原始数据  特征抽取： 将特征数据进行转换，转换成模型所需的格式，比如离散化  模型计算： 传入转换后的特征数据，调用模型计算引擎 在线预估服务 • 特征编码方式  通过明文hash的方式编码  适用于特征的动态增长  不需要预分配，提高处理效率 • 框架与实现分离  提供op形式的特征抽取类  逻辑一致性：在线、近线、离线

• 加快计算速度： batching/TensorRT/MPS/SSE/AVX/Neon • operator fusion • 针对特定场景重写耗时算子 • 重构tensorflow计算引擎 • batching • 批量调度请求到GPU，增大并发和吞吐量 4 深度学习-分布式模型推理 • 深度特征效果对比 • 文本Embedding特征，相比于文本标签，相关指标提升约3+% 算法/模型（WeiFlow） 模型训练/评估 样本库 模型库 模型服务/推荐引擎 数据/特征（WeiData） 数据/特征生成 数据/特征存储 数据/特征服务 2 平台架构 用户 微博 曝光/阅读 点击/互动 Feed流排序 数据样本 正样本：曝光有互动 负样本：曝光无互动 样本数据 推荐引擎 业务引擎 用户特征 女性，19-22岁，北京 爱好娱乐，明星，高 活跃……

for Autonomous Driving Clarifai • Computer Vision APIs AWS 上的 AI 应用 • Pinterest Lens • Netflix 推荐引擎 数千名员工致力于人工智能领域 发现& 搜索 执行 &物流 现有产品的增强 定义新的产品分类 将机器学习拓 展更广领域 Amazon 的人工智能应用 在Amazon 最初的人 工智能应用 (1995) 可以帮助客户把人工智能应用于每个应 用程序的核心&业务之中吗? Amazon AI 构建于深度学习之上的智能服务 Amazon AI: 新的深度学习服务 生活化的语音服务 Polly Lex 对话引擎 Rekognition 图像分析 深度学习框架 MXNet, TensorFlow, Theano, Caffe, Torch 为客户模型定制的 深度学习框架 人工智能 的托管的 API服务 AI 服务 • 充分利用了 Amazon 内部在 AI / Ml领域的经验 • 全托管的API 服务，嵌入的AI服务提供了最大的 可访问性和简单性 • 完整的深度学习堆栈，包含了专业的平台、引擎 应用程序 Thank you! lianghong@amazon.com

K-means、密度聚类、层次聚类 聚类 主要应用 市场细分、文档聚类、图像分割、图像压缩、聚类分析、特征学习或者词 典学习、确定犯罪易发地区、保险欺诈检测、公共交通数据分析、IT资产 集群、客户细分、识别癌症数据、搜索引擎应用、医疗应用、药物活性预 测…… 7 1.无监督学习方法概述 聚类案例 1.医疗 医生可以使用聚类算法来发现疾病。以甲状 腺疾病为例。当我们对包含甲状腺疾病和非 甲状腺疾病的数据集应用无监督学习时，可 银行可以观察到可能的金融欺诈行为，就此 向客户发出警告。在聚类算法的帮助下，保 险公司可以发现某些客户的欺诈行为，并调 查类似客户的保单是否有欺诈行为。 10 1.无监督学习方法概述 聚类案例 4.搜索引擎 百度是人们使用的搜索引擎之一。举个例子，当 我们搜索一些信息，如在某地的超市，百度将为 我们提供不同的超市的选择。这是聚类的结果， 提供给你的结果就是聚类的相似结果。 11 1.无监督学习方法概述