1 梁成 腾讯云, barryliang@tencent.com 基于Consul的多Beats接入 管控与多ES搜索编排 2 拥抱开源、释放云原生的力量 • 背景与挑战 • 多Beats/Logstash接入管控 • 多ES搜索编排系统 • 日志AIOps探索 3 背景与挑战 产品数量 人员规模 主机规模 100+ 1000 + 10000 + 如何降低日志接入门槛 性 15 多ES搜索编排系统 提供多ES多索引搜索编排功能，帮助 业务快速定位异常 16 故障定位遇到的困扰 客服 产品 运维 研发 多es切换 系统切换 采集 高负载 合作伙伴 OthersDB 17 案例:非APM场景下多组件日志搜索探索 ES/ OtherDB 多集群 多索引 上下文 搜索 Kibana 导航 搜索编 排 异常知 识库

��������������� ������� 目录 1、视频搜索的挑战 %、深度学m在视频内容理解h的应用——召回 3、深度学m在语k搜索h的应用——语k表征 4、深度学m在排序h的应用——g性化表征 视频搜索的挑战 1�����/���——���� 2����/�����——���� 3������——������ ��������������� 1������������

1 深度学习在电商搜索和聊天机器人中的应用 探索 SPEAKER / 程进兴 2017年4月 2 3 苏宁国际美国硅谷研究院 苏宁美国硅谷研究院创 建于2013年11月，其宗旨是建立 高科技人才和专利的蓄水池，推 动苏宁持续地创新和转型，为用 户提供简约完美的用户体验。 硅谷研究院由来自云计 算、大数据、人工智能及深度学 习等不同专业背景的工程师、数 据科学家及分析师组成。目前包 曾在甲骨文，雅虎，微软， 沃尔玛实验室等多家公司从事搜索，广告，大数 据分析，机器学习，人工智能应用等方面的研发 工作。在此期间，发表了10多篇相关领域的研究 论文，并有10多项相关领域的专利。  业余爱好： 骑行 个人简介 电子邮箱： jim.cheng@ususing.com 5 议程 • 深度学习与商品搜索  矢量化搜索技术简介  基于词语聚类的矢量化  基于用户会话的矢量化 =》 5岁 目前商品搜索中的一些问题 7 人工智能／深度学习在搜索中的应用：网页／电商搜索 • 基于深度学习的（Query, Document）分数是Google搜索引擎中第3重要的排序信 号 • 亚马逊（Amazon／A9)电子商务搜索引擎中， 深度学习还在实验阶段， 尚未进入生产线。 8 • 搜索数值矢量化  传统搜索基于文字匹配， 商品包含搜索词或者不包含搜索词  利用深度学习技术，

37 37 OpenShift Container Platform 3.11 CLI 参考 参考 2 7.3. 安装插件 7.3.1. Plug-in Loader 7.3.1.1. 搜索顺序 7.4. 编写插件 7.4.1. plugin.yaml Descriptor 7.4.2. 建议的目录结构 7.4.3. 访问运行时属性 37 38 38 38 39 39 7.3. 安装插件 安装插件 将插件的 将插件的 plugin.yaml 描述符、二 描述符、二进 进制文件、脚本和 制文件、脚本和资产 资产文件复制到 文件复制到 oc 搜索插件的一个位置。 搜索插件的一个位置。 目前， 目前，OpenShift Container Platform 不会 不会为 为插件提供 插件提供软 软件包管理器。因此，您的 件包管理器。因此，您的责 程序负责 负责 搜索插件文件 搜索插件文件，并 ，并检查 检查插件是否提供 插件是否提供运 运行所需的最小信息。放置在正确位置的文件 行所需的最小信息。放置在正确位置的文件 不提供最小信息（例如，不完整的 不提供最小信息（例如，不完整的 plugin.yaml 描述符）。 描述符）。 7.3.1.1. 搜索 搜索顺 顺序 序 插件加 插件加载 载程序使用以下搜索 程序使用以下搜索顺

身份验证 在身份验证过程中，搜索 LDAP 目录中与提供的用户名匹配的条目。如果找到一个唯一匹配项，则尝试使 用该条目的可分辨名称 (DN) 以及提供的密码进行简单绑定。 执行下面这些步骤： 1. 通过将配置的 url 中的属性和过滤器与用户提供的用户名组合来生成搜索过滤器。 2. 使用生成的过滤器搜索目录。如果搜索返回的不是一个条目，则拒绝访问。 3. 尝试使用搜索所获条目的 DN 和用户提供的密码绑定到 如果绑定失败，则拒绝访问。 5. 如果绑定成功，则将配置的属性用作身份、电子邮件地址、显示名称和首选用户名来构建一个身 份。 配置的 url 是 RFC 2255 URL，指定要使用的 LDAP 主机和搜索参数。URL 的语法是： ldap://host:port/basedn?attribute?scope?filter $ oc apply -f $ oc login localhost:636。 basedn 所有搜索都应从中开始的目录分支的 DN。至少，这必须是目录树的顶端，但也可指定目 录中的子树。 attribute 要搜索的属性。虽然 RFC 2255 允许使用逗号分隔属性列表，但无论提供多少个属性，都 仅使用第一个属性。如果没有提供任何属性，则默认使用 uid。建议选择一个在您使用的 子树中的所有条目间是唯一的属性。 scope 搜索的范围。可以是 one 或 sub。如果未提供范围，则默认使用

14 分布式追踪 分布式追踪 4 如果您在执行本文档所述的某个流程或 OpenShift Container Platform 时遇到问题，请访问 红帽客户门户 网站。 通过红帽客户门户网站： 搜索或者浏览红帽知识库，了解与红帽产品相关的文章和解决方案。 提交问题单给红帽支持。 访问其他产品文档。 要识别集群中的问题，您可以在 OpenShift Cluster Manager 中使用 Insights。Insights TRACING-3431) 1.2.7. 获取支持 如果您在执行本文档所述的某个流程或 OpenShift Container Platform 时遇到问题，请访问 红帽客户门户 网站。 通过红帽客户门户网站： 搜索或者浏览红帽知识库，了解与红帽产品相关的文章和解决方案。 提交问题单给红帽支持。 访问其他产品文档。 要识别集群中的问题，您可以在 OpenShift Cluster Manager 中使用 Insights。Insights TRACING-3431) 1.3.7. 获取支持 如果您在执行本文档所述的某个流程或 OpenShift Container Platform 时遇到问题，请访问 红帽客户门户 网站。 通过红帽客户门户网站： 搜索或者浏览红帽知识库，了解与红帽产品相关的文章和解决方案。 提交问题单给红帽支持。 访问其他产品文档。 要识别集群中的问题，您可以在 OpenShift Cluster Manager 中使用 Insights。Insights

机器学习-KNN算法 黄海广 副教授 2 01 距离度量 02 KNN算法 本章目录 03 KD树划分 04 KD树搜索 3 01 距离度量 02 KNN算法 03 KD树划分 04 KD树搜索 1.距离度量 4 距离度量 欧氏距离(Euclidean distance) ? ?, ? = ෍ ? ?? − ?? 2 欧几里得度量（Euclidean =1 ? ?? × ?? σ?=1 ? ( ??)2 × σ?=1 ? ( ??)2 10 01 距离度量 02 KNN算法 03 KD树划分 04 KD树搜索 2.KNN算法 11 2.KNN算法 ?近邻法（k-Nearest Neighbor,kNN）是一种比较成熟也是最简单的机器学习算 法，可以用于基本的分类与回归方法。 算法的主要思路： 统计这k个邻居的类别频次 5.k个邻居里频次最高的类别，即为测试对象 的类别 K=3 K=5 14 01 距离度量 02 KNN算法 03 KD树划分 04 KD树搜索 3.K-D-Tree划分 15 KD树划分 KD树(K-Dimension Tree)，，也可称之为K维树 ，可以用更高的效率来对空间进行划分，并且其 结构非常适合寻找最近邻居和碰撞检测。

OpenShift Container Platform Logging 。 2.1.7. 关于导出字段 日志记录系统导出字段。导出的字段出现在日志记录中，可从 Elasticsearch 和 Kibana 搜索。 如需更多信息，请参阅关于导出字段。 2.1.8. 关于 OpenShift Logging 组件 OpenShift Logging（日志记录）组件包括了一个要部署到 OpenShift Container 节点创建为“仅数据”节点，使用 client 和 data 角色。control plane 节点执行集群范围的操作，如创建或删除索引、分 片分配和跟踪节点。数据节点保管分片，并执行与数据相关的操作，如 CRUD、搜索和聚合等。与数据相关的操作会占用大量 I/O、内存和 CPU。务 必要监控这些资源，并在当前节点过载时添加更多数据节点。 例如，如果 nodeCount = 4，则创建以下节点： 输 输出示例 出示例 节点创建为“仅数据”节点，使用 client 和 data 角色。control plane 节点执行集群范围的操作，如创建或删除索引、分片分配和跟踪节点。 数据节点保管分片，并执行与数据相关的操作，如 CRUD、搜索和聚合等。与 数据相关的操作会占用大量 I/O、内存和 CPU。务必要监控这些资源，并在当 前节点过载时添加更多数据节点。 例如，如果 nodeCount = 4，则创建以下节点： 输 输出示例

基础架构和审计日志并将其转发到不同的输出。 垃圾 垃圾回收 回收 垃圾回收是清理集群资源的过程，如终止的容器和没有被任何正在运行的 pod 引用的镜像。 Elasticsearch Elasticsearch 是一个分布式搜索和分析引擎。OpenShift Container Platform 使用 ELasticsearch 作为 OpenShift Container Platform Logging 的默认日志存储。 OpenShift Container Platform Logging 。 2.2.7. 关于导出字段 日志记录系统导出字段。导出的字段出现在日志记录中，可从 Elasticsearch 和 Kibana 搜索。 如需更多信息，请参阅关于导出字段。 2.2.8. 关于 OpenShift Logging 组件 OpenShift Logging（日志记录）组件包括了一个要部署到 OpenShift Container 节点创建为“仅数据”节点，使用 client 和 data 角色。control plane 节点执行集群范围的操作，如创建或删除索引、分 片分配和跟踪节点。数据节点保管分片，并执行与数据相关的操作，如 CRUD、搜索和聚合等。与数据相关的操作会占用大量 I/O、内存和 CPU。务 必要监控这些资源，并在当前节点过载时添加更多数据节点。 例如，如果 nodeCount = 4，则创建以下节点： 输 输出示例 出示例