基于Consul的多Beats接入管控与多ES搜索编排1 梁成 腾讯云, barryliang@tencent.com 基于Consul的多Beats接入 管控与多ES搜索编排 2 拥抱开源、释放云原生的力量 • 背景与挑战 • 多Beats/Logstash接入管控 • 多ES搜索编排系统 • 日志AIOps探索 3 背景与挑战 产品数量 人员规模 主机规模 100+ 1000 + 10000 + 如何降低日志接入门槛 传统Beats接入流程 配置更改 现网配置是否全部一致? 日志上报是否有延时? Filebeat是否资源消耗过多? Filebeat异常退出如 何处理? 如何做上报性能调优? 6 系统架构 云Kafka Api-server2 Consul 云ES Agent-1 Agent-N Agent-1 Agent-N 数据流 配置监听 Agent注册 配置下发 性 15 多ES搜索编排系统 提供多ES多索引搜索编排功能,帮助 业务快速定位异常 16 故障定位遇到的困扰 客服 产品 运维 研发 多es切换 系统切换 采集 高负载 合作伙伴 OthersDB 17 案例:非APM场景下多组件日志搜索探索 ES/ OtherDB 多集群 多索引 上下文 搜索 Kibana 导航 搜索编 排 异常知 识库0 码力 | 23 页 | 6.65 MB | 1 年前3
Qcon北京2018-《深度学习在视频搜索领域的实践》-刘尚堃pdf��������������� ������� 目录 1、视频搜索的挑战 %、深度学m在视频内容理解h的应用——召回 3、深度学m在语k搜索h的应用——语k表征 4、深度学m在排序h的应用——g性化表征 视频搜索的挑战 1�����/���——���� 2����/�����——���� 3������——������ ��������������� 1������������0 码力 | 24 页 | 9.60 MB | 1 年前3
深度学习在百度搜索中的工程实践-百度-曹皓0 码力 | 40 页 | 29.46 MB | 1 年前3
Chatbots 中对话式交互系统的分析与应用[探索]聊天机器人 吴金龙@爱因互动 2017年04月17日 吴金龙 • 2005~2010:北大数学院 • 推荐系统 • 2010~2011:阿里云 • PC/手机输入法 • 2011~2017:世纪佳缘 • 用户推荐、网警等数据系统 • 技术部负责人 • 一个AI负责人 • 2017~现在:爱因互动 • 技术合伙人、算法负责人 • ChatbotsChina发起人 • •Microsoft Cortana •微软小冰 2016 •Facebook Messenger •Microsoft Tay IR-Bot: 智能检索机器人 IR-Bot:检索问答系统 IR-Bot:深度学习 • 句子表示、QA匹配 基于深度学习的智能问答 IR-Bot:深度学习 • 句子表示、QQ匹配 Semantic Question Matching with Deep Tracking (DST) • 对话状态应该包含持续对话所需要的各种信息 • DST问题:依据最新的系统和用户动作,更新对话状态 • Q:如何表示对话状态 状态追踪 (DST) 旧状态 用户动作 系统动作 新状态 策略优化 Dialogue Policy Optimization (DPO) • 系统如何做出反馈动作 • 作为序列决策过程进行优化:增强学习 Milica Gašić (2014)0 码力 | 39 页 | 2.24 MB | 1 年前3
sealos 以 kubernetes 为内核的云操作系统Sealos 云操作系统 方海涛 环界云计算 CEO 目 录 云操作系统介绍 01 云操作系统架构 02 功能与实用场景 03 实现原理 04 价值 05 总结 06 自我介绍 Sealos 作者 阿里巴巴 CNCF sealer 作 者 环界云计算创始人 公司代表作品: Sealos 云操作系统 Laf 函数计算 FastGPT AI 知识库 Sealos 介绍 以 kubernetes 为内核的云操作系统 整个数据中心抽象成一台服务器,一切皆应用,让用云像用个人电脑一样简单! Kubernetes是云操作系统内核,整个集群是一个整体 Sealos是云操作系统发行版本 Linux发行版,如redhat Linux kernel CPU 内存 磁盘 Linux发行版,如redhat Linux kernel CPU 内存 磁盘 Linux发行版,如redhat 我大道至简海纳百川 不求最好,但求最贵 优秀还便宜 你真的需要虚拟机?真的需要 IaaS 层? PaaS SaaS 有本质区别?鸭式辩型忘记了? 云里面,一切皆应用才是王道。 系统架构与设计理念 通用的系统管理入口 所有应用自由安装卸载 极简、高内聚、高度抽象 提供最基础的核心能力 容器管理、编排调度、资源隔离 驱动层实现资源抽象 自由切换,到处运行 Sealos API Sealos0 码力 | 29 页 | 7.64 MB | 10 月前3
使用Chaos Mesh来保障云原生系统的健壮性-周强云原生社区Meetup 第三期·杭州站 使用 Chaos Mesh 来保障云原生系统的健壮性 演讲人:周强 GitHub 地址:https://github.com/zhouqiang-cl PingCAP 工程效率负责人,ChaosMesh 负责人 云原生社区Meetup 第三期·杭州站 The incident in the production environment0 码力 | 28 页 | 986.42 KB | 6 月前3
深入 Kubernetes 的无人区-蚂蚁金服双十一的调度系统深入 Kubernetes 的“无人区” —— 蚂蚁金服双十一的调度系统 曹寅2/19 一、蚂蚁金服的Kubernetes现状 二、双十一Kubernetes实践 三、展望未来迎接挑战 目 录 contents 目录3/19 一、蚂蚁金服的Kubernetes现状 Part 1:4/19 发展历程与落地规模 Part 1:蚂蚁金服的Kubernetes现状 平台研发 灰度验证 灰度验证 云化落地 规模化落地 2018年下半年开始投 入 Kubernetes 及其配 套系统研发 2019年初于生产环境 开始灰度验证,对部分 应用做平台迁移 2019年4月完成云化环境 适配,蚂蚁金服云上基础 设施全部采用 Kubernetes 支撑618 2019年7月到双十一前完成 全站 Kubernetes 落地,超过 90% 的资源通过 Kubernetes 分配,核心链路100%落地支撑0 码力 | 19 页 | 2.18 MB | 6 月前3
银河麒麟服务器操作系统V4 Hadoop 软件适配手册银河麒麟服务器操作系统 V4 Hadoop 软件适配手册 天津麒麟信息技术有限公司 2019 年 5 月 银河麒麟服务器操作系统 V4 hadoop 软件适配手册 I 目 录 目 录 ............................................................................. .......................................................................................... 2 1.1 系统概述 ................................................................................................ ....................................... 7 银河麒麟服务器操作系统 V4 hadoop 软件适配手册 2 1 概述 1.1 系统概述 银河麒麟服务器操作系统主要面向军队综合电子信息系统、金融系统以及电 力系统等国家关键行业的服务器应用领域,突出高安全性、高可用性、高效数据 处理、虚拟化等关键技术优势,针对关键业务构建的丰富高效、安全可靠的功能0 码力 | 8 页 | 313.35 KB | 1 年前3
从推荐模型的基础特点看大规模推荐类深度学习系统的设计 袁镱� ⽆量系统 � 项⽬于17年启动,先后经过了6个主要版本的 迭代 � 覆盖腾讯PCG全部业务的推荐场景,⽀持腾讯 IEG,CSIG,QQ⾳乐,阅⽂等业务的部分推 荐场景 � 袁镱 博⼠,专家⼯程师 � 研究⽅向:机器学习系统,云计算,⼤数据系统 � 负责腾讯平台与内容事业群(PCG)技术中台核 ⼼引擎:⽆量系统。⽀持⼤规模稀疏模型训练, 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程,场景与⽬标 Serving系统 HDFS 数据 通道 训练系统 召回 业务服务 排序 混排 模型 管理 上线 管理 ⽆量 RGW/Cos/ kafka 样本 存储 实时样本 ⽣成服务 离线样本 ⽣成任务 数据 通道 特征 处理 模型 登记 模型 上线 千亿级推荐模型应⽤ O1. 千亿级特征(TB级)的模型的在线/离 线训练,在线推理服务和持续上线 O2. 针对推荐特点的深度优化,达到业界先 进⽔平 推荐系统的核⼼特点 � Feature 1(基本特点) 1.1 User与推荐系统交互,7*24⼩时 流式学习 1.2 Item和User新增,离开/遗忘, Embedding空间动态变化。 短期命中的⾼频key随时间缓慢变化 少量的⾼频key占据了主要访问需求0 码力 | 22 页 | 6.76 MB | 1 年前3
运维上海2017-分布式数据库系统TiDB在Kubernetes平台的自动化运维实践-邓栓0 码力 | 32 页 | 3.47 MB | 1 年前3
共 259 条
- 1
- 2
- 3
- 4
- 5
- 6
- 26













