1 梁成 腾讯云, barryliang@tencent.com 基于Consul的多Beats接入 管控与多ES搜索编排 2 拥抱开源、释放云原生的力量 • 背景与挑战 • 多Beats/Logstash接入管控 • 多ES搜索编排系统 • 日志AIOps探索 3 背景与挑战 产品数量 人员规模 主机规模 100+ 1000 + 10000 + 如何降低日志接入门槛 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何提供方便便捷的性能分析 调优能力 … 4 多Beats/Logstash接入 管控 提供多产品接入管理，多beats标准 化、界面化、自动化的日志接入方案 5 案例:1000+业务10000+台 主机如何快速实现日志接入？ 业务规模 1000+业务、 10000+业务主机、每天百T日志增量 其他诉求 日志上报不能影响核心业务 数据上报延时可感知 准备ES 安装Filebeat 编写Filebeat配置文件 测试并下发配置 全网重启filebeat 检测数据是否上报 传统Beats接入流程 配置更改 现网配置是否全部一致？ 日志上报是否有延时？ Filebeat是否资源消耗过多？ Filebeat异常退出如 何处理？ 如何做上报性能调优？ 6 系统架构 云Kafka

e. if all operands are true) the result is true. Or, shorter: • TRUE beats NULL in a disjunction (OR-operation); • FALSE beats NULL in a conjunction (AND-operation); • In all other cases, NULL wins “else”. The whole thing then once again boils down to “true beats NULL beats false” in disjunctions (ANY |SOME) and “false beats NULL beats true” in conjunctions (ALL). Chapter 5. Predicates 19 The

Telegraf：⽀支持200+数据渠道 • 开源免费版本缺少集群、安全、管理理等功能 • Chronograf：不不如Grafana强⼤大灵活 Elastic Stack (BELK) • Beats + Elasticsearch + Logstash + Kibana • 接⼊入层还会搭配Kafka • 重要企业级组件都在商业组件X-Pack中 • 安全、ML、SQL、监控、告警、Transform等 机器学习（收费） • Canvas⾃由编辑 Logstash核⼼能⼒ • 插件化灵活：输⼊入/过滤/输出 • 200+插件 • 配置统⼀一管理理 • 数据传输可靠性 Beats核⼼能⼒ • 8类轻量级Beats • 配置统⼀管理，部分逻辑插件化 • 集成50+内置⽣态模块（⽇志与指标） • ⽀持容器类部署场景 其他OLAP选择: Druid • 性能优越： • PB级别规模

include !include !include beats/beats.puml> !include !include skinparam agentBackgroundColor White APM(apm) APP_SEARCH(app_search) BEATS(beats) CLOUD(cloud) CLOUD_IN_KUBERNETES(cloud_in_kubernetes) CODE_SEARCH(code_search) ECE(ece) ECK(eck)

include !include !include beats/beats.puml> !include !include skinparam agentBackgroundColor White APM(apm) APP_SEARCH(app_search) BEATS(beats) CLOUD(cloud) CLOUD_IN_KUBERNETES(cloud_in_kubernetes) CODE_SEARCH(code_search) ECE(ece) ECK(eck)

include !include !include beats/beats.puml> !include !include skinparam agentBackgroundColor White APM(apm) APP_SEARCH(app_search) BEATS(beats) CLOUD(cloud) CLOUD_IN_KUBERNETES(cloud_in_kubernetes) CODE_SEARCH(code_search) ECE(ece) ECK(eck)

include !include !include beats/beats.puml> !include !include skinparam agentBackgroundColor White APM(apm) APP_SEARCH(app_search) BEATS(beats) CLOUD(cloud) CLOUD_IN_KUBERNETES(cloud_in_kubernetes) CODE_SEARCH(code_search) ECE(ece) ECK(eck)

include !include !include beats/beats.puml> !include !include skinparam agentBackgroundColor White APM(apm) APP_SEARCH(app_search) BEATS(beats) CLOUD(cloud) CLOUD_IN_KUBERNETES(cloud_in_kubernetes) CODE_SEARCH(code_search) ECE(ece) ECK(eck)

include !include !include beats/beats.puml> !include !include skinparam agentBackgroundColor White APM(apm) APP_SEARCH(app_search) BEATS(beats) CLOUD(cloud) CLOUD_IN_KUBERNETES(cloud_in_kubernetes) CODE_SEARCH(code_search) ECE(ece) ECK(eck)

include !include !include beats/beats.puml> !include !include skinparam agentBackgroundColor White APM(apm) APP_SEARCH(app_search) BEATS(beats) CLOUD(cloud) CLOUD_IN_KUBERNETES(cloud_in_kubernetes) CODE_SEARCH(code_search) ECE(ece) ECK(eck)