开源AIOps数据中台搭建与 Python的作⽤用 丁来强 关于我 • ⼯工作10+年年，熟悉⼤大数据分析、ITOps、SecOps等领域 • 阿⾥里里云⽇日志服务上海海负责⼈人，之前在Splunk上海海 • ⾃自从2015年年，在4届PyCon上，累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 ⾃自动化：Ansible、Puppet等 • AI增强 - 降噪去重与模式识别 • 对海海量量⽇日志进⾏行行模式聚类（例例如从65万条⽇日志，聚类出50条⽇日志模式） 阿⾥里里云⽇日志服务 Sumologic Splunk 消除告警疲劳 • 传统阈值⽅方式的告警并不不能解决问题： • 阈值难以合理理，或会⾮非常复杂 • 有效阈值维护成本较⾼高 • 过滤后的告警数量量依然较多 • 使⽤用基于统计的动态阈值 ElasticSearch ML (X-Pack) Splunk AI增强 - 预测 • 对周期性趋势性数据进⾏行行预测 阿⾥里里云⽇日志服务 ElasticSearch ML (X-Pack) Splunk AI增强 - 根因分析 • 关联事件上下⽂文与相关链路路指标，提供根因辅助 阿⾥里里云⽇日志服务 ElasticSearch ML (X-Pack) Splunk 使⽤用开源⽅方案时需要考虑 •

ships with Fluent Bit for collecting and forwarding logs. Logs can go to an Elasticsearch, Kafka, Splunk, syslog or HTTP endpoint. The deployment and configuration of Fluent Bit is a manual process that Kubernetes, including open source solutions like Fluent Bit and third-party solutions like Elasticsearch, Splunk and Datadog. Their documentation encourages the use of their paid Cloud Operations Suite (formerly central point of aggregation. An effective cluster will support log shipping to external systems like Splunk, Logstash or Fluentd. These systems enable a broader view of multiple data streams and can more

快速有效知晓服务运⾏行状态， 服务资源浪费。 回到问题 1.运维⾃自动化 1 基础设施⾃自动化 实施了新的部署流程，成功率 ⼤大⼤大提⾼高，部署时间缩短到 30分钟。 2 ⾼高效监控 服务提供状态汇报，利⽤用 Splunk聚合⽇日志，对服务运 ⾏行状态进⾏行监控，⼤大⼤大提⾼高运 维效率。 2.DevOps⼀一家亲 2012 2015 环境⼿手⼯工维护，频频出错 缺乏有效监控 3 服务过⼤大，堵塞交付 快速增⻓长的结果导致服务过⼤大

数给予一级市场投资者信心。同时，开源软件公司的从成立到上市的周期也在缩短，从早期的 10 到 15 年，缩短到现在的 3 到 8 年。我们甚至看到 2-3 年就通过并购的方式进行资本退出的 案例，例如 Streamlio 被 Splunk 公司收购和 Flink 被阿里收购。 The number and total value of venture capital investments in open source software even seeing cases of capital exits through M&A in 2-3 years, such as Streamlio's acquisition by Splunk and Flink's acquisition by Alibaba. 图表 3：全球开源软件 VC 投资统计 Figure 3: Global Open Source Software

云资源，又使用自定义脚本处理其他资源。这可能导致资源创建过程缺乏一致性和可重复性。事实上，在托管环 境中常用的许多第三方服务 Terraform 都提供了相应的支持程序，可以用来创建和配置这些服务，例如 Splunk、 Datadog、PagerDuty 和 New Relic。因此，我们建议团队除了云资源外，还应使用 Terraform 创建监控和告 警。这将实现更模块化的 IaC，更易于理解和维护。与所有

软件公司的从成立到上市的周期也在缩短，从早期的 10 到 15 年，缩短到现在的 3 到 8 年。我们甚至看 到 2-3 年就通过并购的方式进行资本退出的案例，例如 Streamlio 被 Splunk 公司收购和 Flink 被阿里 收购。 图表 3 ：全球开源软件 VC 投资统计 图表 4 ：主要开源软件公司资本退出周期 资料来源：Crunchbase，Pitchbook，云启资本

gcplogs: send container logs to Google Cloud Logging Logging. • splunk: sends container logs to HTTP Event Collector in Splunk Enterprise and Splunk Cloud. The default logging driver is json-file, and the system

志输出级别； --label="[]"：添加指定的键值对标注； --log-driver="json- file|syslog|journald|gelf|fluentd|awslogs|splunk|etwlogs|gcplogs|none"：指定日志后端驱 动，默认为 json-file； --log-opt=[]：日志后端的选项； --mtu=VALUE：指定容器网络的 mtu；