开源AIOps数据中台搭建与 Python的作⽤用 丁来强 关于我 • ⼯工作10+年年，熟悉⼤大数据分析、ITOps、SecOps等领域 • 阿⾥里里云⽇日志服务上海海负责⼈人，之前在Splunk上海海 • ⾃自从2015年年，在4届PyCon上，累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 摄取 存储 指标 ⽀支持 ⽀支持（效率⼀一般） ⽀支持 ⽇日志 初级 较好 ⽆无 ⽂文本 ⽆无 全⾯面 ⽆无 分析 流式 ⽆无 不不⽀支持 ⽀支持 统计关联 ⼀一般（DSL等） 查询统计强，关联弱 （商业版可部分转SQL） ⼀一般（类SQL查询统计等） 数据 治理理 数据加⼯工 ⽆无 ⽀支持(logstash/reindex) ⽀支持（CQ/TickScript） ⽣生命周期 ES: 8X写⼊入，少4X磁盘占⽤用，3~7响应速度 • Telegraf：⽀支持200+数据渠道 • 开源免费版本缺少集群、安全、管理理等功能 • Chronograf：不不如Grafana强⼤大灵活 Elastic Stack (BELK) • Beats + Elasticsearch + Logstash + Kibana • 接⼊入层还会搭配Kafka • 重要企业级组件都在商业组件X-Pack中

目都拥有独立的 Python 解释器和包 安装目录，这样可以避免不同项目之间的依赖冲突。每个虚拟环境只包含该项目所需的 依赖，使得项目可以在独立的环境中运行，而不受其他项目的影响。 确保依赖一致性：虚拟环境通常会配合使用 Pipenv 等工具来管理项目的依赖，这样 可以确保项目在不同环境中安装相同的依赖版本，从而避免由于依赖版本不一致而引发 的错误。 提高项目可移植性：将项目的依赖放在虚拟环境中，可以使得项目在不同的计算机 贷业务 不断迭代，业务场景一般涉及多个业务模块，整体业务流程长；二是信贷业务复杂度高， 业务形态的不同会有不同的触发方式，业务逻辑的不同也会产生不同的组合方式；三是 信贷业务依赖性强，业务前后环节间的依赖性强，后一环节的输入是前一环节的输出。 一般来讲，测试数据准备有“造”数和“找”数两种方式。“造”数主要是通过某种 方式模拟实际业务的运行逻辑生成测试数据，一种方法是通过 GUI 构造测试数据，这是 数据准备需要熟悉业务流程、熟悉业务接口和实现逻辑，对数据准备人员较高要求； 大部分情况下数据构造流程伴随着业务状态的变化，数据状态是不可逆的，只能按 需不断构造新的数据； 链路越长整体成本越高； 数据间依赖性强，往往需要做数据的串联，例如下一个请求的入参需要上一个请求 的返回值； 找谁造数、造什么样的数，时间往往都消耗在沟通上。 基于以上痛点和难点，并结合对测试数据实际准备过程中相关问题的探索和研究形

DOM 中的对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1107 20.6.3 一致性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1114 20.7 xml simple_server -- 一个简单的 WSGI HTTP 服务器 . . . . . . . . . . . 1146 21.2.4 wsgiref.validate --- WSGI 一致性检查器 . . . . . . . . . . . . . . . . . . . . . 1147 21.2.5 wsgiref.handlers -- 服务器/网关基类 . . . . . . dir(s) ['area', 'location', 'perimeter'] 注解: 因为dir() 主要是为了便于在交互式时使用，所以它会试图返回人们感兴趣的名字集合， 而不是试图保证结果的严格性或一致性，它具体的行为也可能在不同版本之间改变。例如，当实参 是一个类时，metaclass 的属性不包含在结果列表中。 divmod(a, b) 以两个（非复数）数字为参数，在作整数除法时，返回商和余数。若操作数为混合类型，则适用

DOM 中的对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1187 20.6.3 一致性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1195 20.7 xml simple_server -- 一个简单的 WSGI HTTP 服务器 . . . . . . . . . . . 1229 21.2.4 wsgiref.validate --- WSGI 一致性检查器 . . . . . . . . . . . . . . . . . . . . . 1230 21.2.5 wsgiref.handlers -- 服务器/网关基类 . . . . . . Python Library Reference, 发行版本 3.11.10 备注: 因为dir() 主要是为了便于在交互式时使用，所以它会试图返回人们感兴趣的名字集合， 而不是试图保证结果的严格性或一致性，它具体的行为也可能在不同版本之间改变。例如，当实参 是一个类时，metaclass 的属性不包含在结果列表中。 divmod(a, b) 以两个（非复数）数字为参数，在作整数除法时，返回商和余数。若操作数为混合类型，则适用

DOM 中的对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1209 20.6.3 一致性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1216 20.7 xml simple_server -- 一个简单的 WSGI HTTP 服务器 . . . . . . . . . . . . 1248 21.2.4 wsgiref.validate --- WSGI 一致性检查器 . . . . . . . . . . . . . . . . . . . . . . 1249 21.2.5 wsgiref.handlers -- 服务器/网关基类 . . . . . ['area', 'location', 'perimeter'] � 备注 因为dir() 主要是为了便于在交互式时使用，所以它会试图返回人们感兴趣的名字集合，而不 是试图保证结果的严格性或一致性，它具体的行为也可能在不同版本之间改变。例如，当实参 是一个类时，metaclass 的属性不包含在结果列表中。 divmod(a, b) 接受两个（非复数）数字作为参数并返回由当对其使用整数除法时的商和余数组成的数字对。在混

DOM 中的对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1209 20.6.3 一致性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1216 20.7 xml simple_server -- 一个简单的 WSGI HTTP 服务器 . . . . . . . . . . . . 1248 21.2.4 wsgiref.validate --- WSGI 一致性检查器 . . . . . . . . . . . . . . . . . . . . . . 1249 21.2.5 wsgiref.handlers -- 服务器/网关基类 . . . . . ['area', 'location', 'perimeter'] � 备注 因为dir() 主要是为了便于在交互式时使用，所以它会试图返回人们感兴趣的名字集合，而不 是试图保证结果的严格性或一致性，它具体的行为也可能在不同版本之间改变。例如，当实参 是一个类时，metaclass 的属性不包含在结果列表中。 divmod(a, b) 接受两个（非复数）数字作为参数并返回由当对其使用整数除法时的商和余数组成的数字对。在混

DOM 中的对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1245 20.6.3 一致性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1252 20.7 xml simple_server -- 一个简单的 WSGI HTTP 服务器 . . . . . . . . . . . . 1285 21.2.4 wsgiref.validate --- WSGI 一致性检查器 . . . . . . . . . . . . . . . . . . . . . . 1286 21.2.5 wsgiref.handlers -- 服务器/网关基类 . . . . . ['area', 'location', 'perimeter'] � 备注 因为dir() 主要是为了便于在交互式时使用，所以它会试图返回人们感兴趣的名字集合，而不 是试图保证结果的严格性或一致性，它具体的行为也可能在不同版本之间改变。例如，当实参 是一个类时，metaclass 的属性不包含在结果列表中。 divmod(a, b) 接受两个（非复数）数字作为参数并返回由当对其使用整数除法时的商和余数组成的数字对。在混

DOM 中的对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1241 20.6.3 一致性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1248 20.7 xml simple_server -- 一个简单的 WSGI HTTP 服务器 . . . . . . . . . . . . 1281 21.2.4 wsgiref.validate --- WSGI 一致性检查器 . . . . . . . . . . . . . . . . . . . . . . 1282 21.2.5 wsgiref.handlers -- 服务器/网关基类 . . . . . ['area', 'location', 'perimeter'] � 备注 因为dir() 主要是为了便于在交互式时使用，所以它会试图返回人们感兴趣的名字集合，而不 是试图保证结果的严格性或一致性，它具体的行为也可能在不同版本之间改变。例如，当实参 是一个类时，metaclass 的属性不包含在结果列表中。 divmod(a, b) 接受两个（非复数）数字作为参数并返回由当对其使用整数除法时的商和余数组成的数字对。在混

中的对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1271 20.6.3 一致性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1279 20 simple_server -- 一个简单的 WSGI HTTP 服务器 . . . . . . . . . . . . . 1315 21.2.4 wsgiref.validate --- WSGI 一致性检查器 . . . . . . . . . . . . . . . . . . . . . . . 1316 21.2.5 wsgiref.handlers -- 服务器/网关基类 . . . . dir(s) ['area', 'location', 'perimeter'] 备注: 因为dir() 主要是为了便于在交互式时使用，所以它会试图返回人们感兴趣的名字集合，而不 是试图保证结果的严格性或一致性，它具体的行为也可能在不同版本之间改变。例如，当实参是一个 类时，metaclass 的属性不包含在结果列表中。 divmod(a, b) 以两个（非复数）数字为参数，在作整数除法时，返回商和余数。若操作数为混合类型，则适用二进

中的对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1187 20.6.3 一致性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1194 20 simple_server -- 一个简单的 WSGI HTTP 服务器 . . . . . . . . . . . . . 1229 21.2.4 wsgiref.validate --- WSGI 一致性检查器 . . . . . . . . . . . . . . . . . . . . . . . 1230 21.2.5 wsgiref.handlers -- 服务器/网关基类 . . . . dir(s) ['area', 'location', 'perimeter'] 注解: 因为dir() 主要是为了便于在交互式时使用，所以它会试图返回人们感兴趣的名字集合，而不 是试图保证结果的严格性或一致性，它具体的行为也可能在不同版本之间改变。例如，当实参是一个 10 Chapter 2. 内置函数 The Python Library Reference, 发布 3.10.15 类时，metaclass