⼯工作10+年年，熟悉⼤大数据分析、ITOps、SecOps等领域 • 阿⾥里里云⽇日志服务上海海负责⼈人，之前在Splunk上海海 • ⾃自从2015年年，在4届PyCon上，累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 ⽬目录 CONTENTS 关于AIOps ⼯工程难点 开源⽅方案与Python作⽤用 Log、Tracking、Event；Metrics、IoT data；⽹网络数据； • ⽂文本、⼯工单、知识库；API；代码等 • ⼤大数据的3V（容量量、变化、种类） 数据类型⽐比较 数据类型与⽐比较 ⽇日志 Tracking 指标 ⽂文本 数据格式 ⾮非结构化 半结构化，数据关联 结构化（聚集） ⾮非结构化 数据量量 ⼤大 较⼤大 ⼀一般到极⼤大（IoT) ⼀一般 单条⼤大⼩小 100~10KB 较难 ⼀一般 简单 较难 价值 ⾼高（尤其安全） ⾼高 随着时间推移变低 ⽐比较⾼高 数据之间的重叠 数据中台的处理理 • 海海量量多样数据的存储/索引： • 时序指标数据、⽂文本数据、⽇日志、⽹网络数据、Tracking等 • 各种分析的⽀支持： • 流式分析：流式或微批实时处理理 • 统计关联分析：多维度的实时关联统计与分析⽀支持，⽀支持交互式add-hoc⽅方式 •

归档操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447 11.10.3 查询输出终端的尺寸 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 450 12 数据持久化 453 12 Python 的日志记录工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 716 16.6.1 记录器对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 717 16.6.2 日志级别 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 732 16.7 logging.config --- 日志记录配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 733 16.7.1 配置函数 . . . . . . .

归档操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447 11.10.3 查询输出终端的尺寸 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 450 12 数据持久化 453 12 Python 的日志记录工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 716 16.6.1 记录器对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 717 16.6.2 日志级别 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 732 16.7 logging.config --- 日志记录配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 733 16.7.1 配置函数 . . . . . . .

归档操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417 11.10.3 查询输出终端的尺寸 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 420 12 数据持久化 421 12 --- Python 的日志记录工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 647 16.6.1 记录器对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 648 16.6.2 日志级别 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 661 16.7 logging.config --- 日志记录配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 661 16.7.1 配置函数 . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446 11.10.3 查询输出终端的尺寸 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449 12 数据持久化 451 Python 的日志记录工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 695 16.6.1 记录器对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 696 16.6.2 日志级别 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 710 16.7 logging.config --- 日志记录配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 711 16.7.1 配置函数 . . . . . .

归档操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466 11.10.3 查询输出终端的尺寸 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469 12 数据持久化 471 12 Python 的日志记录工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 743 16.5.1 记录器对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 744 16.5.2 日志级别 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 759 16.6 logging.config --- 日志记录配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 760 16.6.1 配置函数 . . . . . . .

归档操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462 11.10.3 查询输出终端的尺寸 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465 12 数据持久化 467 12 Python 的日志记录工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 739 16.5.1 记录器对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 740 16.5.2 日志级别 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 755 16.6 logging.config --- 日志记录配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 756 16.6.1 配置函数 . . . . . . .

归档操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439 11.10.3 查询输出终端的尺寸 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442 12 数据持久化 445 12 --- Python 的日志记录工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 694 16.6.1 记录器对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 695 16.6.2 日志级别 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 709 16.7 logging.config --- 日志记录配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 710 16.7.1 配置函数 . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471 11.10.3 查询输出终端的尺寸 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474 12 数据持久化 475 Python 的日志记录工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 744 16.6.1 记录器对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 745 16.6.2 日志级别 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 761 16.7 logging.config --- 日志记录配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 761 16.7.1 配置函数 . . . . . .

. . . . . . . . . 609 16.6 模块 logging --- Python 的日志记录工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 611 16.7 logging.config --- 日志记录配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625 16.8 logging.handlers --- 日志处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 635 16.9 getpass --- 便携式密码输入工具 . . . . . . . . . . . . . . . . . . . . . . 格 式 (简 称 ACE， 例 如 www. xn--alliancefranaise-npb.nu)。随后此域名的 ACE 形式可以用于所有由于特定协议而不允许使 用任意字符的场合，例如 DNS 查询，HTTP Host 字段等等。此转换是在应用中进行的；如有可能将对用户 1 除了字节类对象，'base64_codec' 也接受仅包含 ASCII 的str 实例用于解码 160 Chapter