第三届中国Rust开发者大会 使用Rust与ClickHouse构建高 效可靠的日志系统 刘炜 腾讯云（专有云） • 自我介绍 • 系统介绍 • 整体架构 • 系统实现 • 遇到问题 大纲 自我介绍 • 大龄码农 • 做过嵌入式/CDN/数据库开发 • 从C/C++到Rust • 现在在腾讯云（专有云）从事日志系统的开发 自我介绍 PhoTto / image / chart 系统介绍 系统介绍 • 属于腾讯专有云PaaS平台(TCS) • 承接TCS底座日志 • 从Loki=>Menicus • 提供日志的搜索/报警/处理等功能 系统介绍 • 为什么放弃 Loki • 资源占用过大 • 统计/计算能力比较弱 • 组件过多，排查问题比较困难 • 商业使用不友好的开源协议 • 为什么选择Mencius+ClickHouse • 存储计算与业务分离 • 每天 100G • 磁盘 • 压缩比 1:13 • 内存 • Mencius • 200M左右 • ClickHouse • 2G以下 • 接入端 • API Gateway • 日志服务(Mencius) • 存储(ClickHouse) 整体架构 • 协议层 • 处理层 • 计算层 • 存储层 系统实现 协议层 • 支持协议 • Loki • 写入 • Json/ProtoBuf

. . . . . . . . . . 608 16.6 logging --- Python 的日志记录工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 610 16.7 logging.config --- 日志记录配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623 16.8 logging.handlers --- 日志处理程序 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 633 16.9 getpass --- 便携式密码输入工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 用str.encode() 方法来将 string 转变成 bytes。 • 如果是一个 integer，会初始化大小为该数字的数组，并使用 null 字节填充。 • 如果是一个遵循 缓冲区接口的对象，该对象的只读缓冲区将被用来初始化字节数组。 • 如果是一个 iterable 可迭代对象，它的元素的范围必须是 0 <= x < 256 的整数，它会被用 作数组的初始内容。 如果没有实参，则创建大小为

. . . . . . . . . . 608 16.6 logging --- Python 的日志记录工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 610 16.7 logging.config --- 日志记录配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623 16.8 logging.handlers --- 日志处理程序 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 633 16.9 getpass --- 便携式密码输入工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 用str.encode() 方法来将 string 转变成 bytes。 • 如果是一个 integer，会初始化大小为该数字的数组，并使用 null 字节填充。 • 如果是一个遵循 缓冲区接口的对象，该对象的只读缓冲区将被用来初始化字节数组。 • 如果是一个 iterable 可迭代对象，它的元素的范围必须是 0 <= x < 256 的整数，它会被用 作数组的初始内容。 如果没有实参，则创建大小为

. . . . . . . . . 652 16.6 logging --- Python 的日志记录工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 654 16.7 logging.config --- 日志记录配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 669 16.8 logging.handlers --- 日志处理程序 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 679 16.9 getpass --- 便携式密码输入工具 . . . . . . . . . . . . . . . . . . . . . . . integer，会初始化大小为该数字的数组，并使用 null 字节填充。 6 Chapter 2. 内置函数 The Python Library Reference, 发布 3.8.20 • 如果是一个遵循 缓冲区接口的对象，该对象的只读缓冲区将被用来初始化字节数组。 • 如果是一个 iterable 可迭代对象，它的元素的范围必须是 0 <= x < 256 的整数，它会被用作数 组的初始内容。 如果没有实参，则创建大小为

初始化文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 6.7.2 行缓冲区 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 6.7.3 历史文件 . 427 12.1.6 类型，函数和其他对象的自定义归约 . . . . . . . . . . . . . . . . . . . . . . . . . . 432 12.1.7 外部缓冲区 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432 12.1.8 限制全局变量 --- Python 的日志记录工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 647 16.6.1 记录器对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 648 16.6.2 日志级别 . . .

. . . . . . . . . 609 16.6 模块 logging --- Python 的日志记录工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 611 16.7 logging.config --- 日志记录配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625 16.8 logging.handlers --- 日志处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 635 16.9 getpass --- 便携式密码输入工具 . . . . . . . . . . . . . . . . . . . . . . 选择行缓冲（仅在文本模式下可用），并且 >1 的整数以指示固定大小的块缓冲区的大小（以字节为单 位）。如果没有给出 buffering 参数，则默认缓冲策略的工作方式如下: • 二进制文件以固定大小的块进行缓冲；使用启发式方法选择缓冲区的大小，尝试确定底层设备 的“块大小”或使用io.DEFAULT_BUFFER_SIZE。在许多系统上，缓冲区的长度通常为 4096 或 8192 字节。 •“交互式”文本文件（isatty()

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 6.7.2 行缓冲区 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 6.7.3 457 12.1.6 类型，函数和其他对象的自定义归约 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462 12.1.7 外部缓冲区 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 463 12.1.8 限制全局变量 Python 的日志记录工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 695 16.6.1 记录器对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 696 16.6.2 日志级别 .

Python 的日志记录工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 576 16.7 logging.config --- 日志记录配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 589 16.8 logging.handlers --- 日志处理 选择行缓冲（仅在文本模式下可用），并且 >1 的整数以指示固定大小的块缓冲区的大小（以 字节为单位）。如果没有给出 buffering 参数，则默认缓冲策略的工作方式如下: • 二进制文件以固定大小的块进行缓冲；使用启发式方法选择缓冲区的大小，尝试确定底层设 备的“块大小”或使用io.DEFAULT_BUFFER_SIZE。在许多系统上，缓冲区的长度通常为 4096 或 8192 字节。 •“交互式”文本文件（isatty() PEP 475)。 • 增加了 'namereplace' 错误处理接口。 在 3.6 版更改: • 增加对实现了os.PathLike 对象的支持。 • 在 Windows 上，打开一个控制台缓冲区将返回io.RawIOBase 的子类，而不是io. FileIO。 ord(c) 对表示单个 Unicode 字符的字符串，返回代表它 Unicode 码点的整数。例如 ord('a') 返回整数

初始化文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 6.7.2 行缓冲区 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 6.7.3 历史文件 . 459 12.1.6 类型，函数和其他对象的自定义归约 . . . . . . . . . . . . . . . . . . . . . . . . . . 464 12.1.7 外部缓冲区 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465 12.1.8 限制全局变量 Python 的日志记录工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 716 16.6.1 记录器对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 717 16.6.2 日志级别 . . .

初始化文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 6.7.2 行缓冲区 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 6.7.3 历史文件 . 459 12.1.6 类型，函数和其他对象的自定义归约 . . . . . . . . . . . . . . . . . . . . . . . . . . 464 12.1.7 外部缓冲区 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465 12.1.8 限制全局变量 Python 的日志记录工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 716 16.6.1 记录器对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 717 16.6.2 日志级别 . . .