PostgreSQL WAL日志解析与应用 王硕 山东瀚高基础软件股份有限公司 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 CONTENTS Part 01 Part 02 Part 03 WAL 日志简介 WAL 日志工作原理 利用 WAL 日志我们可以做什么？ 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 Part 01 WAL 日志简介 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会  Write Ahead Log Files • WAL 日志一般存储在$PGDATA/pg_xlog内，他们一般以类似于 0000000100000002000000D4的文件存储。 LogId LogSeg • WAL 日志文件XLOG 文件是一个逻辑概念，每一个XLOG文件， 大小为4G(16*256) ，由256个segment组成； • Segment由2048个Block组成，其大小为16M ； • Block为WAL日志的最小单位， 其大小8k，由PageHeaderData 、 XlogRecord、 XLogRecData组成。

OpenShift Container Platform 4.8 日志记录 OpenShift Logging 安装、使用和发行注记 Last Updated: 2023-06-12 OpenShift Container Platform 4.8 日志记录 OpenShift Logging 安装、使用和发行注记 法律通告 法律通告 Copyright © 2023 Red Hat owners. 摘要 摘要 本文档提供有关安装、配置和使用 OpenShift Logging 的说明，该 Logging 将汇总多个 OpenShift Container Platform 服务的日志。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 目 目录 录 第 第 1 章 章 LOGGING 发 发行注 行注记 记 1.1. 日志记录 5.4.9 1.2. LOGGING 5.4.8 1.3. LOGGING 5.4.6 1.4. LOGGING 5.4.5 1.5. LOGGING 5.4.4 1.6. LOGGING

OpenShift Container Platform 4.7 日志记录 OpenShift Logging 安装、使用和发行注记 Last Updated: 2023-03-24 OpenShift Container Platform 4.7 日志记录 OpenShift Logging 安装、使用和发行注记 Enter your first name here. Enter your owners. 摘要 摘要 本文档提供有关安装、配置和使用 OpenShift Logging 的说明，该 Logging 将汇总多个 OpenShift Container Platform 服务的日志。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 新功能及功能增强 1.2.1.2. 弃用和删除的功能 1.2.1.2.1. Elasticsearch Curator 已被删除 1.2.1.2.2. 使用旧的 Fluentd 和旧 syslog 方法转发日志已被弃用 1.2.1.3. 程序错误修复 1.2.2. OpenShift Logging 5.0.9 1.2.2.1. 程序错误修复 1.2.2.2. CVE 1.2.3. OpenShift

第三届中国Rust开发者大会 使用Rust与ClickHouse构建高 效可靠的日志系统 刘炜 腾讯云（专有云） • 自我介绍 • 系统介绍 • 整体架构 • 系统实现 • 遇到问题 大纲 自我介绍 • 大龄码农 • 做过嵌入式/CDN/数据库开发 • 从C/C++到Rust • 现在在腾讯云（专有云）从事日志系统的开发 自我介绍 PhoTto / image / chart 系统介绍 系统介绍 • 属于腾讯专有云PaaS平台(TCS) • 承接TCS底座日志 • 从Loki=>Menicus • 提供日志的搜索/报警/处理等功能 系统介绍 • 为什么放弃 Loki • 资源占用过大 • 统计/计算能力比较弱 • 组件过多，排查问题比较困难 • 商业使用不友好的开源协议 • 为什么选择Mencius+ClickHouse • 存储计算与业务分离 • 每天 100G • 磁盘 • 压缩比 1:13 • 内存 • Mencius • 200M左右 • ClickHouse • 2G以下 • 接入端 • API Gateway • 日志服务(Mencius) • 存储(ClickHouse) 整体架构 • 协议层 • 处理层 • 计算层 • 存储层 系统实现 协议层 • 支持协议 • Loki • 写入 • Json/ProtoBuf

Widom《数据库系统实现》 查询编译器/ 优化器 事务管理器 DDL编译器 执行引擎 日志和恢复 并发控制 索引/文件/ 记录管理器 缓冲区管理器 缓冲区 锁表 存储管理器 存储 查询计划 对索引、文件和 记录的请求 页命令 事务命令 查询、更新 用户/ 应用 DDL命令 数据库管理员 数据、元数据、索引 日志页 读、写页 元数据、 统计数据 元数据 9 存储介质的类型 10 不同存储介质的访问时间 图片来源：Systems Performance: Enterprise and the Cloud，中译本《性能之巅》， 作者Brendan Gregg 11 缓冲区Buffer Pool page … Buffer Pool Manager (Main Memory) Access Methods and other components dirty No-Steal Steal: 允许Buffer Pool里未提交事务所修改的脏页刷回到持久存储 No-steal: 不允许Buffer Pool里未提交事务所修改的脏页刷到持久存储中 缓冲区管理策略Buffer Management Policy 13 ■ Force策略的问题 对持久存储器进行频繁的随机写操作，性能下降。 ■ No-Steal策略的问题 不允许未提交事务的脏页换出，系统的并发量不高。

自动注册 • 发现文件系统、网络接口和 SNMP OID 便捷的 web 界面 • 基于 web 的 PHP 前端 • 可从任何地方访问 • 可以通过你的方式点击（到任何页面） • 审计日志 Zabbix API • Zabbix API 为 Zabbix 提供可编程接口，用于批量操作、第三方软件集成和其他用途。 权限系统 • 安全用户认证 • 某些用户可以被限制仅访问某些视图 server。请注意，接收发送的数据需要配置trapper 监控项 或HTTP agent 监控项（已启用 trapping）。 此外，正确的 history.push 操作会被记录在报告 → 审计日志 中，该审计日志具有额外的筛选选项（推送操作和 历史记录资源），并 且 history.push API 方法也出现在用户角色配置 时的 API 方法的允许/拒绝列表中。 性能 更快的响应主机维护时段的更新 并且已相应地更新了 setup.php。 因此，CyberArk 和HashiCorp的 vault 路径不再是硬编码的，以便允许使用非标准路径进行 vault 部署。 Agent2 配置 缓冲区大小 Zabbix agent 2 的BufferSize配置参数的默认值已从 100 增加到 1000。 允许空值 现在，Zabbix agent 2 上与插件相关的配置参数允许为空值。 Proxy

find 好用的文件查找工具 logger 在系统日志中记录相应条目 login 登录系统或切换用户身份 logname 打印当前终端登录用户的名称 logout 退出当前登录的Shell logrotate 系统日志进行轮转、压缩和删除 logsave 将命令的输出信息保存到指定的日志文件 logwatch 可定制和可插入式的日志监视系统 look 显示文件中以指定字符串开头的任意行 报告进程的内存映射关系 popd 从目录堆栈中删除目录 - 11 - 本文档使用 书栈网 · BookStack.CN 构建 poweroff 关闭Linux系统，关闭记录会被写入到/var/log/wtmp日志文件中 ppp-off 关闭ppp连线 pr 将文本文件转换成适合打印的格式 printf 格式化并输出结果 protoize GNU-C代码转换为ANSI-C代码 ps 报告当前系统的进程状态 系统默认的日志守护进程 systemctl 系统服务管理器指令 systool 显示基于总线、类和拓扑显示系统中设备的信息 script 记录终端会话的所有操作 scriptreplay 重新播放终端会话的所有操作 T tac 连接多个文件并以行为单位反向打印到标准输出 tail 在屏幕上显示指定文件的末尾若干行 tailf 在屏幕上显示指定文件的末尾若干行内容，通常用于日志文件的跟踪输出

[repeat+]loglevel 或者 -v [repeat+]loglevel ：设置日志层次。如果附加 有 repeat+ 则表示从第一条非压缩行到达到最后消息n次之间的行将被忽略。 "repeat" 也可以 一直使用，如果没有现有日志层级设置，则采用默认日志层级。如果有多个日志层级参数被获 取，使用 "repeat" 不改变当前日志层级。日志层级是一个字符串或数值，有以下可能值： quiet,-8 ，什么都不输出，是无声的 显示过程中的信息，还包括警告和错误，则是默认值 verbose,40 类似 info ，但更冗长 debug,48 显示所有，包括调试信息 trace,56 默认的日志输出是stderr设备，如果在控制台支持颜色，则错误和警告标记的颜色将被显示 处理，默认日志的颜色设置可以由环境变量的 AV_LOG_FORCE_NOCOLOR 或者 NO_COLOR 或者环 境变量 AV_LOG_RORCE_COLOR %p 被扩展为程序名字， %t 是时间码， %% 表示一个字符 % level：用数字设定日志信息详略程度（参考 -longlevel ） 例如： 1. `FFREPORT=file=ffreport.log:level=32 ffmpeg -i input output` 会把日志信息输出到环境变量定义的文件中， 内容包括简要过程信息，警告和错误。 -hide_banner

捷运维设计的前提下通过持久化存储的方式解决 Redis 在大容量场景下的问题 Pika 定位 SACC2017 Redis 问题 • 恢复时间长 • 一主多从, 主从切换代价大 • 缓冲区写满问题 • 成本问题 SACC2017 Redis 问题 • 恢复时间长 – 50G redis 回复时间70分钟 – 同时开启aof 和 rdb SACC2017 Redis 问题 • 一主多从, 主从切换代价大 – 主库挂掉后升级从库, 所有的从库全部重传数 据 SACC2017 Redis 问题 • 缓冲区写满问题 – 内存是昂贵资源, 缓冲区一般设置2G – 网络原因很容易将数据堵死, 那么就会发生大 量数据重传 SACC2017 Redis 问题 • 内存太贵 – 线上使用的redis 机器是 DB->Put(wop, Lmyhash11477671118, 6071) SACC2017 日志模块--Binlog • Binlog – 顺序写文件, 通过Index + offset 进行同步点 检查 – 解决了缓冲区小的问题 – 支持全同步 + 增量同步 SACC2017 日志模块--Binlog SACC2017 主从同步-- slaveof SACC2017