PostgreSQL WAL日志解析与应用 王硕 山东瀚高基础软件股份有限公司 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 CONTENTS Part 01 Part 02 Part 03 WAL 日志简介 WAL 日志工作原理 利用 WAL 日志我们可以做什么？ 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 Part 01 WAL 日志简介 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会  Write Ahead Log Files • WAL 日志一般存储在$PGDATA/pg_xlog内，他们一般以类似于 0000000100000002000000D4的文件存储。 LogId LogSeg • WAL 日志文件XLOG 文件是一个逻辑概念，每一个XLOG文件， 大小为4G(16*256) ，由256个segment组成； • Segment由2048个Block组成，其大小为16M ； • Block为WAL日志的最小单位， 其大小8k，由PageHeaderData 、 XlogRecord、 XLogRecData组成。

神州飞象(北京)数据科技有限公司 Your Logo 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 简介 逻辑复制的功能是从PG的WAL日志中，读取数 据库更新信息，然后“翻译”（Decode）成逻 辑的形式，可发送到远程从库做数据同步。 PG WAL Other DB 2016Postgres中国用户大会 Postgres Kafka利用冗余、持久化、偏移量和校验、消息反馈 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 逻辑复制特点 它兼顾有基于触发器复制技术的灵活性 同时又有基于日志复制技术的高效性 它使用发布/订阅模型对选择性的数据 复制相对物理复制来说是非常方便 2016Postgres中国用户大会 Postgres Conference China Postgres Conference China 2016 中国用户大会 是否能保证备库使用WAL段之前不会 过早的移除它们 主库不会过早的清除掉掉从库正在使 用的记录 是否可以控制日志大小 复制槽技术 可以保证 可以保证 可能会造成膨胀 非复制槽 不能保证 不能保证 不会造成膨胀 复制槽技术 2016Postgres中国用户大会

MPP多节点全并行计算，PB级数据秒级响应 • 基于列存储的高性能大表扫描，及高压缩比 在线数据探索 • 高并发 • 任意维度随机查询 • 实时入库更新 • 高吞吐数据写入及更新 （INSERT/UPDATE/DELETE） • 行存储及多种索引（Btree, Bitmap 等），点查询毫秒级返回 • 支持分布式事务，标准数据库隔离级别 基于AnalyticDB for PostgreSQL 直接通过外表表即可存储数据到OSS下 适合于存放历史归档数据。  “冷数据”需要时直接查询无需重新进 行导入。  支持CSV，ORC, PARQUET。 Jul Nov Oct Sep 冷热数据统一管理，基于OSS云存储构筑数据湖分析（规划中） ...... 热数据：需要高性能分析计算的数据存放在本地 盘，可设为行存或列存适合不同业务的实时分析 冷数据：存储在OSS外部存储 保存价格低廉，数据在线可查询