PostgreSQL WAL日志解析与应用 王硕 山东瀚高基础软件股份有限公司 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 CONTENTS Part 01 Part 02 Part 03 WAL 日志简介 WAL 日志工作原理 利用 WAL 日志我们可以做什么？ 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 Part 01 WAL 日志简介 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会  Write Ahead Log Files • WAL 日志一般存储在$PGDATA/pg_xlog内，他们一般以类似于 0000000100000002000000D4的文件存储。 LogId LogSeg • WAL 日志文件XLOG 文件是一个逻辑概念，每一个XLOG文件， 大小为4G(16*256) ，由256个segment组成； • Segment由2048个Block组成，其大小为16M ； • Block为WAL日志的最小单位， 其大小8k，由PageHeaderData 、 XlogRecord、 XLogRecData组成。

神州飞象(北京)数据科技有限公司 Your Logo 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 简介 逻辑复制的功能是从PG的WAL日志中，读取数 据库更新信息，然后“翻译”（Decode）成逻 辑的形式，可发送到远程从库做数据同步。 PG WAL Other DB 2016Postgres中国用户大会 Postgres 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 逻辑复制特点 它兼顾有基于触发器复制技术的灵活性 同时又有基于日志复制技术的高效性 它使用发布/订阅模型对选择性的数据 复制相对物理复制来说是非常方便 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 Postgres Conference China 2016 中国用户大会 是否能保证备库使用WAL段之前不会 过早的移除它们 主库不会过早的清除掉掉从库正在使 用的记录 是否可以控制日志大小 复制槽技术 可以保证 可以保证 可能会造成膨胀 非复制槽 不能保证 不能保证 不会造成膨胀 复制槽技术 2016Postgres中国用户大会

2018年PostgreSQL中国技术大会 主要业务场景 • IM工具+SCRM系统（高并发、低延迟、稳定） • 大量客户需要私有化云服务器部署（云更新） • 需求变更频繁，不适合关系型数据库 2018年PostgreSQL中国技术大会 目前服务器架构 2018年PostgreSQL中国技术大会 MySQL应用史 • 最开始做的站群系统WEB端使用MySQL： • copy简单快速，批量复制，替换修改简单； copy简单快速，批量复制，替换修改简单； • 每个网站一个库，单体数据量小，数据类型固定； • 后来做SCRM系统，也首选MySQL： • 需求经常改动，每次改需求先改数据库； • 数据量越来越大，越来越不了解这只海豚； 2018年PostgreSQL中国技术大会 MySQL+MongoDB • 迫于无奈，分拆数据，将需要用到事务、调用频繁的数据 继续用MySQL,将IM中聊天记录等数据量大的数据，用 MongoDB存储，减轻MySQL负担；

postgresql 如果想安装其他版本，可到官网查询安装方法 h�ps://www.postgresql.org/download/linux/redhat/ 本文档选择PG-13版本作为讲解，使用el8系列的系统，x86_64平台 # yum install -y h�ps://download.postgresql.org/pub/repos/yum/reporpms/EL-8-x86_64/pgdg-redhat- gcc (GCC) 8.5.0 20210514 (Red Hat 8.5.0-18)... postgres=# select usename from pg_user; #查看系统用户 usename ---------- postgres postgres=# exit; #退出连接，用quit;也行（标准的sql语句）

begin; explain analyze query; rollback; • create index CONCURRENTLY idx on tbl(id); • 密码复杂度、认证方法 • 业务系统，开发测试账号，不要使用数据库超 级用户。 • 长连接relcache , syscache • 数据隔离(cluster -> database -> schema) • 主备切换(prewarm)

智能分析服务 DataV QuickBI 云上大数据计算平台 大数据平台 数据分析应用 制式化报表 个性化报表 仪表盘 自助查询 宏观分析 模型分析 MaxCompute 生产系统数据库 关系型数据 库A RDS …… 关系型数据 库B RDS 关系型数据 库C RDS 关系型数据 库D ECS自建 自建大数据计算平台 Hadoop Spark