https://cn.greenplum.org 博文 资料 文档 项目 全新的问答论坛 分布式事务和 两阶段提交协议 6 ● 事务实现原理和Write Ahead Logging（WAL） ● 分布式事务和两阶段提交的原理 ● Greenplum两阶段提交协议的实现 ● Greenplum两阶段提交协议的优化 Outline 7 事务的属性：ACID 属性 含义 数据库系统的实现 Widom《数据库系统实现》 查询编译器/ 优化器 事务管理器 DDL编译器 执行引擎 日志和恢复 并发控制 索引/文件/ 记录管理器 缓冲区管理器 缓冲区 锁表 存储管理器 存储 查询计划 对索引、文件和 记录的请求 页命令 事务命令 查询、更新 用户/ 应用 DDL命令 数据库管理员 数据、元数据、索引 日志页 读、写页 元数据、 统计数据 元数据 9 存储介质的类型 事务提交时，数据页不需要刷回持久存储，为了保证持久性，先把Redo Log写 入日志文件。Redo log记录修改数据对象的新值(After Image, AFIM) ■ Steal → Undo Log 允许Buffer Pool未提交事务所修改的脏页刷回到持久存储，为了保证原子性， 先把Undo Log写入日志文件。Undo Log记录修改数据对象的旧值(Before Image, BFIM)

.......................................................................... - 316 - 检查故障 Instance 的日志文件 ......................................................................... - 317 - 恢复 Instance . 将需要全量恢复或者需要选择全量恢复。在 6 之前的版本，GP 的 Primary 和 Mirror 之间采用的是 filerep 的方式进行 block 级别的变化同步的机制，从 6 版本开始， 使用 WAL 复制，这将可以从根本上解决以往的 block 损毁被复制到 Mirror 上的问题， 也不再需要 persistent 系统表了(这个的确是一个让人很头疼的设计)。 在未启用 Mirror 不可用时，Standby 可以被激活以 接替 Master 的角色。Standby 与 Master 之间保持 WAL 同步，保证与 Master 之 间的实时一致性。 在 Master 失效时，WAL 同步的复制进程会自动停止，同时，Standby 可以被激 活。在 Standby 上，冗余的 WAL 日志会被用来将状态恢复到最后成功提交(commit) 时的状态。激活的 Standby 实际上会成为 GP

iptables chkconfig --level 0123456 iptables off 2)临时目录/tmp（安装日志） 3)服务器日志（PostgreSQL server error log） 2018年PostgreSQL中国技术大会 微信号：laohouzi999 服务器日志（PostgreSQL server error log） -bash-4.1$ locate pg_ctl postgres 336 Dec 8 11:30 postgresql-Sat.log -bash-4.1$ 2018年PostgreSQL中国技术大会 微信号：laohouzi999 2.日志的配置 2018年PostgreSQL中国技术大会 微信号：laohouzi999 -bash-4.1$ cat postgresql.conf |egrep -i "Log_directo #log_statement_stats = off #session_preload_libraries = '' 2018年PostgreSQL中国技术大会 微信号：laohouzi999 如果看不到日志，直接前台运行 /usr/lib/postgresql/9.3/bin/postgres -D /var/lib/postgresql/9.3/main -c config_file=/etc/postgresql/9

gp_max_packet_size 1739 gp_max_parallel_cursors 1740 gp_max_plan_size 1740 gp_max_slices 1740 max_slot_wal_keep_size 1740 gp_motion_cost_per_row 1741 gp_print_create_gang_time 1741 gp_quickz_fallback 1742 max_resource_queues 1765 max_stack_depth 1766 max_statement_mem 1766 max_wal_size 1766 memory_spill_ratio 1767 min_wal_size 1767 optimizer 1767 VMware Greenplum 7 Documentation VMware by Broadcom random_page_cost 1783 readable_external_table_timeout 1783 repl_catchup_within_range 1783 wal_buffers 1784 wal_compression 1784 wal_sender_timeout 1784 resource_cleanup_gangs_on_wait 1785 resource_select_only

max_prepared_transactions 1945 max_resource_portals_per_transaction 1945 max_resource_queues 1946 max_slot_wal_keep_size 1946 max_stack_depth 1947 max_statement_mem 1947 memory_spill_ratio 1947 optimizer 1948 1962 random_page_cost 1962 readable_external_table_timeout 1962 repl_catchup_within_range 1963 wal_sender_timeout 1963 resource_cleanup_gangs_on_wait 1963 resource_select_only 1963 runaway_detec vmem_process_interrupt 1976 wait_for_replication_threshold 1976 wal_keep_segments 1976 VMware Greenplum 6 Documentation VMware by Broadcom 118 wal_receiver_status_interval 1976 work_mem 1977 writable_ex

max_prepared_transactions 1904 max_resource_portals_per_transaction 1904 max_resource_queues 1905 max_slot_wal_keep_size 1905 max_stack_depth 1905 max_statement_mem 1906 memory_spill_ratio 1906 optimizer 1906 1921 random_page_cost 1921 readable_external_table_timeout 1921 repl_catchup_within_range 1922 wal_sender_timeout 1922 resource_cleanup_gangs_on_wait 1922 resource_select_only 1922 runaway_detec verify_gpfdists_cert 1934 vmem_process_interrupt 1935 wait_for_replication_threshold 1935 wal_keep_segments 1935 wal_receiver_status_interval 1935 writable_external_table_bufsize 1936 xid_stop_limit 1936

ction 1910 max_resource_queues 1910 VMware Greenplum 6 Documentation VMware, Inc 107 max_slot_wal_keep_size 1910 max_stack_depth 1911 max_statement_mem 1911 memory_spill_ratio 1912 optimizer 1912 1926 random_page_cost 1926 readable_external_table_timeout 1927 repl_catchup_within_range 1927 wal_sender_timeout 1927 resource_cleanup_gangs_on_wait 1927 resource_select_only 1928 runaway_detec verify_gpfdists_cert 1939 vmem_process_interrupt 1940 wait_for_replication_threshold 1940 wal_keep_segments 1940 wal_receiver_status_interval 1940 writable_external_table_bufsize 1941 xid_stop_limit 1941

max_prepared_transactions 1847 max_resource_portals_per_transaction 1847 max_resource_queues 1847 max_slot_wal_keep_size 1847 max_stack_depth 1848 max_statement_mem 1848 memory_spill_ratio 1848 optimizer 1849 Documentation VMware, Inc 109 readable_external_table_timeout 1863 repl_catchup_within_range 1863 wal_sender_timeout 1863 resource_cleanup_gangs_on_wait 1863 resource_select_only 1864 runaway_detec verify_gpfdists_cert 1874 vmem_process_interrupt 1875 wait_for_replication_threshold 1875 wal_keep_segments 1875 wal_receiver_status_interval 1876 writable_external_table_bufsize 1876 xid_stop_limit 1876

1839 VMware Tanzu Greenplum 6 Documentation VMware, Inc. 108 max_resource_queues 1839 max_slot_wal_keep_size 1840 max_stack_depth 1840 max_statement_mem 1840 memory_spill_ratio 1841 optimizer 1841 1854 random_page_cost 1854 readable_external_table_timeout 1855 repl_catchup_within_range 1855 wal_sender_timeout 1855 resource_cleanup_gangs_on_wait 1855 resource_select_only 1856 runaway_detec verify_gpfdists_cert 1866 vmem_process_interrupt 1867 wait_for_replication_threshold 1867 wal_keep_segments 1868 wal_receiver_status_interval 1868 writable_external_table_bufsize 1868 xid_stop_limit 1868

max_prepared_transactions 1624 max_resource_portals_per_transaction 1624 max_resource_queues 1624 max_slot_wal_keep_size 1624 max_stack_depth 1625 max_statement_mem 1625 memory_spill_ratio 1625 optimizer 1625 1637 random_page_cost 1637 readable_external_table_timeout 1638 repl_catchup_within_range 1638 wal_sender_timeout 1638 resource_cleanup_gangs_on_wait 1638 resource_select_only 1638 runaway_detec Documentation VMware, Inc 107 vmem_process_interrupt 1649 wait_for_replication_threshold 1649 wal_keep_segments 1649 wal_receiver_status_interval 1649 writable_external_table_bufsize 1650 xid_stop_limit 1650