Postgres Conference China 2016 中国用户大会 Scaling with PostgreSQL 9.6 and Postgres-XL Mason Sharp mason.sharp@gmail.com Huawei Postgres Conference China 2016 中国用户大会 whoami • Engineer at Huawei (USA clusters • GridSQL • Postgres-XC • Postgres-XL Postgres Conference China 2016 中国用户大会 Agenda • PostgreSQL 9.6 Scaling Features • Scaling Solutions • Use Cases • Postgres-XL Postgres Conference China 2016 us! • Submit a talk Postgres Conference China 2016 中国用户大会 “We need to scale” “We need replication” Postgres Conference China 2016 中国用户大会 What are your requirements? Postgres Conference China 2016

★PG-13版本 # systemctl stop postgresql-13 #先停止服务 # mkdir /data_pg # chown postgres:postgres /data_pg # vi /var/lib/pgsql/13/data/postgresql.conf #pg-13版本，添加或修改以下配 置 data_directory ★PG-10版本 # systemctl stop postgresql #先停止服务 # mkdir /data_pg # chown postgres:postgres /data_pg # vi /var/lib/pgsql/data/postgresql.conf #pg-10版本，添加或修改以下配置 data_directory firewall-cmd --add-port=5432/tcp --permanent # firewall-cmd --reload pg_hba.conf 配 置 保 存 在 postgres 库 下 面 的 名 为 pg_catalg 的 schema 下 的 pg_hba_file_rules表里： INSERT INTO "pg_hba_file_rules" ("line_number"

Postgres Conference China 2016 中国用户大会 Postgres Conference China 2016 中国用户大会 MongoDB 分布式架构演进 张友东（林青） 阿里云数据库技术团队 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 2016Postgres中国用户大会 Postgres 可扩展 可扩展 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 文档模型 – 接近真实对象模 型，对开发人员友 好 – Schema free，适 应灵活多变的需 求，快速迭代 – 数组、内嵌文档支 持，数据聚集，提 升读写性能 2016Postgres中国用户大会 Postgres Conference China 今天不谈文档模型 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 主要内容 • 如何保证数据高可靠？ • 如何保证服务高可用？ • 如何实现水平扩展？ 单节 点 单节 点 主备 主备 复制 集 复制 集 分片 集群 分片 集群 2016Postgres中国用户大会 Postgres Conference China

Postgres Conference China 2016 中国用户大会 高金芳 平安科技（深圳）有限公司 PostgreSQL“反向代理”Redis 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 职务：平安科技数据库技术部数据库架构师 邮箱：gaojinfang498@pingan 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 What is Redis 01 Dilemma 02 Why PostgreSQL 03 Redis + 04 2016Postgres中国用户大会 Postgres Conference Nosql数据库  Redis , Memcache  Hbase , Cassandra  Neo4j  Mongodb 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 What is Redis？ Redis 是一个开源的、使用C语言编写的Key-Value数据库

Postgres Conference China 2016 中国用户大会 Postgres Conference China 2016 中国用户大会 Greenplum 5.0 and Roadmap Brian Lu Pivotal 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 Safe Harbor • “Any Pivotal has no obligation to update forward looking information in this presentation.” 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 Greenplum is Growing Steady • Greenplum is Growing Steady github repo of Greenplum in 2016 – Major Greenplum 5.0 release planned early 2017 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 Greenplum Database Overview • Massively Parallel Processing

Postgres Conference China 2016 中国用户大会 HBase最佳实践及优化 陈飚 cb@cloudera.com Cloudera Postgres Conference China 2016 中国用户大会 关于我… 陈飚 Cloudera售前技术经理、资深方案架构师 http://biaobean.pro 原Intel Hadoop发行版核心开发人员, 成功实施并运维多 试与优化，与团队一起开发出世界上性能领先的XSLT 语言处理器 – 2010 年后开始Hadoop 产品开发及方案顾问，先后负责Hadoop 产品 化、HBase 性能调优，以及行业解决方案顾问 2 Postgres Conference China 2016 中国用户大会 HBase的历史 2006年 Google发表 了BigTable 论文 2006年底由 PowerSet 的 Chad Walters和 Apache Hadoop 的一个子项目 3 HBase是Google BigTable的开源实现 • BigTable利用GFS作为其文件存储系统 • HBase使用HDFS作为其文件存储系统 Postgres Conference China 2016 中国用户大会 4 HBase的模型特性 Hadoop database and NoSQL database • 基本的数据库操作CRUD

Postgres Conference China 2016 中国用户大会 实现PostgreSQL逻辑复制实战 王青松 神州飞象(北京)数据科技有限公司 Your Logo 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 简介 逻辑复制的功能是从PG的WAL日志中，读取数 据库更新信息，然后“翻译”（Decode）成逻 辑的形式，可发送到远程从库做数据同步。 PG WAL Other DB 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 为什么要选择逻辑复制？ 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 数据库总体架构 PostgreSQL PostgreSQL 动态节点管理 … 核心库 查询库 对数据库的读操作 备2 备份 归档 运维监控 数据库总体架构 应用 逻辑复制 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 SQL语句 数据 MYSQL PG ORACLE LOGICAL Broker M1

own the server process. [root@tar1 ~]# su - postgres -bash-4.1$ /usr/pgsql-11/bin/pg_ctl status pg_ctl: server is running (PID: 3642) /usr/pgsql-11/bin/postgres "-D" "/var/lib/pgsql/11/data" 2018年PostgreSQL中国技术大会 drwx------ 5 postgres postgres 4096 Dec 8 11:16 base -rw------- 1 postgres postgres 30 Dec 8 11:16 current_logfiles drwx------ 2 postgres postgres 4096 Dec 8 11:16 global drwx------ 2 postgres postgres postgres 4096 Dec 8 11:16 log -bash-4.1$ cd log -bash-4.1$ ll total 4 -rw------- 1 postgres postgres 186 Dec 8 11:16 postgresql- Sat.log -bash-4.1$ tail -500 postgresql-Sat.log 2018-12-08 11:16:27.017

Postgres Conference China 2016 中国用户大会 PostgreSQL WAL日志解析与应用 王硕 山东瀚高基础软件股份有限公司 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 CONTENTS Part 01 Part 02 Part 03 WAL 日志简介 日志简介 WAL 日志工作原理 利用 WAL 日志我们可以做什么？ 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 Part 01 WAL 日志简介 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会  Write Ahead Log Files 大小为16M ； • Block为WAL日志的最小单位， 其大小8k，由PageHeaderData 、 XlogRecord、 XLogRecData组成。 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会  Write Ahead Log Files Segment 3 2 1 256 00000001

Greenplum上云与优化 — ApsaraDB for Greenplum介绍 2016Postgres中国用户大会 目 录 content ApsaraDB for GP的定位 ApsaraDB for GP的内核优化 未来的规划 2016Postgres中国用户大会 ApsaraDB for GP的定位 2016Postgres中国用户大会 ApsaraDB for GP的定位 GP的优势？ GP的优势？ 与其他技术的对比？ 为什么上云？ 2016Postgres中国用户大会 ApsaraDB for GP的定位 ApsaraDB for GP = 简单、高效解决大数据分析需求 MPP + 列存压缩 复杂SQL + 查询优化器 本地高效存储 +高速网络 +预置稳定资源 = = 2016Postgres中国用户大会 GP vs. RDS? Select count(*) Scan Hash MPP处理举例 2016Postgres中国用户大会 GP vs. RDS? Select count(*) from customer group by city Hash Scan 主机 Hash Scan Hash Scan 主机 Hash Scan MPP处理举例 2016Postgres中国用户大会 GP vs. RDS? Select