Scaling with PostgreSQL 9.6 and Postgres-XL

• 语言: 中文（简体）
• 格式: .pdf
• 来源: www.postgres.cn

摘要

文档阐述了PostgreSQL 9.6版本中新增的并行查询功能，该功能可以充分利用多核系统的计算能力，支持并行扫描、联结和聚合操作。Postgres-XL作为一种基于PostgreSQL的分布式数据库，支持横向扩展、_massively parallel processing_（MPP）和在线分析处理（OLAP）。文档还介绍了Postgres-XL的当前功能，如跨节点的_store процед式_通信、分布式外数据包装器、_column-store_压缩和SQL on HDFS支持，以及未来的改进方向，如高可用性和弹性扩展。

AI总结

### 总结

文档《Scaling with PostgreSQL 9.6 and Postgres-XL》主要讨论了PostgreSQL 9.6的新功能、Postgres-XL的扩展能力以及其在大规模数据处理中的应用场景。以下是核心观点和关键信息的总结：

#### 1. PostgreSQL 9.6的新功能
- **并行查询**：PostgreSQL 9.6引入了并行查询功能，支持顺序扫描、连接和聚合操作，显著提升了多核处理器的利用率。默认情况下并行查询是关闭的，需通过设置`max_parallel_workers_per_gather`启用。
- **性能优化**：通过并行操作，可以在多个核心上分配任务，减少单核心闲置现象，特别适用于高性能计算场景。

#### 2. Postgres-XL特性与不足
- **Postgres-XL**：作为一个基于PostgreSQL的开源分布式数据库，支持横向扩展（Scale-out）和MPP（大规模并行处理），适合OLAP和OLTP场景，同时支持分布式ACID属性。
- **高可用性**：Postgres-XL本身不提供内置高可用性功能，需依赖外部工具如Corosync/Pacemaker。
- **分布式存储**：支持分布式外部数据包装器（FDW），如HDFS和列存储压缩技术，提升数据处理效率。
- **当前限制**：表重新分片时需要加锁，部分外键和唯一约束的支持不足。

#### 3. 扩展性与解决方案
- **读写扩展**：通过Postgres-XL的多节点架构实现OLTP读写的扩展性，同时支持远程只读副本和双向复制（BDR）扩展。
- **应用层扩展**：可通过自定义数据访问函数（如Python）实现分片（Sharding），并将分片映射到节点上，提升灵活性。

#### 4. OLAP/报告解决方案
- **并行查询**：PostgreSQL 9.6的并行查询功能适合处理复杂的分析查询。
- **表继承与分区**：通过表继承创建子表（如按日期范围分区），优化查询计划，减少大数据集的访问。
- **索引优化**：使用部分索引（Partial Indexes）提高查询效率。

#### 5. 未来发展
- **Postgres-XL路线图**：计划改进全局事务管理器（Global Transaction Manager），增强高可用性和弹性扩展能力。
- **分布式技术**：进一步开发分布式外部数据包装器（FDW），如HDFS上的SQL查询功能。

#### 6. 其他项目与资源
- **Postgres-X*家族**：包括Postgres-XL、Postgres-X2（基于PG 9.3）和Postgres-XZ（由微信开发的Postgres-XC分支）。
- **开源资源**：Postgres-XL的代码和文档可通过官网（postgres-xl.org）和Git仓库（git.postgresql.org）获取。

#### 7. 应用场景与建议
- 对于需要高性能计算的场景，可结合PostgreSQL 9.6的并行查询和Postgres-XL的分布式能力。
- 对于OLAP/报告需求，可使用表继承和部分索引优化查询性能。

文档还提到Postgres-XL的未来发展方向，包括更强大的分片能力、高可用性和支持分布式数据处理，为用户提供了一个功能强大且灵活的扩展方案。