并行不悖- OLAP 在互联网公司的实践与思考

• 语言: 中文（简体）
• 格式: .pdf
• 来源: cn.greenplum.org

摘要

文档讨论了Greenplum在互联网公司中的应用与扩展规划。Greenplum作为一个并行数据库，支持多种扩展方式，包括直接添加服务器、建立新集群以及建议的双跑扩展方式。文档还涉及了数据仓库的体系架构，包括OLAP场景、数据集市的构建与优化，提到了OLAP与OLTP的区别，以及如何通过数据集市满足不同业务需求。

AI总结

《并行不悖- OLAP 在互联网公司的实践与思考》摘要

本文围绕Greenplum在互联网公司中的实践与思考，探讨了其在OLAP领域的应用与规划，主要内容如下：

1. **Greenplum现状与定位**
- Greenplum作为公司核心OLAP工具，支撑历史数据分析，支持业务决策。
- OLAP与实时在线系统（OLTP）不同，侧重于非实时、离线分析，事务规模大且复杂。
- 未来趋势分析将结合离线与在线流系统，进行算法分析和持续计算。

2. **Greenplum体系架构**
- 架构包含数据仓库、OLAP集群、数据集市、API接口服务器和前端界面五个层次，形成完整数据流转链路。
-重点包括：数据来源、存储与计算、结果集市、接口封装及最终展示。

3. **Greenplum扩展规划**
- **扩展方式**：包括直接扩展现有集群、建立新集群扩展、以及建议的双跑稳定扩展方式。
- **现有集群支撑能力**：现有集群具备三年内的空间和计算容量，未来可通过灵活扩展满足需求。
- **扩展原则**：
- 数据来源与传输可控；
- 数据计算与存储高效；
- 结果展示清晰直观。

4. **数据仓库体系架构**
- **业务场景**：支持用户状态、金币状态、道具状态等多样化场景。
- **架构特点**：
- 历史数据归档与冷热分离，优化存储与查询；
- 在线与延时需求权衡，支持多样化PostgreSQL数据集市。
- **优化方向**：完善业务调度实现，提升任务可控性和可度量性。

5. **新业务上线流程**
- 重点解决数据来源、计算处理和结果展示问题。
- 实现方式灵活，注重架构创新和业务需求探索。

总结：本文从Greenplum的现状、架构、扩展规划到数据仓库优化，全面阐述了其在互联网公司中的实践经验，为未来的OLAP应用与趋势分析提供了方向和参考。