Pivotal HVR meetup 20190816

• 语言: 中文（简体）
• 格式: .pdf
• 来源: cn.greenplum.org

摘要

文档介绍了HVR（High Velocity Replication）技术，重点阐述了其在实时数据集成、分析和传输中的应用。HVR能够支持全量同步、增量实时同步，适用于多种数据源和目标，包括数据库、数据湖和云存储。文档还提到HVR在实时BI系统中的优势，如低网络带宽利用率和数据安全传输。同时，HVR能够解决数据质量问题，如数据乱码和DDL复制等问题。文档还提到HVR在数据集成中的应用场景，如实时分析、数据湖和数据仓库建设，并由资深技术顾问介绍了HVR的技术优势和解决方案。

AI总结

《Pivotal HVR meetup 20190816》文档总结：

1. **会议主题**
会议围绕HVR（High Velocity Replication）技术展开，重点讨论了其在实时数据同步、分析和集成中的应用。

2. **HVR技术简介**
- HVR是一种基于日志的变更数据捕获（CDC）和数据复制技术，支持高体积数据的实时同步。
- 支持多种数据源和目标，包括数据仓库、数据库、文件、云存储和Apache开源平台等。

3. **关键业务优势**
- **业务连续性**：保障数据实时同步，避免数据孤岛。
- **风险降低**：通过数据复制和同步减少数据丢失风险。
- **业务洞察力**：支持实时数据分析，提升决策效率。
- **效率提升**：简化数据同步流程，降低网络带宽占用。

4. **HVR的应用场景**
- **实时分析**：支持流数据、关系型数据和存储的实时摄入。
- **数据湖与数据仓库**：提供高效的数据集成和管理能力。
- **地理位置分布**：支持跨地域数据同步，满足全球化业务需求。
- **灾难恢复与迁移**：保障数据安全性和可用性。

5. **案例分享**
- HVR能够满足复杂业务需求，支持全量同步、增量实时同步，延迟低。
- 支持多种数据结构同步，具备异常数据过滤能力，可满足BI系统的实时要求。
- 网络带宽利用率低，支持数据安全传输。

6. **实施中需注意的问题**
- 数据质量问题（如无效日期格式）。
- 数据乱码、DDL复制、历史数据清理等问题需提前规划解决方案。

7. **HVR架构特点**
- 支持同时向流、关系型数据库和存储目标摄入数据。
- 提供元数据支持，如Hive外部表定义。
- 通过发布/订阅模型提升业务敏捷性。

8. **个人介绍**
- 中国科学技术大学计算机科学学士，上海交通大学MBA，20+年IT从业经验。
- 专注于数据库技术领域，2003年起从事实时复制技术解决方案，曾任SAP大数据和BI解决方案资深技术顾问，现为HVR中国公司技术总监。

总结：HVR是一种高效的数据同步和集成技术，能够满足实时数据分析、跨平台数据管理等多种业务需求，但在实际应用中需注意数据质量、同步规则等问题。