Pivotal HVR meetup 20190816

• 语言: 中文（简体）
• 格式: .pdf
• 来源: cn.greenplum.org

摘要

文档介绍了HVR（High Volume Replication）技术及其在数据集成和实时分析中的应用。HVR通过日志基于CDC（更改数据捕获）实现高效的实时数据复制，支持异构平台间的数据校验与修复，并提供内置监控、报警及与第三方监控平台的集成。其优势包括提升业务洞察力、确保业务连续性、高效操作和降低风险。HVR支持多种数据存储和云平台，包括Data Lake、Data Warehouse、Cloud等，并能够同时满足流数据和批量数据处理需求。

AI总结

《Pivotal HVR meetup 20190816》总结

本次meetup围绕HVR（一种连续数据集成工具）进行了深入介绍，重点包括其功能、优势、技术架构及应用场景，以下是核心内容总结：

1. **HVR功能与技术优势**：
- **数据集成与复制**：支持高slideUp_SELECTION数据从多种来源（如数据库、云存储等）实时复制到目标系统（如数据湖、数据仓库、云平台等），基于日志的变更数据捕获（Log-based CDC）和数据复制技术为核心。
- **扩展性与高性能**：采用高性能架构，支持大规模数据迁移和复制，适用于实时报告和分析场景。
- **异构平台支持**：能在异构平台间完成数据复制与校验，版本5.6进一步扩展支持z/OS、Google Cloud Storage/BigQuery等平台。
- **数据校验与修复**：提供数据校验功能，确保迁移前后数据一致性，支持自动修复。

2. **关键业务价值**：
- 提升业务洞察力：支持实时分析和报告。
- 确保业务连续性：通过数据复制和灾备恢复功能保障业务不中断。
- 提高效率：自动化流程减少人为错误，降低运维成本。
- 降低风险：实时监控和告警功能及时发现问题。

3. **技术架构与应用场景**：
- **数据湖与仓库**：支持将数据_ingest_到存储层（如S3的CSV/Avro文件）和分析层（如Redshift、Greenplum等）。
- **流数据处理**：同时支持流式分析（如Kafka/Kinesis）和批量处理，满足不同场景需求。
- **灾备与迁移**：提供数据迁移和灾备恢复能力。

4. **监控与报警**：
- 实时监控HVR进程，提供自动告警功能。
- 支持与第三方监控平台（如LDAP）集成，生成丰富的统计报表。

5. **演讲者介绍**：
- 演讲者拥有20余年IT从业经验，专注于数据库技术，曾在SAP担任大数据与BI解决方案顾问，2015年加入HVR中国担任技术总监。

总结：HVR作为一款强大的连续数据集成工具，凭借其高性能架构、广泛的平台支持和完善的监控功能，为企业提供了高效、可靠的数据复制与分析解决方案，适用于实时报告、数据湖构建、灾备恢复等多种场景。