海尔实时计算平台技术选型与实践

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/baiyutang

摘要

文档详细介绍了海尔实时计算平台的建设背景、技术选型与实践。内容涵盖平台建设的总体规划、数据采集方式的选择、日志收集技术的对比分析、流式处理架构的设计、实时计算质量的保证，以及平台监控和报警方案的实施。文档重点讨论了数据可视化目标的实现、实时数据采集的技术选型要求、实时计算结果正确性的验证方法，以及开源技术改造的经验分享。

AI总结

### 《海尔实时计算平台技术选型与实践》总结

#### 背景
- 海尔大数据总体规划：涵盖数据应用、数据可视化、精准化分析等。
- 数据架构分层：
- **信息层系统**：Hadoop + MySQL。
- **数据层系统**：Hadoop。
- **应用层**：包括数据门户、内部应用、关键业务数据（如实时库存、用户行为、订单等）。
- **区域运营**：跨境电商、区域运营、服务网等。

#### 实时计算平台技术选型与实践
1. **数据可视化**
- **目标**：为公司所有数据分析项目提供数据洞察和展示工具。
- **技术选型要求**：完整、低延时、不影响业务系统性能。

2. **实时数据采集**
- **采集方式**：
- **代码埋点**：采集能力强，但时间、人力成本高。
- **可视化埋点**：成本低、速度快，但行为记录信息少。
- **技术选型要求**：完整、低延时、不影响业务系统性能。

3. **日志收集技术**
- 可选技术：Flume、Fluentd、Logstash、Scribe。

4. **实时计算平台监控与报警**
- 监控工具：Ganglia、Nagios。
- 报警机制：实时监控平台运行状态，确保系统稳定。

5. **流式日志处理**
- 常见架构：Storm流式日志处理。
- 质量保证：实时计算结果正确性验证。

6. **开源技术改造经验**
- 数据可视化：Actly-once（具体技术需进一步确认）。
- 流式处理：Storm。
- 其他技术：RabbitMQ、Canal、JS Strom等。

#### 关键技术选型
- **实时数据采集**：完整、低延时、不影响业务系统性能。
- **日志收集**：Flume、Fluentd、Logstash、Scribe。
- **流式处理**：Storm。
- **监控报警**：Ganglia、Nagios。

#### 总结
海尔实时计算平台通过开源技术选型与实践，结合数据可视化、实时数据采集、流式日志处理、监控报警等技术，构建了一个高效、可靠的实时数据分析系统，为业务提供了实时数据支持和洞察能力。