Spark 简介以及与 Hadoop 的对比

• 语言: 中文（简体）
• 格式: .pdf
• 来源: download.jiuqi.com.cn

摘要

文档介绍了Spark的基本概念及其核心概念，包括弹性分布数据集（RDD）、RDD的转换与操作、容错性以及血统（Lineage）。文档详细对比了Spark与Hadoop在性能、灵活性和容错性方面的差异，指出Spark通过将中间数据保存在内存中提升了迭代运算的效率，并提供了多种数据操作类型，使其编程模型更加灵活。同时，文档强调了RDD的容错性机制，通过血统关系记录数据转换操作以实现数据的重新计算和恢复。

AI总结

## Spark 简介与 Hadoop 对比总结

### 1. Spark 简介
- **概述**：
Spark 是由 UC Berkeley 开源的分布式计算框架，基于 MapReduce 算法，但支持将中间结果存储在内存中，避免了频繁的磁盘 IO 操作，适合迭代运算（如机器学习和数据挖掘）。

- **核心概念**：
- **RDD（弹性分布式数据集）**：
Spark 的核心抽象，表示分布式数据集合，支持在内存中缓存数据以提升效率。RDD 是不可变的，且必须可序列化。
- **转换与操作**：
- **转换（Transformations）**：延迟执行的操作（如 map、filter），记录操作日志，直到触发动作。
- **操作（Actions）**：触发计算并返回结果（如 count、collect）。
- **血统（Lineage）**：
RDD 记录其来源和转换历史，用于在数据丢失时恢复。通过“窄依赖”和“宽依赖”优化容错性。
- **容错性**：
通过 checkpoint 或日志更新实现容错，支持高效的数据恢复。

### 2. Spark 与 Hadoop 对比
- **快速性**：
Spark 将中间数据存入内存，减少磁盘 IO，特别适合迭代运算场景（如机器学习）。
- **灵活性**：
提供丰富的数据操作类型（Transformations 和 Actions），支持细粒度的中间结果控制，编程模型更灵活。但不适合需要异步状态更新的应用（如实时 web 服务）。
- **容错性**：
通过血统机制实现容错，RDD 的依赖关系简化了数据恢复过程，但相比 Hadoop 的 MapReduce，容错机制更高效。

### 总结
Spark 通过内存计算和灵活的编程模型，在迭代运算和数据挖掘场景中表现更优，但需注意其适用场景限制。