這些年，我們一起追的Hadoop

• 语言: 中文（繁体）
• 格式: .pdf
• 来源: docs.huihoo.com

摘要

文档介绍了Hadoop的发展历程及其核心组件MapReduce和HDFS。Hadoop最初由Doug Cutting开发，基于Google的论文，旨在处理大规模数据。Hadoop 2.x引入了 ResourceManager 和 NodeManager，优化了资源调度。然而，Hadoop的批处理模式在实时和交互式查询方面存在局限性。文档建议企业开始使用Hadoop，并提到了其在大数据处理中的广泛应用。

AI总结

### 文档总结

#### 1. **前情提要**
- **Hadoop 简史**：
- 由 Doug Cutting 主导开发，灵感来源于 Google 的论文。
- 2006 年从 Nutch 独立，2008 年成为 Apache 的顶级项目。
- 2009 年 Doug 加入 Cloudera，2011 年 Yahoo! 的 Hadoop 团队成立 Hortonworks。
- **Hadoop 2.x 架构**：
- 引入 YARN（Yet Another Resource Negotiator）， ResourceManager 和 NodeManager 负责资源调度，ApplicationMaster 负责任务管理。
- Hadoop 2.x 具备良好的后向兼容性， Yahoo! 已在 35,000+ 节点上运行了六个月。

#### 2. **Hadoop 的局限性**
- **处理模式单一**：
- Hadoop 主要支持批处理（Batch Processing），无法高效处理交互式查询（Interactive Query）、实时处理（Real-Time Processing）和图计算（Graph Processing）。
- **资源利用率低**：
- 每个 Job 之间存在较高的 I/O 开销，难以支持复杂的任务需求。

#### 3. **Hadoop 的扩展与改进**
- **多样化应用场景**：
- 通过与其他技术（如 Tez、Hive、HBase 等）结合，Hadoop 可以支持更多类型的工作负载。
- 例如：
- **Tez**：支持交互式查询和实时处理。
- **Hive**：用于大数据分析。
- **HBase**：支持实时数据处理。

#### 4. **Hadoop 的未来**
- **期许与建议**：
- Hadoop 的核心价值在于其分布式存储和计算能力，但需要结合具体场景选择合适的解决方案。
- 建议企业在使用 Hadoop 前明确需求，合理规划资源。

#### 5. **总结**
- Hadoop 是大数据领域的重要技术，尽管存在局限性，但其扩展性和灵活性使其在多种场景中仍具有重要价值。
- **建议**：企业应根据自身需求选择合适的技术，并逐步探索 Hadoop 的应用场景。

---

以上为文档的核心内容总结，重点突出了 Hadoop 的历史、架构、局限性及未来发展方向，语言简洁明了，逻辑清晰。