尚硅谷大数据技术之Hadoop（入门）

• 语言: 中文（简体）
• 格式: .pdf
• 来源: victorfengming.gitee.io

摘要

Hadoop是由Apache基金会开发的分布式系统，用于处理海量数据的存储和计算。它起源于Doug Cutting基于Lucene的优化，模仿了Google的GFS和MapReduce。Hadoop有三个发行版本：Apache、Cloudera和Hortonworks。它具有高可靠性、扩展性、高效性和容错性等优势，并支持本地模式、伪分布式模式和完全分布式模式。

AI总结

# Hadoop 入门总结

## 1. Hadoop 概述
- **定义**：Hadoop 是由 Apache 基金会开发的分布式系统基础架构，主要用于处理海量数据的存储和分析。
- **广义概念**：Hadoop 生态圈包含多个组件，如 HDFS、MapReduce、Hive 等。

## 2. Hadoop 发展历史
- **起源**：Doug Cutting 为了解决海量数据存储和检索问题，基于 Lucene 框架开发了 Hadoop。
- **关键影响**：Google 的 GFS、MapReduce 和 BigTable 论文是 Hadoop 的思想来源。
- **时间线**：
- 2006 年：Hadoop 正式诞生。
- 2008 年：Cloudera 发行版 CDH 出现。
- 2011 年：Hortonworks 发行版 HDP 出现。
- **命名**：Hadoop 名称来源于 Doug Cutting 的儿子的大象玩具。

## 3. Hadoop 三大发行版本
- **Apache Hadoop**：最基础版本，适合入门学习。
- **Cloudera Hadoop (CDH)**：集成多个大数据框架。
- **Hortonworks HDP**：文档较好，已被 Cloudera 收购。

## 4. Hadoop 优势（4 高）
1. **高可靠性**：底层维护多个数据副本，防止数据丢失。
2. **高扩展性**：可扩展至数千个节点。
3. **高效性**：并行处理任务，加速数据处理。
4. **高容错性**：自动重新分配失败任务。

## 5. Hadoop 运行模式
- **本地模式**：单机运行，仅用于演示。
- **伪分布式模式**：单机模拟分布式环境，适合测试。
- **完全分布式模式**：多节点集群，适合生产环境。

## 6. Hadoop 生态圈
- **核心组件**：
- **HDFS**：分布式文件系统。
- **MapReduce**：分布式计算框架。
- **YARN**：资源管理框架。
- **扩展组件**：
- **Flume**：数据收集工具。
- **Kafka**：高吞吐量消息系统。
- **Spark**：内存计算框架。
- **Flink**：实时计算框架。
- **Hive**：数据仓库工具。
- **HBase**：分布式列式数据库。
- **ZooKeeper**：分布式协调系统。

## 7. 总结
Hadoop 是一个高效、可靠、可扩展的大数据处理平台，广泛应用于海量数据存储和计算场景。其生态圈涵盖多种工具和框架，满足不同场景需求。