上不限数量的任意类型的数据。因此，MapReduce 让 Hadoop 成为了一款强大工具。 在 Hadoop 最近的发展中，另有一款称为 YARN 的组件已经可 用于进一步管理 Hadoop 生态系统。 1.1.4 YARN 是什么 YARN 基础设施(另一个资源协调器)是一项用于提供执行应用 程序所需的计算资源(内存、CPU 等)的框架。 YARN 有什么诱人的特点或是性质？其中两个重要的部分是资 功能。我们建议全面检查你的系统需求，以避免沮丧和失望。Hadoop 生态系统会将所有新技术带入到你的系统中。 1.4.1 Hadoop 生态系统 Apache 将他们的集成称作生态系统。字典中将生态系统定义 为：生物与它们所处环境的非生物组成部分(如空气、水、土壤和矿 产)作为一个系统进行交互的共同体。基于技术的生态系统也有类似 的属性。它是产品平台的结合，由平台拥有者所开发的核心组件所 的开放源码和企业生态系 统还在不断成长。HDFS是该生态系统的主要组成部分。由于Hadoop 有着低廉的商业成本，因此很容易去探索 Hadoop 的特性，无论是 通过虚拟机，还是在现有环境建立混合生态系统。使用 Hadoop 解 决方案来审查当前的数据方法以及日渐增长的供应商阵营是一种非 Hadoop 大数据解决方案 10 常好的方法。借助这些服务和工具，Hadoop 生态系统将继续发展，

1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2）主要解决，海量数据的存储和海量数据的分析计算问题。 3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。 1.2 Hadoop 发展历史（了解） Hadoop发展历史 1）Hadoop创始人Doug Cutting，为了实现与Google类似的全文搜索功能，他在Lucene框架基础上进行优 erprise/6/release- notes/topics/rg_cdh_6_download.html （1）2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司，为合作伙伴提供 Hadoop 的 商用解决方案，主要是包括支持、咨询服务、培训。 （2）2009 年 Hadoop 的创始人 Doug Cutting 也加盟 Cloudera 公司。Cloudera avi yangge.avi DataNode ss1505_wuma.a vi Container MapTask SecondaryNa meNode 1.6 大数据技术生态体系 大数据技术生态体系 数据库（结构化数据） 文件日志（半结构化数据） 视频、ppt等（非结构化数据） Sqoop数据传递 Flume日志收集 Kafka消息队列 HDFS文件存储 HBase非关系型数据库

........ 6 2 阿里云大数据与开源生态对比 .................................................................................................................. 7 2.1 Hadoop 及开源生态与阿里云大数据生态对比 ...................... ........................................................................ 9 2.1.4 阿里云大数据与 Hadoop 生态的产品映射 ......................................................................... 9 2.2 MaxCompute MaxComute 大数 据生态，快速完成数据和业务的迁移以及生态系统的对接。 Alibaba Cloud MaxCompute 解决方案 7 2 阿里云大数据与开源生态对比 2.1 Hadoop 及开源生态与阿里云大数据生态对比 2.1.1 主流大数据体系架构 Hadoop 及开源生态由一系列的开源组件共同组成，很多用户基于

DataStage），企业势必会遇到功能和性能限制。越来越 多的企业意识到，不可扩展的ETL工具与MapReduce pushdown之争无法在Hadoop中提供所需的性能水平。 因此他们争相与IBM合作解决这个问题，因为IBM大数据集 成解决方案以其独有的方式支持大数据集成的大规模数据可 扩展性要求。 以下是依赖ETL pushdown会造成的一些累积负面影响： • ETL包含大部分EDW工作负载。由于相关成本的影响， Hadoop环境内外之间，在一端抽取数据卷，动态处理 和转换记录，然后在另一端加载记录 为了实现成功和可持续发展并保持较低的成本，一项有效的 大数据集成解决方案必须灵活支持上述各种场景。根据 IBM 与大数据客户的合作经验，InfoSphere Information Server是目前支持全部上述场景（包括向MapReduce推 送数据集成逻辑）的唯一商业数据集成软件平台。 业界流传着很多有关在Hadoop中为大数据集成运行ETL 集成处理。事实上，MapReduce在处理大规模数据集成工 作负载方面有着很多限制： • 并 非 所 有 数 据 集 成 逻 辑 均 可 使 用 E T L 工 具 推 送 到 MapReduce。根据与广大客户的合作经验，IBM估计 约有半数的数据集成逻辑无法推送到MapReduce。 • 用户不得不通过繁复的手动编码在Hadoop中运行较为 复杂的数据集成逻辑，或者限制流程在MapReduce中 运行相对简单的转换。

負責協調 Resource 調度 ApplicationMaster - Framework-Specific，負責跟 ResourceManager 協調 Resource，跟 NodeManager 合作執行 Container，監督 Container 以及 Resource 消耗的狀況，也負責 Schedule 各個 Task 22 / 74 MapReduce (MRv2) 分工優點 ResourceManager (CDH) Oracle 有 Oracle Big Data Appliance Intel 以前有 Intel Distribution for Hadoop (IDH)，現在是直接與 Cloudera 合作 Hortonworks 有 Hortonworks Data Platform (HDP) Microsoft 有 Microsoft HDInsight MapR 有 MapR Distribution 採用 Java 來開發 BigQuery 也能與 Dataflow 相輔 相成，開發者可以把 Dataflow 的資料餵給 BigQuery Google 與 Twitter 在世界盃足 球賽的期間合作，透過 Dataflow 讀取數百萬則 Twitter 貼文，做球迷情感分析 號稱下一代的 Dataflow 目前也是寫 Java iThome Google I/O 2014 快報：雲端大資料分析服務

HBase Hive Cloudera创立 Hortonworks创立 Hadoop 1.0发布 Hadoop 2.0 GA Spark成为顶级顷目 Hadoop 3.0 2017 Hadoop生态系统 文件存储层 HDFS 资源／任务调度 YARN 计算引擎MapReduce 计算引擎Spark NoSQL HBase 数据仓 库SQL 机器/深 度学习 Batch 任务 流处理