Negotiator(YARN) 纳入了MapReduce的资源管理功能，并将它们内置其 中，这样需要在Hadoop群集间动态执行的其他应用即可 使用它们。结果是，这种方法可将大规模可扩展数据集成 引擎作为本机 Hadoop应用程序来实现，而且不会影响 MapReduce的性能。希望在Hadoop上实现可扩展性和 有效性的所有企业技术都需要采用YARN，并将其作为 产品路线图的一部分。 开 一个常见的要求：全面支持大规模可扩展处理。 某些数据集成操作在RDBMS引擎内外的运行效率较高。同样， 并非所有数据集成操作均适用于Hadoop环境。设计精妙的架 构必须足够灵活，可以充分利用系统中每个环境的优势（参见 图3）。 在ETL网格中运行 在数据库中运行 在Hadoop中运行 图3. 大数据集成需要一种可利用任何环境优势的平衡方法。 优点 • 利用ETL MPP引擎 • 利用商业硬件和存储 • 利用网格整合 ETL服务器可以较快地执行某 些流程 缺点 • ETL服务器在执行某些流程时 速度较慢（数据已经存储到 关系表中） • 可能需要额外的硬件（低成 本硬件） 优点 • 利用数据库MPP引擎 • 将数据移动降至最低限度 • 利用数据库执行加入/聚合 • 清除数据后效果最佳 • 释放ETL服务器上的计算周期 • 利用RDBMS服务器的多余容量 • 数据库可以较快地执行某些 流程 缺点

云计算技术的发展和普及，越来越多的企业客户选择数据上云，在云上构建数据仓库。以云数 仓、云计算为核心的企业服务架构成为新一代大数据建站的主流趋势。MaxCompute 作为云数 仓、云计算的核心引擎，承载了越来越多企业客户的数据业务和数据资产，免运维、低成本、高 度安全和稳定性，让客户的资源更加聚焦在业务开发上，加速业务发展。 本文所描述的解决方案主要解决 Hadoop 客户如何快速、平滑的迁移到 MaxCompute 解决方案 11 2.2.1 MaxComptue 的逻辑架构 2.2.2 MaxCompute 产品特性 MaxCompute 提供了云原生、多租户的服务架构，在底层大规模计算、存储资源之上预先构建 好了 MaxCompute 计算服务、服务接口，提供了配套的安全管控手段和开发工具管理工具，产 品开箱即用。 功能 MaxCompute MaxCompute 支持大规模计算存储，适用于 TB 以上规 模的存储及计算需求，最大可达 EB 级别。同一个 MaxCompute 项目支持企业从创业团队发展到独角兽的 数据规模需求； 数据分布式存储，多副本冗余，数据存储对外仅开放表的 操作接口，不提供文件系统访问接口 自研数据存储结构，表数据列式存储，默认高度压缩，后 D k n e P y l w s o u ) ( ( f I w

EE 領域有十多 年的講師教學經驗，熟悉 SOAP/RESTful Services、Design Patterns、EJB/JPA 等 Java EE 規 格，Struts/Spring/Hibernate 等 Open Source Framework，與 JBoss AS、 GlassFish 等 Application Server。 自認為會的技術不多，但是學不會的 也不多，最擅長把老闆交代的工作， Hadoop 身上。 3 / 74 前情提要 4 / 74 由創建 Lucene 與 Nutch 的 Doug Cutting 主導開發 Lucene 是個全文檢索的程式 庫，Nutch 是個搜尋引擎 依循著 Google 2003/2004 年發表的論文來開發 2006 年從 Nutch 獨立出來， 稱為 Hadoop Hadoop 是 Doug 兒子黃色大象 玩偶的名稱 2008-01 Apache Task 給 TT 3. TT 執行 Task 4. TT 向 JT 回報 Hadoop 1.x 架構 - MapReduce (MRv1) 只有一個 JobTracker (Master)，可是要管理多個 TaskTracker (Slave)！ 10 / 74 Hadoop 1.x 架構與限制 比較基本的模組： Hadoop HDFS (Storage) Hadoop MapReduce (Computing

1.0发布 Hadoop 2.0 GA Spark成为顶级顷目 Hadoop 3.0 2017 Hadoop生态系统 文件存储层 HDFS 资源／任务调度 YARN 计算引擎MapReduce 计算引擎Spark NoSQL HBase 数据仓 库SQL 机器/深 度学习 Batch 任务 流处理 搜索 … Kafka Hadoop 3介绍 • Common  JDK 对象存储 - HDFS-7240 • 更高性能的Namenode：更高效的内存使用，锁的改进等 • Erasure Coding的完善 YARN的未来 • 更大规模的集群支持 • 更好的资源调度，隔离和多租户 • 支持更多的应用，包括long running的service 谢谢 Q&A

型数据集的应用程序。 在任何环境中，硬件故障都是不可避免的。有了 HDFS，你的 数据可以跨越数千台服务器，而每台服务器上均包含一部分基础数 据。这就是容错功能发挥作用的地方。现实情况是，这么多服务器 总会遇到一台或者多台无法正常工作的风险。HDFS 具备检测故障 和快速执行自动恢复的功能。 HDFS 的设计针对批处理做了优化，它提供高吞吐量的数据访 问，而非低延迟的数据访问。运行在 SME(Subject Matter Expert，领域专家)。 这些 Hadoop 的连接器将有可能适用于环境中系统的最新版本。 如果想与 Hadoop 一起使用的系统不是应用程序或数据库引擎的最 新版本，那么你需要将升级的因素考虑在内，以便使用增强版完整 功能。我们建议全面检查你的系统需求，以避免沮丧和失望。Hadoop 生态系统会将所有新技术带入到你的系统中。 1.4.1 行数据 HADOOP 填充器 Hadoop 生态系统 HDFS 中的 数据文件 图 1-7 Hadoop 大数据解决方案 14 Oracle 公司为其旗舰数据库引擎和 Hadoop 开发了一款软件。 这是一个实用工具的集合，协助集成 Oracle 的服务与 Hadoop Stack。 大数据连接器套件是一个工具集，提供深入分析和发现信息的能力， 并能快速

Hadoop 发展历史（了解） Hadoop发展历史 1）Hadoop创始人Doug Cutting，为了实现与Google类似的全文搜索功能，他在Lucene框架基础上进行优 化升级，查询引擎和索引引擎。 Hadoop创始人Doug Cutting 2）2001年年底Lucene成为Apache基金会的一个子项目。 3）对于海量数据的场景，Lucene框架面对与Google同样的困难，存储海量数据困难，检索海量速度慢。

(Hadoop Distributed File System) - 跨节点的分布式文件系统 Hadoop Ecosystem 11 Spark Spark是一个流行的开源集群计算框架 • 并行计算引擎 • 使用广义的计算模型 • 基于内存进行计算（内存计算） Spark Core (Batch Processing) 12 MATLAB与Hadoop datastore map.m

3）测试结果分析：为什么读取文件速度大于网络带宽？由于目前只有三台服务器，且有三 个副本，数据读取就近原则，相当于都是读取的本地磁盘数据，没有走网络。 第 3 章 HDFS—多目录 3.1 NameNode 多目录配置 1）NameNode 的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性 2）具体配置如下 （1）在 hdfs-site.xml 文件中添加如下内容 drwxrwxr-x. 3 atguigu atguigu 4096 12 月 11 08:03 name2 检查 name1 和 name2 里面的内容，发现一模一样。 3.2 DataNode 多目录配置 1）DataNode 可以配置成多个目录，每个目录存储的数据不一样（数据不是副本） 2）具体配置如下 在 hdfs-site.xml 文件中添加如下内容 3]$ hadoop fs -put /opt/module/hadoop-3.1.3/LICENSE.txt / 思考：如果数据不均衡（hadoop105 数据少，其他节点数据多），怎么处理？ 4.3 服务器间数据均衡 1）企业经验： 在企业开发中，如果经常在 hadoop102 和 hadoop104 上提交任务，且副本数为 2，由于