与其他系统的集成 ● 数据集成与 Hadoop Hadoop 是一种用于管理大数据的基本工具。这种工具满足了企 业在大型数据库(在 Hadoop 中亦称为数据湖)管理方面日益增长的 需求。当涉及数据时，企业中最大的需求便是可扩展能力。科技和 商业促使各种组织收集越来越多的数据，而这也增加了高效管理这 些数据的需求。本章探讨 Hadoop Stack，以及所有可与 Hadoop 一 HDFS，则是 Hadoop 的核心，然而它并不会威胁到你的预算。如果要分析一组数 据，你可以使用 MapReduce 中包含的编程逻辑，它提供了在 Hadoop 群集上横跨多台服务器的可扩展性。为实现资源管理，可考虑将 Hadoop YARN 加入到软件栈中，它是面向大数据应用程序的分布式 操作系统。 ZooKeeper 是另一个 Hadoop Stack 组件，它能通过共享层次名 称空间的数据寄存器(称为 znode)，使得分布式进程相互协调工作。 每个 znode 都由一个路径来标识，路径元素由斜杠(/)分隔。 还有其他一些系统能与 Hadoop 进行集成并从其基础架构中受 益。虽然 Hadoop 并不被认为是一种关系型数据库管理系统 (RDBMS)，但其仍能与 Oracle、MySQL 和 SQL Server 等系统一起 工作。这些系统都已经开发了用于对接 Hadoop 框架的连接组件。 我们将在本章介绍这些组件中的一部分，并且展示它们如何与

决方案，摆在人们面前的既有挑战，也有机遇，只有处理好这些 问题，才能安享各项优势，最大限度提高投资回报率 (ROI)。 大数据集成对于Hadoop措施的重要性 Hadoop的迅速崛起推动企业在如何抽取、管理、转换、存储和 分析大数据方面实现了范式转变。无论是要更深入的分析，还是 希望获得更出色的洞察、新产品、新服务以及更高的服务水平，都 可以通过这项技术一一实现，从而大幅降低成本并创造新的 收入。 高性能处理，而是为了实现细粒度的容错。这种差异可能会 使整体性能和有效性降低一个数量级乃至更多。 Hadoop Yet Another Resource Negotiator(YARN) 纳入了MapReduce的资源管理功能，并将它们内置其 中，这样需要在Hadoop群集间动态执行的其他应用即可 使用它们。结果是，这种方法可将大规模可扩展数据集成 引擎作为本机 Hadoop应用程序来实现，而且不会影响 Ma 卸载下来，以便降低成本并改善查询 服务水平协议 (SLA)。该用例会引发以下问题： • 企业是否应卸载EDW中的所有ETL工作负载？ • 是否应将所有大数据集成工作负载都推送到Hadoop？ • 在没有并行关系数据库管理系统 (RDBMS) 和Hadoop 的情况下，大数据集成工作负载在ETL网格中发挥怎样 的持续作用？ 这些问题的正确答案取决于企业独特的大数据需求。企业可以 选择并行RDBMS、Hadoop和可扩展的ETL网格来运行大数据

英特尔迚行赔偿，保 证因使用此类关键业务应用而造成的产品责仸、人员伤害戒死亡索赔中直接戒间接发生的所有索赔成本、损坏、费用以及合理的律师费丌会对英特尔及其子公司、分包商和分支机构，以及 相关的董事、管理人员和员工造成损害，无论英特尔及其分包商在英特尔产品戒其仸何部件的设计、制造戒警示环节是否出现疏忽大意的情冴。 英特尔可以随时在丌发布声明的情冴下修改规格和产品说明。设计者丌应信赖仸何英特产品所 Inside、英特尔凌劢、英特尔 Flexpipe 和 Thunderbolt 是英特尔公司在美国和/戒其他国家戒地区的商标。 英特尔® 主劢管理技术要求平台采用支持英特尔主劢管理技术的芯片组、网络硬件和软件。系统必须接通电源幵建立网络连接。就笔记本电脑而言，英特尔主劢管理技术可能在基亍主机操 作系统的虚拟与用网（VPN）上，戒者在无线连接、使用电池电源、睡眠、休眠戒关机时无法使用戒是某些功能受到限制。如欲了解更多信息，请访问：httP： 数据量稳定，增长不快 持续实时产生数据， 年增长率超过60％ 主要为结构化数据 半结构化，非结构化， 多维数据 ―大数据‖ 挃数据集的大小超过了现有典型的数据库软件和工具的处理能力。不此同时，及时捕捉、 存储、聚合、管理这些大数据以及对数据的深度分析的新技术和新能力，正在快速增长，就像预 测计算芯片增长速度的摩尔定律一样。 — McKinsey Global Institute

发行版，完全开源，比 Apache Hadoop 在兼容性，安 全性，稳定性上有所增强。Cloudera 的标价为每年每个节点 10000 美元。 （4）Cloudera Manager 是集群的软件分发及管理监控平台，可以在几个小时内部署好一 个 Hadoop 集群，并对集群的节点及服务进行实时监控。 3）Hortonworks Hadoop 官网地址：https://hortonworks. （3）Hortonworks 的主打产品是 Hortonworks Data Platform（HDP），也同样是 100%开 源的产品，HDP 除常见的项目外还包括了 Ambari，一款开源的安装和管理系统。 （4）2018 年 Hortonworks 目前已经被 Cloudera 公司收购。 尚硅谷大数据技术之 Hadoop（入门） NameNode元数据备份。 1.5.2 YARN 架构概述 Yet Another Resource Negotiator 简称 YARN ，另一种资源协调者，是 Hadoop 的资源管理器。 尚硅谷大数据技术之 Hadoop（入门） ————————————————————————————— 更多 Java –大数据 –前端

及开源生态组件构 建企业数据仓库/数据湖、机器学习、实时分析、BI 报表等大数据应用。我们常见的大数据架构 的逻辑组件关系如下图所示： 这些逻辑组件包括：  数据源：数据源包括关系型数据库、日志文件、实时消息等。  数据存储：面向海量数据存储的分布式文件存储服务，支持 结构化数据和非结构数据数据存 储，我们也常称之为数据湖。如 HDFS、对象存储服务等。  批处理： 分析型数据存储 数据仓库： GreenPlum/Impala/Presto/Hive NoSQL：Hbase 数据仓库：MaxCompute/ Hologres/分析 型数据库 NoSQL:云数据库 Hbase 版/表格存储 分析与报表 BI 工具 Notebook QuickBI PAI Notebook 组件 EMR Notebook 组件 数据作业编排 2.2 MaxCompute 特性介绍 MaxCompute 是阿里云提供高效能、低成本，完全托管的“EB 级”大数据计算服务，利用 MaxCompute 可以构建敏捷、高效的企业数据管理平台。 Alibaba Cloud MaxCompute 解决方案 11 2.2.1 MaxComptue 的逻辑架构 2.2.2 MaxCompute 产品特性

、高效数据 处理、虚拟化等关键技术优势，针对关键业务构建的丰富高效、安全可靠的功能 特性，兼容适配长城、联想、浪潮、华为、曙光等国内主流厂商的服务器整机产 品，以及达梦、金仓、神通等主要国产数据库和中创、金蝶、东方通等国产中间 件，满足虚拟化、云计算和大数据时代，服务器业务对操作系统在性能、安全性 及可扩展性等方面的需求，是一款具有高安全、高可用、高可靠、高性能的自主 可控服务器操作系统。 3 HDFS 采用 master/slave 架构。一个 HDFS 集群包含一个单独的 NameNode 和多个 DataNode。 NameNode 作为 master 服务，它负责管理文件系统的命名空间和客户端对文 件的访问。NameNode 会保存文件系统的具体信息，包括文件信息、文件被分割 成具体 block 块的信息、以及每一个 block 块归属的 DataNode 的信息。对于整个 对用户提供了一个单一的命名空间。 DataNode 作为 slave 服务，在集群中可以存在多个。通常每一个 DataNode 都对应于一个物理节点。DataNode 负责管理节点上它们拥有的存储，它将存储划 分为多个 block 块，管理 block 块信息，同时周期性的将其所有的 block 块信息发 送给 NameNode。 1.5 MapReduce 介绍 MapReduce 是一种

许多垂直行业都在关注文件系统中庞大的数据。这些数据中通常包含大量无关的 明细信息，以及部分可用于趋势分析或丰富其他数据的精华信息。尽管这些数据 存储在数据库之外，但一些客户仍然希望将其与数据库中的数据整合在一起以提 取对业务用户有价值的信息。 本文详细介绍了如何从 Oracle 数据库访问存储在 Hadoop 集群里的数据。请注 意，本文选择了 Hadoop 和 HDFS 作为示例，但这里的策略同样适用于其他分 外部 Hadoop 数据的访问方法 要从 Oracle 数据库里访问某个文件系统中的外部文件或外部数据，最简单的方法莫过于使用 外部表。请参阅这里了解外部表。 外部表以表的形式展示存储在文件系统中的数据，并且可在 SQL 查询中完全透明地使用。 因此，可以考虑用外部表从 Oracle 数据库中直接访问 HDFS（Hadoop 文件系统）中存储的 数据。遗憾的是，常规的操作系统无法调用外部表驱动直接访问 存储，并将其作为常规文件系统处理。通过使用一个此类驱动程序，并在数据库实 例上挂载 HDFS（如果是 RAC 数据库，则在其所有实例上挂载 HDFS），即可使用外部表基 础架构轻松访问 HDFS 文件。 图 1. 用数据库内置的 MapReduce 通过外部表进行访问 在图 1 中，我们利用 Oracle Database 11g 实现本文所述的数据库内的 mapreduce。通常情况 下，Oracle

RDD 数据写 到存储系统中。Actions 是触发 Spark 启动计算的动因。 1.2.3 血统（Lineage） 利用内存加快数据加载,在众多的其它的 In-Memory 类数据库或 Cache 类系统中也有实 现，Spark 的主要区别在于它处理分布式运算环境下的数据容错性（节点实效/数据丢失）问 题时采用的方案。为了保证 RDD 中数据的鲁棒性，RDD 数据集通过所谓的血统关系(Lineage)

Hadoop 3.0以及未来 刘 轶 自我简介 • Apache Hadoop的committer和顷目管理委员会成员。 • ebay的Paid IM(互联网市场)部门架构师，领导ebay产品广告、互 联网市场数据和实验平台的架构设计。负责领导使用Hadoop、 Spark、Kafka、Cassandra等开源大数据顷目建立ebay的广告和数 据平台。 • 加入ebay前，在intel工作6年，大数据架构师，负责领导大数据的

nager restart 重启NodeManager：service hadoop-yarn-nodemanager restart 重启整个Hadoop服务：请通过UCloud控制台集群服务管理⻚⾯操作 2.5.2 查看 查看HDFS状态，节点信息 状态，节点信息 hdfs dfsadmin -report 2.5.3 修改 修改HDFS⽂件副本数量 ⽂件副本数量 hdfs dfs