nodemanager.vmem-check-enabled false （2）分发配置并重启 Yarn 集群 3）测试结果分析 （1）由于副本 1 就在本地，所以该副本不参与测试 一共参与测试的文件：10 个文件 * 2 个副本 = 20 个 压测后的速度：1.61 实测速度：1.61M/s * 3/share/hadoop/mapreduce/hadoop-mapreduce-client- jobclient-3.1.3-tests.jar TestDFSIO -clean 3）测试结果分析：为什么读取文件速度大于网络带宽？由于目前只有三台服务器，且有三 个副本，数据读取就近原则，相当于都是读取的本地磁盘数据，没有走网络。 第 3 章 HDFS—多目录 3.1 NameNode hadoop-3.1.3]$ bin/hdfs namenode -format [atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh 3）查看结果 [atguigu@hadoop102 dfs]$ ll 总用量 12 drwx------. 3 atguigu atguigu 4096 12 月 11 08:03 data drwxrwxr-x

1.5.3 MapReduce 架构概述 MapReduce 将计算过程分为两个阶段：Map 和 Reduce 1）Map 阶段并行处理输入数据 2）Reduce 阶段对 Map 结果进行汇总 ss.avi yangge.avi bobo.avi ss1505_w uma.avi ... 100T 任务需求:找出宋宋老师2015年5月份的教学视频 Map Reduce 资源管理层 数据计算层 任务调度层 Storm实时计算 Ss购买海狗人参丸 Nginx Tomcat 收集访 问日志 Tomcat 收集访 问日志 Tomcat 推荐业务 分析结果数据库 分析结果文件 Flink 第 2 章 Hadoop 运行环境搭建（开发重点） 2.1 模板虚拟机环境准备 0）安装模板虚拟机，IP 地址 192.168.10.100、主机名称 hadoop100、内存 人工智能资料下载，可百度访问：尚硅谷官网 3）在 Linux 系统下的 opt 目录中查看软件包是否导入成功 [atguigu@hadoop102 ~]$ ls /opt/software/ 看到如下结果： jdk-8u212-linux-x64.tar.gz 4）解压 JDK 到/opt/module 目录下 [atguigu@hadoop102 software]$ tar -zxvf

我们将在本章介绍这些组件中的一部分，并且展示它们如何与 Hadoop 进行交互。 1.1 商业分析与大数据 商业分析通过统计和业务分析对数据进行研究。Hadoop 允许你 在其数据存储中进行业务分析。这些结果使得组织和公司能够做出 有利于自身的更好商业决策。 为加深理解，让我们勾勒一下大数据的概况。鉴于所涉及数据 的规模，它们会分布于大量存储和计算节点上，而这得益于使用 Hadoop。由于 Hadoop 数等 活动事件而呈现出指数增长。Hadoop 的组件可以帮助你处理这些大 型数据存储。 类似 Google 这样的商业公司可使用 Hadoop 来操作、管理其数 据存储并从中产生出有意义的结果。通常用于商业分析的传统工具 并不旨在处理或分析超大规模数据集，但 Hadoop 是一个适用于这 些商业模型的解决方案。 1.1.1 Hadoop 的组件 Hadoop Common 是 Hadoop 并行化处理数据的能力。 简而言之，MapReduce 用于将大量数据浓缩为有意义的统计分析结 果。MapReduce 可以执行批处理作业，即能在处理过程中多次读取 大量数据来产生所需的结果。 对于拥有大型数据存储或者数据湖的企业和组织来说，这是一 种重要的组件，它将数据限定到可控的大小范围内，以便用于分析 第 1 章 Hadoop 概述 5 或查询。 如图 1-1

BI 及 SQL 客户端工具的 连接访问，如 Tableau、帆软 BI、Navicat、SQL Workbench/J 等。 显著提升的查询性能：提升了一定数据规模下的查询性 能，查询结果秒级可见，支持 BI 分析、Ad-hoc、在线服 务等场景。 Alibaba Cloud MaxCompute 解决方案 14 Spark MaxCompute Spark 3：并行测试，割接 迁移完成后，建议基于增量数据与当前系统进行并行测试，待并行一段时间后，对并行测试 结果进行对比验证，符合业务预期即可将业务全部切换至 MaxCompute 平台。 对于规模较小的系统迁移，一般迁移上线周期不超过 2 周。但更多的情况下，我们建议您 根据迁移的技术评估结果、业务规模、企业管理需求等因素制定符合自身需要的迁移方案和计 划。 Alibaba Cloud MaxCompute 其中，bin 目录下是迁移工具所需的可执行文件，libs 目录下是工具所依赖的库，res 目录下是 工具所需的其他依赖，如 odpscmd 等。 3. 获取 Hive metadata 4. 结果输出 Alibaba Cloud MaxCompute 解决方案 24 说明：①global.json 是一个全局的配置文件，包含了整个迁移过程中的一些配置，例如将要使用的

的通用的并行计算框 架，Spark 基于 map reduce 算法实现的分布式计算，拥有 Hadoop MapReduce 所具有的 优点；但不同于 MapReduce 的是 Job 中间输出和结果可以保存在内存中，从而不再需要读 写 HDFS，因此 Spark 能更好地适用于数据挖掘与机器学习等需要迭代的 map reduce 的算 法。 1.2 Spark 核心概念 1.2.1 最核心的东西，它表示已被分区，不可变的 并能够被并行操作的数据集合，不同的数据集格式对应不同的 RDD 实现。RDD 必须是可序 列化的。RDD 可以 cache 到内存中，每次对 RDD 数据集的操作之后的结果，都可以存放到 内存中，下一个操作可以直接从内存中输入，省去了 MapReduce 大量的磁盘 IO 操作。这对 于迭代运算比较常见的机器学习算法, 交互式数据挖掘来说，效率提升比较大。 1 操作时只会记录需要这样的操作，并不会去执行，需要等到有 Actions 操作的时候才会真正启动计算过程进行计算。 2. 操作(Actions) (如：count, collect, save 等)，Actions 操作会返回结果或把 RDD 数据写 到存储系统中。Actions 是触发 Spark 启动计算的动因。 1.2.3 血统（Lineage） 利用内存加快数据加载,在众多的其它的 In-Memory

1.5 MapReduce 介绍 MapReduce 是一种计算模型，该模型可以将大型数据处理任务分解成很多单 个的、可以在服务器集群中并行执行的任务，而这些任务的计算结果可以合并在 一起来计算最终的结果。简而言之，Hadoop Mapreduce 是一个易于编程并且能在 大型集群（上千节点）快速地并行得处理大量数据的软件框架，以可靠，容错的 方式部署在商用机器上。MapReduce

Yet Another Resource Negotiator(YARN) 纳入了MapReduce的资源管理功能，并将它们内置其 中，这样需要在Hadoop群集间动态执行的其他应用即可 使用它们。结果是，这种方法可将大规模可扩展数据集成 引擎作为本机 Hadoop应用程序来实现，而且不会影响 MapReduce的性能。希望在Hadoop上实现可扩展性和 有效性的所有企业技术都需要采用YARN，并将其作为 IMW14791-CNZH-00 1 Intel Corporation。“使用Apache Hadoop抽取、转换和加载大数 据。”2013年7月。http://intel.ly/UX1Umk 2 测量结果由IBM现场进行客户部署时生成。 3 International Technology Group。“企业数据集成战略业务案例：IBM InfoSphere Information Server

大数据带来的挑战 ▪ 传统的工具和方法不能有效工作 – 访问和处理数据变得困难； – 需要学习使用新的工具和新的编程方式； – 不得不重写算法以应对数据规模的增大； ▪ 现有处理或计算方法下的结果质量受到影响 – 被迫只能处理一部分数据（数据子集）； – 采用新的工具或重写算法会对现有生产力产生影响； ▪ 数据处理与分析所需时间增长 – 数据规模增大、数据复杂度增加，增加处理难度和所需时间；

2.5.4 查看 查看HDFS⽂件系统状态 ⽂件系统状态 Hadoop开发指南 Copyright © 2012-2021 UCloud 优刻得 11/12 hadoop fsck / 返回结果⽰例如下： Total size: 455660769497 B (Total open files size: 44723814 B) Total dirs: 47975 Total files:

步是出队过程，这是通过数据库中的表函数并行调用来实现的。这些并行调用处 理得到的数据将会提供给查询请求来使用。表函数同时处理Oracle数据库的数据和来自队列 中的数据，并将来自两个来源的数据整合为单一结果集提供给最终用户。 图 4. 监控进程 Hadoop的进程 (mapper) 启动之后，作业监控器进程将监视启动程序脚本。一旦mapper 完成 Hadoop 集群中数据的处理之后，bash