（3）Hortonworks 的主打产品是 Hortonworks Data Platform（HDP），也同样是 100%开 源的产品，HDP 除常见的项目外还包括了 Ambari，一款开源的安装和管理系统。 （4）2018 年 Hortonworks 目前已经被 Cloudera 公司收购。 尚硅谷大数据技术之 Hadoop（入门） Tomcat 收集访 问日志 Tomcat 推荐业务 分析结果数据库 分析结果文件 Flink 第 2 章 Hadoop 运行环境搭建（开发重点） 2.1 模板虚拟机环境准备 0）安装模板虚拟机，IP 地址 192.168.10.100、主机名称 hadoop100、内存 4G、硬盘 50G 尚硅谷大数据技术之 Hadoop（入门） 之模板虚拟机环境准备.docx 1）hadoop100 虚拟机配置要求如下（本文 Linux 系统全部以 CentOS-7.5-x86-1804 为例） （1）使用 yum 安装需要虚拟机可以正常上网，yum 安装前可以先测试下虚拟机联网情 况 [root@hadoop100 ~]# ping www.baidu.com PING www.baidu.com (14.215.177.39)

据，你可以使用 MapReduce 中包含的编程逻辑，它提供了在 Hadoop 群集上横跨多台服务器的可扩展性。为实现资源管理，可考虑将 Hadoop YARN 加入到软件栈中，它是面向大数据应用程序的分布式 操作系统。 ZooKeeper 是另一个 Hadoop Stack 组件，它能通过共享层次名 称空间的数据寄存器(称为 znode)，使得分布式进程相互协调工作。 每个 znode 在其网站上明确 指出，如果你还在努力学习如何管理 Linux 环境的话，那么 Hadoop 并不是你能够应付的任务。建议在尝试安装 Hadoop 之前，你需要 先熟悉此类环境。 1.1.2 Hadoop 分布式文件系统(HDFS) 在 Hadoop Common 安装完成后，是时候该研究 Hadoop Stack 的其余组件了。HDFS(Hadoop Distributed File System)提供一个分布 4 Machine，VM)或笔记本电脑上完成初始配置，而且可以升级到服务 器部署。它具有高度的容错性，并且被设计为能够部署在低成本的 硬件之上。它提供对应用程序数据的高吞吐量访问，适合于面向大 型数据集的应用程序。 在任何环境中，硬件故障都是不可避免的。有了 HDFS，你的 数据可以跨越数千台服务器，而每台服务器上均包含一部分基础数 据。这就是容错功能发挥作用的地方。现实情况是，这么多服务器

intel.com/technology/iamt。 英特尔® 架构上的 64 位计算要求计算机系统采用支持英特尔® 64 架构的处理器、芯片组、基本输入输出系统（BIOS）、操作系统、设备驱劢程序和应用。实际性能会根据您使用的具体 软硬件配置的丌同而有所差异。如欲了解更多信息£¬请不您的系统厂商联系。 没有仸何计算机系统能够在所有情冴下提供绝对的安全性。英特尔® 可信执行技术是由英特尔开 Hive 0.9.0 交互式数据仓库 Sqoop 1.4.1 关系数据ETL工具 Flume 1.1.0 日志收集工具 Intel Hadoop Manager 2.2 安装、部署、配置、监控、告警和访问控制 Zookeeper 3.4.4 分布式协作服务 Pig 0.9.2 数据流处理语言 Mahout 0.6 数据挖掘 HBase 0.94 实时、分布式、高维数据库 Map/Reduce 1.0.3 分布式计算框架 HDFS 1.0.3 分布式文件系统 R 统计语言 Intel Hadoop Manager – 安装、配置、管理、监控、告警 英特尔Hadoop性能优化 测试配置  性能数据在8台英特尔至强服务器组成的小规模集群上测试得到  服务器配置：6核Intel E5 CPU, 48GB内存，8块

性意味着对 处理的数据量、处理吞吐量以及使用的处理器和处理节点数 量全无限制。只需添加更多的硬件，即可处理更多的数据，实 现更高的处理吞吐量。添加硬件资源的同时，无需修改即可运 行相同的应用程序并且性能也会随之提高（参见图1）。 关键成功因素：避免炒作，分辨是非 在这些新兴的Hadoop市场阶段，请仔细分辨听到的所有 说明Hadoop卓尔不群的言论。充分使用Hadoop的神话 与现 纳入了MapReduce的资源管理功能，并将它们内置其 中，这样需要在Hadoop群集间动态执行的其他应用即可 使用它们。结果是，这种方法可将大规模可扩展数据集成 引擎作为本机 Hadoop应用程序来实现，而且不会影响 MapReduce的性能。希望在Hadoop上实现可扩展性和 有效性的所有企业技术都需要采用YARN，并将其作为 产品路线图的一部分。 开始集成之旅以前，请务必了解MapReduce的性能限 上运行4小时可以处理200GB数据，在100个处理器上运 行4小时可以处理400GB数据，以此类推，则说明应用 程序可以实现线性数据可扩展性。 • 应用程序纵向扩展：衡量软件在一个对称多处理器 (SMP) 系统中的多个处理器间实现线性数据可扩展性的 有效程度。 • 应用程序横向扩展：确定软件在非共享架构的多个 SMP 节点间实现线性数据可扩展性的有效程度。 图1. 海量数据可扩展

1. 在 在UHost上安装 上安装Hadoop客户端 客户端 出于安全性考虑，⼀般建议⽤⼾在⾮UHadoop集群机器上安装客⼾端进⾏任务提交与相关操作 1.1 控制台安装 控制台安装 可通过控制台⼀键安装，参考：客⼾端安装。 1.2 ⾃⾏安装 ⾃⾏安装 针对部分存量已⾃⾏安装⽤⼾，可根据选择按照以下⽅式⾃⾏安装。 1.2.1 利⽤安装脚本部署 利⽤安装脚本部署 在任⼀master节点下的都有 在任⼀master节点下的都有 /root/install\_uhadoop\_client.sh，⽤⼾可以利⽤此脚本进⾏客⼾端的安装部署 也可以通过外⽹下载最新版本安装脚本 Hadoop开发指南 Copyright © 2012-2021 UCloud 优刻得 1/12 wget http://new-uhadoop.cn-bj.ufileos.com/install_uhadoop_client_new client_user: 客⼾机上需要安装客⼾端的⽤⼾名 password: 客⼾机root密码 port：客⼾机ssh连接端⼝ 安装完成后，请重新登录客⼾机或执⾏source ~/.bashrc 1.2.2 ⾃⾏安装 ⾃⾏安装 安装jdk，从集群master1节点上拷⻉安装包到UHost： scp -r root@master_ip:/usr/java /usr/ 安装hadoop客⼾端，从集群

Dataworks 服务 .......................................................................... 56 8.1.3 安装 MMA Agent 客户端工具 .................................................................................. MMA 工具 ⚫ 编译环境要求：JDK 1.8+、 Apache Maven 3.x、Python 3.x 6.4.2 方案 A：通过 MMA Agent 迁移 Meta 和数据 1. 安装 MMA Agent 并使用 meta-carrier 获取 hive metadata 参见 6.3.1.1。 2. 客户需要预先开通 MaxCompute 服务，并创建好 project。 4.3 方案 B：使用 Dataworks 服务迁移 Meta 和数据 6.4.3.1 操作步骤 1. 客户需要预先开通 MaxCompute 服务，并创建好 project。 2. 安装 MMA Agent 并使用 meta-carrier 获取 hive metadata，参见 6.3.1.1。 3. 使用 meta-processor 生成 ODPS DDL 和 Hive UDTF

4）查看回收站 回收站目录在 HDFS 集群中的路径：/user/atguigu/.Trash/…. 5）注意：通过网页上直接删除的文件也不会走回收站。 6）通过程序删除的文件不会经过回收站，需要调用 moveToTrash()才进入回收站 Trash trash = New Trash(conf); trash.moveToTrash(path); 7）只有在命令行利用 集群间数据拷贝 尚硅谷大数据技术 之集群迁移（Apache和CDH）.doc 第 8 章 MapReduce 生产经验 8.1 MapReduce 跑的慢的原因 MapReduce 程序效率的瓶颈在于两点： 1）计算机性能 CPU、内存、磁盘、网络 2）I/O 操作优化 （1）数据倾斜 （2）Map 运行时间太长，导致 Reduce 等待过久 （3）小文件过多 timeout如果一个Task在一定时间内没有任何进入， 即不会读取新的数据，也没有输出数据，则认为该Task处于Block状态， 可能是卡住了，也许永远会卡住，为了防止因为用户程序永远Block住 不退出，则强制设置了一个该超时时间（单位毫秒），默认是600000 （10分钟）。如果你的程序对每条输入数据的处理时间过长，建议将 该参数调大。 8）mapreduce.job.reduce.slowstart.completedmaps当MapTask完成的比

不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高 速运算和存储。 Hadoop 实现了一个分布式文件系统（Hadoop Distributed File System），简称 HDFS。HDFS 有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件 上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有 着超大数据集（large 着超大数据集（large data set）的应用程序。HDFS 放宽了（relax）POSIX 的要求， 可以以流的形式访问（streaming access）文件系统中的数据。 Hadoop 的框架最核心的设计就是：HDFS 和 MapReduce。HDFS 为海量的数 据提供了存储，而 MapReduce 则为海量的数据提供了计算。 1.4 HDFS 架构原理 HDFS 是 Hadoop 分布式文件系统（Hadoop JobTracker 拆分成了两个独立的服务：一个全局的资源管理器 ResourceManager 和每个应用程序特有的 ApplicationMaster。其中 ResourceManager 负责整个系统 的资源管理和分配，而 ApplicationMaster 负责单个应用程序的管理。 YARN 总 体 上 仍 然 是 master/slave 结 构 ， 在 整 个 资 源 管 理

数据。遗憾的是，常规的操作系统无法调用外部表驱动直接访问 HDFS 文件。FUSE（File System in Userspace）项目针对这种情况提供了解决方法。有多种 FUSE 驱动程序支持用户挂 载 HDFS 存储，并将其作为常规文件系统处理。通过使用一个此类驱动程序，并在数据库实 例上挂载 HDFS（如果是 RAC 数据库，则在其所有实例上挂载 HDFS），即可使用外部表基 础架构轻松访问 HDFS 文件。 图 4. 监控进程 Hadoop的进程 (mapper) 启动之后，作业监控器进程将监视启动程序脚本。一旦mapper 完成 Hadoop 集群中数据的处理之后，bash 脚本即完成，如图 4 所示。 作业监控器将监视数据库调度程序队列，并在 shell 脚本完成时发出通知（第 7 步）。作业监 控器检查数据队列中的剩余数据元素（第 8 步）。只要队列中存在数据，表函数调用就会继