2014 年 9 月 大数据集成与 Hadoop 可最大限度降低Hadoop计划风险并提高ROI的最佳实践 2 大数据集成与 Hadoop 简介 Apache Hadoop技术通过支持新的流程和架构，不断改进 大数据措施的经济性和活力，这样不仅有助于削减成本、增加 收益，而且还能树立竞争优势。Hadoop是一个开源软件项目， 支持在多个商业服务器群集间分散处理和存储大型数据集， 并可根 要的Hadoop组件包括Hadoop Distributed File System （用于存储大型文件）和Hadoop分布式并行处理框架（称为 MapReduce）。 但是，Hadoop基础架构本身并没有提供完整的大数据集成解 决方案，摆在人们面前的既有挑战，也有机遇，只有处理好这些 问题，才能安享各项优势，最大限度提高投资回报率 (ROI)。 大数据集成对于Hadoop措施的重要性 不同来源的大量不同类型的数据来实现大数据与Hadoop项 目。实现所有这些目标需要运用富有弹性的端到端信息集成 解决方案，该解决方案不仅可实现大规模扩展，还能提供支持 Hadoop项目所需的基础架构、功能、流程和行为准则。 “在很大程度上，80%的大数据项目开发 精力用于数据集成，只有20%的精力投入 到数据分析中。” —Intel Corporation，“使用 Apache Hadoop

Stack，以及所有可与 Hadoop 一 起使用的相关组件。 在构建 Hadoop Stack 的过程中，每个组件都在平台中扮演着重 要角色。软件栈始于 Hadoop Common 中所包含的基础组件。Hadoop 1 第 章 Hadoop 大数据解决方案 2 Common 是常见工具和库的集合，用于支持其他 Hadoop 模块。和 其他软件栈一样 组件，它能通过共享层次名 称空间的数据寄存器(称为 znode)，使得分布式进程相互协调工作。 每个 znode 都由一个路径来标识，路径元素由斜杠(/)分隔。 还有其他一些系统能与 Hadoop 进行集成并从其基础架构中受 益。虽然 Hadoop 并不被认为是一种关系型数据库管理系统 (RDBMS)，但其仍能与 Oracle、MySQL 和 SQL Server 等系统一起 工作。这些系统都已经开发了用于对接 允许你 在其数据存储中进行业务分析。这些结果使得组织和公司能够做出 有利于自身的更好商业决策。 为加深理解，让我们勾勒一下大数据的概况。鉴于所涉及数据 的规模，它们会分布于大量存储和计算节点上，而这得益于使用 Hadoop。由于 Hadoop 是分布式的(而非集中式的)，因而不具备关系 型数据库管理系统(RDBMS)的特点。这使得你能够使用 Hadoop 所 提供的大型数据存储和多种数据类型。

1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2）主要解决，海量数据的存储和海量数据的分析计算问题。 3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。 1.2 Hadoop 发展历史（了解） Hadoop发展历史 1）Hadoop创始人Doug Cutting，为了实现与Google类似的全文搜索功能，他在Lucene框架基础上进行优 化升级，查询引擎和索引引擎。 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网 Hadoop发展历史 6）2003-2004年，Google公开了部分GFS和MapReduce思想的细节，以此为基础Doug Cutting等人用 了2年业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。 7）2005 年Hadoop 作为 Lucene的子项目 Nutch的一部分正式引入Apache基金会。 Hadoop的logo 1.3 Hadoop 三大发行版本（了解） Hadoop 三大发行版本：Apache、Cloudera、Hortonworks。 Apache 版本最原始（最基础）的版本，对于入门学习最好。2006 Cloudera 内部集成了很多大数据框架，对应产品 CDH。2008 Hortonworks 文档较好，对应产品 HDP。2011 Hortonworks

..................................................................................... 2 1.4 HDFS 架构原理 ................................................................................................ 0910.Z1 内核版本 4.4.131 hadoop 版本 2.7.7 1.3 Hadoop 软件简介 Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在 不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高 速运算和存储。 Hadoop 实现了一个分布式文件系统（Hadoop Distributed File access）文件系统中的数据。 Hadoop 的框架最核心的设计就是：HDFS 和 MapReduce。HDFS 为海量的数 据提供了存储，而 MapReduce 则为海量的数据提供了计算。 1.4 HDFS 架构原理 HDFS 是 Hadoop 分布式文件系统（Hadoop Distributed File System）的缩写， 为分布式计算存储提供了底层支持。采用 Java 语言开发，可以部署在多种普通的

.............. 7 2.1.1 主流大数据体系架构 ............................................................................................................. 7 2.1.2 开源大数据组件架构 ................................. ............................................................................ 8 2.1.3 阿里云大数据组件架构 ..................................................................................................... ........................................................................ 10 2.2.1 MaxComptue 的逻辑架构 ................................................................................................. 11

可通过控制台⼀键安装，参考：客⼾端安装。 1.2 ⾃⾏安装 ⾃⾏安装 针对部分存量已⾃⾏安装⽤⼾，可根据选择按照以下⽅式⾃⾏安装。 1.2.1 利⽤安装脚本部署 利⽤安装脚本部署 在任⼀master节点下的都有 /root/install\_uhadoop\_client.sh，⽤⼾可以利⽤此脚本进⾏客⼾端的安装部署 也可以通过外⽹下载最新版本安装脚本 Hadoop开发指南 Copyright UCloud 优刻得 1/12 wget http://new-uhadoop.cn-bj.ufileos.com/install_uhadoop_client_new.sh 使⽤⽅法： 在master节点/root⽬录下执⾏ sh /root/install_uhadoop_client_new.sh client_ip client_user password port client_ip: 客⼾机IP 安装完成后，请重新登录客⼾机或执⾏source ~/.bashrc 1.2.2 ⾃⾏安装 ⾃⾏安装 安装jdk，从集群master1节点上拷⻉安装包到UHost： scp -r root@master_ip:/usr/java /usr/ 安装hadoop客⼾端，从集群master1节点上拷⻉安装包到UHost： 注解: hadoop-为hadoop具体对应的版本，可查看master的/home/hadoop/bin的软连接指向的版本，下同

Hadoop的committer和顷目管理委员会成员。 • ebay的Paid IM(互联网市场)部门架构师，领导ebay产品广告、互 联网市场数据和实验平台的架构设计。负责领导使用Hadoop、 Spark、Kafka、Cassandra等开源大数据顷目建立ebay的广告和数 据平台。 • 加入ebay前，在intel工作6年，大数据架构师，负责领导大数据的 开源贡献、基于Intel平台的开源顷目优化以及一些基于Spark的大 需要额外的2位 XOR编码: 1,0 需要额外的1位 HDFS纠错码(Erasure Coding) • Reed-Solomon (RS) 编码 数据可靠性和存储效率 • 数据可靠性：可以最多几个节点故障 • 存储效率：k/(k+m) 可靠性 存储效率 单副本 0 100% 3副本 2 33% XOR(6个数据单元) 1 86% RS(6,3) 3 67% RS(10,4) 4 71% Timeline Service v.2 • 可用性 流(flow) 聚合(aggregation) YARN Federation • YARN-2915 允许YARN的集群扩展到一万个戒更多个节点 YARN的集群的集群对用户来说是一个整体的集群 劢态资源配置 • YARN-291 允许劢态的改变NM的资源配置 容器资源的劢态调整 • YARN-1197 允许运行时劢态的调整分配给容器的资源

5 + 12.5 ≈ 30m/s 所有网络资源都已经用满。 如果实测速度远远小于网络，并且实测速度不能满足工作需求，可以考虑采用固态硬盘 或者增加磁盘个数。 （2）如果客户端不在集群节点，那就三个副本都参与计算 2.2 测试 HDFS 读性能 1）测试内容：读取 HDFS 集群 10 个 128M 的文件 [atguigu@hadoop102 mapreduce]$ 注意：因为每台服务器节点的磁盘情况不同，所以这个配置配完之后，可以选择不分发 尚硅谷大数据技术之 Hadoop（生产调优手册） ——————————————————————————————————————— 更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网 （2）停止集群，删除三台节点的 data 和 logs 配置白名单步骤如下： 1）在 NameNode 节点的/opt/module/hadoop-3.1.3/etc/hadoop 目录下分别创建 whitelist 和 blacklist 文件 （1）创建白名单 [atguigu@hadoop102 hadoop]$ vim whitelist 在 whitelist 中添加如下主机名称，假如集群正常工作的节点为 102 103

大数据时代的Intel乊Hadoop 系统方案架构师：朱海峰 英特尔®中国于计算创新中心 2013.4 北京 法律声明 本文所提供乊信息均不英特尔® 产品相关。本文丌代表英特尔公司戒其它机构向仸何人明确戒隐含地授予仸何知识产权。除相关产品的英特尔销售条款不条件中列明乊担保条件以外，英特 尔公司丌对销售和/戒使用英特尔产品做出其它仸何明确戒隐含的担保，包括对适用亍特定用途、适销 、睡眠、休眠戒关机时无法使用戒是某些功能受到限制。如欲了解更多信息，请访问：httP： //www.intel.com/technology/iamt。 英特尔® 架构上的 64 位计算要求计算机系统采用支持英特尔® 64 架构的处理器、芯片组、基本输入输出系统（BIOS）、操作系统、设备驱劢程序和应用。实际性能会根据您使用的具体 软硬件配置的丌同而有所差异。如欲了解更多信息£¬请不您的系统厂商联系。 Hadoop商业发行版 • 对象存储技术 Intel的角色 • 面向大数据应用，在计算、存储和网络方面提供更快更为 高效的架构级别的优化方案 • 持续投入大数据应用开发，促迚软件系统和服务的丌断优 化和创新 • 推迚终端设备和传感器的智能化，构建亏联、可管理的和 安全的分布式架构 软硬结合 Intel Hadoop商业发行版 优化的大数据处理软件栈 稳定的企业级hadoop发行版

驱动程序支持用户挂 载 HDFS 存储，并将其作为常规文件系统处理。通过使用一个此类驱动程序，并在数据库实 例上挂载 HDFS（如果是 RAC 数据库，则在其所有实例上挂载 HDFS），即可使用外部表基 础架构轻松访问 HDFS 文件。 图 1. 用数据库内置的 MapReduce 通过外部表进行访问 在图 1 中，我们利用 Oracle Database 11g 实现本文所述的数据库内的 。 4 Oracle 白皮书 — 通过 Oracle 并行处理集成 Hadoop 数据 利用表函数的示例 下面我们将以一个实际示例展示图 2 的架构。请注意，我们的示例仅展示了使用表函数访问 Hadoop 中存储的数据的一个模板实现。显然可能存在其他的甚至可能更好的实现。 下图是图 2 中原始示意图在技术上更准确、更具体的展示，解释了我们要在何处、如何使用 Oracle 并行处理集成 Hadoop 数据 示例代码 图3 至 图 5 实现的解决方案使用以下代码。所有的代码均在 Oracle Database 11g 和 5 个节点 的 Hadoop 集群上进行过测试。与大多数白皮书一样，请将这些脚本复制到文本编辑器中并 确保格式正确。 处理数据的表函数 该脚本中包含某些设置组件。例如，脚本开始的部分创建了图