处理的文件大小 ➢ Throughput mb/sec:单个 mapTak 的吞吐量 计算方式：处理的总文件大小/每一个 mapTask 写数据的时间累加 集群整体吞吐量：生成 mapTask 数量*单个 mapTak 的吞吐量 ➢ Average IO rate mb/sec::平均 mapTak 的吞吐量 计算方式：每个 mapTask 处理文件大小/每一个 mapTask 写数据的时间

硬件之上。它提供对应用程序数据的高吞吐量访问，适合于面向大 型数据集的应用程序。 在任何环境中，硬件故障都是不可避免的。有了 HDFS，你的 数据可以跨越数千台服务器，而每台服务器上均包含一部分基础数 据。这就是容错功能发挥作用的地方。现实情况是，这么多服务器 总会遇到一台或者多台无法正常工作的风险。HDFS 具备检测故障 和快速执行自动恢复的功能。 HDFS 的设计针对批处理做了优化，它提供高吞吐量的数据访 中一个典型的文件大小可以达到数百 GB 或更大， 所以 HDFS 显然支持大文件。它提供高效集成数据带宽，并且单个 群集可以扩展至数百节点。 Hadoop 是一个单一功能的分布式系统，为了并行读取数据集并 提供更高的吞吐量，它与群集中的机器进行直接交互。可将 Hadoop 想象为一个动力车间，它让单个 CPU 运行在群集中大量低成本的机 器上。既然已经介绍了用于读取数据的工具，下一步便是用 MapReduce 来处理它。

整体 业务价值，对于大部分Hadoop项目的大数据集成而言，海 量数据可扩展性是必不可少的。海量数据可扩展性意味着对 处理的数据量、处理吞吐量以及使用的处理器和处理节点数 量全无限制。只需添加更多的硬件，即可处理更多的数据，实 现更高的处理吞吐量。添加硬件资源的同时，无需修改即可运 行相同的应用程序并且性能也会随之提高（参见图1）。 关键成功因素：避免炒作，分辨是非 在这些新兴的H CPU CPU CPU 内存 共享内存 磁盘 磁盘 关键成功因素：大数据集成平台必须支持全部三个维度的可 扩展性 • 线性数据可扩展性：硬件和软件系统通过线性增加硬件 资源来线性提高处理吞吐量。例如，如果在50个处理器 上运行4小时可以处理200GB数据，在100个处理器上运 行4小时可以处理400GB数据，以此类推，则说明应用 程序可以实现线性数据可扩展性。 • 应用程序纵向扩展：衡量软件在一个对称多处理器

/cuda/lib:$LD_LIBRARY_PATH 让环境⽣效 source /etc/profile或者 source ~/.bashrc 2. HDFS HDFS是⼀个⾼度容错性和⾼吞吐量的分布式⽂件系统。它被设计的易于扩展也易于使⽤，适合海量⽂件的存储。 2.1 HDFS基础操作 基础操作 查询⽂件 Usage: hadoop fs [generic options] -ls

实现了一个分布式文件系统（Hadoop Distributed File System），简称 HDFS。HDFS 有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件 上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有 着超大数据集（large data set）的应用程序。HDFS 放宽了（relax）POSIX 的要求， 可以以流的形式访问（streaming

2）Flume：Flume 是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统， Flume 支持在日志系统中定制各类数据发送方，用于收集数据； 3）Kafka：Kafka 是一种高吞吐量的分布式发布订阅消息系统； 尚硅谷大数据技术之 Hadoop（入门） ————————————————————————————— 更多